Posłuchaj skrótu artykułu (Audio)Lektor wygenerowany przez AI
Otwarty poradnik z naszego podwórka. Pokazujemy kierunek i konkretne liczby, a decyzję i tak podejmujesz na własnych warunkach. Zakład pod Wrocławiem, 74 osoby, komponenty hydrauliczne. Na stronie leży około 900 kart katalogowych i sto kilkadziesiąt poradników montażowych, pisanych przez technologów przez sześć lat. W lutym dyrektor handlowy zapytał Perplexity o dobór złączki do podanego ciśnienia i dostał odpowiedź z odnośnikiem do konkurenta z Czech. Poszedł do IT. Okazało się, że rok wcześniej, po lekturze jednego wpisu o „blokowaniu AI", administrator hostingu wrzucił do robots.txt kilka linii z Disallow — i przy okazji odciął to, co utrzymuje indeks używany do cytowań. Drugi wariant, spotykany częściej, jest odwrotny: w pliku nie ma nic, w regulaminie nic, więc komercyjna eksploracja treści jest dozwolona wprost z ustawy. Obie sytuacje da się rozłożyć w jeden tydzień pracy jednej osoby, bez nowego narzędzia i bez faktury.
Zanim cokolwiek wejdzie do pliku, roboty trzeba rozdzielić według trzech rol: pobieranie materiału do trenowania modeli, utrzymywanie indeksu, z którego asystent bierze cytowania, oraz jednorazowe wejście na konkretny adres wtedy, gdy użytkownik o niego zapyta. Role opisują sami dostawcy — OpenAI, Anthropic, Perplexity i Google. Lista do wydruku na poniedziałek: GPTBot — trenowanie; blokada nie usuwa serwisu z cytowań w ChatGPT. OAI-SearchBot — indeks do cytowań; blokada oznacza brak w odpowiedziach z wyszukiwaniem. ChatGPT-User — pobranie na żądanie; blokada oznacza, że asystent nie otworzy podanego adresu. ClaudeBot — trenowanie; blokada bez wpływu na cytowania. Claude-SearchBot — indeks do cytowań w Claude. Claude-User — pobranie na żądanie użytkownika. PerplexityBot — indeks; blokada wycina odnośniki w odpowiedziach Perplexity. Perplexity-User — pobranie na żądanie. Googlebot — indeks wyszukiwarki, a to on decyduje o obecności w AI Overviews. Google-Extended — nie jest robotem, tylko tokenem sterującym użyciem treści w Gemini; nie wpływa na indeks ani na AI Overviews. Bingbot — indeks Bing; blokada wycina obecność w Copilocie. Applebot — indeks Siri i Spotlight. Applebot-Extended — wyłącznie trenowanie modeli Apple. CCBot — Common Crawl, publiczny zbiór pobrań wykorzystywany do treningu przez wiele podmiotów. meta-externalagent — trenowanie modeli Meta. Meta-ExternalFetcher — pobranie na żądanie w Meta AI. Bytespider — trenowanie (ByteDance). Amazonbot — indeks Alexy i wyszukiwania.
Co da się zrobić w tym tygodniu
Ruch 1 — inwentaryzacja logów, 45–60 minut, administrator hostingu. Z access.log za ostatnie 30 dni wyciągamy, kto naprawdę przychodził: grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Bytespider|CCBot|meta-externalagent" access.log potem awk na pierwszej kolumnie, sort, uniq -c. Wychodzi lista adresów IP i liczba żądań na robota. To jest punkt odniesienia dla całego pomiaru, więc liczby warto zapisać w arkuszu, a nie w pamięci. Ruch 2 — robots.txt, 30 minut, ten sam administrator. Wariant „cytujcie, nie trenujcie": User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: meta-externalagent User-agent: Bytespider Disallow: / User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Googlebot User-agent: Bingbot User-agent: Applebot Allow: / Wariant pełnej blokady to ta sama lista, ale wszystkie identyfikatory z drugiej grupy — poza Googlebotem i Bingbotem, jeśli zależy nam na klasycznym SEO — przenosimy do sekcji z Disallow: /. Przy pełnej blokadzie serwis wypada również z cytowań, i to jest cena tej decyzji, nie efekt uboczny. Ruch 3 — zastrzeżenie odczytywalne maszynowo, 30–45 minut, administrator. Plik ląduje pod /.well-known/tdmrep.json w formacie opisanym przez W3C TDM Reservation Protocol, z treścią w rodzaju: [ { "location": "/", "tdm-reservation": 1, "tdm-policy": "https://twojadomena.pl/tdm-policy.json" } ]. Jako zapas ustawiamy na całej domenie nagłówek odpowiedzi tdm-reservation: 1 (w Apache przez Header set, w nginx przez add_header) i meta o nazwie tdm-reservation z wartością 1 w sekcji head szablonu. Ruch 4 — warstwa tekstowa, 30 minut marketingu plus jedna rozmowa z prawnikiem. W regulaminie serwisu i w stopce zwykle stawia się zdanie odsyłające do art. 26(3) ustawy o prawie autorskim i prawach pokrewnych w brzmieniu obowiązującym od 20 września 2024 r.: uprawniony zastrzega, że treści serwisu nie mogą być zwielokrotniane w celu eksploracji tekstów i danych, a zastrzeżenie wyrażono również w postaci odczytywalnej maszynowo pod adresem /.well-known/tdmrep.json. To punkt wyjścia do rozmowy z własnym doradcą, nie wzór do wklejenia — zakres wyjątków i sformułowanie zależą od tego, co dokładnie w serwisie leży i kto ma do tego prawa. Ruch 5 — kontrola podszywania się, 45 minut, administrator. Dla adresów z ruchu 1 robimy reverse DNS i sprawdzenie w drugą stronę, a przy OpenAI dodatkowo porównanie z publikowanymi zakresami adresów. Jeśli user-agent mówi GPTBot, a nazwa hosta nie należy do dostawcy, na WAF-ie albo w konfiguracji serwera wchodzi reguła 403 dla tej pary user-agent plus podsieć. Razem 2–4 godziny pracy i 0 zł przy własnym serwerze. Daty, które porządkują tę kolejność: 20.09.2024 — wejście przepisów o eksploracji tekstów i danych; 02.08.2025 — start obowiązków dostawców modeli ogólnego przeznaczenia z rozporządzenia 2024/1689, w tym polityki respektowania zastrzeżeń praw autorskich; 2 sierpnia 2026 r. — moment, od którego wobec tych dostawców stosuje się sankcje.
Czego nie robić od razu
Nie blokować Bingbota. To najczęstszy błąd w tej operacji: wpis wygląda niewinnie, a wycina firmę z Copilota i z wyników Bing jednocześnie. Podobnie z Googlebotem — Google-Extended dotyczy używania treści w modelach Google, natomiast o obecności w AI Overviews decyduje zwykły Googlebot, więc kto chce zostać w wyszukiwarce, ten nie ma tu wyboru poza całkowitym wyjściem z Google. Nie wystawiać llms.txt jako zamiennika zastrzeżenia. To propozycja formatu, nie standard, do którego którykolwiek dostawca się zobowiązał; jako uzupełnienie może istnieć, jako podstawa prawna nie zastąpi tdmrep i regulaminu. Nie kupować w tym tygodniu warstwy bot managementu. Podstawowe blokowanie robotów AI bywa dostępne jako przełącznik w darmowym planie CDN, a plan płatny to zwykle rząd 20 USD miesięcznie za domenę — sięga się po niego dopiero wtedy, gdy logi z ruchu 5 pokażą, że ktoś podaje cudzy user-agent z obcych adresów i robots.txt przestaje mieć znaczenie. Zanim to nastąpi, wydatek nie ma czego pilnować. Nie zamykać dokumentacji za logowaniem „na próbę". Formularz przed kartą katalogową ucina nie tylko roboty, ale i handlowca klienta, który szuka rysunku w piątek po piętnastej. Jeśli część materiału naprawdę ma być poza obiegiem, zwykle rozdziela się serwis na strefę otwartą i strefę dla partnerów, a to projekt na kilka tygodni, nie na jeden ruch. Nie pisać wezwań o „usunięcie treści z modelu". Zastrzeżenie z art. 26(3) działa na przyszłość, a z wytrenowanego modelu pojedynczy poradnik nie zostaje wyjęty. Realna ścieżka jest węższa: zgłoszenie do Common Crawl o wyłączenie domeny z kolejnych paczek, blokada CCBota, a przy dostawcach modeli ogólnego przeznaczenia — kontakt kanałem wskazanym w ich polityce praw autorskich. Granica skuteczności jest tu twarda: archiwalne paczki są rozdystrybuowane w setkach kopii i tego się nie odwoła. Jaką dalszą drogę ma polski przedsiębiorca wobec dostawcy, który zastrzeżenie zignorował, ocenia prawnik po stronie czytelnika — krajowe przepisy wdrażające rozporządzenie były w chwili pisania na etapie prac legislacyjnych, więc stan warto sprawdzić na dzień działania.
Jak sprawdzić po dwóch tygodniach, że działa
Jeden wskaźnik: tygodniowa liczba żądań od robotów indeksujących cytowania, czyli suma trafień OAI-SearchBot, Claude-SearchBot, PerplexityBot i Bingbota w logach. Odczyt to dokładnie to samo polecenie co w ruchu 1, uruchamiane raz w tygodniu i wpisywane do arkusza obok liczby z okresu przed zmianą. Jeśli te roboty dalej przychodzą w podobnym wolumenie, a GPTBot, CCBot i Bytespider zniknęły, rozdzielenie zadziałało technicznie. Po 30 i po 60 dniach dochodzi drugi odczyt: w GA4 sesje z odesłań chatgpt.com, perplexity.ai i copilot.microsoft.com, a w Search Console wyświetlenia i kliknięcia dla stron poradnikowych. Nasz próg wycofania, wzięty z praktyki, nie z przepisu: jeżeli po 14 dniach liczba wejść robotów indeksujących spadnie poniżej 20% poziomu sprzed zmiany albo po 30 dniach odesłania z asystentów spadną o ponad połowę wobec średniej z ośmiu poprzednich tygodni, wracamy do pliku i zdejmujemy Disallow z warstwy indeksującej, zostawiając blokadę tylko na robotach trenujących. Warstwa zastrzeżenia zostaje bez zmian — ona nie kosztuje ruchu.
Jeśli ktoś woli to oddać na zewnątrz: w HEXART robimy ten przegląd jako zamkniętą pozycję — inwentaryzacja logów, rozdzielenie user-agentów, plik tdmrep z nagłówkiem i meta, reguły dla podszywających się oraz arkusz pomiarowy z progiem wycofania, opisane tak, żeby administrator klienta mógł to sam utrzymywać. Klauzul nie piszemy i nie zastępujemy prawnika, przygotowujemy tylko materiał, z którym idzie się do rozmowy z własnym doradcą. Zakres bierzemy z naszych usług, a termin ustala się w rezerwacji.