Google, OpenAI, Microsoft i Anthropic: jeden token w robots.txt blokuje trening AI

Google, OpenAI, Microsoft i Anthropic ogłosiły 30 października, że będą respektować jeden wspólny sygnał w robots.txt, którym właściciel strony może zakazać (albo pozwolić) trenowania modeli generatywnych na swoich treściach. Zamiast osobnych reguł dla Google-Extended, GPTBot czy ClaudeBota wystarczy jedna grupa z tokenem __usage_ai-training. Google zapowiada obsługę w 2027 roku, Bing zaczyna czytać nowe preferencje od 1 lutego 2027, a Anthropic już wdraża mechanizm.

To pierwsza sytuacja, w której najwięksi dostawcy AI zgadzają się na wspólny, maszynowo czytelny sposób wyrażania zgody na trening. Dla wydawców i zespołów SEO oznacza to koniec żonglowania kilkunastoma nazwami crawlerów, ale też kilka nowych pułapek, szczególnie tam, gdzie trening styka się z groundingiem, czyli cytowaniem treści w odpowiedziach AI.

Kontekst: trzy lata osobnych przełączników

Od 2023 roku każda firma budowała własny wyłącznik. Google udostępniło token Google-Extended, OpenAI opisało GPTBot, Anthropic ClaudeBota, Apple wprowadziło Applebot-Extended, a Common Crawl ma CCBot. Każdy z tych przełączników miał nieco inny zakres: jedne dotyczyły tylko trenowania, inne także groundingu, jeszcze inne realnego pobierania stron. Właściciel serwisu, który chciał konsekwentnie odmówić trenowania, musiał śledzić listy botów i dopisywać nowe grupy do robots.txt co kilka miesięcy.

Tydzień temu Gary Illyes z Google tłumaczył, że robots.txt z definicji steruje crawlowaniem, a nie tym, do czego treść zostanie później użyta, i wskazywał prace grupy roboczej IETF jako miejsce, gdzie ma powstać sygnał dotyczący użycia treści. Ogłoszenia z 30 października są bezpośrednią kontynuacją tamtej dyskusji: sygnał nadal mieszka w robots.txt, ale formalnie nie jest już regułą dla crawlera, tylko deklaracją preferencji.

Za mechanizmem stoi grupa robocza AI Preferences (AIPREF) w Internet Engineering Task Force. Jej szkic słownika (draft-ietf-aipref-vocab-08 z 13 września 2026) definiuje, czym jest „trening AI”. Nowy dokument, draft-kelley-aipref-training-preference-signal-00, opisuje, jak tę definicję zapisać w robots.txt. Autorem szkicu jest Kevin Kelley z Anthropic, dokument nosi datę 30 października 2026 i wygasa 3 maja 2027, jeśli nie zostanie zaktualizowany.

Kluczowe fakty: kto, co i kiedy

Każda z firm ogłosiła udział w nieco innej formie. Najważniejsze ustalenia zebraliśmy w tabeli.

Firma	Co zapowiedziała	Termin
Google	Opt-out przez __usage_ai-training bez osobnej reguły dla Google-Extended będzie traktowany jak zakaz dla Google-Extended	2027 (dokumentacja crawlerów: „początek 2027”)
OpenAI	Będzie respektować wspólny sygnał, istniejące reguły dla GPTBot i innych botów zostają	„w nadchodzących miesiącach”, szczegóły w osobnej aktualizacji
Microsoft Bing	Przyjmuje wspólny token treningowy, dodaje preferencję treningu na poziomie strony i osobną preferencję groundingu	od 1 lutego 2027, termin dla NoArchive/NoCache: 1 marca 2027
Anthropic	Autor szkicu IETF, według maila Kelleya na liście ai-control firma „już zaczęła wdrażać” obsługę	wdrożenie w toku

Jak wygląda zapis w robots.txt

Szkic nie wprowadza nowych dyrektyw ani nowej gramatyki. Zamiast nazwy bota w linii User-Agent pojawia się nazwa celu, tak zwany policy token. Przykład z dokumentu IETF:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Taki zapis oznacza sprzeciw wobec trenowania AI na całym serwisie z wyjątkiem katalogu /press-kit/, dla którego wyrażono zgodę. Opt-out dla całej domeny to po prostu pierwsze dwie linie. Dopasowanie ścieżek działa dokładnie jak w RFC 9309: najdłuższe dopasowanie wygrywa, a Disallow i Allow mają znane znaczenie.

Najważniejsze zasady interpretacji

• Grupa z gwiazdką się nie liczy. Szkic wprost zabrania traktowania User-Agent: * jako pasującego do tokenu. Nawet najostrzejsza reguła dla wszystkich botów nie mówi nic o treningu.
• Brak grupy to brak preferencji. Jeśli w pliku nie ma linii User-Agent: __usage_ai-training, żadna preferencja nie została wyrażona. Według autora szkicu dotyczy to dziś praktycznie każdego robots.txt w sieci.
• Token nie jest dyrektywą crawlowania. Reguły dla Googlebota, Bingbota czy GPTBota działają tak jak wcześniej. Dostawca, który crawluje wyłącznie pod trening, „może” pominąć strony z zakazem, ale nie musi. Kto chce zatrzymać pobieranie, nadal blokuje boty po nazwie.
• Szczegółowe wygrywa z ogólnym. Firmy mogą udokumentować, że ich własne tokeny (np. Google-Extended) mają pierwszeństwo przed wspólnym. Prywatne umowy licencyjne także mogą nadpisać deklarację.
• Liczy się plik z chwili pobrania. Preferencje stosuje się według robots.txt obowiązującego w momencie, gdy treść została pobrana. Zmiana dziś nie cofa treningu na danych zebranych wcześniej.

Co oznacza „trening AI”

Definicja pochodzi ze słownika AIPREF: trening to użycie zasobu do modyfikacji wyuczonych parametrów generatywnego modelu AI. Trenowanie modeli używanych wyłącznie do zadań niegeneratywnych nie jest objęte, nawet jeśli model technicznie potrafi generować treść. Model służący do klasyfikacji, rankingu lub oceniania nie jest uznawany za generatywny, nawet gdy generuje uzasadnienie wyniku. To ważne zastrzeżenie: sygnał nie dotyczy systemów rankingowych wyszukiwarek.

Co to znaczy dla SEO i AIO

Na pierwszy rzut oka to wiadomość dla wydawców, którzy chcą chronić treści. W praktyce największe konsekwencje dotyczą widoczności w odpowiedziach AI, bo trening i grounding w deklaracjach Google i Microsoftu są ze sobą powiązane w różny sposób.

Google: opt-out z treningu może wyłączyć grounding w Gemini

W oficjalnym komunikacie na blogu Search Central John Mueller napisał, że gdy strona zgłosi sprzeciw przez wspólny token, a Google-Extended nie będzie jawnie wskazany, Google potraktuje to tak, jakby wydawca zablokował Google-Extended. Haczyk polega na tym, że Google-Extended według dokumentacji Google steruje nie tylko trenowaniem przyszłych modeli Gemini, ale też groundingiem w aplikacjach Gemini i w Grounding with Google Search na Vertex AI.

Efekt: serwis, który jedną linijką wyłączy trening u wszystkich dostawców, w Google prawdopodobnie wypadnie też z cytowań w aplikacjach Gemini. Google zaznacza w komunikacie, że strony, które „wyraźnie zezwalają na Google-Extended”, pozostają uprawnione do pojawiania się w odpowiedziach i otrzymywania kliknięć przez grounding w Gemini Apps. Jeżeli więc chcesz odmówić trenowania, ale nadal być cytowanym przez Gemini, potrzebujesz dwóch grup: zakazu dla tokenu wspólnego i jawnego Allow dla Google-Extended.

User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Dokumentacja Google powtarza, że Google-Extended nie wpływa na obecność w wyszukiwarce Google ani nie jest sygnałem rankingowym. Komunikat nie wspomina jednak ani słowem o AI Overviews i AI Mode, więc relacja nowego tokenu z tymi funkcjami pozostaje niewyjaśniona.

Bing: trening i grounding rozdzielone na dobre

Microsoft poszedł dalej. W poście na blogu Bing Krishna Madhavan, Principal Product Manager, opisał dwie niezależne preferencje: AI Training i AI Grounding. Trening można ustawić we wspólnym tokenie w robots.txt (dla całej witryny lub ścieżki) albo na poziomie pojedynczej strony, przy czym ustawienie strony wygrywa z robots.txt. Grounding ustawia się wyłącznie na poziomie strony, przez meta tag lub nagłówek HTTP, co pozwala obsłużyć także pliki PDF.

Grounding ma trzy warianty:

• Allow (domyślnie): treść może zasilać generowane odpowiedzi.
• DisallowExtended: treść może zasilać odpowiedzi w produktach Microsoftu (AI Mode, AI Overview, Copilot, Microsoft 365), ale nie w usługach groundingu sprzedawanych firmom trzecim, takich jak Web IQ czy API groundingu w Foundry.
• Disallow: treść nie jest używana do groundingu.

Microsoft ostrzega, że obie restrykcyjne opcje „znacząco ograniczą widoczność treści w doświadczeniach generowanych przez AI”, nie zmieniając przy tym kwalifikacji do zwykłych wyników Bing. Dodaje też, że zgoda na grounding nie gwarantuje ani obecności, ani ruchu, ani zapłaty.

Harmonogram dla stron z NoArchive i NoCache

Najpilniejsza zmiana dotyczy serwisów, które dziś używają noarchive lub nocache, bo to te tagi Microsoft od 2023 roku traktował jako sygnał dla AI. Teraz zostaną zastąpione:

• 15 grudnia 2026: w Bing Webmaster Tools pojawią się tymczasowe preferencje groundingu, tylko dla stron używających NoArchive/NoCache.
• 1 lutego 2027: Microsoft zaczyna respektować preferencje AI Training i AI Grounding podczas crawlowania.
• 1 marca 2027: NoArchive i NoCache przestają być odczytywane jako preferencje treningu i groundingu.
• 30 września 2027: wygasają tymczasowe preferencje groundingu (lub wcześniej, jeśli Bing przecrawluje stronę i znajdzie nowy tag).

Jeśli strona z NoArchive nie zapisze tymczasowej preferencji w Bing Webmaster Tools do 1 marca, jej podstrony domyślnie wrócą do Allow dla groundingu aż do ponownego crawla. Microsoft przypomina, że opublikowanie tagu nie oznacza jego aktywacji: bot musi stronę odwiedzić, a IndexNow zwiększa szansę na recrawl, ale go nie gwarantuje.

Wnioski dla strategii AIO

Dla większości firm, które inwestują w widoczność w ChatGPT, Perplexity czy Copilocie, rozsądną decyzją domyślną pozostaje brak zmian. Brak grupy __usage_ai-training oznacza brak preferencji, więc nic się nie psuje. Ryzyko pojawia się wtedy, gdy ktoś w dobrej wierze doda szeroki opt-out z treningu, nie rozumiejąc jego wpływu na grounding w Gemini. W serwisach, które już konfigurowały robots.txt dla GPTBota, ClaudeBota i PerplexityBota, warto spisać obecny stan reguł, zanim ktokolwiek zacznie dopisywać nowy token.

Drugi wniosek: trening i cytowanie przestają być jedną decyzją. Wydawca może odmówić użycia treści do budowy modelu, a jednocześnie zostać źródłem w odpowiedziach z linkiem. To dokładnie ten układ, o który od lat zabiegały media, i to on najlepiej łączy ochronę treści z ruchem z asystentów AI.

Reakcje branży

Szkic powstał przy udziale szerokiego grona. W podziękowaniach dokumentu IETF wymieniono m.in. Gary’ego Illyesa i Caleba Donaldsona (Google), Fabrice’a Canela i Krishnę Madhavana (Microsoft), Marka Graya (OpenAI), przedstawicieli Common Crawl, Internet Archive, News Corp, Elsevier i European Publishers Council. Dokument zaznacza jednak, że afiliacje podano „wyłącznie w celach identyfikacyjnych”, więc lista pokazuje uczestników dyskusji, a nie firmy, które zobowiązały się do obsługi tokenu.

Google w komunikacie podkreśla, że propozycja jest zgodna z unijnym Kodeksem postępowania dla dostawców modeli AI ogólnego przeznaczenia (GPAI) w ramach AI Act, który uznaje robots.txt za podstawowy sposób wyrażania maszynowo czytelnych preferencji. To ważne dla europejskich wydawców: wspólny token może stać się praktycznym narzędziem realizacji zastrzeżenia praw w rozumieniu przepisów o eksploracji tekstów i danych. Szerzej o tym kontekście pisaliśmy w tekście o licencjach, AI Act i prawach autorskich w erze AI.

OpenAI w swoim ogłoszeniu nazywa wspólny sygnał „praktycznym krokiem w stronę otwartej sieci” i zachęca innych dostawców AI do jego respektowania. Firma zapewnia, że dotychczasowe kontrole w robots.txt pozostaną w mocy.

Nie wszyscy podzielają entuzjazm. Jak podaje serwis PPC Land, Nate Hake, wydawca uczestniczący w pracach grupy roboczej, przestrzegał na X, że prace nie są zakończone, a część sporów pozostaje nierozstrzygnięta. Z perspektywy wydawców widać trzy ograniczenia. Po pierwsze, token ma charakter dobrowolny i nie wiąże firm spoza porozumienia. Po drugie, nie obejmuje danych już zebranych. Po trzecie, w przypadku Google jeden token łączy trening z groundingiem, co może zniechęcać do opt-outu wydawców, którzy nie chcą tracić cytowań w Gemini.

Jak podaje PPC Land, Google dodało informację o planowanej obsłudze tokenu także do dokumentacji crawlerów, z dopiskiem „początek 2027”. Komunikaty nie wspominają natomiast o raportowaniu w Search Console, więc na razie nie wiadomo, czy wydawcy zobaczą, jaką preferencję Google odczytało z ich pliku.

Co dalej

Dokument IETF ma status indywidualnego szkicu (Internet-Draft) i nie jest jeszcze standardem. Grupa AIPREF będzie dalej pracować nad pozostałą częścią słownika, w tym nad kategoriami innymi niż trening, takimi jak użycie treści w wyszukiwaniu AI. Kelley w mailu do listy dyskusyjnej zaznaczył, że interpretacja sygnałów przez Anthropic może się zmieniać wraz z ewolucją standardów.

Praktyczna lista kontrolna dla zespołów SEO na najbliższe tygodnie:

• Sprawdź, czy robots.txt zawiera już reguły dla Google-Extended, GPTBot, ClaudeBot, Applebot-Extended i CCBot. Udokumentuj, z jakiego powodu je dodano.
• Przeszukaj szablony i konfigurację serwera pod kątem noarchive i nocache w meta robots oraz X-Robots-Tag. Jeśli występują, zdecyduj przed 1 marca 2027, czy chodzi o blokadę groundingu w Copilocie.
• Zweryfikuj witrynę w Bing Webmaster Tools przed 15 grudnia 2026, jeśli korzysta z NoArchive/NoCache.
• Rozdziel decyzje: osobno trening, osobno grounding w Gemini, osobno grounding w Microsoft. Zapisz je w changelogu robots.txt, żeby przyszła edycja nie odwróciła ich przypadkiem.
• Nie licz na User-Agent: *. Według szkicu nie wyraża żadnej preferencji dotyczącej treningu.
• Nie blokuj Googlebota ani Bingbota, żeby powstrzymać trening. Wspólny token powstał właśnie po to, by nie trzeba było wybierać między treningiem a obecnością w wynikach.

Najbliższe miesiące pokażą, czy do porozumienia dołączą kolejne firmy, m.in. Meta, Apple i Perplexity, oraz jak OpenAI opisze swoje wdrożenie. Dla rynku AIO kluczowe będzie to, czy Google z czasem rozdzieli trening i grounding tak jak Microsoft. Do tego czasu każda zmiana w robots.txt powinna być testowana pod kątem widoczności w odpowiedziach Gemini, a nie tylko w klasycznym SERP.

FAQ

Czy muszę teraz dodać token __usage_ai-training do robots.txt?

Nie. Brak grupy z tym tokenem oznacza, że nie wyrażono żadnej preferencji, a dostawcy działają jak dotychczas. Google planuje obsługę w 2027 roku, Microsoft od 1 lutego 2027. Token warto dodać tylko wtedy, gdy świadomie chcesz odmówić (lub zezwolić na) trenowania modeli na swoich treściach.

Czy opt-out z treningu usunie stronę z wyników Google lub Bing?

Nie. Zarówno Google, jak i Microsoft deklarują, że preferencje treningowe nie wpływają na obecność w klasycznych wynikach wyszukiwania ani na ranking. Token nie jest też dyrektywą crawlowania, więc Googlebot i Bingbot nadal będą pobierać strony zgodnie z ich własnymi regułami.

Czy po opt-oucie przestanę być cytowany w Gemini?

Prawdopodobnie tak, jeśli nie dodasz jawnej reguły dla Google-Extended. Google zapowiada, że wspólny opt-out bez wskazania Google-Extended potraktuje jak zakaz dla Google-Extended, a ten token obejmuje także grounding w aplikacjach Gemini. Aby odmówić treningu i zachować cytowania, dodaj osobną grupę z User-Agent: Google-Extended i Allow: /.

Czy reguła User-Agent: * z Disallow wystarczy, żeby zablokować trening?

Nie. Szkic IETF wprost zabrania traktowania grupy z gwiazdką jako pasującej do tokenu treningowego. Taka reguła blokuje crawlowanie wszystkim botom (także wyszukiwarkom), ale nie wyraża preferencji dotyczącej treningu w rozumieniu nowego mechanizmu.

Co z danymi, które modele już zebrały?

Według szkicu obowiązują preferencje z pliku robots.txt aktualnego w chwili pobrania treści. Dodanie zakazu dziś nie cofa trenowania na danych zebranych wcześniej. Dotyczy wyłącznie treści pobieranych po tym, jak dany dostawca zacznie respektować token.