OpenAI przyznaje we własnej dokumentacji technicznej, że plik robots.txt może nie mieć zastosowania do bota ChatGPT-User, czyli agenta pobierającego strony na bezpośrednie polecenie użytkownika. To jedno zdanie podważa założenie, które przez trzy dekady było fundamentem kontroli nad indeksowaniem: że dyrektywa Disallow działa jako uniwersalny wyłącznik dla każdego automatu odwiedzającego witrynę. Jak podaje serwis Search Engine Journal, w praktyce oznacza to, że część ruchu generowanego przez asystentów AI sięga po treści, które wydawca formalnie zamknął.
Kontekst: trzy boty OpenAI, trzy różne umowy z wydawcą
Problem zaczyna się od tego, że „bot OpenAI” nie jest jednym bytem. Firma utrzymuje co najmniej trzy odrębne agenty użytkownika, a każdy z nich realizuje inne zadanie i wiąże się z inną obietnicą wobec właściciela strony. Mieszanie ich w jednej regule robots.txt jest dziś najczęstszym źródłem nieporozumień w zespołach SEO.
GPTBot odpowiada za pozyskiwanie danych do trenowania modeli. To on jest przedmiotem większości blokad wprowadzanych przez wydawców od 2023 roku i to jego obecność w logach najczęściej uruchamia dyskusję o wynagrodzeniu za treść. OAI-SearchBot buduje indeks wykorzystywany przez ChatGPT Search, więc pełni funkcję analogiczną do klasycznego Googlebota: jego zablokowanie realnie usuwa witrynę z wyników wyszukiwania wewnątrz ChatGPT.
ChatGPT-User działa inaczej niż oba powyższe. Nie przemierza sieci według własnego harmonogramu i nie buduje indeksu. Wchodzi na konkretny adres wtedy, gdy użytkownik podczas rozmowy poprosi asystenta o otwarcie strony albo gdy model uzna, że musi zweryfikować fakt w czasie rzeczywistym. Zdaniem OpenAI to właśnie ta cecha, inicjatywa po stronie człowieka, zmienia charakter żądania i wyprowadza je spod reżimu robots.txt.
Co dokładnie mówi dokumentacja OpenAI
W oficjalnym opisie agentów firma zaznacza, że ChatGPT-User odwiedza stronę wtedy, gdy użytkownik ChatGPT zadaje pytanie, i że ponieważ takie działania są inicjowane przez użytkownika, reguły robots.txt mogą nie mieć zastosowania. Sformułowanie jest ostrożne, użyto trybu przypuszczającego, ale kierunek interpretacji nie pozostawia wątpliwości: OpenAI traktuje pobranie strony na żądanie człowieka jako czynność bliższą kliknięciu w link niż crawlowaniu.
Ta logika ma swoje uzasadnienie w historii standardu. Robots Exclusion Protocol powstał w 1994 roku jako mechanizm ochrony serwerów przed masowym, automatycznym ruchem, a nie jako narzędzie kontroli dostępu dla pojedynczych odwiedzin. Przeglądarka użytkownika nigdy nie sprawdzała robots.txt przed otwarciem adresu i nikt nie uznawał tego za naruszenie. OpenAI argumentuje, że agent działający w imieniu konkretnej osoby mieści się w tej samej kategorii.
Wydawcy widzą to inaczej. Dla nich różnica między przeglądarką a agentem AI polega na tym, że przeglądarka wyświetla stronę wraz z reklamami, nawigacją i wezwaniami do działania, natomiast agent ekstrahuje z niej odpowiedź i podaje ją w interfejsie czatu. Wizyta jest zaliczana po stronie kosztów serwera, ale nie przekłada się na monetyzację. To właśnie ta asymetria, a nie sama definicja prawna, napędza obecny spór.
Kluczowe fakty
| Agent użytkownika | Funkcja | Status wobec robots.txt | Skutek zablokowania |
|---|---|---|---|
| GPTBot | Zbieranie danych treningowych | Respektuje dyrektywy | Treść nie zasila trenowania modeli |
| OAI-SearchBot | Budowa indeksu ChatGPT Search | Respektuje dyrektywy | Witryna znika z wyników ChatGPT Search |
| ChatGPT-User | Pobranie strony na polecenie użytkownika | Reguły „mogą nie mieć zastosowania” | Brak pobrania na żywo podczas rozmowy |
Rozróżnienie ma bardzo praktyczną konsekwencję, którą łatwo przeoczyć przy pisaniu reguł. Zablokowanie ChatGPT-User nie usuwa witryny z wyników wyszukiwania wewnątrz ChatGPT, bo za tę widoczność odpowiada OAI-SearchBot. Działa też odwrotnie: dopuszczenie ChatGPT-User przy jednoczesnym zamknięciu OAI-SearchBot daje sytuację, w której asystent potrafi otworzyć wskazany adres, ale nigdy sam go nie zaproponuje. Zespoły, które chcą zniknąć z ekosystemu OpenAI w całości, muszą zaadresować wszystkie trzy agenty osobno.
Skala zjawiska: dane za pierwszą połowę 2026
Dyskusja przestała być teoretyczna, gdy pojawiły się liczby. Według raportu TollBit za pierwsze półrocze 2026 roku ChatGPT-User, Bytespider oraz Youbot sięgnęły po strony objęte dyrektywą Disallow na blisko połowie europejskich witryn, które wprost wymieniały te agenty w swoich plikach. ChatGPT-User dotarł przy tym do największej liczby serwisów spośród wszystkich śledzonych botów pobierających.
Raport pokazuje również, że około 15 procent zablokowanych adresów w europejskich witrynach zostało mimo wszystko pobranych przez agenty działające na żądanie użytkownika. To nie jest margines statystyczny, tylko powtarzalny wzorzec obejmujący setki serwisów.
| Agent | Odsetek blokad w Europie | Odsetek blokad w Ameryce Północnej |
|---|---|---|
| Claude-User | 9% | 26% |
| Perplexity-User | 13% | 26% |
Zestawienie odsłania drugą, mniej oczywistą prawidłowość: europejscy wydawcy blokują agenty pobierające zauważalnie rzadziej niż wydawcy amerykańscy. Różnica sięga kilkunastu punktów procentowych i trudno ją tłumaczyć wyłącznie odmiennym otoczeniem prawnym. Bardziej prawdopodobne jest wyjaśnienie operacyjne: rynek europejski wolniej aktualizuje pliki robots.txt, bo temat agentów AI trafił do standardowych audytów technicznych z opóźnieniem. Efekt jest taki, że sporo witryn nie ma zdania w tej sprawie, po prostu nie zdążyło go sformułować.
Co to znaczy dla SEO i AIO
Robots.txt przestaje być pojedynczym punktem kontroli
Najważniejszy wniosek operacyjny brzmi: plik robots.txt należy dziś traktować jako deklarację intencji wobec crawlerów, a nie jako egzekwowalny mechanizm dostępu. Jeżeli treść naprawdę musi pozostać poza zasięgiem agentów AI, warstwa robots.txt wymaga wsparcia po stronie serwera. W praktyce oznacza to reguły na poziomie WAF, blokady po adresie IP z weryfikacją odwrotnego DNS albo kontrolę dostępu wymagającą uwierzytelnienia. Sam wpis Disallow jest w tym scenariuszu prośbą, którą część uczestników rynku otwarcie odrzuca.
Warto przy tym zachować proporcje. Dla większości witryn komercyjnych pobranie strony przez agenta na wyraźne polecenie użytkownika jest zdarzeniem pożądanym, bo prowadzi do cytowania marki w odpowiedzi. Problem dotyczy przede wszystkim wydawców utrzymujących się z reklam oraz serwisów z treścią płatną, gdzie każda ekstrakcja odpowiedzi zastępuje wizytę monetyzowaną.
Segmentacja zamiast blokady zbiorczej
Reguła obejmująca wszystkie boty AI jednym poleceniem jest dziś kosztownym uproszczeniem. Rozsądniejsze podejście zakłada świadomą decyzję dla każdej z trzech funkcji osobno: trenowanie, indeksowanie pod wyszukiwarkę AI oraz pobieranie na żądanie. Typowa konfiguracja dla serwisu, który chce budować widoczność w odpowiedziach generatywnych, ale nie chce oddawać treści na trening, dopuszcza OAI-SearchBot i ChatGPT-User, a zamyka GPTBot.
Ten sam schemat warto zastosować wobec pozostałych dostawców. Podobne rozwarstwienie funkcji obserwowaliśmy już przy zmianie crawlera NotebookLM, opisanej w tekście o tym, jak Google przemianował fetcher NotebookLM na Google-GeminiNotebook. Mechanika jest analogiczna: nowy agent, nowa nazwa, nowa interpretacja starych reguł.
Pomiar wymaga logów serwera, nie tylko analityki
Agenty pobierające na żądanie nie zostawiają śladu w standardowej analityce, bo nie wykonują skryptów JavaScript. Jeżeli zespół ocenia obecność AI wyłącznie na podstawie sesji z odesłaniem od chat.openai.com, widzi jedynie wierzchołek zjawiska. Rzetelny obraz daje analiza logów serwera z podziałem na agenty użytkownika, zestawiona z listą adresów objętych blokadą. Dopiero wtedy widać, czy deklarowana polityka faktycznie działa.
Warto to połączyć z wiedzą o tym, skąd asystent w ogóle bierze materiał do odpowiedzi. Analiza pięciu równoległych kanałów pozyskiwania treści, którą opisaliśmy w tekście o tym, jak ChatGPT wybiera źródła, pokazuje, że pojedyncza blokada rzadko zamyka wszystkie drogi dostępu do treści.
Jak przełożyć to na konkretną konfigurację
Punktem wyjścia powinno być rozpisanie trzech niezależnych decyzji zamiast jednej. Dla witryny komercyjnej, która chce być cytowana w odpowiedziach generatywnych, ale nie zgadza się na wykorzystanie treści w trenowaniu modeli, układ wygląda następująco:
- GPTBot objęty dyrektywą Disallow dla całej witryny, ponieważ to jedyny z trzech agentów jednoznacznie powiązany z trenowaniem.
- OAI-SearchBot dopuszczony bez ograniczeń, bo jego zablokowanie usuwa serwis z wyników wyszukiwania wewnątrz ChatGPT.
- ChatGPT-User dopuszczony dla sekcji publicznych, z ewentualnym wyłączeniem katalogów płatnych lub wymagających logowania.
- Sekcje wrażliwe zabezpieczone dodatkowo na poziomie serwera, a nie wyłącznie wpisem w robots.txt, ponieważ ten drugi mechanizm bywa traktowany jako niewiążący.
Warto pamiętać, że nazwy agentów w pliku robots.txt są dopasowywane po prefiksie, a nie po pełnym ciągu. Reguła wskazująca na ChatGPT obejmie zatem ChatGPT-User, ale nie obejmie GPTBot ani OAI-SearchBot, mimo że wszystkie należą do tej samej firmy. Ten szczegół odpowiada za znaczną część błędnych konfiguracji spotykanych podczas audytów.
Druga typowa pomyłka polega na blokowaniu agentów przy pomocy reguły ogólnej dla wszystkich robotów, po której następuje lista wyjątków. Kolejność i specyficzność dyrektyw bywa interpretowana odmiennie przez różne implementacje, więc bezpieczniej jest zapisać osobny blok dla każdego agenta, którego dotyczy świadoma decyzja, nawet kosztem dłuższego pliku.
Wymiar regulacyjny w Europie
Niższy odsetek blokad po stronie europejskiej nabiera dodatkowego znaczenia w kontekście przepisów o przejrzystości danych treningowych. Dostawcy modeli ogólnego przeznaczenia mają obowiązek dokumentowania źródeł oraz respektowania zastrzeżeń praw, przy czym mechanizmem wyrażania takiego zastrzeżenia w środowisku sieciowym pozostaje w praktyce plik robots.txt. Jeżeli część ruchu pobierającego jest wyłączona spod tego mechanizmu z uwagi na inicjatywę użytkownika, powstaje luka między deklarowanym prawem do sprzeciwu a jego techniczną egzekucją.
Wydawcy, którzy chcą zabezpieczyć swoją pozycję na wypadek sporu, powinni zadbać o dokumentowanie stanu blokad w czasie. Archiwizacja kolejnych wersji pliku robots.txt wraz z datami wdrożenia oraz zachowanie fragmentów logów serwera pokazujących dostęp mimo obowiązującej dyrektywy tworzą materiał dowodowy, którego nie da się odtworzyć wstecz.
Reakcje branży
Stanowisko OpenAI nie jest odosobnione. Perplexity od dawna posługuje się bardzo zbliżoną argumentacją, wskazując, że żądanie zainicjowane przez użytkownika nie jest crawlowaniem i nie podlega tym samym regułom. Obie firmy budują więc spójną linię obrony wokół rozróżnienia na automat i asystenta.
Wyraźnie inne stanowisko zajął Anthropic. Firma deklaruje, że wszystkie trzy boty Claude respektują robots.txt niezależnie od kontekstu żądania, także wtedy, gdy pobranie następuje na wyraźne polecenie użytkownika. To rozbieżność o znaczeniu praktycznym, bo oznacza, że identyczna konfiguracja pliku robots.txt daje zupełnie różne rezultaty w zależności od dostawcy modelu. Wydawca, który przetestuje blokadę na Claude i uzna, że działa, może wyciągnąć błędny wniosek co do skuteczności tej samej reguły wobec ChatGPT.
W branży SEO reakcje rozłożyły się wzdłuż linii interesów. Konsultanci pracujący dla marek e-commerce przyjęli komunikat spokojnie, wskazując, że pobranie na żądanie użytkownika to w ich przypadku sygnał zainteresowania produktem, a nie kradzież treści. Przedstawiciele wydawców treści premium formułują ocenę znacznie ostrzejszą, zwracając uwagę, że interpretacja OpenAI pozwala obejść blokadę przy zachowaniu formalnej zgodności z deklaracjami o poszanowaniu standardu.
Cloudflare zmienia reguły gry od 15 września
Do sporu wchodzi trzeci gracz, który dysponuje narzędziami egzekucji, a nie tylko deklaracjami. Cloudflare zapowiedział, że od 15 września 2026 roku będzie domyślnie blokować crawlery kategorii Training oraz Agent na stronach zawierających reklamy, przepuszczając wyłącznie crawlery wyszukiwarkowe. Warunkiem uniknięcia blokady jest jasne rozdzielenie funkcji: agent, który nie zadeklaruje, w jakiej roli wykonuje dane żądanie, zostanie zablokowany w całości na stronach monetyzowanych reklamą.
Nowe ustawienia obejmą nowych klientów Cloudflare, nowe witryny zakładane przez klientów obecnych oraz wszystkich dotychczasowych użytkowników planu bezpłatnego. Klienci płatni zachowają możliwość nadpisania domyślnych reguł z poziomu panelu i ponownego dopuszczenia wybranych agentów.
Znaczenie tej decyzji trudno przecenić. Jeżeli robots.txt jest prośbą, to konfiguracja na brzegu sieci jest odmową wykonywalną, a Cloudflare obsługuje na tyle dużą część ruchu, że jego domyślne ustawienia stają się faktycznym standardem branżowym. Dotychczasowe dane platformy o dysproporcji między pobieraniem a odsyłaniem ruchu, które omawialiśmy w analizie pokazującej, że boty AI biorą coraz więcej, a oddają coraz mniej, stanowiły merytoryczne uzasadnienie dla tego kroku.
Co dalej
Najbliższe tygodnie zdecydują, czy rozróżnienie na crawlera i agenta utrwali się jako norma techniczna, czy zostanie zakwestionowane. Trwają prace nad rozszerzeniami standardu wykluczeń, które pozwoliłyby wydawcy wyrazić zgodę osobno dla trenowania, indeksowania i pobierania na żądanie, zamiast wnioskować o intencji z nazwy agenta. Dopóki takiego mechanizmu nie ma, każdy dostawca interpretuje istniejące reguły po swojemu.
Dla zespołów SEO i AIO praktyczna lista zadań na najbliższy kwartał jest stosunkowo krótka. Po pierwsze, przegląd pliku robots.txt pod kątem rozdzielenia trzech funkcji zamiast jednej reguły zbiorczej. Po drugie, analiza logów serwera z podziałem na agenty, żeby ustalić rzeczywisty, a nie deklarowany stan dostępu. Po trzecie, weryfikacja ustawień na poziomie CDN przed 15 września, szczególnie w serwisach z reklamami, gdzie domyślna zmiana Cloudflare może odciąć ruch agentowy bez świadomej decyzji właściciela.
Warto też przygotować się na scenariusz, w którym blokady staną się przedmiotem negocjacji handlowej, a nie konfiguracji technicznej. Kierunek wyznaczony przez modele licencyjne i systemy mikropłatności za dostęp sugeruje, że pytanie przestanie brzmieć „czy zablokować”, a zacznie brzmieć „na jakich warunkach dopuścić”. Plik robots.txt pozostanie wtedy tym, czym coraz wyraźniej się staje: sygnałem intencji, który wymaga twardszej warstwy egzekucji.
FAQ
Czy OpenAI oficjalnie ignoruje robots.txt?
Nie w odniesieniu do wszystkich swoich agentów. GPTBot oraz OAI-SearchBot respektują dyrektywy zawarte w pliku. Dokumentacja firmy wskazuje jedynie, że wobec ChatGPT-User, który pobiera stronę na bezpośrednie polecenie użytkownika, reguły robots.txt mogą nie mieć zastosowania, ponieważ żądanie jest inicjowane przez człowieka, a nie przez automatyczny harmonogram.
Czy zablokowanie ChatGPT-User usunie moją witrynę z ChatGPT Search?
Nie. Za widoczność w wynikach wyszukiwania wewnątrz ChatGPT odpowiada osobny agent, OAI-SearchBot. Zablokowanie ChatGPT-User wpływa wyłącznie na możliwość pobrania strony na żywo podczas rozmowy z użytkownikiem. To dwie niezależne decyzje i warto podejmować je osobno.
Jak sprawdzić, czy agenty AI sięgają po zablokowane adresy?
Standardowa analityka tego nie pokaże, ponieważ agenty pobierające nie wykonują skryptów JavaScript. Potrzebna jest analiza logów serwera z filtrowaniem po nazwie agenta użytkownika, zestawiona z listą adresów objętych dyrektywą Disallow. Dopiero porównanie tych dwóch zbiorów ujawnia rzeczywistą skuteczność polityki dostępu.
Co zmienia decyzja Cloudflare z 15 września 2026?
Od tej daty crawlery kategorii Training oraz Agent będą domyślnie blokowane na stronach z reklamami, a przepuszczane pozostaną wyłącznie crawlery wyszukiwarkowe. Zmiana obejmie nowych klientów, nowe witryny klientów obecnych oraz wszystkich użytkowników planu bezpłatnego. Klienci płatni mogą nadpisać te ustawienia w panelu.
Czy powinienem blokować agenty pobierające na żądanie użytkownika?
To zależy od modelu biznesowego. Serwisy e-commerce i marki budujące widoczność w odpowiedziach generatywnych zwykle korzystają na dopuszczeniu takich agentów, bo prowadzi to do cytowania marki. Wydawcy utrzymujący się z reklam oraz serwisy z treścią płatną mają odwrotny interes, ponieważ ekstrakcja odpowiedzi zastępuje wizytę monetyzowaną.