Zanim zaczniesz optymalizować cokolwiek pod chatboty, warto odpowiedzieć na proste pytanie: czy model w ogóle wie, że Twoja firma istnieje? To nie to samo co bycie widocznym w Google. Marka w danych treningowych LLM to zupełnie inny zasób niż pozycja w wynikach wyszukiwania, bo wiedza wytrenowana jest zamrożona w wagach modelu, a wiedza z sieci dociąga się dopiero w momencie odpowiedzi.
Poniżej znajdziesz sześć testów promptowych, które da się powtórzyć co miesiąc w identycznej formie. Nie wymagają dostępu do API ani budżetu na narzędzia. Wymagają tylko dyscypliny w zapisywaniu wyników, bo dopiero seria pomiarów pokazuje trend.
Wiedza z treningu a wiedza z wyszukiwania
Współczesne asystenty odpowiadają z dwóch źródeł. Pierwsze to parametryczna pamięć modelu, czyli wszystko, co zostało zapisane w wagach podczas treningu. Drugie to warstwa dociągania dokumentów w czasie rzeczywistym, popularnie nazywana groundingiem. Jeśli te dwa tryby zlewają Ci się w jedno, przejrzyj najpierw jak działa RAG w wyszukiwarkach AI, bo cała metodologia poniżej opiera się na rozdzieleniu tych warstw.
Różnica ma konsekwencje praktyczne. Obecność w danych treningowych działa jak kapitał: buduje się latami, jest trudna do wymuszenia i nie da się jej cofnąć jednym wdrożeniem. Obecność w warstwie dociągania działa jak przepływ: zależy od tego, czy Twoje strony są dostępne dla crawlerów, czy treść jest łatwa do wyodrębnienia i czy w danym momencie wygrywa konkurencję o cytowanie. Modele coraz częściej łączą oba tryby, a badania nad zachowaniem asystentów pokazują, że ChatGPT wybiera marki jeszcze przed wyszukaniem, dopiero potem szukając dla nich potwierdzenia. To dlatego test na czystej pamięci modelu jest tak istotny.
Zanim przejdziesz dalej, ustal trzy rzeczy: listę modeli do testowania (minimum ChatGPT, Claude i Gemini), jedną osobę odpowiedzialną za pomiar oraz stały dzień miesiąca. Zmiana promptu między pomiarami unieważnia porównanie.
Test 1: pytanie o markę bez dostępu do sieci
To najważniejszy test w całym zestawie, bo mierzy wyłącznie pamięć wytrenowaną. Wyłącz w interfejsie wyszukiwanie w sieci (w ChatGPT wystarczy nie włączać narzędzia web search, w Gemini wybierz tryb bez groundingu) i zadaj pytanie neutralne, bez podpowiedzi.
Prompt bazowy: „Co wiesz o firmie [nazwa]? Jeśli nie masz o niej informacji, powiedz to wprost i nie zgaduj.” Klauzula o niegadaniu jest kluczowa, bo bez niej model chętnie skonfabuluje profil firmy na podstawie samej nazwy.
Wyniki klasyfikuj w czterech kubełkach: brak wiedzy, wiedza błędna (halucynacja), wiedza szczątkowa (poprawna kategoria, brak szczegółów), wiedza konkretna (poprawny profil, usługi, lokalizacja). Kubełek trzeci i czwarty oznaczają, że marka jest realnie obecna w korpusie treningowym. Kubełek drugi jest najgroźniejszy: model mówi o Tobie rzeczy nieprawdziwe z pełną pewnością, a użytkownik nie ma powodu ich weryfikować.
Test 2: pytanie o kategorię, w której chcesz być wymieniony
Test pierwszy sprawdza, czy model Cię zna, gdy podasz nazwę. Test drugi sprawdza coś znacznie cenniejszego: czy przypomni sobie o Tobie sam, bez podpowiedzi. To symulacja realnego zapytania klienta, który nie zna jeszcze żadnego dostawcy.
Prompt: „Wymień 10 firm, które w Polsce zajmują się [kategoria usługi]. Podaj tylko nazwy.” Powtórz zapytanie trzy razy w osobnych, świeżych rozmowach, bo odpowiedzi modeli są niedeterministyczne i pojedynczy strzał niczego nie dowodzi.
Zapisuj dwie liczby: częstotliwość wystąpień (w ilu z trzech prób pojawiła się Twoja nazwa) oraz średnią pozycję na liście. Pozycja ma znaczenie, bo użytkownicy czytają początek odpowiedzi uważniej niż koniec, dokładnie jak w klasycznych wynikach wyszukiwania. Jeśli w trzech próbach nie pojawiasz się ani raz, a konkurenci pojawiają się stabilnie, masz twardy dowód na lukę w danych treningowych, a nie subiektywne wrażenie.
Test 3: weryfikacja faktów o firmie
Ten test mierzy jakość, nie samą obecność. Przygotuj listę pięciu do ośmiu faktów, które są publiczne i sprawdzalne: rok założenia, siedziba, główne usługi, nazwa produktu flagowego, imiona i nazwiska osób z zarządu. Następnie poproś model o uzupełnienie każdego pola.
Prompt: „Podaj rok założenia, siedzibę, trzy główne usługi i nazwę głównego produktu firmy [nazwa]. Jeśli któregoś faktu nie znasz, wpisz „brak danych” zamiast szacować.”
Policz trafność jako odsetek poprawnych pól. Osobno licz pola błędne i pola oznaczone jako brak danych, bo to dwa różne problemy. Brak danych to zadanie dla warstwy treści i danych strukturalnych. Błąd to zadanie dla pracy nad spójnością informacji w całej sieci: jeśli w trzech katalogach branżowych macie trzy różne lata założenia, model nie ma z czego wybrać poprawnie. Terminologię z tego obszaru (grounding, halucynacja, cytowalność) znajdziesz zebraną w słowniku AIO na 40 pojęć.
Test 4: pytanie o konkurencję i porównania
Zapytania porównawcze to jeden z najbardziej dochodowych typów ruchu, bo użytkownik jest już blisko decyzji. Sprawdź więc, jak model ustawia Cię w bezpośrednim zestawieniu.
Użyj dwóch wariantów. Symetrycznego: „Porównaj [Twoja marka] i [konkurent] pod kątem [kryterium].” Oraz otwartego: „Kto jest głównym konkurentem [konkurent] w Polsce?” Drugi wariant jest bardziej brutalny, bo nie zakłada, że w ogóle należysz do zestawu porównawczego.
Zwróć uwagę na trzy sygnały. Po pierwsze, czy model potrafi wskazać różnicę merytoryczną, czy tylko generuje ogólniki, które pasowałyby do dowolnych dwóch firm. Po drugie, po której stronie stawia konkretne liczby i cechy, bo strona z detalami wygląda wiarygodniej. Po trzecie, czy przypisuje Ci cechy fałszywe lub przestarzałe, na przykład usługę wycofaną dwa lata temu. Jeśli model regularnie opisuje Cię ogólnikami, a konkurenta szczegółami, prawdopodobnie jego treści są łatwiej dostępne do wyodrębnienia. Częstą przyczyną jest zamknięcie własnych materiałów przed crawlerami, o czym więcej w tekście o tym, co chatboty widzą i cytują z treści za paywallem.
Test 5 i 6: warianty językowe i lokalne
Test 5 to ten sam zestaw pytań zadany po angielsku. Modele trenowane głównie na korpusie angielskim mają w tym języku gęstszą i lepiej powiązaną reprezentację wiedzy. Zdarza się, że marka rozpoznawana po angielsku znika przy pytaniu po polsku, i odwrotnie: firma opisywana szeroko w polskich mediach branżowych bywa nieobecna w odpowiedziach angielskich. Różnica między tymi dwoma pomiarami pokazuje, w którym korpusie brakuje o Tobie materiału.
Test 6 dotyczy kontekstu lokalnego i intencji komercyjnej. Zadaj pytanie tak, jak zrobiłby to klient: „Szukam [usługa] w [miasto]. Kogo polecasz i dlaczego?” Zwróć uwagę, czy model podaje nazwy własne, czy ucieka w bezpieczne uogólnienia typu „poszukaj lokalnej agencji z opiniami”. Ucieczka w uogólnienia oznacza, że dla tej kategorii i lokalizacji model nie ma wystarczająco pewnej wiedzy, co paradoksalnie jest dobrą wiadomością: nikt jeszcze tego miejsca nie zajął.
Jak zapisywać wyniki, żeby porównywać je co miesiąc
Jednorazowy pomiar jest ciekawostką. Wartość powstaje z serii, więc struktura zapisu ma znaczenie większe niż same prompty. Minimalny arkusz to jedna linia na kombinację testu i modelu:
| Pole | Przykład | Po co |
|---|---|---|
| data | 2026-08-17 | stały dzień miesiąca, porównywalność w czasie |
| model i wersja | ChatGPT, GPT-5 | zmiana wersji tłumaczy nagłe skoki |
| tryb | bez sieci / z siecią | rozdziela pamięć treningową od groundingu |
| numer testu | 2 | agregacja po typie pomiaru |
| wynik liczbowy | 2 na 3 próby, pozycja 7 | trend, a nie wrażenie |
| cytowane źródła | 2 domeny własne, 1 obca | widać, co model uznaje za wiarygodne |
| surowa odpowiedź | pełny tekst | audyt wsteczny halucynacji |
Trzy zasady higieny pomiaru, bez których dane będą mylące. Zawsze startuj z nowej rozmowy, bo kontekst poprzednich pytań zmienia odpowiedź. Wyłącz personalizację i pamięć asystenta, inaczej mierzysz swoją własną historię rozmów, nie wiedzę modelu. Notuj wersję modelu, bo aktualizacja potrafi zmienić wynik mocniej niż kwartał Twojej pracy nad treścią.
Warto też rozumieć, dlaczego wyniki różnią się między trybami. Dokumentacja narzędzia wyszukiwania w OpenAI Platform opisuje, że model dostaje wyniki jako dodatkowy kontekst do odpowiedzi, a nie jako zamiennik swojej wiedzy. Google z kolei opisuje warunki pojawiania się treści w funkcjach AI w Search Central. Oba źródła prowadzą do tego samego wniosku: dostępność techniczna to warunek konieczny, ale nie wystarczający.
Po drugim lub trzecim pomiarze zobaczysz wzorce, których nie da się zauważyć w jednym podejściu. Typowy scenariusz: test 1 stabilny, test 2 skacze między pomiarami. To sygnał, że jesteś na granicy pewności modelu i drobne wzmocnienie sygnałów zewnętrznych (wzmianki, katalogi branżowe, publikacje) może przesunąć Cię na stałe do zestawu rekomendacji. Scenariusz odwrotny, czyli test 2 stabilny przy słabym teście 1, oznacza zwykle, że wygrywasz warstwą dociąganą, a nie pamięcią modelu. Wtedy priorytetem jest utrzymanie dostępności treści dla crawlerów, bo cała widoczność stoi na jednej nodze.
FAQ
Czy da się celowo wprowadzić markę do danych treningowych?
Nie ma mechanizmu zgłoszeniowego, a próby sztucznego zalewania sieci treścią bywają wychwytywane przy filtrowaniu korpusu. Działa natomiast to samo, co buduje autorytet od lat: cytowalne materiały we własnej domenie, wzmianki w źródłach o dobrej reputacji, spójne dane firmowe w katalogach i konsekwentne nazewnictwo. Efekt widać dopiero przy kolejnych cyklach treningowych, więc licz w kwartałach, nie tygodniach.
Jak często powtarzać ten zestaw testów?
Raz w miesiącu w stałym dniu to dobry kompromis. Częściej wpada w szum niedeterminizmu, rzadziej niż raz na kwartał gubi moment aktualizacji modelu. Wyjątek: po dużym wdrożeniu treściowym albo po zmianie reguł dostępu w robots.txt warto zrobić pomiar dodatkowy.
Model podaje o mojej firmie nieprawdziwe informacje. Co zrobić?
Najpierw ustal, czy błąd pochodzi z pamięci treningowej (powtarza się w trybie bez sieci), czy z dociągniętego dokumentu (pojawia się tylko z włączonym wyszukiwaniem). W drugim przypadku znajdź źródło i popraw je lub zadbaj o mocniejszą, jednoznaczną wersję faktu we własnej domenie. W pierwszym przypadku zostaje praca długofalowa: publikacja jednoznacznych, dobrze ustrukturyzowanych faktów o firmie, tak aby przy kolejnym treningu poprawna wersja miała przewagę liczbową.
Czy wyniki z ChatGPT, Claude i Gemini są porównywalne?
Nie wprost, bo różnią się korpusami, datami odcięcia wiedzy i sposobem dociągania dokumentów. Porównuj każdy model z jego własnym wynikiem z poprzedniego miesiąca. Zestawienie między modelami ma sens tylko jako obraz tego, gdzie masz najmocniejszą i najsłabszą pozycję.
Ile prób wystarczy, żeby wynik był miarodajny?
Trzy próby na prompt to praktyczne minimum przy testach obecności w listach rekomendacji. Przy teście 1 i 3, gdzie odpowiedzi są znacznie stabilniejsze, wystarczy jedna próba plus jedna kontrolna. Jeśli dwie próby tego samego promptu dają skrajnie różne wyniki, zanotuj to jako zmienność, bo sama niestabilność jest informacją o sile Twojej reprezentacji w modelu.