Wiesz już, ile razy ChatGPT wymienia twoją markę. Pytanie, które pada zaraz potem, brzmi inaczej: czy to dużo? Bez punktu odniesienia liczba „siedem wzmianek na czterdzieści promptów” nic nie znaczy. Dopiero zestawienie z pięcioma konkurentami zamienia ją w informację, na podstawie której można podjąć decyzję redakcyjną.
Ten tekst opisuje, jak zbudować taki panel porównawczy samodzielnie, w arkuszu kalkulacyjnym, bez abonamentu za kilkaset dolarów miesięcznie. Jeżeli dopiero zaczynasz mierzyć obecność marki w odpowiedziach modeli, zacznij od szerszego opracowania pomiaru widoczności marki w AI, a potem wróć tutaj po warstwę konkurencyjną.
Wybór konkurentów do benchmarku
Najczęstszy błąd na starcie to wybranie konkurentów z prezentacji zarządu zamiast z rzeczywistych odpowiedzi modeli. Lista „naszych głównych rywali” prawie nigdy nie pokrywa się z listą marek, które model faktycznie wymienia, gdy użytkownik pyta o twoją kategorię.
Zrób to odwrotnie. Zadaj modelowi pięć szerokich pytań kategorialnych („jakie firmy oferują X w Polsce”, „kto jest liderem w Y”), wypisz wszystkie marki, które padły, i policz częstotliwość. Dopiero z tej listy wybierz pięciu konkurentów do stałego benchmarku. Rekomendowany skład to dwie marki wymieniane częściej od ciebie, dwie o podobnej częstotliwości i jedna wyraźnie mniejsza, która rośnie. Ta ostatnia jest najcenniejsza, bo pokazuje, co działa teraz, a nie co działało trzy lata temu.
Pięć to liczba praktyczna, nie magiczna. Przy trzech konkurentach wykres nie pokazuje rozkładu, przy dziesięciu ręczne zbieranie odpowiedzi przestaje mieścić się w rozsądnym czasie. Zablokuj tę listę na co najmniej dwa kwartały. Panel, w którym co miesiąc zmienia się skład porównania, nie mierzy niczego.
Lista promptów wspólna dla wszystkich marek
Serce benchmarku to zestaw promptów, który jest identyczny dla ciebie i dla każdego konkurenta. Jeżeli o sobie pytasz inaczej niż o rywali, wynik jest z góry zafałszowany.
Buduj listę w czterech warstwach:
- Prompty kategorialne (około 40 procent zestawu): „jakie narzędzia do X warto rozważyć”, bez nazw marek. To one pokazują, kto w ogóle wchodzi do odpowiedzi.
- Prompty porównawcze (25 procent): „porównaj A i B”, „co wybrać zamiast C”. Ujawniają, obok kogo model stawia twoją markę.
- Prompty problemowe (25 procent): opis sytuacji użytkownika bez nazwy kategorii, na przykład „mam sklep i nie wiem, dlaczego spadła sprzedaż”. Tu wygrywają marki z dobrą treścią edukacyjną.
- Prompty brandowe (10 procent): „czy marka D jest wiarygodna”. Sprawdzają ton, w jakim model mówi o każdym graczu.
Czterdzieści promptów to sensowne minimum dla jednej kategorii. Poniżej trzydziestu wahania losowe modelu przykrywają sygnał. Prompty zapisz w osobnej zakładce arkusza i nadaj im stałe identyfikatory (P01, P02 i tak dalej). Gdy po pół roku zechcesz dołożyć nowe, dopisujesz je na końcu, nigdy nie przenumerowując starych.
Zbieranie odpowiedzi i zapis dowodów
Trzy decyzje na tym etapie przesądzają o tym, czy panel będzie porównywalny w czasie.
Po pierwsze, sesja czysta. Każdy prompt zadawaj w nowej rozmowie, z wyłączoną pamięcią i personalizacją. Model, który pamięta, że pytałeś o swoją markę dziesięć minut wcześniej, będzie ją podpowiadał częściej. Dokumentacja producentów opisuje, jak wyłączyć te funkcje; dokumentacja OpenAI jest tu dobrym punktem wyjścia, jeżeli chcesz zautomatyzować zbieranie przez API zamiast klikać ręcznie.
Po drugie, trzy powtórzenia. Modele generatywne są niedeterministyczne. Ten sam prompt zadany trzy razy potrafi dać trzy różne listy marek. Zbieraj każdy prompt trzykrotnie i notuj, w ilu z trzech przebiegów dana marka się pojawiła. To zamienia zero-jedynkową wzmiankę w liczbę od 0 do 3, znacznie odporniejszą na szum.
Po trzecie, dowód w postaci tekstu. Zapisuj pełną treść odpowiedzi, nie tylko swój wniosek. Zrzut ekranu nie wystarcza, bo nie da się go przeszukać. Najprostszy układ to jeden plik tekstowy na przebieg pomiarowy, nazwany datą, z odpowiedziami rozdzielonymi identyfikatorem promptu. Za trzy miesiące, gdy ktoś zapyta „dlaczego w lipcu mieliśmy skok”, będziesz mógł odpowiedzieć konkretem zamiast hipotezą.
Pomiar powtarzaj w stałym rytmie. Raz w miesiącu wystarcza dla większości kategorii, raz na dwa tygodnie ma sens tylko wtedy, gdy aktywnie publikujesz treść pod tę kategorię.
Struktura arkusza i pola obowiązkowe
Arkusz trzymaj w formie długiej, czyli jeden wiersz na kombinację promptu, marki i daty pomiaru. Kuszące jest zrobienie szerokiej tabeli z markami w kolumnach, ale wtedy każdy nowy konkurent wymaga przebudowy wszystkich formuł.
| Pole | Typ | Po co |
|---|---|---|
| data_pomiaru | data | oś czasu wszystkich wykresów |
| prompt_id | tekst (P01) | stałe spięcie z zakładką promptów |
| warstwa | kategoria | kategorialny, porównawczy, problemowy, brandowy |
| model | tekst | ChatGPT, Perplexity, Gemini, Claude |
| marka | tekst | ty plus pięciu konkurentów |
| trafienia | liczba 0–3 | w ilu z trzech przebiegów marka padła |
| pozycja | liczba | które z kolei miejsce na liście modelu |
| wydzwiek | kategoria | pozytywny, neutralny, negatywny |
| zrodlo_url | tekst | czy model podlinkował domenę marki |
| plik_dowodu | tekst | nazwa pliku z pełną odpowiedzią |
Dwa pola bywają pomijane i oba są ważniejsze, niż się wydaje. Pozycja odróżnia markę wymienianą pierwszą od wymienianej siódmej; przy tej samej liczbie wzmianek to zupełnie inna sytuacja biznesowa. Zrodlo_url mówi, czy model tylko zna nazwę, czy faktycznie sięga po twoją treść. Marka wymieniana często, ale nigdy nielinkowana, ma problem z treścią, nie z rozpoznawalnością.
Na bazie tych pól licz trzy wskaźniki: udział wzmianek (suma trafień marki podzielona przez sumę trafień wszystkich sześciu marek), zasięg promptów (odsetek promptów, w których marka padła choć raz) i średnią pozycję. Pierwszy pokazuje udział w rynku uwagi, drugi szerokość pokrycia, trzeci jakość miejsca.
Wykresy, które pokazują zmianę
Wystarczą trzy wizualizacje i warto oprzeć się pokusie dokładania kolejnych.
Wykres warstwowy udziału wzmianek w czasie. Sześć pasm sumujących się do stu procent, miesiąc po miesiącu. To jedyny wykres, który natychmiast pokazuje, czy rośniesz cudzym kosztem, czy cała kategoria rośnie razem z tobą.
Mapa cieplna prompt razy marka. Wiersze to prompty, kolumny to sześć marek, intensywność koloru to liczba trafień. Białe pasy w twojej kolumnie przy ciemnych polach konkurentów to gotowa lista tematów do napisania. Ten wykres generuje więcej decyzji redakcyjnych niż cała reszta panelu.
Wykres rozproszenia zasięg kontra średnia pozycja. Oś pozioma to odsetek promptów z wzmianką, oś pionowa to średnia pozycja (odwrócona). Cztery ćwiartki czytają się same: szeroki zasięg i wysoka pozycja to pozycja lidera, wąski zasięg i wysoka pozycja to specjalista niszowy, szeroki zasięg i niska pozycja oznacza, że model cię zna, ale nie poleca w pierwszej kolejności.
Osobno trzymaj prosty licznik zmian względem poprzedniego pomiaru. Różnica mniejsza niż trzy punkty procentowe w udziale wzmianek mieści się w szumie niedeterminizmu i nie powinna uruchamiać żadnego działania. Ten próg wyznacz empirycznie: zmierz swoją markę dwa razy tego samego dnia i zobacz, jak bardzo wynik potrafi się różnić bez żadnej interwencji.
Co zrobić z wynikiem: priorytety treści
Panel bez decyzji jest kosztem, nie aktywem. Trzy najczęstsze układy wyników prowadzą do trzech różnych działań.
- Konkurent dominuje jedną warstwę promptów. Jeżeli rywal wygrywa wszystkie prompty problemowe, a ty wszystkie brandowe, oznacza to, że on ma treść edukacyjną, a ty tylko materiały o sobie. Działanie: poradniki odpowiadające na sytuację użytkownika, bez nazwy własnej w tytule.
- Jesteś wymieniany, ale nigdy linkowany. Model zna nazwę z cudzych tekstów, a nie z twoich. Działanie: treść, którą warto cytować, czyli dane własne, definicje i tabele porównawcze zamiast opisów oferty.
- Wysoka pozycja, wąski zasięg. Jesteś świetny w trzech promptach i nieobecny w trzydziestu siedmiu. Działanie: poszerzanie tematyczne wokół tego, co już działa, zamiast optymalizowania stron, które już wygrywają.
Priorytetyzuj promptami, nie stronami. Prompt, w którym pięciu konkurentów jest obecnych, a ty nie, to konkretny brak treści z policzalną wartością. Prompt, w którym nikt nie jest wymieniany, to albo nisza do zagarnięcia, albo pytanie, którego nikt nie zadaje.
Gdy będziesz gotów porównać własny panel z gotowymi rozwiązaniami, przyda się przegląd rynku w zestawieniu narzędzi AIO i ich funkcji benchmarkowych. Warto też zestawić obraz z widocznością w klasycznym wyszukiwaniu; metodyka z tekstu o narzędziach do analizy linków pokazuje, jak zestawić profil linkowy tych samych sześciu marek, co często tłumaczy, dlaczego jedna z nich jest cytowana częściej niż wynikałoby to z jakości jej treści.
Ile to realnie kosztuje
Pierwszy pomiar dla sześciu marek i czterdziestu promptów w trzech powtórzeniach to około 720 zapytań. Ręcznie zajmuje to od czterech do sześciu godzin, przez API około czterdziestu minut czasu maszynowego i kilka dolarów. Kolejne przebiegi są szybsze, bo lista promptów jest już gotowa, a arkusz tylko przyjmuje nowe wiersze.
Wersja minimalna, od której można zacząć jutro: trzech konkurentów, dwadzieścia promptów, jeden model, jedno powtórzenie, raz w miesiącu. To nadaje się do wykrycia dużych różnic, a nie do mierzenia drobnych zmian. Rozbudowuj panel dopiero wtedy, gdy pierwsza wersja faktycznie wywołała jakąś decyzję redakcyjną.
FAQ
Ile promptów potrzeba, żeby benchmark miał sens?
Minimum trzydzieści, komfortowo czterdzieści na jedną kategorię produktową. Poniżej trzydziestu losowe wahania odpowiedzi modelu przykrywają rzeczywistą różnicę między markami i wykres zaczyna pokazywać szum zamiast trendu.
Czy trzeba mierzyć we wszystkich modelach naraz?
Nie na starcie. Zacznij od jednego modelu, w którym twoi klienci realnie szukają, i utrzymaj go przez co najmniej trzy pomiary. Dokładanie kolejnych modeli od razu potraja pracę, a różnice między nimi są zwykle mniejsze niż różnice między markami.
Jak często powtarzać pomiar?
Raz w miesiącu dla większości kategorii. Co dwa tygodnie ma sens tylko przy aktywnej publikacji treści pod daną kategorię. Częściej niż raz w tygodniu nie ma uzasadnienia, bo indeksacja i aktualizacja bazy wiedzy modeli działają wolniej.
Czy da się to zautomatyzować bez programowania?
Częściowo. Zbieranie odpowiedzi przez API wymaga skryptu, ale samo liczenie wzmianek i wykresy działają w zwykłym arkuszu na formułach. Praktyczny kompromis to ręczne zbieranie co miesiąc i automatyzacja dopiero wtedy, gdy panel dowiedzie swojej wartości.
Co zrobić, gdy konkurent nagle wyprzedza o kilkanaście punktów?
Najpierw sprawdź, czy to nie artefakt pomiaru: powtórz przebieg następnego dnia w czystej sesji. Jeżeli różnica się utrzymuje, otwórz pliki dowodów i sprawdź, w których promptach konkretnie nastąpiła zmiana i czy model podaje przy tej marce link do źródła.
Czy wzmianka bez linku ma jakąkolwiek wartość?
Ma, ale mniejszą. Oznacza, że model kojarzy nazwę marki z kategorią, co pomaga w rozpoznawalności, ale nie generuje ruchu ani nie potwierdza, że twoja treść jest źródłem odpowiedzi. Dlatego warto śledzić oba wskaźniki osobno.