Zespoły marketingu potrafią dziś powiedzieć, na której pozycji w Google stoi ich strona na kluczowe zapytanie. Znacznie rzadziej potrafią odpowiedzieć na pytanie, które coraz częściej pada na zarządzie: czy model językowy w ogóle wymienia naszą markę, kiedy klient pyta o rozwiązanie z naszej kategorii. To nie jest pytanie retoryczne, bo część ścieżki zakupowej przeniosła się do interfejsów, które nie generują kliknięcia, nie przekazują referrera i nie zostawiają śladu w klasycznej analityce.
Poniżej znajdziesz kompletny system pomiaru: od doboru promptów, przez próbkowanie i definicje metryk, po arkusz zbiorczy i jednostronicowy raport miesięczny. System jest celowo prosty, bo pomiar, którego nie da się powtórzyć co tydzień bez zaangażowania trzech osób, umiera po drugim miesiącu.
Czego nie mierzy klasyczna analityka
Google Analytics 4 i Search Console mierzą zdarzenia po stronie ruchu: wyświetlenie, kliknięcie, sesję, konwersję. Cała ta warstwa zakłada, że użytkownik gdzieś kliknął. Tymczasem odpowiedź asystenta bywa końcem ścieżki informacyjnej, a nie jej początkiem. Użytkownik pyta o porównanie narzędzi, dostaje listę trzech nazw z krótkim opisem i podejmuje decyzję, której żaden licznik nie zarejestruje.
Problem ma trzy warstwy. Po pierwsze, wzmianka bez linku nie generuje żadnego zdarzenia, więc marka może być regularnie rekomendowana i nie zobaczysz tego w raportach. Po drugie, nawet gdy model poda link, ruch często trafia do analityki jako wejście bezpośrednie, bo nagłówek odsyłający bywa pusty lub ucięty. Po trzecie, zapytania zadawane modelom są dłuższe i bardziej rozmowne niż hasła wpisywane w wyszukiwarkę, więc nie znajdziesz ich w raporcie zapytań, nawet jeśli generują realny popyt.
Wniosek jest praktyczny: obecności w odpowiedziach AI nie da się wywnioskować z danych o ruchu. Trzeba ją mierzyć u źródła, czyli odpytywać modele i analizować to, co zwracają. Pomiar przesuwa się z warstwy wejścia na stronę do warstwy wyjścia modelu, a to zupełnie inny rodzaj danych: tekst, a nie liczba.
Zestaw promptów reprezentatywny dla Twojej kategorii
Fundamentem całego systemu jest stały zestaw pytań. To odpowiednik koszyka słów kluczowych, tylko że zamiast fraz zbierasz pełne zapytania w naturalnym języku. Dobry zestaw ma od 30 do 60 promptów i pokrywa pięć typów intencji.
| Typ intencji | Przykład promptu | Udział w zestawie |
|---|---|---|
| Odkrywanie kategorii | Jakie narzędzia pomagają monitorować widoczność marki w odpowiedziach AI? | 25% |
| Porównanie | Czym różni się monitoring cytowań od klasycznego rank trackingu? | 20% |
| Rekomendacja | Co polecasz agencji, która chce raportować widoczność w AI dla klientów? | 25% |
| Problem do rozwiązania | Model nie wymienia mojej firmy w odpowiedziach, od czego zacząć? | 15% |
| Marka wprost | Czy [nazwa marki] to wiarygodne narzędzie do analityki AIO? | 15% |
Najważniejsza zasada brzmi: w co najmniej 80% promptów nie może paść nazwa Twojej marki. Pytanie, w którym sam podajesz nazwę, mierzy wiedzę modelu o firmie, a nie jej pozycję konkurencyjną. Prompty markowe zostaw jako osobną, mniejszą grupę i raportuj je oddzielnie, bo odpowiadają na inne pytanie biznesowe (co model wie i czy nie myli faktów).
Zestaw zamrażasz na kwartał. Każda zmiana pytania w trakcie okresu unieważnia porównanie z poprzednim miesiącem, a to najczęstsza przyczyna trendów, które wyglądają spektakularnie i nic nie znaczą. Nowe prompty dokładaj w osobnej sekcji arkusza, oznaczone datą wejścia, i włączaj do głównego wskaźnika dopiero od kolejnego kwartału.
Częstotliwość i sposób próbkowania odpowiedzi
Modele językowe są niedeterministyczne. Ten sam prompt zadany pięć razy potrafi zwrócić pięć różnie skomponowanych list. Jedno wywołanie na prompt to nie pomiar, to anegdota. Minimum operacyjne to trzy powtórzenia, a przy zestawie mniejszym niż 40 promptów lepiej ustawić pięć. Dopiero wtedy wskaźnik obecności staje się częstością, którą da się sensownie porównywać w czasie.
Częstotliwość tygodniowa sprawdza się najlepiej. Dzienna generuje szum, który zjada czas analityka, a miesięczna daje zbyt mało punktów, żeby odróżnić trend od wahania. Przy 40 promptach, trzech modelach i trzech powtórzeniach wychodzi 360 wywołań tygodniowo, co dla większości firm oznacza koszt API w okolicach kilkunastu złotych.
Warunki próbkowania trzeba ustandaryzować, bo inaczej mierzysz konfigurację, a nie markę. Trzy rzeczy mają znaczenie krytyczne: czysta sesja bez historii i pamięci o użytkowniku, jawnie ustawiony język oraz kraj, a także stała wersja modelu zapisana w logu. Aktualizacja modelu potrafi przestawić wynik o kilkanaście punktów procentowych w ciągu tygodnia, więc numer wersji jest częścią danych, nie metadanych. Cały ten cykl da się uruchomić bezobsługowo, a gotowy schemat opisaliśmy w tekście o automatycznym raportowaniu cytowań w Pythonie.
Metryki: obecność, pozycja wzmianki, sentyment, źródło
Pojedyncza liczba nigdy nie opisze widoczności w AI, bo model może markę wymienić, ale na szarym końcu i z zastrzeżeniem. Dlatego system opiera się na czterech metrykach liczonych z tych samych surowych odpowiedzi.
| Metryka | Definicja operacyjna | Skala |
|---|---|---|
| Wskaźnik obecności | Liczba odpowiedzi zawierających markę podzielona przez liczbę wszystkich wywołań | 0–100% |
| Pozycja wzmianki | Kolejność wystąpienia marki wśród wymienionych podmiotów | 1–n |
| Sentyment | Wydźwięk zdania, w którym pada nazwa marki | od minus 1 do plus 1 |
| Cytowanie źródła | Odsetek odpowiedzi, w których model linkuje do naszej domeny | 0–100% |
Wskaźnik obecności jest liczbą nagłówkową, ale sam w sobie bywa mylący. Marka wymieniana w 60% odpowiedzi zawsze jako ostatnia z pięciu opcji ma słabszą pozycję niż marka obecna w 40% odpowiedzi, lecz otwierająca listę. Dlatego warto policzyć prosty wskaźnik ważony: obecność przemnożoną przez odwrotność średniej pozycji. Jedna kolumna w arkuszu, a rozmowa o wynikach robi się znacznie uczciwsza.
Cytowanie źródła rozdziel od wzmianki i nigdy nie łącz w jedną liczbę. To dwa różne zjawiska: wzmianka opisuje wiedzę modelu utrwaloną w treningu i w danych z sieci, cytowanie opisuje to, co system wyszukiwania podał modelowi w danym momencie. Pierwsze zmienia się miesiącami, drugie potrafi się zmienić z dnia na dzień po zwykłym przeindeksowaniu strony.
Narzędzia płatne i darmowe alternatywy
Rynek narzędzi do monitoringu widoczności w AI dojrzał na tyle, że nie trzeba budować wszystkiego samodzielnie. Płatne platformy dają gotowe dashboardy, wykrywanie konkurencji w odpowiedziach i historię, której nie musisz sam przechowywać. Koszt zaczyna się zwykle od kilkuset złotych miesięcznie i rośnie wraz z liczbą promptów oraz monitorowanych rynków. Przegląd tego, co realnie potrafią poszczególne platformy, zebraliśmy w scorecardzie 12 narzędzi AIO.
Alternatywa własna jest tańsza, niż się wydaje. Skrypt odpytujący API trzech dostawców, zapisujący surowe odpowiedzi do arkusza i liczący cztery metryki to zwykle 150–250 linii kodu i jedno zadanie w harmonogramie. Płacisz wtedy wyłącznie za tokeny, a dane zostają u Ciebie w formie surowej, co ma niebanalną zaletę: gdy za pół roku zmienisz definicję sentymentu, przeliczysz historię wstecz zamiast zaczynać od zera.
Wybór sprowadza się do jednego kryterium. Jeśli mierzysz jedną markę na jednym rynku, własny skrypt wygrywa kosztem i elastycznością. Jeśli obsługujesz kilkunastu klientów lub kilka rynków językowych, koszt utrzymania skryptu przekracza abonament i lepiej kupić gotowe narzędzie.
Arkusz zbiorczy i wizualizacja trendu
Cały pomiar mieści się w jednym pliku zbudowanym z trzech warstw. Warstwa surowa to log, w którym jeden wiersz odpowiada jednemu wywołaniu: data, model, wersja modelu, prompt, numer powtórzenia, pełna treść odpowiedzi, wykryte marki, pozycja naszej marki, sentyment, lista zacytowanych domen. Do tej warstwy nigdy nie wpisujesz nic ręcznie.
Warstwa agregatów liczy tygodniowe wartości czterech metryk w podziale na model i typ intencji. Ten podział jest ważniejszy, niż się wydaje, bo typowy wynik wygląda tak: marka radzi sobie przyzwoicie w promptach porównawczych i znika w promptach odkrywających kategorię. Zagregowana średnia całkowicie zasłoniłaby tę różnicę, a to właśnie ona mówi, gdzie leży praca do wykonania.
Warstwa prezentacji to dwa wykresy: liniowy trend wskaźnika obecności w czasie oraz słupkowe porównanie z trzema konkurentami. Więcej wykresów nikt nie ogląda. Jeśli raport ma trafiać do klienta lub do zarządu cyklicznie, warto podpiąć te same dane pod gotowy szablon raportowy, na przykład według układu opisanego w tekście o szablonie raportu SEO i AIO w Looker Studio.
Raport miesięczny dla zarządu
Raport dla zarządu to jedna strona i pięć elementów. Pierwszy: wskaźnik obecności za miesiąc plus zmiana względem poprzedniego. Drugi: pozycja wobec trzech konkurentów w tej samej kategorii. Trzeci: wykres trendu z ostatnich sześciu miesięcy. Czwarty: dwa lub trzy zdania interpretacji, w których wprost stoi, czy zmiana wynika z naszych działań, z aktualizacji modelu, czy z ruchu konkurencji. Piąty: jedna decyzja lub rekomendacja na kolejny miesiąc.
Czego w takim raporcie nie umieszczać: surowych odpowiedzi modeli, pełnej listy promptów, porównań między modelami o różnych wersjach oraz wskaźników liczonych na próbce mniejszej niż 30 wywołań. To materiał roboczy, który w prezentacji dla zarządu nie buduje zrozumienia, tylko prowokuje pytania o metodę zamiast o wnioski.
Dopisz też jedno zdanie o marginesie błędu. Przy 120 wywołaniach miesięcznie na model zmiana wskaźnika o 3 punkty procentowe mieści się w naturalnym wahaniu próby, więc nie jest wynikiem działań zespołu. Zarząd, który raz usłyszy, jaki ruch jest istotny, przestaje pytać o każde drgnięcie wykresu. Formalną podstawę takiego progu daje zwykły przedział ufności dla proporcji.
Najczęstsze błędy w pomiarze
Jedno wywołanie na prompt. Najczęstszy i najgroźniejszy błąd, bo daje dane, które wyglądają jak pomiar, a są losowaniem. Trzy powtórzenia to absolutne minimum.
Prompty z nazwą marki w całym zestawie. Wskaźnik rośnie do 90% i nie znaczy nic, bo pytasz model o coś, co sam mu podałeś.
Uśrednianie różnych modeli w jednej liczbie. Modele różnią się sposobem korzystania z wyszukiwania i datą odcięcia wiedzy. Średnia z nich zaciera każdą użyteczną informację. Raportuj osobno, agreguj dopiero na poziomie komentarza.
Ignorowanie języka i kraju. Odpowiedź na pytanie po polsku i jej angielski odpowiednik to dwa różne pomiary. Jeśli działasz na jednym rynku, mierz wyłącznie w jego języku.
Mylenie wzmianki z cytowaniem. Wzmianka mówi o wiedzy modelu, cytowanie o bieżącym wyszukiwaniu. Łączenie ich w jeden wskaźnik sprawia, że każda zmiana staje się niediagnozowalna.
Brak logu wersji modelu. Bez tej kolumny nie odróżnisz efektu własnych działań od aktualizacji po stronie dostawcy, a te potrafią przestawić wynik mocniej niż kwartał pracy redakcji. Warto przy okazji śledzić dokumentację funkcji AI w wyszukiwarce, bo zmiany w prezentacji wyników opisuje Google Search Central.
System opisany powyżej daje się uruchomić w tydzień: dzień na zestaw promptów, dwa dni na skrypt lub konfigurację narzędzia, dzień na arkusz, dzień na pierwszy raport. Pierwsze wiarygodne wnioski pojawią się po czterech pomiarach tygodniowych, czyli po miesiącu. To niewielki koszt za odpowiedź na pytanie, które za rok będzie zadawane na każdym przeglądzie marketingu.
FAQ
Ile promptów wystarczy na start?
Trzydzieści dobrze dobranych promptów wystarczy, żeby wskaźnik obecności był stabilny. Poniżej dwudziestu pojedyncza odpowiedź zbyt mocno przesuwa wynik, powyżej sześćdziesięciu rośnie koszt i czas analizy, a precyzja poprawia się już tylko nieznacznie.
Jak często mierzyć widoczność marki w AI?
Raz w tygodniu, zawsze tego samego dnia i o podobnej porze. Pomiar dzienny generuje szum, miesięczny daje za mało punktów, żeby odróżnić trend od przypadkowego wahania próby.
Czy wzmianka bez linku ma wartość?
Tak, i często większą niż link. Model rekomendujący markę w odpowiedzi pełni rolę doradcy, a użytkownik zwykle i tak wpisze nazwę w wyszukiwarkę. Dlatego wzmianki liczy się osobno od cytowań źródła.
Ile kosztuje własny system pomiaru?
Przy 40 promptach, trzech modelach i trzech powtórzeniach tygodniowo koszt tokenów mieści się zwykle w kilkudziesięciu złotych miesięcznie. Główny koszt to jednorazowe wdrożenie skryptu i comiesięczna analiza wyników.
Czy spadek wskaźnika zawsze oznacza problem?
Nie. Sprawdź najpierw trzy rzeczy: czy nie zmieniła się wersja modelu, czy zestaw promptów pozostał identyczny i czy spadek przekracza margines błędu próby. Dopiero gdy wszystkie trzy odpowiedzi są przeczące, szukaj przyczyny po stronie treści i widoczności marki.