Jak OtterlyAI pokazuje widoczność firmy w AI

Badacz definiuje markę, jej warianty nazwy, domeny, konkurentów, prompty oraz kraj. OtterlyAI codziennie uruchamia śledzone prompty w obsługiwanych silnikach. Według dokumentacji OtterlyAI większość pomiarów przechodzi przez publiczne interfejsy WWW, a Claude jest monitorowany przez API.

Dla jednego promptu, silnika i dnia powstaje jedna zarejestrowana odpowiedź. Narzędzie zapisuje jej treść, wykryte marki i pokazane adresy źródeł. Wynik można więc opisać wzorem:

wybrany prompt + kraj + neutralna sesja + silnik + dzień = jedna obserwacja

To rzeczywista odpowiedź uzyskana w kontrolowanej sesji, ale sam prompt jest syntetyczny. Nie pochodzi z historii zapytań klientów. OtterlyAI buduje neutralny punkt odniesienia, dlatego rezultat może różnić się od odpowiedzi osoby z pamięcią konta, historią rozmowy, własnymi instrukcjami i inną lokalizacją.

Nie nazywałbym tego symulacją ChatGPT. Trafniejsze określenie to syntetyczny pomiar rzeczywistego interfejsu.

Najważniejszym elementem badania nie jest wykres, tylko lista promptów. Wynik dotyczy dokładnie tego zestawu pytań, który został wpisany do systemu.

Jeśli 42 ze 100 promptów zawierają markę, można powiedzieć, że marka pojawiła się w 42% wykonanych prób dla tego koszyka. Nie można na tej podstawie stwierdzić, że firma ma 42% widoczności we wszystkich odpowiedziach ChatGPT.

Koszyk powinien pokrywać realne sytuacje klienta, między innymi rozpoznanie problemu, poszukiwanie dostawcy, porównanie opcji i wybór rozwiązania. Trzeba też rozdzielić kraje, języki, kategorie i silniki. Sto niemal identycznych pytań da stabilną liczbę, ale słaby obraz rynku.

OtterlyAI pokazuje również Intent Volume. Firma wyjaśnia, że jest to estymacja potrzebna dlatego, że platformy AI nie ujawniają danych o użyciu. Algorytm opiera się na wolumenie Google i prezentuje wynik na pięciostopniowej skali. Nie jest to liczba zapytań z ChatGPT. Może służyć do pomocniczego ustalania priorytetów, ale nie do obliczania udziału w popycie użytkowników AI.

Najpewniejszym elementem raportu jest surowa odpowiedź. Pozwala sprawdzić cztery różne zdarzenia:

• marka pojawiła się jako ciąg znaków,
• firma została opisana poprawnie,
• system rzeczywiście ją polecił w danym kontekście,
• przy odpowiedzi pokazano źródło należące do firmy lub źródło zewnętrzne.

OtterlyAI wykrywa zdefiniowane warianty nazwy. Każde wykonanie otrzymuje wynik 1 albo 0, bez względu na liczbę powtórzeń marki w odpowiedzi. Taka metoda może pominąć niepodany skrót lub nazwę produktu. Może też zaliczyć firmę o tej samej nazwie albo negatywną wzmiankę. Dlatego wzmianka nie oznacza rekomendacji.

Cytowanie domeny jest zwykle bardziej jednoznaczne, lecz odpowiada tylko na pytanie: „Jaki link pokazano przy tej odpowiedzi?”. Nie dowodzi, że ten link spowodował wybór marki. Źródło mogło wspierać poboczną informację, a część odpowiedzi mogła pochodzić z wiedzy modelu lub innych, niewidocznych etapów wyszukiwania.

Tak samo tekst „polecam firmę ze względu na integracje i cenę” pokazuje uzasadnienie przedstawione czytelnikowi. Nie daje dostępu do wag źródeł, instrukcji systemowych, rankingu dokumentów ani powodu odrzucenia konkurentów.

Definicje z dokumentacji wskaźników OtterlyAI można przełożyć na prostsze pytania:

Szczególnej ostrożności wymaga Likelihood to Buy. OtterlyAI przelicza średnią pozycję na ustaloną skalę. Pozycja pierwsza daje 100%, druga 77,5%, a trzecia 55%. Nie jest to prawdopodobieństwo wyznaczone na podstawie zachowań zakupowych. Wartość 77,5% nie oznacza, że taki odsetek użytkowników kupi produkt.

Każda metryka dziedziczy ograniczenia danych wejściowych. Dokładny wzór nie naprawi niereprezentatywnego zestawu promptów ani błędnie rozpoznanej marki.

Odpowiedzi generatywne zmieniają się pomiędzy uruchomieniami. Marka obecna dziś może zniknąć jutro bez jakiejkolwiek zmiany po stronie firmy.

OtterlyAI wykonuje prompty raz dziennie. Dla pojedynczego pytania wynik jednego dnia mówi wyłącznie, co wydarzyło się w tej próbie. Badanie „Don't Measure Once” pokazuje, że jednorazowe obserwacje mogą zawyżać lub zaniżać widoczność i że wynik należy traktować jako rozkład uzyskany z powtórzeń, a nie jeden punkt.

Po 30 dniach mamy historię, lecz warunki nie są idealnie stałe. W tym czasie mogą zmienić się treści stron, indeks wyszukiwarki, model, routing i sposób budowania odpowiedzi. Taki trend jest przydatny operacyjnie, ale nie jest laboratoryjnym powtórzeniem tej samej próby.

Dlatego oceniam osobno:

• szeroki trend na całym, dobrze zaprojektowanym koszyku,
• stabilność najważniejszych promptów,
• różnice pomiędzy platformami i krajami,
• pojedyncze odpowiedzi wymagające ręcznej kontroli.

Monitoring OtterlyAI może wykryć zmianę, którą warto zbadać. Pokazuje, przy jakich pytaniach marka znika, gdzie konkurent pojawia się częściej, jakie domeny są cytowane i czy system opisuje ofertę poprawnie. To dobry materiał do analizy braków w treści, planowania digital PR, kontroli rozpoznawania marki i wyboru odpowiedzi do ręcznego audytu.

Nie używałbym tych danych do deklarowania „pozycji numer 1 w ChatGPT”, prognozowania sprzedaży ani dowodzenia skuteczności pojedynczej publikacji. Sam wzrost po zmianie strony nie potwierdza związku przyczynowego. W tym samym czasie mogły zmienić się odpowiedzi silnika lub źródła zewnętrzne.

Raport jest alarmem i mapą obserwacji. Diagnoza zaczyna się dopiero po otwarciu promptu, pełnej odpowiedzi i źródeł.

Przed uruchomieniem monitoringu zapisuję, jakie decyzje ma wspierać i jakie grupy intencji reprezentują prompty. Nie zmieniam koszyka po zobaczeniu niewygodnego wyniku bez oznaczenia nowej wersji badania.

W codziennej pracy stosuję pięć zasad:

1. Rozdzielam silniki, kraje i języki.
2. Ocenę opieram na trendzie, nie na jednym dniu.
3. Najważniejsze prompty sprawdzam dodatkowo w kilku niezależnych uruchomieniach.
4. Wzmiankę, rekomendację, poprawność opisu i cytowanie zapisuję jako osobne sygnały.
5. Każdy istotny skok w metryce weryfikuję w surowych odpowiedziach.

OtterlyAI dobrze skaluje obserwację. Nie zwalnia jednak badacza z zaprojektowania próby i interpretacji wyniku. Jeśli zachowamy to rozróżnienie, narzędzie pomaga śledzić ekspozycję marki i wybierać problemy do dalszego badania. Jeśli je pominiemy, precyzyjny wykres łatwo zamieni się w odpowiedź na pytanie, którego system nigdy nie mierzył.