Jak ręcznie sprawdzić widoczność firmy w ChatGPT i innych narzędziach AI?

Na początek sprawdzę pięć narzędzi:

• ChatGPT, ponieważ może automatycznie przeszukiwać internet i dodawać do odpowiedzi cytowania.
• Gemini, ponieważ może pokazywać źródła oraz materiały związane z odpowiedzią.
• Microsoft Copilot, ponieważ jego wyszukiwanie internetowe korzysta z Bing.
• Claude, ponieważ po włączeniu wyszukiwania może analizować aktualne strony i dołączać cytowania.
• Perplexity, ponieważ działa jako wyszukiwarka AI i buduje odpowiedzi na podstawie źródeł internetowych.

Nie chodzi o ustalenie, które narzędzie jest najlepsze. Każde może korzystać z innych modeli, mechanizmów wyszukiwania i źródeł. Firma może być dobrze widoczna w jednym systemie i całkowicie pomijana w innym.

Funkcja Search, Web Search albo wyszukiwanie w internecie pozwala narzędziu pobrać informacje z dostępnych stron przed przygotowaniem odpowiedzi.

Bez wyszukiwania odpowiedź może opierać się głównie na wiedzy modelu, wcześniejszym kontekście rozmowy i informacjach przekazanych w pytaniu. Taki wynik nie pokazuje wiarygodnie, co narzędzie może znaleźć o firmie w internecie w dniu testu.

Po włączeniu wyszukiwania system interpretuje pytanie, tworzy zapytania, wyszukuje materiały, wybiera część źródeł i buduje odpowiedź. ChatGPT może uruchomić wyszukiwanie automatycznie. Microsoft Copilot tworzy krótkie zapytanie wysyłane do Bing. Claude po użyciu wyszukiwania pokazuje cytowania, a Perplexity odpowiada na podstawie materiałów znalezionych w sieci. Opisują to dokumentacje OpenAI, Microsoft, Anthropic i Perplexity.

Dlatego sprawdzę dwa warianty:

• odpowiedź bez wymuszonego wyszukiwania,
• odpowiedź z włączonym lub wyraźnie zleconym wyszukiwaniem.

Pierwszy wariant pomaga ocenić, czy model kojarzy firmę. Drugi pokazuje, czy potrafi ją odnaleźć i uzasadnić rekomendację na podstawie dostępnych stron.

Nie należy zaczynać od pytania: „Czy znasz firmę OptFor.AI?”. Tak sformułowany test podpowiada nazwę i sprawdza jedynie rozpoznawanie marki.

Potrzebne są pytania, które mógłby zadać potencjalny klient, na przykład:

• Jakie firmy w Polsce pomagają przygotować organizację do pracy z AI?
• Poleć firmy, które przeprowadzają audyt gotowości strony na potrzeby systemów AI.
• Szukam partnera do transformacji procesu tworzenia oprogramowania z wykorzystaniem AI. Kogo sprawdzić?
• Jakie firmy pomagają zwiększać widoczność marki w ChatGPT?
• Porównaj firmy oferujące konsulting AI dla średnich i dużych organizacji.
• Kogo polecasz do zaprojektowania i wdrożenia oprogramowania wspieranego przez AI?

Pytania powinny odpowiadać rzeczywistym usługom, rynkom i klientom firmy. Widoczność na przypadkowe hasło nie ma znaczenia biznesowego.

Na początek wystarczy od 10 do 15 pytań obejmujących różne intencje: znalezienie dostawcy, przygotowanie krótkiej listy, porównanie firm i wybór konkretnego partnera.

Każde pytanie należy uruchomić w nowej rozmowie. Dzięki temu wcześniejsze odpowiedzi nie wpływają na kolejne wyniki.

W arkuszu zapisuję:

• narzędzie i używany model,
• datę testu,
• dokładną treść pytania,
• język i wskazaną lokalizację,
• stan funkcji wyszukiwania,
• pełną odpowiedź,
• pokazane źródła.

To ważne, ponieważ wynik może zależeć między innymi od czasu, lokalizacji, ustawień konta i kontekstu rozmowy. Jedna odpowiedź nie jest jeszcze miarodajnym pomiarem.

Każde pytanie uruchomię trzy razy w tych samych warunkach. Taka liczba nie tworzy badania statystycznego, ale pomaga odróżnić pojedynczy przypadek od częściej powtarzającego się wyniku.

Pierwsza kontrola jest prosta: czy nazwa firmy wystąpiła w wyniku?

Samo „tak” albo „nie” nie wystarczy. Zapisuję również:

• na którym miejscu pojawiła się firma,
• czy została polecona, czy tylko wspomniana,
• do jakiej usługi została przypisana,
• czy opis jest zgodny z rzeczywistą ofertą,
• czy system pomylił ją z inną organizacją,
• czy rekomendacja pasuje do klienta opisanego w pytaniu.

Najbardziej wartościowy wynik to nie samo pojawienie się nazwy. Firma powinna zostać przedstawiona jako właściwy wybór w sytuacji, w której rzeczywiście może pomóc klientowi.

Po otrzymaniu odpowiedzi z nazwą firmy zadaję pytanie uzupełniające:

Dlaczego polecasz tę firmę? Wskaż konkretne informacje, które zdecydowały o rekomendacji.

To pozwala sprawdzić, jak narzędzie rozumie markę. Powodem może być specjalizacja, opis usług, doświadczenie, realizacje, opinie klientów albo obecność w zewnętrznych zestawieniach.

Każdy argument przypisuję do jednej z trzech grup:

• poprawny i potwierdzony,
• zbyt ogólny lub niejasny,
• nieprawdziwy albo niemożliwy do potwierdzenia.

Jeśli AI poleca firmę z niewłaściwego powodu, wynik może wyglądać dobrze w raporcie, ale nie buduje wartościowej widoczności. Może też kierować do firmy klientów, którym nie jest ona w stanie pomóc.

Kolejne pytanie brzmi:

Na jakich źródłach opierasz rekomendację tej firmy? Podaj adresy stron i wskaż, którą informację potwierdza każde źródło.

Następnie otwieram każdy link i sprawdzam:

• czy strona rzeczywiście zawiera wskazaną informację,
• czy dotyczy badanej firmy,
• czy opisuje właściwą usługę,
• czy jest aktualna,
• czy źródło należy do firmy, klienta, partnera, medium lub katalogu,
• czy cytowanie wspiera rekomendację, czy jest jedynie luźno związane z tematem.

Trzeba zachować ostrożność przy interpretowaniu listy źródeł. Gemini może pokazać materiały związane z odpowiedzią, a jego funkcja weryfikacji wyszukuje strony podobne lub sprzeczne z wygenerowanymi twierdzeniami. Google zaznacza, że nie muszą to być materiały użyte do stworzenia pierwotnej odpowiedzi. Wyjaśnia to dokumentacja Gemini.

Widoczność źródła nie jest więc automatycznie dowodem, że zdecydowało ono o rekomendacji. Jest jednak ważną wskazówką, jakie strony system łączy z firmą i jej ofertą.

Do pierwszego audytu wystarczą następujące kolumny:

Taki arkusz nie odpowie jeszcze, jak poprawić widoczność. Pokaże jednak, gdzie znajduje się największy problem:

• narzędzie nie znajduje firmy,
• znajduje ją, ale nie rozumie jej oferty,
• rozumie ofertę, ale nie ma podstaw do rekomendacji,
• poleca firmę na podstawie słabych albo błędnych źródeł.

To lepszy punkt wyjścia niż liczenie samych wzmianek.

Przeprowadzę opisany test dla OptFor.AI i zachowam pełne odpowiedzi wraz ze źródłami. Wyniki podzielę według narzędzia, rodzaju pytania oraz trybu wyszukiwania.

Dopiero na tej podstawie zdecyduję, co poprawić w pierwszej kolejności: sposób opisywania usług, treści na stronie, techniczną dostępność materiałów czy obecność firmy w zewnętrznych źródłach.

Kolejnym krokiem będzie opublikowanie wyników pomiaru początkowego, również wtedy, gdy okażą się słabe.