Jak ręcznie sprawdzić widoczność firmy w ChatGPT i innych narzędziach AI?

Zanim zacznę poprawiać widoczność OptFor.AI, muszę sprawdzić punkt wyjścia. Czy narzędzia AI znają firmę? Czy polecają ją potencjalnym klientom? Jeśli tak, to dlaczego?

Do pierwszego pomiaru nie potrzeba specjalistycznego systemu. Wystarczy arkusz kalkulacyjny, lista pytań klientów i dostęp do kilku popularnych narzędzi AI.

Ręczny test nie zastąpi regularnego monitoringu na większej próbie. Pozwala jednak szybko zobaczyć najważniejsze problemy i przygotować lepszą metodę dalszych pomiarów.

Na początek sprawdzę pięć narzędzi:

• ChatGPT, ponieważ może automatycznie przeszukiwać internet i dodawać do odpowiedzi cytowania.
• Gemini, ponieważ może pokazywać źródła oraz materiały związane z odpowiedzią.
• Microsoft Copilot, ponieważ jego wyszukiwanie internetowe korzysta z Bing.
• Claude, ponieważ po włączeniu wyszukiwania może analizować aktualne strony i dołączać cytowania.
• Perplexity, ponieważ działa jako wyszukiwarka AI i buduje odpowiedzi na podstawie źródeł internetowych.

Nie chodzi o ustalenie, które narzędzie jest najlepsze. Każde może korzystać z innych modeli, mechanizmów wyszukiwania i źródeł. Firma może być dobrze widoczna w jednym systemie i całkowicie pomijana w innym.

Funkcja Search, Web Search albo wyszukiwanie w internecie pozwala narzędziu pobrać informacje z dostępnych stron przed przygotowaniem odpowiedzi.

Bez wyszukiwania odpowiedź może opierać się głównie na wiedzy modelu, wcześniejszym kontekście rozmowy i informacjach przekazanych w pytaniu. Taki wynik nie pokazuje wiarygodnie, co narzędzie może znaleźć o firmie w internecie w dniu testu.

Po włączeniu wyszukiwania system interpretuje pytanie, tworzy zapytania, wyszukuje materiały, wybiera część źródeł i buduje odpowiedź. ChatGPT może uruchomić wyszukiwanie automatycznie. Microsoft Copilot tworzy krótkie zapytanie wysyłane do Bing. Claude po użyciu wyszukiwania pokazuje cytowania, a Perplexity odpowiada na podstawie materiałów znalezionych w sieci. Opisują to dokumentacje OpenAI, Microsoft, Anthropic i Perplexity.

Dlatego sprawdzę dwa warianty:

• odpowiedź bez wymuszonego wyszukiwania,
• odpowiedź z włączonym lub wyraźnie zleconym wyszukiwaniem.

Pierwszy wariant pomaga ocenić, czy model kojarzy firmę. Drugi pokazuje, czy potrafi ją odnaleźć i uzasadnić rekomendację na podstawie dostępnych stron.

Nie należy zaczynać od pytania: „Czy znasz firmę OptFor.AI?”. Tak sformułowany test podpowiada nazwę i sprawdza jedynie rozpoznawanie marki.

Potrzebne są pytania, które mógłby zadać potencjalny klient, na przykład:

• Jakie firmy w Polsce pomagają przygotować organizację do pracy z AI?
• Poleć firmy, które przeprowadzają audyt gotowości strony na potrzeby systemów AI.
• Szukam partnera do transformacji procesu tworzenia oprogramowania z wykorzystaniem AI. Kogo sprawdzić?
• Jakie firmy pomagają zwiększać widoczność marki w ChatGPT?
• Porównaj firmy oferujące konsulting AI dla średnich i dużych organizacji.
• Kogo polecasz do zaprojektowania i wdrożenia oprogramowania wspieranego przez AI?

Pytania powinny odpowiadać rzeczywistym usługom, rynkom i klientom firmy. Widoczność na przypadkowe hasło nie ma znaczenia biznesowego.

Na początek wystarczy od 10 do 15 pytań obejmujących różne intencje: znalezienie dostawcy, przygotowanie krótkiej listy, porównanie firm i wybór konkretnego partnera.

Każde pytanie należy uruchomić w nowej rozmowie. Dzięki temu wcześniejsze odpowiedzi nie wpływają na kolejne wyniki.

W arkuszu zapisuję:

• narzędzie i używany model,
• datę testu,
• dokładną treść pytania,
• język i wskazaną lokalizację,
• stan funkcji wyszukiwania,
• pełną odpowiedź,
• pokazane źródła.

To ważne, ponieważ wynik może zależeć między innymi od czasu, lokalizacji, ustawień konta i kontekstu rozmowy. Jedna odpowiedź nie jest jeszcze miarodajnym pomiarem.

Każde pytanie uruchomię trzy razy w tych samych warunkach. Taka liczba nie tworzy badania statystycznego, ale pomaga odróżnić pojedynczy przypadek od częściej powtarzającego się wyniku.

Pierwsza kontrola jest prosta: czy nazwa firmy wystąpiła w wyniku?

Samo „tak” albo „nie” nie wystarczy. Zapisuję również:

• na którym miejscu pojawiła się firma,
• czy została polecona, czy tylko wspomniana,
• do jakiej usługi została przypisana,
• czy opis jest zgodny z rzeczywistą ofertą,
• czy system pomylił ją z inną organizacją,
• czy rekomendacja pasuje do klienta opisanego w pytaniu.

Najbardziej wartościowy wynik to nie samo pojawienie się nazwy. Firma powinna zostać przedstawiona jako właściwy wybór w sytuacji, w której rzeczywiście może pomóc klientowi.

Po otrzymaniu odpowiedzi z nazwą firmy zadaję pytanie uzupełniające:

Dlaczego polecasz tę firmę? Wskaż konkretne informacje, które zdecydowały o rekomendacji.

To pozwala sprawdzić, jak narzędzie rozumie markę. Powodem może być specjalizacja, opis usług, doświadczenie, realizacje, opinie klientów albo obecność w zewnętrznych zestawieniach.

Każdy argument przypisuję do jednej z trzech grup:

• poprawny i potwierdzony,
• zbyt ogólny lub niejasny,
• nieprawdziwy albo niemożliwy do potwierdzenia.

Jeśli AI poleca firmę z niewłaściwego powodu, wynik może wyglądać dobrze w raporcie, ale nie buduje wartościowej widoczności. Może też kierować do firmy klientów, którym nie jest ona w stanie pomóc.

Kolejne pytanie brzmi:

Na jakich źródłach opierasz rekomendację tej firmy? Podaj adresy stron i wskaż, którą informację potwierdza każde źródło.

Następnie otwieram każdy link i sprawdzam:

• czy strona rzeczywiście zawiera wskazaną informację,
• czy dotyczy badanej firmy,
• czy opisuje właściwą usługę,
• czy jest aktualna,
• czy źródło należy do firmy, klienta, partnera, medium lub katalogu,
• czy cytowanie wspiera rekomendację, czy jest jedynie luźno związane z tematem.

Trzeba zachować ostrożność przy interpretowaniu listy źródeł. Gemini może pokazać materiały związane z odpowiedzią, a jego funkcja weryfikacji wyszukuje strony podobne lub sprzeczne z wygenerowanymi twierdzeniami. Google zaznacza, że nie muszą to być materiały użyte do stworzenia pierwotnej odpowiedzi. Wyjaśnia to dokumentacja Gemini.

Widoczność źródła nie jest więc automatycznie dowodem, że zdecydowało ono o rekomendacji. Jest jednak ważną wskazówką, jakie strony system łączy z firmą i jej ofertą.

Do pierwszego audytu wystarczą następujące kolumny:

Taki arkusz nie odpowie jeszcze, jak poprawić widoczność. Pokaże jednak, gdzie znajduje się największy problem:

• narzędzie nie znajduje firmy,
• znajduje ją, ale nie rozumie jej oferty,
• rozumie ofertę, ale nie ma podstaw do rekomendacji,
• poleca firmę na podstawie słabych albo błędnych źródeł.

To lepszy punkt wyjścia niż liczenie samych wzmianek.

Przeprowadzę opisany test dla OptFor.AI i zachowam pełne odpowiedzi wraz ze źródłami. Wyniki podzielę według narzędzia, rodzaju pytania oraz trybu wyszukiwania.

Dopiero na tej podstawie zdecyduję, co poprawić w pierwszej kolejności: sposób opisywania usług, treści na stronie, techniczną dostępność materiałów czy obecność firmy w zewnętrznych źródłach.

Kolejnym krokiem będzie opublikowanie wyników pomiaru początkowego, również wtedy, gdy okażą się słabe.