Analiza błędów agentów AI: halucynacja czy brak zasady?

Analiza błędów agentów AI polega na przypisaniu każdej nieudanej rozmowy AI do przyczyny, zanim ktokolwiek zacznie ją naprawiać. Większość błędów nazywanych „halucynacjami” to coś innego: brakujący artykuł, nieaktualna lub niejednoznaczna zasada, błąd wyszukiwania, zepsute narzędzie albo złe przekazanie. Każda przyczyna ma innego właściciela i inną poprawkę, więc to etykieta decyduje, czy poprawka zadziała.

W skrócie

• „Halucynacja” opisuje objaw (pewną siebie błędną odpowiedź), a nie przyczynę. Warto traktować ją jako ostatnie wyjaśnienie, a nie pierwsze.
• Dziesięć przyczyn obejmuje prawie każdą nieudaną rozmowę AI w obsłudze klienta, od luk w wiedzy po nieporozumienia po stronie klienta.
• Większość przypadków rozstrzyga jedno pytanie: czy istniało zatwierdzone źródło, które odpowiadało na to pytanie, i czy agent z niego skorzystał?
• Przyczyny dotyczące treści trafiają do właściciela wiedzy lub zasad, przyczyny dotyczące narzędzi do inżynierów, a do zespołu, który dostraja agenta AI, tylko błędy rozumowania.
• Strukturę błędów warto śledzić co tydzień jako liczbę na 1 000 rozmów dla każdej przyczyny. Same udziały wprowadzają w błąd, bo udział przyczyny może rosnąć, choć jej liczba maleje.

Dlaczego zespoły nazywają każdy błąd agenta AI halucynacją?

Zespoły nazywają każdy błąd halucynacją, ponieważ transkrypcja pokazuje tylko wynik: błędną odpowiedź podaną z pewnością. Przyczyna leży wcześniej, w treści, zasadzie, kroku wyszukiwania, narzędziu albo regułach przekazania. Bez kroku, który klasyfikuje przyczynę, wygrywa najbardziej znane słowo, a poprawka trafia do promptu.

To słowo ma precyzyjne znaczenie. Profil ryzyka generatywnej AI opracowany przez NIST definiuje konfabulację, „colloquially also referred to as hallucinations” (potocznie nazywaną też halucynacjami), jako sytuację, w której systemy „generate and confidently present erroneous or false content” (generują i z pewnością prezentują błędne lub fałszywe treści) (NIST AI 600-1, sekcja 2.2). Obejmuje to model, który coś wymyśla. Nie obejmuje agenta, który wiernie powtórzył nieaktualny artykuł o zwrotach, ani agenta, który zastosował zasadę, której nikt nie spisał.

Różnica ma znaczenie, bo błędna etykieta kieruje pracę do niewłaściwego zespołu. Zmiana promptu nie naprawi artykułu, który nie istnieje. Gdy firma Pylon, dostawca narzędzi dla obsługi klienta, skategoryzowała około 200 zgłoszeń, które jej agent AI eskalował w ciągu jednego tygodnia we własnej kolejce, luki w wiedzy „accounted for more than half of escalations” (odpowiadały za ponad połowę eskalacji), a prośby o nowe funkcje stanowiły 15% (Pylon, wrzesień 2026). To dane jednej firmy, a nie benchmark, ale żadna z tych przyczyn nie jest problemem modelu.

Ten poradnik uzupełnia nasz główny przewodnik o politykach dla agentów AI, który opisuje, jak zasady są pisane, kto za nie odpowiada i jak się je wersjonuje. Tutaj chodzi o krok przed poprawką: prawidłowe nazwanie przyczyny.

Jakie jest dziesięć powodów, dla których rozmowy AI zawodzą?

Rozmowy AI w obsłudze klienta zawodzą z dziesięciu głównych powodów: luka w wiedzy, nieaktualna lub sprzeczna wiedza, brakująca lub niejednoznaczna zasada, błąd wyszukiwania, błąd rozumowania lub halucynacja, błąd działania lub narzędzia, błąd przekazania, błąd zakresu, błąd produktu lub prośba o funkcję oraz problem po stronie klienta. Każdy zostawia w transkrypcji inny ślad.

Poniższa tabela to taksonomia do skopiowania. Można jej użyć jako listy wyboru w formularzu oceny, z jedną przyczyną na każde niespełnione kryterium.

Oznacza się niespełnione kryterium, a nie całą rozmowę, bo jedna rozmowa może zawieść z dwóch przyczyn. Przyczyny 6 i 7 często ukrywają się w liczbach dotyczących containment; nasz poradnik o cichych błędach agentów AI pokazuje, jak je ujawnić. W przypadku konsultantów odpowiedni podział opisuje nasz poradnik błąd konsultanta czy błąd procesu (po angielsku).

Jak odróżnić halucynację od brakującej zasady?

Halucynację od brakującej zasady odróżnia się, sprawdzając źródło. Jeśli zatwierdzone, aktualne źródło odpowiadało na pytanie, a agent od niego odszedł, to halucynacja lub błąd rozumowania. Jeśli żadne źródło nie obejmowało przypadku albo zasada istnieje tylko w głowach doświadczonych konsultantów, to brakująca zasada, i żadna zmiana modelu jej nie naprawi.

Cztery pary, które myli się najczęściej:

• Halucynacja a brakująca zasada. Test brzmi: „czy nowy konsultant, czytając tylko Państwa spisane źródła, odpowiedziałby poprawnie?”. Jeśli nie, agent AI nie miał czego się trzymać.
• Halucynacja a nieaktualna wiedza. Jeśli błędny fakt występuje słowo w słowo w artykule, agent wykonał swoją pracę. Błędem jest artykuł.
• Halucynacja a błąd wyszukiwania. Jeśli właściwy artykuł istnieje, ale odpowiedź pasuje do sąsiedniego tematu, agent wiernie odpowiedział na podstawie niewłaściwej strony. Retrieval-augmented generation (RAG), metoda, której używa wielu agentów AI w obsłudze klienta, łączy model z wyszukiwaniem w Państwa treściach (Lewis i in., 2020), więc krok wyszukiwania może zawieść sam z siebie.
• Halucynowane działanie a błąd narzędzia. „Zwrot jest w drodze”, choć w systemie nie ma zwrotu, oznacza albo agenta, który twierdzi, że wykonał działanie, którego nie wykonał, albo wywołanie narzędzia, które po cichu się nie powiodło. Rozstrzyga to log narzędzia. Nasz poradnik o audycie wskaźnika rozwiązań agentów AI pokazuje, jak porównywać deklarowane działania z zapisami w systemach.

Nasz poradnik o wyłapywaniu halucynacji agentów AI opisuje rutynę dla prawdziwych halucynacji, gdy już je Państwo wyodrębnią. Ta strona to filtr, który decyduje, które z nich są prawdziwe.

Drzewo decyzyjne: dziesięć pytań w ustalonej kolejności

Najszybszy sposób na sklasyfikowanie nieudanej rozmowy AI to odpowiadanie na stałą listę pytań w stałej kolejności i zatrzymanie się przy pierwszym „tak” lub „nie”, które wskazuje przyczynę. Kolejność ma znaczenie: najpierw wyklucza przyczyny po stronie klienta, produktu i systemów, potem obwinia treść, a dopiero na końcu model.

Warto skopiować to do formularza oceny. Odpowiada się dla jednego niespełnionego kryterium naraz.

1. Czy człowiek zrozumiałby z tego, co napisał klient, czego klient chce? Nie: po stronie klienta (przyczyna 10). Tak: dalej.
2. Czy agent AI w ogóle powinien był obsługiwać tę prośbę? Nie, a mimo to ją obsłużył: błąd zakresu (przyczyna 8). Tak: dalej.
3. Czy źródłem problemu była usterka albo coś, czego produkt nie robi? Tak: błąd produktu lub prośba o funkcję (przyczyna 9). Nie: dalej.
4. Czy agent musiał wykonać lub sprawdzić działanie (wyszukanie, zwrot, anulowanie, aktualizacja) i czy to wywołanie się nie powiodło, przekroczyło czas albo zostało odrzucone? Tak: błąd działania lub narzędzia (przyczyna 6). Nie: dalej.
5. Czy rozmowa powinna była trafić do człowieka, w innym momencie albo z lepszym kontekstem? Tak: błąd przekazania (przyczyna 7). Nie: dalej.
6. Czy zatwierdzone źródło odpowiada na to pytanie? Nie, a zasada jest dla wszystkich jasna: luka w wiedzy (przyczyna 1). Nie, a zasada zależy od tego, kogo się zapyta: brakująca lub niejednoznaczna zasada (przyczyna 3). Tak: dalej.
7. Czy to źródło jest aktualne i jest jedynym źródłem na ten temat? Nie: nieaktualna lub sprzeczna wiedza (przyczyna 2). Tak: dalej.
8. Czy agent użył tego źródła w tej odpowiedzi? Nie: błąd wyszukiwania (przyczyna 4). Tak: dalej.
9. Czy odpowiedź jest zgodna ze źródłem? Nie: błąd rozumowania lub halucynacja (przyczyna 5). Tak: dalej.
10. Czy samo kryterium jest właściwe? Jeśli agent wiernie zastosował aktualne, zatwierdzone źródło, a mimo to nie spełnił kryterium, kryterium w karcie oceny może być błędne. Zamiast wymuszać przyczynę, warto przekazać je liderowi QA do kalibracji.

Pytanie 10 to zawór bezpieczeństwa: taksonomia, która nie potrafi powiedzieć „nasze kryterium było błędne”, obwinia tego, kto zostaje. Warto liczyć, jak często dochodzą Państwo do pytania 9. To jedyna ścieżka, która kończy się „halucynacją”.

Kto naprawia każdą przyczynę i jak ją przekazać?

Każda przyczyna ma jednego właściciela, a o tym, kto nim jest, decyduje miejsce, w którym musi nastąpić poprawka: treść trafia do właściciela wiedzy lub zasad, systemy do inżynierów, produkt do zespołu produktowego, a do właściciela AI tylko instrukcje i rozumowanie. Rozmowę przekazuje się z dołączonymi dowodami, nigdy jako samą liczbę.

Każdego właściciela warto wskazać z imienia i nazwiska, a nie jako zespół. Notatka przekazująca potrzebuje czterech elementów: przyczyny, dwóch lub trzech przykładowych rozmów z zaznaczonymi błędnymi fragmentami, intencji, której dotyczy, z jej tygodniowym wolumenem, oraz daty ponownej oceny. Bez przykładów zespół, który dostaje sprawę, spiera się o klasyfikację, zamiast naprawiać.

Poprawianie agenta AI to nie coaching człowieka: poprawka musi zmienić treść lub konfigurację, którą agent czyta. Nasz artykuł o coachingu ludzi i poprawianiu agentów AI opisuje ten podział. Przy przyczynach 6 i 8 właściwą poprawką bywa limit, a nie lepsza odpowiedź. OWASP wymienia „excessive functionality” (nadmierną funkcjonalność), „excessive permissions” (nadmierne uprawnienia) i „excessive autonomy” (nadmierną autonomię) jako źródłowe przyczyny szkodliwych działań agentów (OWASP LLM06), i w tym miejscu zaczynają się nasze poradniki o zabezpieczeniach agentów AI i poziomach autonomii agentów AI.

Jak prowadzić cotygodniowy triaż błędów AI?

Triaż błędów AI warto prowadzić jako cotygodniową sesję trwającą od 45 do 60 minut: zebrać nieudane rozmowy, pogrupować je według intencji, sklasyfikować największe skupiska za pomocą drzewa decyzyjnego, przekazać każdą przyczynę właścicielowi z przykładami i sprawdzić, czy poprawki z zeszłego tygodnia się utrzymały. Klasyfikuje się skupiska, a nie pojedyncze rozmowy, więc sesja skaluje się wraz z wolumenem.

Rutyna, która działa:

1. Poniedziałek: zebrać błędy. Wziąć każdą rozmowę AI, która w zeszłym tygodniu nie spełniła kryterium krytycznego (poprawność, zasady, działanie, eskalacja). Jeśli oceniają Państwo tylko próbkę, dodać każdą rozmowę z ponownym otwarciem, reklamacją albo ponownym kontaktem w ciągu 7 dni.
2. Pogrupować według intencji. Zwroty, zmiany adresu, problemy z logowaniem. Zacząć od pięciu intencji z największą liczbą błędów.
3. Sklasyfikować od trzech do pięciu rozmów w każdym skupisku. Przejść przez dziesięć pytań. Jeśli wyniki są zgodne, oznaczyć skupisko. Jeśli się rozchodzą, skupisko to dwa problemy: trzeba je rozdzielić.
4. Przekazać. Jedno zgłoszenie na przyczynę i intencję, do wskazanego właściciela, z przykładami i datą ponownej oceny.
5. Sprawdzić zeszły tydzień. Dla każdej wdrożonej poprawki porównać liczbę błędów w danej intencji przed i po. Poprawka, która nie zmieniła liczby, była złą poprawką albo dotyczyła złej przyczyny.
6. Zapisać. Jeden wiersz na skupisko: tydzień, intencja, przyczyna, liczba, właściciel, poprawka, wynik. Ten log to Państwa struktura błędów w czasie.

Sesję prowadzi lider QA z właścicielem AI, właścicielem wiedzy i liderem operacji obsługi klienta. Zasady, inżynierowie i produkt dołączają tylko wtedy, gdy ich sprawa jest na liście. Błędy przekazania często widać dopiero w kilku rozmowach naraz, i w tym pomaga QA ścieżki klienta.

Jak mierzyć strukturę błędów AI w czasie?

Strukturę błędów mierzy się jako liczbę błędów na 1 000 rozmów AI, z podziałem na przyczyny, co tydzień, obok udziału każdej przyczyny. Liczba na 1 000 pokazuje, czy przyczyna maleje. Udział pokazuje, gdzie leży pozostała praca. Trzeba czytać oba, bo naprawienie jednej przyczyny sprawia, że udziały pozostałych rosną, nawet jeśli nic się w nich nie zmieniło.

Pylon zauważył to we własnych danych: gdy luk w wiedzy ubywało, zgłoszenia błędów wzrosły, „up from 8.5% of escalations to 19%” (z 8,5% eskalacji do 19%) (Pylon). Rosnący udział sam w sobie nie oznacza więcej błędów: pozostałe części się zmniejszyły.

Przykład z obliczeniami (ilustracja, liczby wymyślone, żeby pokazać rachunek)

Agent AI obsługuje 12 000 rozmów tygodniowo. W tygodniu 1 480 z nich nie spełnia kryterium krytycznego: 40 na 1 000. Zespół przez cztery tygodnie naprawia największe skupiska dotyczące wiedzy i zasad. W tygodniu 5, przy tym samym wolumenie, błędów jest 290: 24,2 na 1 000.

Wynikają z tego trzy wnioski. Trzy przyczyny dotyczące treści spadły z 260 do 95 błędów, z 54,2% do 32,8% struktury. Halucynacje wzrosły z 7,3% do 11,4% błędów, choć ich liczba spadła z 35 do 33: lider, który czyta tylko udziały, uznałby, że model się pogorszył. A błędy narzędzi prawie się nie zmieniły (z 40 do 38), co oznacza, że inżynierowie jeszcze nie wdrożyli poprawki.

Wskaźniki, które warto mieć na dashboardzie:

• Błędy na 1 000 rozmów AI, łącznie i według przyczyny.
• Udział według przyczyny, żeby zdecydować, na co pójdzie praca w następnym tygodniu.
• Nawroty: błędy w intencji i przyczynie oznaczonej jako naprawiona. Wartość powyżej zera po dwóch tygodniach oznacza, że poprawka się nie utrzymała.
• Czas naprawy według właściciela, od przekazania zgłoszenia do ponownej oceny.
• Odsetek niesklasyfikowanych: błędy, których nikt nie umiał przypisać. Jeśli przekracza niewielki udział, taksonomia albo kryteria wymagają pracy.

Kiedy ta taksonomia nie jest dla Państwa?

Taksonomia z dziesięcioma przyczynami nie jest dla Państwa, przynajmniej jeszcze nie, gdy agent AI odpowiada na kilkaset pytań miesięcznie na podstawie niewielkiego centrum pomocy i nie wykonuje żadnych działań. Wtedy wystarczą trzy kategorie: treść (przyczyny od 1 do 3), agent AI (4, 5, 8, 10) i cała reszta. Na pełną listę warto przejść, gdy pracę zaczynają dostawać właściciele spoza obsługi klienta.

Oznaki, że trzy kategorie już nie wystarczają: agent wykonuje działania w innych systemach, klientom odpowiada więcej niż jeden agent AI lub platforma, zasady zmieniają się częściej niż raz na kwartał albo dwa zespoły co tydzień spierają się, czyj to problem. Jeśli ta sama intencja zawodzi mimo poprawek, zamiast dodawać kategorie, lepiej przeprowadzić dokładniejszą analizę przyczyn źródłowych dla tego jednego skupiska.

Gdzie pasuje Kaizo

Kaizo zapewnia kontrolę jakości i nadzór (QA and governance oversight) zespołom obsługi klienta, w których pracę dzielą ludzie i agenci AI. Obejmuje dowodową stronę analizy błędów: ocenę rozmów, wskazywanie przyczyn źródłowych i ponowną ocenę po poprawce. Nie pisze za Państwa artykułów ani zasad.

AutoPilot ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny, a w kontroli jakości agentów AI dodają Państwo kryteria, w których agent AI zawodzi, i podłączają bazę wiedzy, żeby ocena odbywała się względem Państwa treści. Każdy wynik prowadzi do dowodu w transkrypcji. Insights zamienia te wyniki w przyczyny źródłowe (zepsuty proces, tarcie w produkcie, luka w umiejętnościach), co daje cotygodniowemu triażowi startowe skupiska i przykłady.

Proszę zobaczyć to na własnych rozmowach. Umów demo i proszę przynieść jedną intencję, którą Państwa zespół uważa za problem z halucynacjami.

Jak zacząć w tym tygodniu

Warto zacząć od najgorszych rozmów AI z zeszłego tygodnia, a nie od nowego narzędzia. Wystarczy dodać dziesięć przyczyn do formularza oceny, sklasyfikować niewielką partię za pomocą drzewa decyzyjnego, wskazać właściciela dla każdej przyczyny i najpierw naprawić największe skupisko dotyczące treści.

1. Wkleić tabelę dziesięciu przyczyn do formularza oceny jako obowiązkową listę wyboru przy każdym niespełnionym kryterium.
2. Wziąć 30 najgorszych rozmów AI z zeszłego tygodnia i przejść dla każdej przez dziesięć pytań. Policzyć, ile z nich dochodzi do pytania 9.
3. Wskazać jednego właściciela dla każdej przyczyny, z imienia i nazwiska, i uzgodnić format notatki przekazującej.
4. Zarezerwować cykliczny 45-minutowy termin na triaż i zacząć log od skupisk z tego tygodnia.
5. Wybrać największe skupisko dotyczące treści i naprawić je jako pierwsze. W następnym tygodniu ponownie ocenić tę intencję. Pełną stronę pętli dotyczącą zasad opisuje nasz przewodnik o politykach dla agentów AI.

Najczęściej zadawane pytania

Czy każda błędna odpowiedź agenta AI to halucynacja?

Nie. Halucynacja to treść wygenerowana przez model, która nie ma oparcia w jego źródłach ani w rozmowie. Błędna odpowiedź skopiowana z nieaktualnego artykułu albo zgadywanie w przypadku, którego nie obejmuje żadna zasada, to błąd treści. Test polega na sprawdzeniu, czy istniało poprawne, zatwierdzone źródło, od którego agent odszedł.

Czy oparcie agenta AI na własnych treściach zatrzymuje halucynacje?

Oparcie na własnych treściach (grounding) ogranicza wymyślone odpowiedzi, ale ich nie eliminuje i dodaje nowe punkty, w których coś może pójść źle. Agent może wyszukać niewłaściwy artykuł, przytoczyć nieaktualny albo nadal odejść od właściwego. Dlatego wyszukiwanie i nieaktualna wiedza mają w taksonomii własne przyczyny, oddzielne od halucynacji.

Kto powinien odpowiadać za analizę błędów agentów AI?

Za klasyfikację i cotygodniowy triaż zwykle odpowiada lider QA, bo karta oceny i dowody z oceny są w QA. Poprawki należą do właścicieli poszczególnych przyczyn: wiedzy, zasad, konfiguracji AI, inżynierów, operacji obsługi klienta i produktu. Jedna osoba odpowiedzialna za klasyfikację utrzymuje spójne oznaczenia z tygodnia na tydzień.

Ile nieudanych rozmów AI warto klasyfikować co tydzień?

Klasyfikuje się skupiska, a nie każdą rozmowę. Od trzech do pięciu rozmów na skupisko w pięciu intencjach z największą liczbą błędów to od 15 do 25 przeczytanych rozmów tygodniowo, co zwykle obejmuje większość błędów. Więcej rozmów w skupisku warto przeczytać, gdy wskazują na różne przyczyny.

Czy prośby o nowe funkcje powinny liczyć się jako błędy agenta AI?

Warto je liczyć, ale raportować oddzielnie od błędów samego agenta. Prośba o funkcję zawodzi klienta, a nie agenta, i żadna zmiana treści ani promptu jej nie naprawi. Liczenie ich pokazuje zespołowi produktowemu, jak często klienci o to pytają, i nie zawyża wskaźnika błędów agenta AI.