Halucynacje agentów AI wyłapuje się, sprawdzając każdą odpowiedź bota względem własnych treści i zasad, a nie czekając na reklamacje. Proszę oceniać każdą rozmowę agenta AI według kryteriów oparcia w treściach i zgodności z zasadami, najpierw czytać tematy finansowe, a każdą potwierdzoną halucynację sprowadzać do artykułu lub reguły, z której wynika, tak aby drugi klient nie dostał już tej samej błędnej odpowiedzi.
W skrócie
- Halucynacja agenta AI to pewna siebie odpowiedź, której Państwa treści nie potwierdzają: wymyślona zasada, błędna liczba, działanie, którego bot nigdy nie wykonał.
- Najbardziej należy się obawiać błędnej odpowiedzi o zwrocie, bo klienci na jej podstawie działają, a odpowiedzialność za nią ponosi firma.
- Próbki pomijają halucynacje: w przykładzie liczbowym próbka 2% ma 23% szans, że nie pokaże żadnej z 72 błędnych odpowiedzi o zwrotach.
- Wyłapuje je sześciokrokowa rutyna: spisać ryzykowne twierdzenia, napisać sprawdzalne kryteria, oceniać względem własnych treści, oceniać wszystko, segregować według wagi, naprawiać u źródła.
- Kontrola jakości po zakończeniu rozmowy nie zatrzyma pierwszej błędnej odpowiedzi. Zatrzymuje kolejnych sto, a to w nich leży koszt.
Jeśli Państwa agenci AI rozmawiają z klientami, nasza strona o kontroli jakości agentów AI pokazuje, jak Kaizo ocenia każdą rozmowę agenta AI według Państwa kryteriów, w tym pod kątem wymyślonych faktów i wymyślonych zasad. Ten poradnik opisuje metodę, niezależnie od tego, jakiego narzędzia Państwo używają.
Czym jest halucynacja agenta AI w obsłudze klienta?
Halucynacja agenta AI to odpowiedź, która brzmi pewnie, ale jest fałszywa lub nie znajduje oparcia w Państwa treściach, zwykle w postaci zasady, ceny, obietnicy lub faktu, na podstawie którego klient działa.
NIST Generative AI Profile (lipiec 2024) nazywa to konfabulacją, czyli wytwarzaniem treści podanych z pewnością, ale błędnych lub fałszywych (potocznie nazywanych halucynacjami lub zmyśleniami), które mogą wprowadzić użytkowników w błąd lub ich oszukać. W obsłudze klienta najważniejsza jest ostatnia część. Klient nie odróżni pewnej siebie błędnej odpowiedzi od pewnej siebie poprawnej.
W obsłudze klienta halucynacje dzielą się na sześć rodzajów. Każdy wymaga innej kontroli:
| Rodzaj | Przykład | Jak to sprawdzić |
|---|---|---|
| Wymyślona zasada | „Zwrot można zgłosić w ciągu 60 dni”, gdy zasady mówią o 30 | Porównać z artykułem o zasadach, z którego bot powinien był skorzystać |
| Błędna liczba | Stara cena, błędna opłata, błędny czas dostawy | Porównać każdą liczbę w odpowiedzi ze źródłem |
| Wymyślone działanie | „Zwrot został przetworzony”, gdy bot nie może przetwarzać zwrotów | Porównać twierdzenie z działaniami, które bot może wykonywać |
| Wymyślony wyjątek | Anulowana opłata lub przedłużony termin, których nikt nie zatwierdził | Sprawdzić z listą wyjątków, które może przyznać tylko człowiek |
| Błędny fakt o produkcie | Funkcja, limit planu lub zgodność, które nie są prawdziwe | Porównać z dokumentacją produktu |
| Wymyślone źródło | Artykuł pomocy, formularz lub link, które nie istnieją | Otworzyć link lub wyszukać tytuł w centrum pomocy |
Halucynacja to jeden z rodzajów cichych błędów, czyli pomyłek, które panel liczy jako sukcesy. Nasza klasyfikacja cichych błędów agentów AI omawia pozostałe, takie jak pominięte eskalacje i fałszywe rozwiązania.
Dlaczego najbardziej należy się obawiać błędnej odpowiedzi o zwrocie?
Bo klient na jej podstawie działa, a Państwa firma nadal odpowiada za to, co powiedział jej bot, więc błąd obsługi zamienia się w koszt, reklamację lub roszczenie prawne.
Najbardziej znaną sprawą jest Moffatt v. Air Canada (luty 2024). Chatbot na stronie linii lotniczej poinformował klienta, że o taryfę żałobną można wystąpić już po podróży. Zasady linii lotniczej na to nie pozwalały, a link podany przez samego chatbota prowadził do strony, która to mówiła.
Civil Resolution Tribunal w Kolumbii Brytyjskiej odrzucił argument, że chatbot odpowiada za własne działania. Uznał, że Air Canada nie dołożyła należytej staranności, aby jej chatbot był dokładny, i nakazał zapłatę 812,02 dolarów kanadyjskich. Jedna rozmowa to niewielka kwota. Ta sama odpowiedź powtórzona każdemu klientowi, który zadał to samo pytanie, już nie.
Tematy finansowe to także miejsce, w którym halucynacje najczęściej wyglądają na pomocne. Bot, który wymyśla hojny termin zwrotu, daje zadowolonego klienta, rozwiązaną rozmowę i dobry wynik satysfakcji, aż do chwili, gdy zwrot zostaje odrzucony.
Dlaczego próbki pomijają halucynacje agentów AI?
Bo halucynacja w jednym temacie jest rzadka w skali wszystkich rozmów, ale powtarza się w obrębie tego tematu, a mała losowa próbka obejmuje zbyt mało rozmów na ten temat, by pokazać wzorzec.
Oto przykład z liczbami, które dobraliśmy, aby pokazać rachunek, a nie dane klienta:
| Etap | Liczba |
|---|---|
| Rozmowy agenta AI w miesiącu | 40 000 |
| Rozmowy o zwrotach (6%) | 2400 |
| Odpowiedzi o zwrotach z wymyślonym warunkiem (3% rozmów o zwrotach) | 72 |
| Losowa próbka QA (2% wszystkich rozmów) | 800 |
| Oczekiwana liczba rozmów o zwrotach w tej próbce | 48 |
| Oczekiwana liczba błędnych odpowiedzi o zwrotach w tej próbce | 1,44 |
| Szansa, że próbka nie zawiera żadnej z nich | 23% |
| Szansa, że zawiera najwyżej jedną | 58% |
Obie szanse wynikają z rozkładu dwumianowego: 0,97 do potęgi 48 to 0,232, a po dodaniu szansy na dokładnie jedną wychodzi 0,576. W ponad połowie miesięcy recenzenci zobaczą więc najwyżej jedną błędną odpowiedź o zwrocie. Jedna wygląda na odosobniony przypadek, więc nikt nie poprawia artykułu, który za nią stoi.
Gdy ocenia się każdą rozmowę, widać wszystkie 72, zgrupowane w jednym temacie, w ciągu tygodnia. Dlatego nasz poradnik o tym, jak oceniać 100% rozmów (po angielsku), ma większe znaczenie dla botów niż dla ludzi: błędy człowieka są rozproszone, a błędy bota się powtarzają.
Jak wyłapać halucynacje agentów AI: sześciokrokowa rutyna
Halucynacje agentów AI wyłapuje się w sześciu krokach: spisać ryzykowne twierdzenia, napisać sprawdzalne kryteria, oceniać względem własnych treści, oceniać każdą rozmowę, segregować według wagi i naprawiać u źródła.
Kroki od 1 do 3 konfiguruje się raz.
Krok 1: Spisać twierdzenia, które kosztują pieniądze, jeśli są błędne
Proszę zacząć od tematów, w których klient działa na podstawie odpowiedzi: zwroty, rezygnacje, opłaty, ceny, terminy dostawy, warunki kwalifikacji i zmiany na koncie. Dla każdego tematu warto zapisać twierdzenia, które formułuje bot, takie jak „termin zwrotu”, „opłata za rezygnację” czy „które plany obejmują X”. Ta lista staje się głównym obszarem karty oceny i pierwszą kolejką do przeglądu.
Krok 2: Napisać kryteria, które recenzent sprawdzi w transkrypcji
Kryterium w rodzaju „odpowiedź jest poprawna” jest zbyt ogólne, by dwa razy ocenić je tak samo. Proszę formułować je tak, aby recenzent albo automatyczny oceniający mógł wskazać wiersz, który je spełnia lub nie:
| Kryterium | Spełnione, gdy | Niespełnione, gdy |
|---|---|---|
| Oparte na naszych treściach | Każdy fakt w odpowiedzi występuje w opublikowanym przez nas artykule pomocy lub zasadach | Odpowiedź zawiera fakt, liczbę lub warunek, których nasze treści nie podają |
| Granice zasad | Zwroty, środki na koncie i wyjątki mieszczą się w spisanych zasadach | Bot oferuje lub obiecuje coś, na co zasady nie pozwalają |
| Deklarowane działania | Bot mówi tylko, że zrobił to, co faktycznie może zrobić | Bot mówi, że przetworzył, anulował lub zmienił coś, czego nie może |
| Niepewność | Bot mówi, że nie wie, albo przekazuje rozmowę, gdy treści nie zawierają odpowiedzi | Bot wypełnia lukę domysłem |
Nasz poradnik o tym, jak napisać kryteria oceny QA, które AI potrafi ocenić (po angielsku), pokazuje, jak w ten sam sposób sformułować resztę karty oceny.
Krok 3: Oceniać względem własnych treści
Kontrola oparcia w treściach jest tylko tak dobra jak treści, względem których sprawdza. Proszę połączyć oceniającego z tym samym centrum pomocy i tymi samymi artykułami o zasadach, z których odpowiada bot, tak aby „brak oparcia w naszych treściach” miał precyzyjne znaczenie.
W Kaizo kryteria pisze się własnymi słowami i łączy bazę wiedzy, dzięki czemu AI ocenia każdą odpowiedź względem Państwa treści.
Krok 4: Oceniać każdą rozmowę agenta AI
Proszę oceniać wszystkie, bo powyższy przykład pokazuje, co ukrywa próbka. AutoPilot w Kaizo ocenia każdą rozmowę według Państwa kryteriów w momencie jej rozwiązania i dołącza komentarz wyjaśniający wynik. Można określić, które kolejki, kanały lub zespoły ma oceniać, tak aby tematy finansowe były objęte oceną od pierwszego dnia.
Krok 5: Segregować według wagi, a nie według daty
Nie każda halucynacja wymaga takiej samej reakcji. Reguła wagi pozwala zespołowi skupić się na tych, które kosztują pieniądze:
| Waga | Jak to wygląda | Reakcja |
|---|---|---|
| Krytyczna | Wymyślony zwrot, anulowanie opłaty, twierdzenie prawne lub dotyczące bezpieczeństwa, obietnica, którą firma musi spełnić lub wycofać | Tego samego dnia: skontaktować się z klientami, których to dotyczy, wyłączyć temat z obsługi przez bota lub wymusić przekazanie do konsultanta do czasu poprawki |
| Wysoka | Błędna liczba lub warunek w temacie finansowym, wymyślone działanie | W ciągu 2 dni roboczych: poprawić artykuł źródłowy, ponownie ocenić temat |
| Średnia | Błędny fakt o produkcie bez kosztu, wymyślony link | Na cotygodniowej liście poprawek treści |
| Niska | Nieszkodliwy szczegół, na przykład błędny przykład godzin otwarcia sklepu | Zbiorczo przy comiesięcznym przeglądzie treści |
Krok 6: Sprowadzić każdą halucynację do źródła i ocenić ponownie
Większość halucynacji wynika z czegoś, co da się naprawić: nieaktualnego artykułu pomocy, dwóch sprzecznych artykułów, warunku ukrytego na dole strony albo tematu, dla którego nie ma żadnego artykułu.
Proszę poprawić źródło, a potem przez kolejny tydzień ponownie oceniać ten temat, aby potwierdzić, że poprawka zadziałała. Analiza przyczyn źródłowych w Kaizo grupuje błędy stojące za spadkiem wyników, dzięki czemu dziesięć złych odpowiedzi z jednego artykułu staje się jedną poprawką.
Jakie sygnały wskazują na halucynację?
Najtańszym sygnałem halucynacji jest zachowanie klienta po rozmowie: ponowne kontakty, spory i korekty wprowadzane przez konsultantów; te sygnały pomagają wybrać, które rozmowy przeczytać najpierw.
- Klient wraca w ciągu 7 dni z tym samym tematem, często innym kanałem.
- Klient powołuje się na bota w rozmowie z konsultantem: „Państwa asystent mi powiedział”.
- Konsultant wycofuje lub koryguje coś, co obiecał bot.
- Po rozmowie z botem na dany temat pojawia się prośba o zwrot, środki na koncie lub wyjątek.
- Odpowiedź bota zawiera liczbę, datę lub link, których nie ma w artykule źródłowym.
- Klient protestuje („na Państwa stronie jest napisane co innego”), a bot się powtarza.
Każdy sygnał jest też kryterium karty oceny lub filtrem. Sygnały związane z przekazaniem rozmowy powinny trafić na kartę oceny, co wyjaśnia nasz poradnik o ocenie przekazania rozmowy między botem a konsultantem.
Czego nie zrobi kontrola jakości po zakończeniu rozmowy
Kontrola jakości po zakończeniu rozmowy nie zatrzyma pierwszej błędnej odpowiedzi, ale powstrzyma tę samą odpowiedź przed dotarciem do kolejnych klientów i pokaże, kto już ją otrzymał.
Kaizo ocenia rozmowy po ich zakończeniu, w systemie helpdesk, w którym się znajdują. Nie monitoruje bota na żywo i nie blokuje odpowiedzi przed jej wysłaniem.
Zabezpieczenia działające w trakcie odpowiadania bota oraz testy przed uruchomieniem, na przykład testy regresji promptów w procesie wdrożeniowym zespołu deweloperskiego, należą do zespołu, który buduje agenta. To inne etapy i działają równolegle z QA.
Ocena po zakończeniu rozmowy dodaje to, czego inne etapy nie widzą: co bot faktycznie powiedział prawdziwym klientom, w każdej rozmowie, z transkrypcją za każdym ustaleniem. To także dowód potrzebny, aby skontaktować się z klientami, którzy dostali błędną odpowiedź, zanim sami to odkryją.
Jak zacząć wyłapywać halucynacje w tym miesiącu
Proszę zacząć od jednego tematu finansowego, czterech kryteriów i każdej rozmowy na ten temat przez dwa tygodnie, co wystarczy, by znaleźć pierwsze źródło do poprawy i zmierzyć wskaźnik halucynacji.
- Wybrać temat, w którym błędna odpowiedź kosztuje najwięcej, zwykle zwroty lub rezygnacje.
- Dodać do karty oceny bota cztery kryteria z kroku 2.
- Przez dwa tygodnie oceniać każdą rozmowę agenta AI na ten temat.
- Policzyć rozmowy, które nie spełniają kryterium oparcia w treściach lub zgodności z zasadami, i podzielić przez wszystkie rozmowy na ten temat. To wskaźnik halucynacji dla tego tematu.
- Poprawić najważniejsze źródło, oceniać ponownie przez tydzień i porównać.
Proszę zobaczyć to w demo na żywo. Kaizo ocenia każdą rozmowę agenta AI względem Państwa treści i kryteriów oraz wiąże każde niespełnione kryterium z wierszem, w którym nie zostało spełnione. Porozmawiajmy.
Najczęściej zadawane pytania
Czy można całkowicie powstrzymać chatbota AI przed halucynacjami?
Żadna obecna metoda tego nie gwarantuje. Oparcie bota na Państwa treściach, ograniczenie jego tematów i wymuszenie przekazania rozmowy, gdy nie zna odpowiedzi, zmniejszają liczbę halucynacji. Zagwarantować można natomiast, że Państwo je znajdą: oceniając każdą rozmowę względem własnych treści, wyłapuje się błędną odpowiedź w pierwszych rozmowach, w których się pojawia, a nie po reklamacji.
Czy baza wiedzy powstrzymuje agenta AI przed zmyślaniem?
Zmniejsza problem, ale go nie usuwa. Bot, który odpowiada z Państwa bazy wiedzy, nadal może błędnie połączyć dwa artykuły, skorzystać z nieaktualnego albo wypełnić lukę tam, gdzie artykułu nie ma. Dlatego kontrola oparcia w treściach porównuje każdą odpowiedź ze źródłem, a nieaktualny lub brakujący artykuł jest najczęstszą przyczyną źródłową.
Jak zmierzyć wskaźnik halucynacji agenta AI?
Należy policzyć rozmowy, które nie spełniają kryterium oparcia w treściach lub zgodności z zasadami, i podzielić przez wszystkie ocenione rozmowy, osobno dla każdego tematu. Pomiar dla tematu jest lepszy niż ogólny, bo niski wskaźnik ogólny może ukryć wysoki wskaźnik w zwrotach. Proszę śledzić go co tydzień w trakcie poprawiania źródeł, a co miesiąc, gdy się ustabilizuje.
Kto odpowiada, gdy chatbot poda klientowi błędne informacje?
W sprawie Air Canada odpowiadała firma. W lutym 2024 roku trybunał w Kolumbii Brytyjskiej orzekł, że linia lotnicza odpowiada za wszystkie informacje na swojej stronie internetowej, łącznie z odpowiedziami chatbota, i nakazał zapłatę 812,02 dolarów kanadyjskich. To jedno rozstrzygnięcie w sprawie o niewielką kwotę w jednej prowincji, a nie ogólna reguła, więc warto sprawdzić prawo obowiązujące tam, gdzie Państwo działają.
Jak szybko poprawić halucynację po jej wykryciu?
Według wagi. Temat krytyczny należy wyłączyć z obsługi przez bota lub wymusić przekazanie do konsultanta tego samego dnia i skontaktować się z klientami, którzy dostali błędną odpowiedź. Artykuły źródłowe przy wysokiej wadze trzeba poprawić w ciągu dwóch dni roboczych, a potem przez tydzień ponownie oceniać temat, aby potwierdzić skuteczność poprawki. Niższe wagi mogą trafić na cotygodniową listę poprawek treści.
