Ewaluacja agentów AI to sposób, w jaki zespół obsługi klienta udowadnia, że jego agent AI udziela poprawnych, dozwolonych i pomocnych odpowiedzi. Ma dwa etapy: ewaluacje (evals) przed wdrożeniem, w których testowe rozmowy sprawdza się według spisanych kryteriów sukcesu, oraz ewaluację na produkcji, w której prawdziwe rozmowy z klientami ocenia się według karty oceny. Potrzebne są oba, skalibrowany oceniający i wskazany właściciel.
W skrócie
- Ewaluacje przed wdrożeniem mówią, czy zmianę można bezpiecznie wypuścić; ewaluacja na produkcji mówi, co agent AI faktycznie zrobił klientom.
- Warto mierzyć poprawne rozwiązanie sprawy, zgodność z zasadami, poprawność działań, jakość eskalacji i ton; containment traktować jako kontekst, nigdy jako wynik jakości.
- LLM jako sędzia sprawdza się przy wolumenie, a ludzie przy kalibracji i sprawach wysokiego ryzyka; ich zgodność trzeba sprawdzać kryterium po kryterium.
- Małe próbki pomijają rzadkie, ale kosztowne błędy: przy 40 000 rozmów miesięcznie próbka 1% ma 45% szans, że nie pokaże ani jednego przypadku błędu, który dotyka 80 klientów.
- Każda metryka potrzebuje właściciela, progu i częstotliwości; tabela z ramami ewaluacji poniżej to punkt wyjścia do skopiowania.
Ten poradnik jest dla lidera obsługi klienta, który odpowiada za agenta, gdy ten rozmawia już z klientami, a nie dla inżynierów, którzy go budują. Podstawy opisuje artykuł o tym, jak prowadzić kontrolę jakości agentów AI; jeśli dopiero Państwo decydują, jak daleko zautomatyzować obsługę, warto zacząć od agentowej obsługi klienta.
Czym jest ewaluacja agentów AI w obsłudze klienta?
Ewaluacja agentów AI w obsłudze klienta to powtarzalny proces sprawdzania rozmów agenta AI według spisanych kryteriów sukcesu: czy odpowiedź była poprawna, czy pozwalały na nią zasady, czy obiecane działanie naprawdę nastąpiło, czy agent przekazał rozmowę, gdy powinien, i czy ton był właściwy. Prowadzi się ją przed wdrożeniem na przypadkach testowych i po wdrożeniu na prawdziwych rozmowach.
Państwa zespół AI będzie używał tych pojęć z poradników dla programistów:
| Pojęcie | Co oznacza | Przykład z obsługi klienta |
|---|---|---|
| Zadanie lub przypadek testowy (task, test case) | Jeden scenariusz z określonymi danymi wejściowymi i kryteriami sukcesu | „Klient prosi o zwrot za zamówienie dostarczone 40 dni temu” |
| Grader | Logika, która ocenia jeden aspekt wyniku | „Czy agent odmówił zwrotu zgodnie z 30-dniową zasadą?” |
| Transkrypcja (transcript) | Pełny zapis przebiegu, łącznie z działaniami agenta | Czat plus żądanie do API zwrotów i odpowiedź na nie |
| Wynik (outcome) | Stan końcowy w Państwa systemach | Czy zwrot jest faktycznie zapisany w systemie zamówień? |
Dla obsługi klienta najważniejszy jest ostatni wiersz. Transkrypcja, w której agent pisze „zwrot jest już w drodze”, to nie to samo co zwrot w systemie. Praktycy prowadzący agentów w obsłudze klienta opisują właśnie taki błąd: agent zgłasza działanie jako wykonane, choć wywołanie API, które za nim stało, się nie powiodło.
Co „Demystifying evals for AI agents” Anthropic oznacza dla zespołów obsługi?
Wpis inżynierski Anthropic Demystifying evals for AI agents to poradnik, którego większość osób szuka po nazwie. Dla zespołów obsługi klienta sprowadza się do pięciu punktów: zacząć od małej liczby prawdziwych błędów, sprawdzać wyniki, a nie tylko słowa, mierzyć powtarzalność, testować obie strony każdej decyzji i stale czytać transkrypcje.
- Zacząć od 20 do 50 prawdziwych błędów. Wpis nazywa 20 do 50 prostych zadań opartych na prawdziwych błędach „a great start” (świetnym początkiem) i wskazuje kolejkę zgłoszeń jako ich źródło. Państwa zespół QA już je ma.
- Oceniać wynik, a nie relację. Przykład zwrotu z wpisu łączy sprawdzenie stanu (zgłoszenie rozwiązane, zwrot przetworzony), sprawdzenie działań agenta (tożsamość zweryfikowana, zwrot w limicie) i rubrykę LLM dla empatii i jasności.
- Mierzyć powtarzalność metryką pass^k, czyli szansą, że wszystkie k przebiegów zadania zakończą się sukcesem. Wpis zaznacza, że „especially matters for customer-facing agents where users expect reliable behavior every time” (ma to szczególne znaczenie przy agentach obsługujących klientów, którzy za każdym razem oczekują niezawodnego zachowania). Agent, który przechodzi zadanie w 75% przypadków, przechodzi wszystkie 3 przebiegi tylko w około 42% przypadków.
- Testować w obu kierunkach. Sprawdzać, kiedy agent powinien działać, i kiedy nie powinien. Zestaw złożony z samych przypadków „powinien zwrócić” daje agenta, który zwraca za często.
- Czytać transkrypcje. „You won’t know if your graders are working well unless you read the transcripts and grades from many trials” (nie dowiedzą się Państwo, czy graderzy działają dobrze, jeśli nie przeczytają transkrypcji i ocen z wielu przebiegów).
Wpis nazywa też monitorowanie produkcji reaktywnym: klienci napotykają problem, zanim zrobią to Państwo. Zespoły obsługi potrzebują obu etapów.
Ewaluacje przed wdrożeniem a ewaluacja na produkcji: na czym polega różnica?
Ewaluacje przed wdrożeniem uruchamiają agenta AI na testowych rozmowach, zanim zmiana trafi na produkcję, żeby zablokować zły prompt, model albo aktualizację wiedzy. Ewaluacja na produkcji ocenia prawdziwe rozmowy z klientami, dzięki czemu można znaleźć błędy, których zestaw testowy nigdy nie przewidział. Etap przed wdrożeniem to bramka, produkcja to bieżąca kontrola jakości.
| Ewaluacje przed wdrożeniem | Ewaluacja na produkcji | |
|---|---|---|
| Na jakie pytanie odpowiada | Czy tę zmianę można bezpiecznie wypuścić? | Co agent zrobił klientom w tym tygodniu? |
| Dane wejściowe | Przypadki testowe, symulowani klienci, odtworzone wcześniejsze rozmowy | Każda prawdziwa rozmowa obsłużona przez agenta AI |
| Kiedy się odbywa | Przed każdą zmianą promptu, modelu, narzędzia lub treści | W sposób ciągły, w miarę zamykania rozmów |
| Typowy właściciel | Właściciel AI lub automatyzacji | Lider QA, a progi ustala lider CX |
| Mocna strona | Wychwytuje regresje, zanim zobaczą je klienci | Wychwytuje to, czego nikt nie pomyślał przetestować |
| Martwy punkt | Znajduje tylko to, co jest w zestawie testowym | Znajduje problemy dopiero po tym, jak się wydarzą |
| Więcej informacji | Testowanie agentów AI i testowanie chatbota | Monitorowanie agentów AI i reszta tego artykułu |
Oba etapy się zasilają: każdy błąd znaleziony na produkcji staje się nowym przypadkiem testowym. Symulacja, w której drugi model odgrywa klienta, należy do etapu przed wdrożeniem; benchmarki takie jak τ-bench wykorzystują ją do zadań obsługi klienta w handlu i liniach lotniczych.
Jak napisać ewaluacje dla agenta AI?
Żeby napisać ewaluacje dla agenta AI, należy zebrać 20 do 50 prawdziwych rozmów, w których agent lub Państwa zespół się pomylili, dla każdej spisać, jak wygląda poprawny wynik, dodać przypadki, w których właściwym ruchem jest odmowa lub eskalacja, dać każdemu kryterium osobnego gradera i uruchamiać każdy przypadek kilka razy przed każdą zmianą.
Zespół obsługi to definiuje, a zespół AI wdraża:
- Pobrać przypadki z QA. Nieudane lub eskalowane rozmowy z ostatnich 90 dni, pogrupowane według intencji.
- Spisać oczekiwany wynik w jednym zdaniu. „Odmawia zwrotu, przytacza 30-dniową zasadę, proponuje bon na zakupy, nie eskaluje.”
- Dodać przypadki lustrzane. Do każdego przypadku „powinien odmówić” przypadek „powinien to zrobić”; do każdego przypadku „powinien eskalować” taki, w którym eskalacja byłaby błędem.
- Rozdzielić kryteria. Poprawność, zasady, działanie, eskalacja i ton dostają osobne kontrole; wpis Anthropic zaleca jednego sędziego na każdy wymiar rubryki.
- Sprawdzać system, a nie zdanie. Gdy agent podejmuje działanie, grader czyta rekord w systemie zamówień lub w helpdesku, a nie deklarację agenta.
- Uruchamiać każdy przypadek 3 do 5 razy i uznawać go za zaliczony tylko wtedy, gdy wszystkie przebiegi są zaliczone. Tak wygląda pass^k w praktyce.
- Prowadzić dwa zestawy. Zestaw regresyjny, który powinien przechodzić niemal w 100%, i trudniejszy zestaw możliwości dla intencji, które planują Państwo zautomatyzować w następnej kolejności.
Wersja minimalna, jak opisują ją praktycy, to kilkadziesiąt prawdziwych zgłoszeń, które poszły źle, uruchamianych ponownie przy każdej zmianie promptu. Nasz poradnik o testowaniu agentów AI szczegółowo omawia projektowanie testów, przebiegi regresyjne i symulację.
Które metryki ewaluacji agentów AI mają znaczenie w obsłudze klienta?
W obsłudze klienta liczą się metryki ewaluacji agentów AI takie jak poprawne rozwiązanie sprawy, poprawność odpowiedzi, zgodność z zasadami, poprawność działań, jakość eskalacji i ton, uzupełnione o ponowne kontakty i opinie klientów. Containment i deflekcja mówią tylko, że klient nie dotarł do człowieka, więc należą do kolumny kontekstu, a nie do wyniku jakości.
| Metryka | Definicja | Dlaczego jest ważna |
|---|---|---|
| Poprawne rozwiązanie sprawy | Odsetek rozmów obsłużonych przez AI ocenionych jako rozwiązane poprawną odpowiedzią, bez ponownego kontaktu w ciągu 7 dni | Uczciwa wersja „wskaźnika rozwiązań” |
| Poprawność odpowiedzi | Odsetek rozmów bez błędu merytorycznego względem Państwa własnych treści | Wychwytuje wymyślone zasady, ceny i kroki |
| Zgodność z zasadami | Odsetek rozmów bez naruszenia zasad dotyczących zwrotów, tożsamości, informowania lub zakresu | Jedno naruszenie powtarza się w każdej podobnej rozmowie |
| Poprawność działań | Odsetek działań deklarowanych przez agenta, które zgadzają się z rekordem w systemie | Wychwytuje „zwrot przetworzony”, gdy API zawiodło |
| Jakość eskalacji | Odsetek przekazań rozmowy przy właściwym wyzwalaczu, z przekazanym kontekstem; plus odsetek pominiętych eskalacji | Złe przekazanie zmusza klienta do zaczynania od nowa |
| Ton | Odsetek rozmów spełniających Państwa kryteria tonu i empatii | Poprawne, ale chłodne odpowiedzi też tracą klientów |
| Containment (kontekst) | Odsetek rozmów, które nigdy nie trafiły do człowieka | Wyłącznie wskaźnik wolumenu; liczy błędne odpowiedzi jako sukcesy |
Containment rate (po angielsku) warto zestawiać z kontrolą rozwiązania sprawy; artykuł o tym, jak mierzyć skuteczność agentów AI, pokazuje, jak uczciwie porównywać obsługę przez AI i przez ludzi, a kryteria warto umieścić w karcie oceny agenta AI.
LLM jako sędzia czy ocena ludzi: jak je skalibrować?
LLM jako sędzia powinien oceniać każdą rozmowę, a ludzie powinni go kalibrować i odpowiadać za sprawy wysokiego ryzyka. Kalibracja polega na tym, że dwie osoby i sędzia oceniają na ślepo te same 100 do 200 rozmów, a następnie mierzy się zgodność osobno dla każdego kryterium i poprawia brzmienie kryterium wszędzie tam, gdzie sędzia i ludzie się nie zgadzają.
LLM jako sędzia (LLM-as-a-judge) oznacza, że model językowy ocenia rozmowę według Państwa spisanych kryteriów (nasza definicja, po angielsku). Artykuł naukowy Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena wykazał, że GPT-4 osiągnął ponad 80% zgodności z preferencjami ludzi, czyli tyle, ile wynosi zgodność między samymi ludźmi. Wymienia też słabe punkty sędziego: skrzywienie związane z pozycją odpowiedzi, długością odpowiedzi i faworyzowaniem własnych odpowiedzi, a także ograniczone rozumowanie.
Rutyna kalibracji, która się sprawdza:
- Oceniać na ślepo. Dwie osoby i sędzia oceniają ten sam zestaw osobno. Najpierw uzgadniają się ludzie, potem porównują wynik z sędzią.
- Mierzyć dla każdego kryterium. Ogólne 90% może ukrywać kryterium tonu na poziomie 70%. Przy kryteriach typu zaliczone lub niezaliczone warto śledzić czułość (recall): ile prawdziwych naruszeń zasad wychwycił sędzia?
- Pozwolić sędziemu powiedzieć „nie wiem”. Wpis Anthropic zaleca danie sędziemu takiego wyjścia, żeby ograniczyć wymyślone oceny. Przypadki „nie wiem” trafiają do człowieka.
- Kalibrować ponownie po każdej zmianie karty oceny, modelu sędziego lub zakresu agenta, a co najmniej raz w miesiącu.
Nasz tygodniowy protokół walidacji oceny przez AI (po angielsku) zamienia to w plan dzień po dniu z progami zgodności.
Ile rozmów trzeba ocenić?
Na potrzeby ewaluacji przed wdrożeniem na początek wystarczy 20 do 50 prawdziwych błędnych przypadków, a z czasem kilkaset, w miarę automatyzowania kolejnych intencji. Na produkcji najlepiej oceniać każdą rozmowę agenta AI, bo najdroższe błędy są rzadkie, a rzadkie błędy chowają się w próbkach. Podwójną ocenę przez ludzi warto utrzymywać na poziomie 100 do 200 rozmów miesięcznie.
Ilustracja (nie są to dane klienta). Agent AI obsługuje 40 000 rozmów miesięcznie. Zespół QA ocenia próbkę 1%: 400 rozmów.
| Błąd | Częstość | Klienci dotknięci miesięcznie | Oczekiwana liczba w próbce 400 | Szansa, że próbka nie pokaże żadnego |
|---|---|---|---|---|
| Błędna ocena prawa do zwrotu | 0,5% | 200 | 2 | 13% |
| „Zwrot przetworzony”, gdy API zawiodło | 0,2% | 80 | 0,8 | 45% |
Szansa, że próbka nie pokaże żadnego przypadku, to (1 minus częstość) do potęgi 400. Nawet dwa wychwycone błędy zwrotów wyglądają jak szum; ocena wszystkich 40 000 rozmów pokazuje 200 i 80 przypadków, pogrupowanych według intencji.
Trzy praktyczne reguły:
- Margines błędu. Wskaźnik poprawnego rozwiązania na poziomie 90% zmierzony na 400 rozmowach ma dokładność około ±3 punktów procentowych (przy 95% ufności), więc spadek do 88% mieści się w szumie. Przy 40 000 rozmów margines wynosi około ±0,3 punktu.
- Zero błędów to nie zero ryzyka. Jeśli w n rozmowach nie widać żadnego błędu, prawdziwa częstość może nadal wynosić nawet około 3 podzielone przez n: wykazanie częstości poniżej 1% wymaga około 300 bezbłędnych rozmów, poniżej 0,1% około 3 000.
- Zestawy kalibracyjne są celowo małe. 200 rozmów ocenionych podwójnie przy 85% zgodności określa tę zgodność z dokładnością około ±5 punktów: to wystarczy, żeby znaleźć źle sformułowane kryterium, ale nie, żeby szeregować oceniających.
Matematykę wyjaśnia nasz artykuł o statystyce próbkowania w QA (po angielsku).
Ramy ewaluacji agentów AI (tabela do skopiowania)
Te ramy wymieniają, co oceniać, metodę, metrykę, przykładowy próg, właściciela i częstotliwość dla agenta AI w obsłudze klienta. Progi to przykłady do dyskusji, a nie branżowe benchmarki: własne warto ustalić na podstawie swojego poziomu bazowego i kosztu pojedynczego błędu.
| Co oceniać | Metoda | Metryka | Przykładowy próg | Właściciel | Częstotliwość |
|---|---|---|---|---|---|
| Poprawność odpowiedzi | LLM jako sędzia z dostępem do Państwa bazy wiedzy; wyrywkowe kontrole przez ludzi | Odsetek rozmów bez błędu merytorycznego | 98% lub więcej; każdy nowy rodzaj błędu powiązany ze źródłem w ciągu tygodnia | Lider QA z właścicielem wiedzy | Ocena każdej rozmowy; przegląd co tydzień |
| Zgodność z zasadami | Reguły sprawdzające działania plus LLM jako sędzia dla sformułowań | Odsetek naruszeń, w podziale na krytyczne i drobne | Zero krytycznych naruszeń w zestawie regresyjnym; każde naruszenie na produkcji przejrzane | Właściciel zasad lub compliance | Każda rozmowa; alert tego samego dnia przy naruszeniu krytycznym |
| Poprawność działań | Porównanie deklaracji agenta z rekordem w systemie | Odsetek niezgodności między deklarowanymi a faktycznymi działaniami | Zero niezgodności przed wdrożeniem; każda niezgodność na produkcji przejrzana | Właściciel AI lub automatyzacji | Przed każdą zmianą; codziennie na produkcji |
| Poprawne rozwiązanie sprawy | LLM jako sędzia plus ponowny kontakt w ciągu 7 dni | Odsetek rozmów obsłużonych przez AI rozwiązanych poprawnie | Ustalony na podstawie poziomu bazowego z pierwszego miesiąca; analiza przy spadku o 3 punkty lub więcej | Lider CX | Co tydzień |
| Jakość eskalacji | Kryteria karty oceny: właściwy wyzwalacz, przekazany kontekst, brak pętli | Odsetek pominiętych eskalacji; odsetek przekazań z pełnym kontekstem | Wszystkie przypadki testowe „powinien eskalować” zaliczone przed wdrożeniem; pominięte eskalacje poniżej 1% na produkcji | Lider QA z właścicielem routingu | Co tydzień |
| Ton i empatia | LLM jako sędzia dla każdego kryterium, kalibrowany przez ludzi | Odsetek spełniających kryteria tonu | 95% lub więcej, po kalibracji | Lider QA | Każda rozmowa; kalibracja co miesiąc |
| Powtarzalność | Wielokrotne przebiegi krytycznego zestawu testowego | pass^k przy k = 5 | 90% lub więcej dla zadań krytycznych | Właściciel AI lub automatyzacji | Przed każdą zmianą promptu, modelu, narzędzia lub treści |
| Trafność sędziego | Podwójna ocena na ślepo przez dwie osoby | Zgodność dla każdego kryterium; czułość dla błędów krytycznych | 85% zgodności lub więcej dla każdego kryterium; 90% czułości dla błędów krytycznych | Lider QA | Co miesiąc oraz po każdej zmianie karty oceny lub modelu |
| Wynik dla klienta | CSAT dla rozmów obsłużonych przez AI, ponowne kontakty, porzucenia | Trend względem poziomu bazowego | Brak spadku dwa tygodnie z rzędu | Lider CX | Co tydzień; co miesiąc w przeglądzie wyników agenta AI |
Dlaczego próg powtarzalności jest surowy: zadanie, które przechodzi w 98% pojedynczych przebiegów, przechodzi wszystkie 5 przebiegów w około 90% przypadków, a zadanie na poziomie 95% tylko w około 77%. Klient dostaje ten przebieg, który akurat wypadnie.
Kto powinien odpowiadać za ewaluację agentów AI?
Ewaluacja agentów AI wymaga trzech właścicieli: właściciel AI lub automatyzacji prowadzi ewaluacje przed wdrożeniem i poprawia prompty oraz narzędzia, lider QA prowadzi ocenę na produkcji i kalibrację sędziego, a lider CX ustala progi i decyduje, czy agent dostaje szerszy zakres, zostaje przy obecnym, czy zostaje ograniczony. Właściciele wiedzy i zasad poprawiają treści, które wskazują wyniki.
Typowym błędem jest ewaluacja prowadzona wyłącznie przez zespół, który buduje agenta: twórcy mierzą to, co mogą zmienić, a liderzy obsługi muszą widzieć, co dostali klienci. Za liczby z produkcji powinna odpowiadać osoba z obsługi klienta; tabela z ramami powyżej wskazuje właściciela każdej metryki. Ewaluacja to część szerszego modelu nadzoru, opisanego w naszym poradniku o zarządzaniu agentami AI.
Jakich narzędzi do ewaluacji agentów AI używają zespoły obsługi?
Zespoły obsługi używają czterech rodzajów narzędzi do ewaluacji agentów AI: platform ewaluacji i observability dla programistów do testów przed wdrożeniem i śledzenia przebiegów, narzędzi symulacyjnych, które odgrywają klienta, analityki wbudowanej w platformę agenta oraz platform kontroli jakości rozmów, które oceniają prawdziwe rozmowy według karty oceny. Większość zespołów enterprise kończy z jednym narzędziem na każdy etap.
| Rodzaj narzędzia | Przykłady na rynku | Na co odpowiada | Ograniczenia z perspektywy lidera obsługi |
|---|---|---|---|
| Ewaluacja i observability dla programistów | LangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEval | Czy ta zmiana zepsuła test? W którym miejscu przebiegu nastąpił błąd? | Zbudowane dla inżynierów; wyniki rzadko odpowiadają Państwa karcie oceny |
| Testy symulacyjne | Wyspecjalizowane narzędzia do symulacji i połączeń testowych | Jak agent radzi sobie z setkami klientów ze scenariusza? | Tak dobre, jak scenariusze; bez prawdziwych klientów |
| Analityka platformy agenta | Raportowanie w Intercom Fin, agentach AI Zendesk, Salesforce Agentforce, Decagon, Sierra | Ile rozmów zautomatyzowano lub zatrzymano bez człowieka? | Mierzy bardziej wolumen niż poprawność |
| Kontrola jakości rozmów | Kaizo i inne platformy QA | Czy każda prawdziwa rozmowa była poprawna, dozwolona i dobrze poprowadzona? | Działa po rozmowie, a nie przed wydaniem |
Kaizo należy do ostatniego wiersza. AutoPilot ocenia każdą zakończoną rozmowę według Państwa własnej karty oceny, a każdy wynik prowadzi do dowodu w rozmowie. Ocenę testuje się na historycznych ocenach Państwa zespołu, zanim zostanie uruchomiona, a rozmowy wymagające osądu nadal trafiają do ludzi. Nasza strona o kontroli jakości agentów AI pokazuje, jak to działa w Zendesk i Salesforce.
Proszę zobaczyć to na własnych rozmowach. Kaizo ocenia 100% Państwa rozmów z klientami i zamienia wnioski w coaching. Umów demo.
Kiedy taki poziom ewaluacji nie jest Państwu potrzebny
Jeśli Państwa agent AI obsługuje kilkadziesiąt rozmów tygodniowo, można pominąć ramy, sędziego i narzędzie: wystarczy przez godzinę w tygodniu samodzielnie czytać wszystkie transkrypcje według krótkiej listy kontrolnej (poprawnie, dozwolone, właściwe przekazanie, właściwy ton). Pełny program warto uruchomić, gdy wolumen przekroczy to, co jedna osoba jest w stanie przeczytać, albo gdy agent zacznie podejmować działania takie jak zwroty czy zmiany na koncie.
Jeśli potrzebują Państwo zestawu testów dla programistów w procesie wydawniczym, to inne narzędzie; platforma QA Kaizo ocenia rozmowy po ich zakończeniu i może działać równolegle.
Jak zacząć ewaluację agentów AI w tym tygodniu
Ewaluację agentów AI można zacząć w tym tygodniu bez żadnych zakupów. W pięć dni zespół obsługi może wybrać trzy intencje, zebrać 30 prawdziwych błędów, spisać pięć kryteriów typu tak lub nie, ocenić 100 ostatnich rozmów jako poziom bazowy i uzgodnić właścicieli oraz progi. Wszystko inne w ramach wyrasta z tego punktu.
- Poniedziałek: wybrać intencję o największym wolumenie, najbardziej ryzykowną (zwykle zwroty lub zmiany na koncie) i tę, na którą klienci skarżą się najczęściej.
- Wtorek: pobrać po 10 złych rozmów dla każdej intencji z QA, reklamacji i eskalacji; dla każdej spisać w jednym zdaniu poprawny wynik.
- Środa: spisać pięć kryteriów (poprawna odpowiedź, zasady, działanie zgodne z systemem, eskalacja, ton), każde jako pytanie typu tak lub nie z dowodem, który je potwierdza.
- Czwartek: dwie osoby oceniają na ślepo 100 ostatnich rozmów. To Państwa poziom bazowy i pierwszy zestaw kalibracyjny.
- Piątek: uzupełnić tabelę ram nazwiskami, liczbami bazowymi i datą pierwszego miesięcznego przeglądu.
30 błędów warto przekazać zespołowi AI jako pierwszy zestaw regresyjny: nic nie trafia na produkcję, dopóki go nie przejdzie.
Najczęściej zadawane pytania
Jaki poziom poprawności jest dobry dla agenta AI w obsłudze klienta?
Nie ma uniwersalnej liczby; zależy to od kosztu jednej błędnej odpowiedzi. Jako przykładowy próg można przyjąć 98% lub więcej rozmów bez błędu merytorycznego i zero krytycznych naruszeń zasad w zestawie regresyjnym. Próg na produkcji warto ustalić na podstawie własnego poziomu bazowego i analizować każdy spadek o 3 punkty lub więcej.
Jak często należy powtarzać ewaluacje agenta AI?
Zestaw regresyjny trzeba uruchamiać przed każdą zmianą promptu, modelu, narzędzia lub wiedzy, bo każda z nich może zepsuć coś, co działało. Rozmowy na produkcji warto oceniać w sposób ciągły, przeglądać liczby co tydzień, a sędziego kalibrować co miesiąc i po zmianach karty oceny.
Czy agentów AI należy oceniać według tej samej karty oceny co konsultantów?
Wspólne kryteria warto stosować tam, gdzie dotyczą obu grup, na przykład poprawna odpowiedź i właściwy ton, żeby wyniki pozostały porównywalne. Następnie należy dodać kryteria potrzebne tylko agentowi AI: oparcie w Państwa treściach, poprawność działań, zakres i wyzwalacze eskalacji. Jeden standard z kontrolami specyficznymi dla AI sprawdza się lepiej niż dwie niezwiązane karty oceny.
Czym różni się pass@k od pass^k?
pass@k to szansa, że co najmniej jeden z k przebiegów zakończy się sukcesem, co pasuje do narzędzi, w których wystarczy jedna dobra odpowiedź. pass^k to szansa, że sukcesem zakończą się wszystkie k przebiegi. Obsługa klienta potrzebuje pass^k, bo każdy klient dostaje jeden przebieg i za każdym razem oczekuje właściwej odpowiedzi.
Czy ewaluacja agentów AI to to samo co monitorowanie agentów AI?
Nie. Monitorowanie śledzi wolumen na żywo, błędy i alerty, żeby szybko zauważyć problem. Ewaluacja ocenia, czy każda odpowiedź była poprawna, dozwolona i dobrze poprowadzona, przed wdrożeniem na przypadkach testowych i po wdrożeniu na prawdziwych rozmowach. Ewaluacja na produkcji zasila monitorowanie, a każdy znaleziony przez nią błąd staje się nowym przypadkiem testowym.
