KPI agentów AI w obsłudze klienta powinny mierzyć, czy agent AI rozwiązał problem poprawnie, a nie czy człowiek trzymał się z daleka. Główny zestaw: wskaźnik poprawnych rozwiązań, sprawdzona poprawność, zgodność z zasadami, jakość przekazań, ponowny kontakt w ciągu 7 dni, wskaźnik niebezpiecznych działań automatycznych i koszt na poprawne rozwiązanie. Containment i deflekcja zostają na dashboardzie jako dane o wolumenie.
Wskaźniki jakości obsługi AI mierzą, czy agent AI naprawdę rozwiązał problem klienta: jakość rozwiązania, poprawność merytoryczną, jakość eskalacji, ponowne kontakty, ciche porzucenia, zgodność z zasadami i koszt na rozwiązany kontakt. Spośród wskaźników AI w obsłudze klienta containment rate i CSAT po rozmowie z AI to dwa, które raportuje większość zespołów, i zarazem dwa najbardziej mylące. Zamiast nich warto oceniać każdą rozmowę i wiązać każdą ocenę z dowodem, tak jak robi to kontrola jakości agentów AI.
W skrócie
- Containment liczy sfrustrowane porzucenie rozmowy jako sukces.
- CSAT po rozmowie z AI nigdy nie słyszy klientów, którzy zrezygnowali.
- Ponowne kontakty i ciche porzucenia wychwytują to, co ukrywa containment.
- Każda ocena powinna prowadzić do dowodu w transkrypcji.
- Głównym KPI agentów AI powinien być wskaźnik poprawnych rozwiązań, a jego finansowym odpowiednikiem koszt na poprawne rozwiązanie.
- Dostawcy różnie definiują „rozwiązane”, więc każdą liczbę od dostawcy trzeba przeliczyć według własnej definicji, zanim się ją porówna.
Dlaczego dwa domyślne wskaźniki AI w obsłudze klienta wprowadzają w błąd
Każdy szef obsługi klienta, który wdraża AI, słyszy od zarządu to samo pytanie: proszę udowodnić, że to działa. Pierwsze liczby, po które się sięga, to containment rate i CSAT po rozmowie z AI, bo oba łatwo wyciągnąć i oba, przy odrobinie dobrej woli, rosną w górę i w prawo. To jednocześnie dwie liczby, które najrzadziej opisują, co naprawdę spotkało Państwa klientów.
Problem jest strukturalny, a nie kwestią dostrojenia. Containment mierzy wynik routingu: czy rozmowy dotknął człowiek. CSAT po rozmowie z AI mierzy opinię, ale tylko opinię tych, którzy zdecydowali się ją wyrazić. Żaden z nich nie patrzy na treść rozmowy, a tylko tam jest odpowiedź. To zupełnie inny problem niż ten, który rozwiązuje standardowa metoda mierzenia skuteczności agentów AI, i zupełnie inny niż wybór, które z ogólnych KPI obsługi klienta trafią na Państwa dashboard. Tutaj chodzi o to, które liczby po cichu wprowadzają Państwa w błąd.
Oto krótka wersja argumentu, wskaźnik po wskaźniku, zanim omówimy każdy z nich szczegółowo.
| Wskaźnik | Co rzekomo pokazuje | Jak wprowadza w błąd | Co mierzyć zamiast tego |
|---|---|---|---|
| Containment / wskaźnik deflekcji | AI z powodzeniem obsłużyła rozmowę | Liczy porzucenie i zbywanie klienta jako sukces, bo nie zaangażował się żaden człowiek | Jakość rozwiązania plus wskaźnik cichych porzuceń |
| CSAT po rozmowie z AI | Klienci są zadowoleni z AI | Odpowiada samoselekcjonująca się mniejszość, a najbardziej zirytowani klienci po prostu odchodzą | Wskaźnik ponownych kontaktów i jakość rozwiązania na 100% rozmów |
| Średni czas obsługi rozmów z AI | AI jest szybka | Szybka błędna odpowiedź jest szybsza niż powolna poprawna | Poprawność merytoryczna i koszt na faktycznie rozwiązany kontakt |
| Wskaźnik eskalacji | Mniej eskalacji oznacza, że AI sobie radzi | Tłumienie eskalacji jest łatwe i szkodliwe; ważniejsze są moment i przekazanie | Jakość eskalacji: właściwy moment, pełny kontekst |
| Wolumen obsłużony przez AI | Skala i ROI | Nie mówi nic o tym, co wydarzyło się w ramach tego wolumenu | Zgodność z zasadami oceniana według Państwa kryteriów |
Containment rate: wskaźnik, który nagradza zbywanie klienta
Containment rate, nazywany czasem wskaźnikiem deflekcji, to odsetek rozmów, które zakończyły się bez udziału konsultanta. Stał się domyślnym wskaźnikiem AI, bo przekłada się wprost na business case: każda rozmowa zatrzymana w kanale to kontakt, za którego obsługę przez człowieka nie trzeba było płacić.
Wada tkwi w definicji. Containment nie pyta, czy klient dostał to, po co przyszedł. Pyta, czy trzeba było zaangażować kogoś jeszcze. To oznacza, że kilka bardzo różnych wyników liczy się dokładnie tak samo, jako sukces:
- Prawdziwe rozwiązanie: klient zapytał, AI odpowiedziała poprawnie, klient odszedł zadowolony. To wynik, który wskaźnik miał mierzyć.
- Porzucenie: klient zapytał trzy razy, dostał wariant tej samej bezużytecznej odpowiedzi i zamknął okno. Nie zaangażował się żaden człowiek, więc rozmowa liczy się jako zatrzymana.
- Zbywanie: AI nie mogła albo nie chciała przekazać rozmowy, w kółko proponowała artykuły z centrum pomocy, a klient się poddał i poszedł do mediów społecznościowych albo do sekcji opinii w sklepie z aplikacjami.
- Przeniesiony kontakt: klient zamknął czat i zadzwonił na infolinię, napisał e-mail albo następnego dnia otworzył nowe zgłoszenie. Zatrzymany w jednym kanale, nadal generuje koszt w innym.
Trzy z tych czterech to porażki, a zbywanie jest wręcz gorsze niż brak jakiejkolwiek reakcji. Mimo to liczba containment nie potrafi ich rozróżnić, bo informacja, która je odróżnia, jest w rozmowie, a containment nigdy tam nie zagląda.
To nie jest argument za porzuceniem containment. To przydatna dana wejściowa do planowania przepustowości i kosztów. To argument przeciw raportowaniu go jako wskaźnika jakości, bo bezpośrednia optymalizacja containment oznacza utrudnianie klientom dotarcia do człowieka, czyli dokładnie to zachowanie, którego nikt nie zamierza, a które każdy rozpoznaje, gdy sam jest klientem.
Deflekcja ma tę samą wadę, a do tego pewną siebie błędną odpowiedź
Wskaźnik deflekcji, czyli odsetek kontaktów, które nigdy nie trafiają do kolejki konsultantów, ma ten sam martwy punkt, a oba wskaźniki pomijają błędną odpowiedź, w którą klient uwierzył. Klient, któremu podano błędny termin zwrotu, dziękuje i odchodzi: zatrzymany w kanale, zdeflektowany i w większości raportów dostawców rozwiązany. Zob. jak uczciwie mierzyć containment.
CSAT po rozmowie z AI: wskaźnik, który nie słyszy tych, którzy odeszli
CSAT (po angielsku) to dobry wskaźnik w swoim naturalnym kontekście: rozmowa z człowiekiem, rozsądny odsetek odpowiedzi, stabilna grupa odpowiadających. Doczepiony do rozmowy z AI zyskuje konkretny i poważny martwy punkt.
Samoselekcja w najgorszym możliwym momencie
Odpowiedzi na ankiety pochodzą od mniejszości klientów, a ta mniejszość nigdy nie jest losowa. Ci, którzy odczuli coś na tyle mocno, by odpowiedzieć, skupiają się na obu krańcach. Jednak najważniejszy rodzaj porażki AI, czyli klient, który po cichu dochodzi do wniosku, że nic z tego nie będzie, i się wycofuje, to właśnie klient, który najrzadziej wypełni potem ankietę. Nie został, żeby go zapytać. To ciche rezygnacje, a CSAT po rozmowie z AI jest na nie strukturalnie głuchy.
Ankieta pyta o niewłaściwą rzecz
Nawet wśród tych, którzy odpowiadają, ocena zadowolenia miesza to, czy odpowiedź była poprawna, czy ton był przyjemny i czy wynik był tym, co klient chciał usłyszeć. Czarująca AI, która pewnym tonem podaje błędne informacje, może dostać dobrą ocenę. AI, która poprawnie przekazuje zasadę niekorzystną dla klienta, może dostać złą. Żaden z tych wyników nie mówi, czy system działa.
Porównanie jest niesprawiedliwe w obie strony
Zespoły często porównują CSAT AI z CSAT konsultantów i wyciągają wnioski. Tych dwóch grup nie da się porównać: AI zwykle przejmuje najpierw proste, liczne i łatwe do zadowolenia kontakty, a trudne eskaluje. Pochlebny CSAT AI może po prostu oznaczać, że AI dostała łatwą kolejkę. Słaby może oznaczać, że dostała kolejkę, której nikt nie byłby w stanie wygrać.
Warto zachować CSAT. Wystarczy przestać traktować go jako dowód na temat AI. To jeden sygnał z kilku, ważony świadomością, że słyszy tylko tych, którzy zostali.
Które KPI agentów AI powinny zastąpić containment w nagłówku raportu?
Raport powinno otwierać siedem KPI agentów AI: wskaźnik poprawnych rozwiązań, sprawdzona poprawność, zgodność z zasadami, jakość przekazań, ponowny kontakt w ciągu 7 dni, wskaźnik niebezpiecznych działań automatycznych i koszt na poprawne rozwiązanie. Każdy z nich czyta rozmowę lub systemy za nią, więc żadnego nie da się podnieść, utrudniając dotarcie do człowieka.
Containment, deflekcja, CSAT i czas obsługi schodzą poziom niżej, jako dane o przepustowości i nastrojach. Poniższe sekcje wyjaśniają każdy KPI, a tabela definicji niżej podaje wzory. Główny wskaźnik szczegółowo omawia artykuł o wskaźniku poprawnych rozwiązań.
Jak dostawcy różnie definiują „rozwiązane”?
Dostawcy używają tego samego słowa dla różnych testów. Intercom liczy klienta, który wychodzi bez prośby o dalszą pomoc, Zendesk dodaje przegląd przez model językowy dla poziomu zweryfikowanego, a Ada wymaga odpowiedzi trafnej, poprawnej i bezpiecznej. Żadna z tych definicji, w udokumentowanej postaci, nie sprawdza danych w systemach ani kontaktu innymi kanałami.
| Termin dostawcy | Liczy się jako rozwiązane, gdy | Czy sprawdza poprawność odpowiedzi? | Czego nie widzi |
|---|---|---|---|
| Intercom Fin, rozwiązanie zakładane (assumed resolution) | Klient wychodzi z rozmowy bez prośby o dalszą pomoc po ostatniej odpowiedzi Fin; odejmowane, jeśli klient ponownie otworzy tę samą rozmowę (Intercom, po angielsku) | Nie | Błędnej odpowiedzi, w którą klient uwierzył; powrotu innym kanałem |
| Intercom Fin, rozwiązanie potwierdzone (confirmed resolution) | Klient potwierdza, że odpowiedź pomogła („That helped”) | Tylko w opinii klienta | Czy opinia klienta była trafna |
| Zendesk, rozwiązanie zatrzymane (contained resolution) | Agent AI obsłużył interakcję bez prośby klienta o dalszą pomoc (Zendesk, po angielsku) | Nie; obejmuje też rozmowy, które nie przeszły weryfikacji | Poprawności, danych w systemach |
| Zendesk, rozwiązanie zweryfikowane (verified resolution) | Jak przy zatrzymanym, a do tego model językowy przegląda tekst rozmowy i potwierdza, że sprawa została rozwiązana | Na podstawie tekstu transkrypcji | Czy działanie wykonano w Państwa systemach; innych kanałów |
| Ada, rozwiązanie automatyczne (automated resolution) | Bez udziału człowieka, a rozmowa zostaje oceniona jako trafna, poprawna i bezpieczna | Tak, przez przegląd rozmowy | Ponownego kontaktu po zakończeniu rozmowy |
Dwóch wskaźników rozwiązań od różnych dostawców nie da się więc porównać, dopóki nie przeliczy się obu według jednej, własnej definicji; sam przewodnik Fin po KPI zaznacza, że definicja ta bardzo się różni między dostawcami (Fin, po angielsku). Intercom nalicza też opłatę za każde rozwiązanie Fin. A okno jest krótkie: Zendesk domyślnie kończy rozmowę w komunikatorze 2 godziny po pierwszej wiadomości, a rozmowę e-mailową 72 godziny po pierwszym e-mailu, więc porażka, która wychodzi na jaw czwartego dnia, nigdy nie dotyka liczby dostawcy. Nasz audyt wskaźnika rozwiązań agentów AI pokazuje, jak raportować skorygowany wskaźnik obok wskaźnika dostawcy.
Jakość rozwiązania: wskaźnik kotwiczący
Jeśli containment ma zastąpić jedna rzecz, niech to będzie jakość rozwiązania: czy ta rozmowa faktycznie rozwiązała problem klienta. To kotwica całego zestawu, bo każdy inny wskaźnik tutaj jest albo daną wejściową do niej, albo jej sprawdzeniem.
Czym jest. Oceną, dokonaną na podstawie transkrypcji, czy rzeczywisty problem klienta został załatwiony. Nie czy zamknięto zgłoszenie, nie czy wysłano odpowiedź, nie czy rozpoznano intencję. Czy wydarzyło się to, czego klient potrzebował.
Jak mierzyć. Jako jedno z ocenianych kryteriów w Państwa kryteriach oceny jakości, stosowane do rozmów obsłużonych przez AI dokładnie tak samo jak do rozmów obsłużonych przez konsultantów. Kryterium trzeba napisać tak, by oceniający i automatyczny system oceny odczytywali je tak samo: dla każdego głównego typu kontaktu należy określić, jaki dowód w transkrypcji liczy się jako rozwiązanie. Prośba o zwrot i potwierdzony zwrot. Zmiana adresu i zmiana potwierdzona klientowi. Pytanie i poprawna odpowiedź, którą klient przyjął do wiadomości.
Jak wygląda zła liczba. Sygnałem do obserwowania nie jest próg bezwzględny, tylko różnica między jakością rozwiązania a containment. Jeśli duża część rozmów jest zatrzymana w kanale, a znacznie mniejsza część zostaje oceniona jako rozwiązana, ta różnica to rozmiar Państwa problemu wyrażony w rozmowach. To także liczba, którą warto pokazać zarządowi, bo to uczciwa wersja tej, którą mu pokazano.
Warto zauważyć, że to celowo surowsze kryterium niż rozwiązanie przy pierwszym kontakcie (po angielsku), które wnioskuje o rozwiązaniu z braku ponownego kontaktu. FCR to użyteczne przybliżenie. Jakość rozwiązania czyta transkrypcję zamiast wnioskować z ciszy, a cisza to dokładnie to, co zostawia po sobie klient, który porzucił rozmowę.
Poprawność merytoryczna i wskaźnik halucynacji
Agent AI (po angielsku), który wymyśla termin na zwrot, podaje błędny czas dostawy albo z pełnym przekonaniem opisuje funkcję, której Państwo nie mają, to nie problem jakości, tylko problem odpowiedzialności. Poprawność merytoryczna to wskaźnik, który to wychwytuje, i ten, którego większość zespołów w ogóle nie mierzy.
Czym jest. Odsetek odpowiedzi AI zawierających twierdzenie faktyczne, które da się sprawdzić w bazie wiedzy, dokumentach z zasadami lub danych zamówień, oraz odsetek tych twierdzeń, które są poprawne. Wskaźnik halucynacji to odwrotność: twierdzenia podane z pełnym przekonaniem i nieoparte na żadnym źródle.
Jak mierzyć. Każde twierdzenie faktyczne w rozmowie jest sprawdzane względem źródła prawdy. W praktyce da się to robić tylko automatycznie, przy dużym wolumenie, co jest jednym z najmocniejszych argumentów za ocenianiem każdej rozmowy zamiast próbki: halucynacja w rozmowie, której nikt nie przeczytał, kosztuje dokładnie tyle samo co halucynacja w rozmowie, którą ktoś przeczytał. Warto śledzić ten wskaźnik osobno dla każdego typu kontaktu, bo poprawność rzadko jest jednolita. Pytania o rozliczenia i pytania o wysyłkę zwykle zachowują się zupełnie inaczej.
Jak wygląda zła liczba. Każdy wskaźnik większy od zera w przypadku twierdzeń o znaczeniu prawnym, finansowym lub dotyczących bezpieczeństwa to zła liczba, niezależnie od tego, jak jest mała. Przy twierdzeniach o mniejszej wadze liczy się kierunek: wskaźnik halucynacji, który rośnie po zmianie w bazie wiedzy albo aktualizacji modelu, mówi coś konkretnego i pilnego o tej zmianie.
Jedno zastrzeżenie: pewność agenta AI co do własnej odpowiedzi nie jest dowodem, że odpowiedź była prawdziwa. Poprawność trzeba sprawdzać względem bazy wiedzy i zasad firmy, pokazując dowód dla każdego werdyktu. Na tej zasadzie opiera się dobrze prowadzona ocena typu LLM jako sędzia (po angielsku).
Jakość eskalacji: nie jak często, ale jak dobrze
Wskaźnik eskalacji raportuje się tak, jakby niższy był lepszy. Nie jest. Eskalacja to funkcja, a AI, która nigdy nie eskaluje, nie jest mocną AI, tylko uwięzionym klientem. Liczy się jakość eskalacji: czy przekazanie nastąpiło we właściwym momencie i dotarło z właściwym kontekstem.
Moment
Dwa rodzaje porażki leżą po obu stronach właściwego punktu. Zbyt wczesna eskalacja całkowicie marnuje automatyzację i irytuje klienta, który miał proste pytanie. Zbyt późna, po trzech czy czterech nieudanych pętlach, oznacza, że konsultant przejmuje już zdenerwowanego klienta i rozmowę, którą trzeba zaczynać od nowa. Warto ocenić moment: czy była rozpoznawalna tura, w której powinno nastąpić kompetentne przekazanie, i czy nastąpiło właśnie wtedy?
Przekazanie kontekstu
Najdroższa porażka eskalacji to ta, w której konsultant otwiera rozmowę i musi poprosić klienta, żeby wyjaśnił wszystko od początku. To jedno zachowanie niweczy dobre wrażenie z całej interakcji z AI. Warto ocenić, czy przekazanie objęło zgłoszony przez klienta problem, to, czego już próbowano, oraz kontekst konta lub zamówienia, który AI już pobrała.
Trafność
Czy eskalacja była w ogóle właściwą decyzją? AI, która eskaluje każdą niejednoznaczną wiadomość, generuje pracę dla ludzi bez potrzeby, co widać w koszcie na rozwiązany kontakt, a nie w ocenach jakości. Trzeba oceniać oba kierunki, inaczej optymalizacja jednego zamieni go w drugi.
Jako jeden KPI: każde przekazanie ocenia się jako spełnione lub niespełnione pod względem właściwego momentu, pełnego kontekstu i trafnej decyzji; jakość przekazań to odsetek przekazań, które spełniają wszystkie trzy warunki. Zob. ocena przekazania rozmowy z AI do konsultanta.
Jak wygląda zła liczba. Spadający wskaźnik eskalacji razem ze spadającą oceną jakości rozwiązania to najwyraźniejszy zły sygnał w całym tym artykule. Oznacza, że AI trzyma rozmowy, których nie potrafi doprowadzić do końca.
Wskaźnik ponownych kontaktów i wskaźnik cichych porzuceń
Te dwa wskaźniki omawiamy razem, bo to Państwa najtańsze wykrywacze kłamstw. Oba wychwytują porażki, które containment liczy jako sukcesy, i żaden nie wymaga od klienta wypełniania czegokolwiek.
Wskaźnik ponownych kontaktów po rozmowie z AI
Czym jest. Odsetek klientów, którzy w określonym czasie wracają, dowolnym kanałem, z tym samym problemem po rozmowie obsłużonej przez AI.
Jak mierzyć. Kontakty trzeba łączyć według klienta i problemu, a nie zgłoszenia, i celowo patrzeć ponad kanałami. Klient, który porzucił czat, a potem zadzwonił, to najważniejszy przypadek do wychwycenia, a widok w podziale na kanały całkowicie go pominie. Okno czasowe warto dopasować do produktu: ten sam dzień dla problemu z dostawą, tydzień lub dłużej dla sporu o rozliczenie. Dla głównego KPI warto ustalić jedno 7-dniowe okno, aby liczbę dało się porównywać tydzień do tygodnia; okna dla poszczególnych tematów pozostają przydatne w diagnozie.
Jak wygląda zła liczba. Wskaźnik ponownych kontaktów, który po obsłudze przez AI rośnie w porównaniu z analogicznymi kontaktami obsłużonymi przez ludzi, to czerwona flaga, niezależnie od wartości bezwzględnej. Oznacza, że containment przesunął pracę, zamiast ją usunąć.
Wskaźnik cichych porzuceń
Czym jest. Odsetek rozmów z AI, z których klient wychodzi bez rozwiązania i bez eskalacji. Bez ankiety, bez skargi, bez ponownego kontaktu. We wszystkich wskaźnikach opartych na routingu takie rozmowy wyglądają identycznie jak sukcesy.
Jak mierzyć. Należy znaleźć rozmowy, które zakończyły się na wypowiedzi klienta albo na ostatniej wiadomości AI, na którą nikt nie odpowiedział, i ocenić, czy w tym momencie problem był rozwiązany. Odróżnienie zadowolonych wyjść od cichych rezygnacji to ocena transkrypcji i właśnie dlatego tego wskaźnika nie ma na większości dashboardów: nie da się go policzyć, trzeba go przeczytać.
Jak wygląda zła liczba. Każdy wskaźnik cichych porzuceń, który stanowi istotną część Państwa wskaźnika containment, oznacza, że liczba containment jest zawyżona dokładnie o tyle. Raportowanie containment bez niego to raportowanie liczby, o której wiadomo, że jest błędna.
Wskaźnik niebezpiecznych działań automatycznych: KPI dla agentów AI, którzy wykonują działania
Wskaźnik niebezpiecznych działań automatycznych to odsetek działań wykonanych samodzielnie przez agenta AI, takich jak zwroty, anulowania, uznania czy zmiany na koncie, które naruszyły regułę: przekroczony limit, pominięta wymagana kontrola, niewłaściwy rekord, działanie, o które nikt nie prosił, albo działanie zadeklarowane, ale nigdy niewykonane w systemie. Poprawność ocenia tekst; ten KPI ocenia to, co agent zrobił.
Jak mierzyć. Każde wykonane działanie, a nie próbkę, trzeba uzgodnić z limitami z zasad i z rozmową, która je wywołała. Obok warto śledzić wskaźnik nadpisań (działania zablokowane przez człowieka): spadający wskaźnik niebezpiecznych działań przy rosnącym wskaźniku nadpisań oznacza, że problem wyłapują ludzie, a nie że zniknął. Każde niebezpieczne działanie dotyczące płatności, dostępu do konta lub danych osobowych to incydent z wyznaczonym właścicielem. Reguły należą do Państwa zabezpieczeń agentów AI.
Zgodność z zasadami i koszt na faktycznie rozwiązany kontakt
Dwa ostatnie wskaźniki zamykają pętlę między jakością a business case.
Zgodność z zasadami
Czym jest. To, czy AI przestrzegała zasad, których musi przestrzegać: weryfikacji tożsamości przed ujawnieniem danych konta, obowiązkowych informacji, odmowy rabatów niezgodnych z zasadami, właściwego postępowania z klientem w trudnej sytuacji lub ze zgłoszeniem reklamacji, trzymania się języka regulacyjnego tam, gdzie ma zastosowanie.
Jak mierzyć. To kryteria zero-jedynkowe, sprawdzalne na podstawie dowodów, co czyni je najłatwiejszą rzeczą z tej listy do automatycznej oceny i najbardziej szkodliwą do oceniania na próbce. Warto stosować je jako testy spełnione / niespełnione w każdej rozmowie i traktować każde niespełnienie jako incydent do przejrzenia, a nie procent do uśrednienia. To ta sama logika kryteriów, według której już oceniany jest Państwa zespół konsultantów, i o to właśnie chodzi: Państwa internal quality score powinien obejmować także AI, w przeciwnym razie mają Państwo dwa standardy i żadnego porównania.
Jak wygląda zła liczba. W weryfikacji tożsamości i informacjach wymaganych przepisami jedno niespełnienie to już zła liczba. Tego się nie uśrednia.
Koszt na faktycznie rozwiązany kontakt
Czym jest. Całkowity koszt rozmów z AI podzielony przez liczbę rozmów faktycznie rozwiązanych, a nie zatrzymanych w kanale.
Jak mierzyć. Należy wziąć ocenę jakości rozwiązania, zastosować ją do wolumenu zatrzymanego w kanale i użyć otrzymanej liczby jako mianownika. Trzeba doliczyć koszty, które AI wygenerowała dalej: ponowne kontakty, dodatkowy czas obsługi eskalacji, które dotarły bez kontekstu, oraz czas ludzi poświęcony na naprawianie skutków.
Jak wygląda zła liczba. Jeśli koszt na faktycznie rozwiązany kontakt nie jest wyraźnie lepszy niż w przypadku analogicznej obsługi przez ludzi, wdrożenie się nie zwraca, niezależnie od tego, jak dobrze wygląda wykres containment. To liczba, która zamienia argument jakościowy w argument finansowy, a to zwykle ten argument zdobywa budżet.
Tabela definicji KPI agentów AI (do skopiowania)
Każdy główny KPI potrzebuje wzoru i źródła danych, inaczej dwa zespoły policzą go na dwa sposoby. Cele to punkty wyjścia na pierwszy kwartał, a nie benchmarki: po czterech tygodniach oceniania warto zastąpić je własnym poziomem bazowym.
| KPI | Wzór | Źródło danych | Przykładowy cel (punkt wyjścia) |
|---|---|---|---|
| Wskaźnik poprawnych rozwiązań | Rozmowy z AI z poprawną odpowiedzią, wykonanym działaniem, zachowanymi zasadami i bez ponownego kontaktu w ciągu 7 dni, podzielone przez wszystkie rozmowy obsłużone przez AI | Ocena QA transkrypcji, dane w systemach, historia kontaktów | Najwyżej 10 punktów poniżej wskaźnika rozwiązań raportowanego przez dostawcę, potem wzrost co kwartał |
| Sprawdzona poprawność | Twierdzenia faktyczne potwierdzone jako poprawne, podzielone przez sprawdzone twierdzenia faktyczne | Ocena względem bazy wiedzy, dokumentów z zasadami i danych zamówień | 98% ogółem; 100% dla twierdzeń finansowych, prawnych i dotyczących bezpieczeństwa |
| Zgodność z zasadami | Rozmowy, które przeszły każdą obowiązkową kontrolę mającą zastosowanie, podzielone przez rozmowy, w których kontrola miała zastosowanie | Kryteria spełnione / niespełnione na karcie oceny (tożsamość, informacje obowiązkowe, limity zwrotów) | 100% dla tożsamości i informacji wymaganych przepisami; każde niespełnienie przejrzane |
| Jakość przekazań | Przekazania spełniające warunki momentu, kontekstu i trafności, podzielone przez wszystkie przekazania | Kryteria eskalacji na karcie oceny plus zdarzenia przekazania w helpdesku | 90% przekazań spełnia warunki; poniżej 5% klientów proszonych o powtórzenie sprawy |
| Ponowny kontakt w ciągu 7 dni | Klienci, którzy wrócili z tym samym problemem dowolnym kanałem w ciągu 7 dni, podzieleni przez rozmowy z AI oznaczone jako rozwiązane | Historia kontaktów powiązana identyfikatorem klienta we wszystkich kanałach | Na poziomie wskaźnika dla ludzi przy tym samym typie kontaktu lub niżej |
| Wskaźnik niebezpiecznych działań automatycznych | Działania wykonane przez AI, które naruszyły regułę, podzielone przez wszystkie działania wykonane przez AI | Dzienniki działań uzgodnione z limitami z zasad i rozmową, która je wywołała | Zero dla płatności i dostępu do konta; poniżej 0,1% w pozostałych, każdy przypadek przejrzany |
| Koszt na poprawne rozwiązanie | Koszt AI plus koszt wywołanych przez nią dalszych kontaktów z ludźmi, podzielony przez poprawne rozwiązania | Faktury platformy, koszt pracy, historia kontaktów | Poniżej kosztu poprawnego rozwiązania przez człowieka dla tego samego typu kontaktu |
Każdy wiersz warto rozbić według typu kontaktu, bo ogólna średnia ukrywa tę jedną intencję, która nie działa. Te same definicje proszę stosować dla zespołu konsultantów, aby wiersze AI i ludzi mogły stać na jednym dashboardzie; jeśli KPI nie ma odpowiednika dla ludzi, jak wskaźnik niebezpiecznych działań automatycznych, warto pokazać najbliższą kontrolę (zwroty i uznania przyznane przez konsultantów niezgodnie z zasadami).
Przykład liczbowy: jeden miesiąc, dwie liczby w nagłówku
Ilustracja z okrągłymi liczbami, a nie benchmark. Agent AI obsługuje 10 000 rozmów w miesiącu. Dashboard dostawcy pokazuje 70% containment (7000 rozmów) i 65% rozwiązań (6500).
Zespół przeprowadza audyt 400 „rozwiązanych” rozmów. W 14% padła błędna odpowiedź albo zadeklarowano działanie, które nigdy nie nastąpiło, a kolejne 8% klientów wróciło z tym samym problemem w ciągu 7 dni. Poprawnych zostaje 78%.
| Liczba | Obliczenie | Wynik |
|---|---|---|
| Poprawne rozwiązania | 6500 x 78% | 5070 |
| Wskaźnik poprawnych rozwiązań | 5070 / 10 000 | 50,7% (dostawca podaje 65%) |
| Dalsze kontakty wywołane przez AI | 6500 x 22% | 1430 |
| Koszt na rozwiązanie według dostawcy | 13 000 USD kosztu AI / 6500 | 2,00 USD |
| Koszt na poprawne rozwiązanie | (13 000 USD + 1430 x 6 USD za dalszy kontakt z człowiekiem) / 5070 | 4,26 USD |
Ten sam miesiąc, te same rozmowy. Jeden raport mówi, że AI rozwiązuje 65% kontaktów po 2,00 USD; drugi, że rozwiązuje połowę z nich za ponad dwa razy więcej. Przy próbce 400 rozmów wynik 78% ma margines błędu około 4 punktów w każdą stronę (przy 95% ufności); ocena każdej rozmowy usuwa ten margines.
Które dashboardy pokazują containment rate, CSAT i czas obsługi
Większość helpdesków i platform agentów AI pokazuje już containment rate, CSAT i średni czas obsługi we wbudowanych raportach. Rzadko pokazują one natomiast, czy każda rozmowa została naprawdę rozwiązana, była poprawna i zgodna z zasadami.
| Wskaźnik | Skąd zwykle pochodzi | Czego nie powie |
|---|---|---|
| Containment lub deflection rate | Platforma agenta AI lub raporty helpdesku | Czy klientowi pomożono, czy się poddał |
| CSAT | Ankiety po rozmowie w helpdesku | Co przeżyli klienci, którzy nie odpowiedzieli |
| Średni czas obsługi | Raporty helpdesku lub contact center | Czy szybka odpowiedź była też poprawna |
| Jakość rozwiązania, poprawność, zgodność z zasadami | Platforma QA, która ocenia transkrypcje | (To warstwa, której brakuje trzem pozostałym) |
W praktyce są więc dwie warstwy. Dane operacyjne warto brać z narzędzi, które je tworzą, i dodać warstwę jakości, która czyta każdą rozmowę, zarówno konsultantów, jak i agentów AI. Kaizo powstało właśnie dla tej drugiej warstwy: ocenia rozmowy agentów AI według tej samej karty oceny co rozmowy Państwa zespołu, więc jakość widać według zespołu i tygodnia, ludzi i AI obok siebie. Więcej o containment rate piszemy w tekście czym jest containment rate i dlaczego może wprowadzać w błąd.
Dlaczego wskaźniki jakości obsługi AI wymagają każdej rozmowy
Wystarczy jeszcze raz przejrzeć powyższe wskaźniki, a okaże się, że jedno dotyczy każdego z nich: wymaga przeczytania rozmowy. Jakość rozwiązania to ocena transkrypcji. Wskaźnik halucynacji to sprawdzenie twierdzeń względem źródeł. Jakość eskalacji to ocena konkretnej tury. Ciche porzucenie to brak sygnału, czyli można je znaleźć tylko, patrząc na rozmowy, w których nic się nie wydarzyło.
Ma to dwie konsekwencje, których większość programów pomiarowych jeszcze nie przyswoiła.
Próbkowanie tu nie działa
Tradycyjna kontrola jakości przegląda niewielki procent rozmów i dla zespołu konsultantów o znanej wielkości to dający się obronić kompromis statystyczny. Dla AI nie da się go obronić, z dwóch powodów. Po pierwsze, porażki AI są systematyczne, a nie rozproszone: zły artykuł w bazie wiedzy albo przypadek brzegowy w zasadach wywołuje ten sam błąd za każdym razem, gdy się na niego trafi, więc próbka albo wyłapie całe skupisko, albo całkowicie je pominie. Po drugie, AI obsługuje znacznie większy wolumen, więc ta sama mała próbka to mniejsze okno na większą operację. Ocena każdej rozmowy jest warunkiem wstępnym, a nie celem samym w sobie: usuwa błąd selekcji, przez który pozostałe liczby tracą sens. Nie chodzi o pilnowanie kogokolwiek, tylko o to, by reguła próbkowania nie decydowała, co mówią Państwa wskaźniki.
Żadnej oceny nie trzeba przyjmować na wiarę
Warto wymagać, by każda ocena prowadziła do dokładnego dowodu w transkrypcji, który ją uzasadnia, by każdą ocenę mógł zakwestionować i rozstrzygnąć człowiek, oraz by system oceniający dało się uruchomić na zestawie rozmów już ocenionych przez Państwa oceniających. Wtedy przed raportowaniem czegokolwiek w górę widać poziom zgodności kryterium po kryterium. Ocenę, którą da się prześledzić, da się też zakwestionować. Ocena, której nie da się prześledzić, to obietnica marketingowa z dołączoną liczbą.
Kaizo ocenia agentów AI i Państwa zespół konsultantów według jednego zestawu kryteriów, który Państwo definiują, a każdą ocenę da się prześledzić do transkrypcji i przetestować na Państwa własnym zestawie referencyjnym. Stosuje te kryteria do wszystkich rozmów, a nie do wybranego wycinka. W praktyce oznacza to, że kontrola jakości agentów AI i kontrola jakości konsultantów przestają być dwoma oddzielnymi programami, które dają dwa nieporównywalne zestawy liczb.
Jak mierzyć skuteczność AI w obsłudze klienta
Skuteczność AI w obsłudze klienta mierzy się w pięciu krokach: definicja rozwiązania dla każdego typu kontaktu, ocena każdej rozmowy z AI jedną kartą oceny, dodanie cichych sygnałów, porównanie z zespołem konsultantów i raportowanie różnicy.
- Zdefiniować rozwiązanie dla każdego typu kontaktu. Warto spisać, jakie dowody w transkrypcji oznaczają rozwiązanie dla najważniejszych powodów kontaktu: zwrot potwierdzony, zmiana adresu sprawdzona, poprawna odpowiedź przyjęta.
- Oceniać każdą rozmowę z AI jedną kartą oceny. Te same kryteria co dla zespołu konsultantów, plus kryteria dla botów: poprawność merytoryczna, wierność zasadom, trzymanie się zakresu i eskalacja we właściwym momencie.
- Dodać ciche sygnały. Warto śledzić ponowne kontakty we wszystkich kanałach i ciche porzucenia, bo żadne z nich nie pojawia się w containment rate ani w CSAT.
- Porównać z zespołem konsultantów. Jakość AI i ludzi powinna trafić na ten sam wykres, według typu kontaktu, aby nie porównywać łatwej kolejki z trudną.
- Raportować różnicę. Zarząd powinien widzieć containment rate obok jakości rozwiązania, a koszt na faktycznie rozwiązany kontakt obok kosztu na kontakt zatrzymany.
Samą ocenę trzeba przetestować, zanim trafi do raportu: uruchomić ją na rozmowach, które oceniający już ocenili, i sprawdzić zgodność dla każdego kryterium. Nasz poradnik o tym, jak mierzyć skuteczność agentów AI, opisuje metodę szczegółowo.
Kiedy ten zestaw KPI nie jest dla Państwa?
Jeśli agent AI prowadzi kilkaset rozmów miesięcznie, odpowiada tylko na najczęstsze pytania i nie wykonuje żadnych działań, siedem KPI to zbędny narzut: wystarczy co tydzień czytać próbkę i śledzić ponowne kontakty.
Bez spisanej karty oceny trzeba ją najpierw napisać (karta oceny agenta AI). AI, która tylko przygotowuje odpowiedzi wysyłane przez człowieka, to wsparcie konsultanta, więc obowiązują KPI zespołu konsultantów. Na początek warto ocenić 100 losowych „rozwiązanych” rozmów z ostatniego miesiąca pod kątem poprawnej odpowiedzi, wykonanego działania, zachowanych zasad i ponownego kontaktu w ciągu 7 dni, a wynik zaraportować obok wskaźnika dostawcy (margines około 10 punktów). Progi alertów opisuje artykuł o monitorowaniu agentów AI.
Proszę zmierzyć, co naprawdę zrobili Państwa agenci AI
W demo na żywo z realistycznymi przykładowymi danymi zobaczą Państwo, jak jakość rozwiązania wygląda obok containment rate, oceniona według kryteriów podobnych do Państwa. Każda ocena prowadzi do dowodu w transkrypcji, a przy własnym wdrożeniu sprawdzają ją Państwo na rozmowach, które oceniający już ocenili.
Porozmawiajmy Poznaj kontrolę jakości agentów AI Zobacz Kaizo Insights
Najczęściej zadawane pytania
Które wskaźniki AI w obsłudze klienta są najważniejsze?
Wskaźnik poprawnych rozwiązań, sprawdzona poprawność, zgodność z zasadami, jakość przekazań, ponowny kontakt w ciągu 7 dni, wskaźnik niebezpiecznych działań automatycznych i koszt na poprawne rozwiązanie, ze wskaźnikiem cichych porzuceń jako miarą diagnostyczną. Opisują one to, co naprawdę wydarzyło się w rozmowie i w Państwa systemach. Containment rate i CSAT po rozmowie z AI, dwa najczęściej raportowane wskaźniki, opisują zamiast tego routing i opinię samoselekcjonującej się grupy, dlatego wprowadzają w błąd.
Czym różni się wskaźnik rozwiązań od deflekcji i containment?
Containment to odsetek rozmów, które zakończyły się bez człowieka. Deflekcja to odsetek kontaktów, które nigdy nie trafiły do kolejki konsultantów. Wskaźnik rozwiązań to własny test dostawcy, od „klient wyszedł bez prośby o dalszą pomoc” po automatyczny przegląd transkrypcji. Żaden z nich nie sprawdza danych w systemach ani innych kanałów, dlatego wskaźnik poprawnych rozwiązań stoi ponad nimi.
Czym jest containment rate i dlaczego wprowadza w błąd?
Containment rate, nazywany też wskaźnikiem deflekcji, to odsetek rozmów obsłużonych przez AI bez udziału człowieka. Wprowadza w błąd, bo mierzy, czy trzeba było zaangażować kogoś jeszcze, a nie czy klientowi pomożono. Klient, który zapytał trzy razy, nic nie osiągnął i sfrustrowany zamknął okno, liczy się jako zatrzymany w kanale, podobnie jak klient, który się poddał i zamiast tego zadzwonił.
Jak mierzyć CSAT dla agentów AI i chatbotów?
CSAT warto traktować jako jeden sygnał z kilku, a nie jako werdykt. Na CSAT po rozmowie z AI odpowiada mała, samoselekcjonująca się grupa, a klienci, wobec których AI zawiodła najbardziej, najrzadziej zostają, by wypełnić ankietę. Ten wskaźnik miesza też poprawność z tonem, więc AI, która z pełnym przekonaniem podaje błędne informacje, może dostać dobrą ocenę. Warto zestawiać go z miarami opartymi na transkrypcji, zamiast traktować go jako samodzielny dowód.
Jak zmierzyć, czy agent AI naprawdę rozwiązał problem?
Ocenić rozwiązanie jako jedno z kryteriów oceny jakości, stosowane do transkrypcji, a nie wnioskowane ze statusu zgłoszenia. Dla każdego typu kontaktu należy określić, jaki dowód w rozmowie liczy się jako rozwiązanie: potwierdzony zwrot, zmiana potwierdzona klientowi, poprawna odpowiedź przyjęta do wiadomości. Następnie porównać ten odsetek rozwiązanych rozmów ze wskaźnikiem containment. Różnica między nimi to rozmiar problemu.
Czym jest wskaźnik cichych porzuceń?
To odsetek rozmów z AI, z których klient wychodzi bez rozwiązania i bez eskalacji: bez skargi, bez ankiety, bez ponownego kontaktu. Takie rozmowy są niewidoczne dla wszystkich wskaźników opartych na routingu, bo nie zaangażował się żaden człowiek, więc zawyżają containment. Aby je znaleźć, trzeba czytać rozmowy zakończone na wypowiedzi klienta i oceniać, czy problem rzeczywiście został załatwiony.
Jaki wskaźnik rozwiązań może osiągnąć AI w obsłudze klienta?
Nie ma wiarygodnego wskaźnika branżowego, bo dostawcy pod tą samą nazwą raportują różne rzeczy: wielu liczy każdą rozmowę bez przekazania do człowieka jako rozwiązaną. Liczy się odsetek rozmów z AI, które po przeczytaniu transkrypcji zostają ocenione jako naprawdę rozwiązane dla Państwa typów kontaktów. Ten wskaźnik warto zmierzyć najpierw, a potem porównać z containment rate; różnica pokazuje, o ile liczba z nagłówka zawyża rzeczywistość.






