Wskaźniki AI w obsłudze klienta, które się liczą

Spośród wskaźników AI w obsłudze klienta containment rate i CSAT po rozmowie z AI to dwa, które raportuje większość zespołów, i zarazem dwa najbardziej mylące. Zamiast nich warto oceniać każdą rozmowę pod kątem rozwiązania sprawy, poprawności, eskalacji i ponownych kontaktów, a każdą ocenę wiązać z dowodem w rozmowie.

W skrócie

• Containment liczy sfrustrowane porzucenie rozmowy jako sukces.
• CSAT po rozmowie z AI nigdy nie słyszy klientów, którzy zrezygnowali.
• Ponowne kontakty i ciche porzucenia wychwytują to, co ukrywa containment.
• Każda ocena powinna prowadzić do dowodu w transkrypcji.

Dlaczego dwa domyślne wskaźniki AI w obsłudze klienta wprowadzają w błąd

Każdy szef obsługi klienta, który wdraża AI, słyszy od zarządu to samo pytanie: proszę udowodnić, że to działa. Pierwsze liczby, po które się sięga, to containment rate i CSAT po rozmowie z AI, bo oba łatwo wyciągnąć i oba, przy odrobinie dobrej woli, rosną w górę i w prawo. To jednocześnie dwie liczby, które najrzadziej opisują, co naprawdę spotkało Państwa klientów.

Problem jest strukturalny, a nie kwestią dostrojenia. Containment mierzy wynik routingu: czy rozmowy dotknął człowiek. CSAT po rozmowie z AI mierzy opinię, ale tylko opinię tych, którzy zdecydowali się ją wyrazić. Żaden z nich nie patrzy na treść rozmowy, a tylko tam jest odpowiedź. To zupełnie inny problem niż ten, który rozwiązuje standardowa metoda mierzenia skuteczności agentów AI, i zupełnie inny niż wybór, które z ogólnych KPI obsługi klienta trafią na Państwa dashboard. Tutaj chodzi o to, które liczby po cichu wprowadzają Państwa w błąd.

Oto krótka wersja argumentu, wskaźnik po wskaźniku, zanim omówimy każdy z nich szczegółowo.

Containment rate: wskaźnik, który nagradza zbywanie klienta

Containment rate, nazywany czasem wskaźnikiem deflekcji, to odsetek rozmów, które zakończyły się bez udziału konsultanta. Stał się domyślnym wskaźnikiem AI, bo przekłada się wprost na business case: każda rozmowa zatrzymana w kanale to kontakt, za którego obsługę przez człowieka nie trzeba było płacić.

Wada tkwi w definicji. Containment nie pyta, czy klient dostał to, po co przyszedł. Pyta, czy trzeba było zaangażować kogoś jeszcze. To oznacza, że kilka bardzo różnych wyników liczy się dokładnie tak samo, jako sukces:

• Prawdziwe rozwiązanie: klient zapytał, AI odpowiedziała poprawnie, klient odszedł zadowolony. To wynik, który wskaźnik miał mierzyć.
• Porzucenie: klient zapytał trzy razy, dostał wariant tej samej bezużytecznej odpowiedzi i zamknął okno. Nie zaangażował się żaden człowiek, więc rozmowa liczy się jako zatrzymana.
• Zbywanie: AI nie mogła albo nie chciała przekazać rozmowy, w kółko proponowała artykuły z centrum pomocy, a klient się poddał i poszedł do mediów społecznościowych albo do sekcji opinii w sklepie z aplikacjami.
• Przeniesiony kontakt: klient zamknął czat i zadzwonił na infolinię, napisał e-mail albo następnego dnia otworzył nowe zgłoszenie. Zatrzymany w jednym kanale, nadal generuje koszt w innym.

Trzy z tych czterech to porażki, a zbywanie jest wręcz gorsze niż brak jakiejkolwiek reakcji. Mimo to liczba containment nie potrafi ich rozróżnić, bo informacja, która je odróżnia, jest w rozmowie, a containment nigdy tam nie zagląda.

To nie jest argument za porzuceniem containment. To przydatna dana wejściowa do planowania przepustowości i kosztów. To argument przeciw raportowaniu go jako wskaźnika jakości, bo bezpośrednia optymalizacja containment oznacza utrudnianie klientom dotarcia do człowieka, czyli dokładnie to zachowanie, którego nikt nie zamierza, a które każdy rozpoznaje, gdy sam jest klientem.

CSAT po rozmowie z AI: wskaźnik, który nie słyszy tych, którzy odeszli

CSAT (po angielsku) to dobry wskaźnik w swoim naturalnym kontekście: rozmowa z człowiekiem, rozsądny odsetek odpowiedzi, stabilna grupa odpowiadających. Doczepiony do rozmowy z AI zyskuje konkretny i poważny martwy punkt.

Samoselekcja w najgorszym możliwym momencie

Odpowiedzi na ankiety pochodzą od mniejszości klientów, a ta mniejszość nigdy nie jest losowa. Ci, którzy odczuli coś na tyle mocno, by odpowiedzieć, skupiają się na obu krańcach. Jednak najważniejszy rodzaj porażki AI, czyli klient, który po cichu dochodzi do wniosku, że nic z tego nie będzie, i się wycofuje, to właśnie klient, który najrzadziej wypełni potem ankietę. Nie został, żeby go zapytać. To ciche rezygnacje, a CSAT po rozmowie z AI jest na nie strukturalnie głuchy.

Ankieta pyta o niewłaściwą rzecz

Nawet wśród tych, którzy odpowiadają, ocena zadowolenia miesza to, czy odpowiedź była poprawna, czy ton był przyjemny i czy wynik był tym, co klient chciał usłyszeć. Czarująca AI, która pewnym tonem podaje błędne informacje, może dostać dobrą ocenę. AI, która poprawnie przekazuje zasadę niekorzystną dla klienta, może dostać złą. Żaden z tych wyników nie mówi, czy system działa.

Porównanie jest niesprawiedliwe w obie strony

Zespoły często porównują CSAT AI z CSAT konsultantów i wyciągają wnioski. Tych dwóch grup nie da się porównać: AI zwykle przejmuje najpierw proste, liczne i łatwe do zadowolenia kontakty, a trudne eskaluje. Pochlebny CSAT AI może po prostu oznaczać, że AI dostała łatwą kolejkę. Słaby może oznaczać, że dostała kolejkę, której nikt nie byłby w stanie wygrać.

Warto zachować CSAT. Wystarczy przestać traktować go jako dowód na temat AI. To jeden sygnał z kilku, ważony świadomością, że słyszy tylko tych, którzy zostali.

Jakość rozwiązania: wskaźnik kotwiczący

Jeśli containment ma zastąpić jedna rzecz, niech to będzie jakość rozwiązania: czy ta rozmowa faktycznie rozwiązała problem klienta. To kotwica całego zestawu, bo każdy inny wskaźnik tutaj jest albo daną wejściową do niej, albo jej sprawdzeniem.

Czym jest. Oceną, dokonaną na podstawie transkrypcji, czy rzeczywisty problem klienta został załatwiony. Nie czy zamknięto zgłoszenie, nie czy wysłano odpowiedź, nie czy rozpoznano intencję. Czy wydarzyło się to, czego klient potrzebował.

Jak mierzyć. Jako jedno z ocenianych kryteriów w Państwa kryteriach oceny jakości, stosowane do rozmów obsłużonych przez AI dokładnie tak samo jak do rozmów obsłużonych przez konsultantów. Kryterium trzeba napisać tak, by oceniający i automatyczny system oceny odczytywali je tak samo: dla każdego głównego typu kontaktu należy określić, jaki dowód w transkrypcji liczy się jako rozwiązanie. Prośba o zwrot i potwierdzony zwrot. Zmiana adresu i zmiana potwierdzona klientowi. Pytanie i poprawna odpowiedź, którą klient przyjął do wiadomości.

Jak wygląda zła liczba. Sygnałem do obserwowania nie jest próg bezwzględny, tylko różnica między jakością rozwiązania a containment. Jeśli duża część rozmów jest zatrzymana w kanale, a znacznie mniejsza część zostaje oceniona jako rozwiązana, ta różnica to rozmiar Państwa problemu wyrażony w rozmowach. To także liczba, którą warto pokazać zarządowi, bo to uczciwa wersja tej, którą mu pokazano.

Warto zauważyć, że to celowo surowsze kryterium niż rozwiązanie przy pierwszym kontakcie (po angielsku), które wnioskuje o rozwiązaniu z braku ponownego kontaktu. FCR to użyteczne przybliżenie. Jakość rozwiązania czyta transkrypcję zamiast wnioskować z ciszy, a cisza to dokładnie to, co zostawia po sobie klient, który porzucił rozmowę.

Poprawność merytoryczna i wskaźnik halucynacji

Agent AI (po angielsku), który wymyśla termin na zwrot, podaje błędny czas dostawy albo z pełnym przekonaniem opisuje funkcję, której Państwo nie mają, to nie problem jakości, tylko problem odpowiedzialności. Poprawność merytoryczna to wskaźnik, który to wychwytuje, i ten, którego większość zespołów w ogóle nie mierzy.

Czym jest. Odsetek odpowiedzi AI zawierających twierdzenie faktyczne, które da się sprawdzić w bazie wiedzy, dokumentach z zasadami lub danych zamówień, oraz odsetek tych twierdzeń, które są poprawne. Wskaźnik halucynacji to odwrotność: twierdzenia podane z pełnym przekonaniem i nieoparte na żadnym źródle.

Jak mierzyć. Każde twierdzenie faktyczne w rozmowie jest sprawdzane względem źródła prawdy. W praktyce da się to robić tylko automatycznie, przy dużym wolumenie, co jest jednym z najmocniejszych argumentów za ocenianiem każdej rozmowy zamiast próbki: halucynacja w 98%, których Państwo nie przeczytali, kosztuje dokładnie tyle samo co halucynacja w 2%, które przeczytali. Warto śledzić ten wskaźnik osobno dla każdego typu kontaktu, bo poprawność rzadko jest jednolita. Pytania o rozliczenia i pytania o wysyłkę zwykle zachowują się zupełnie inaczej.

Jak wygląda zła liczba. Każdy wskaźnik większy od zera w przypadku twierdzeń o znaczeniu prawnym, finansowym lub dotyczących bezpieczeństwa to zła liczba, niezależnie od tego, jak jest mała. Przy twierdzeniach o mniejszej wadze liczy się kierunek: wskaźnik halucynacji, który rośnie po zmianie w bazie wiedzy albo aktualizacji modelu, mówi coś konkretnego i pilnego o tej zmianie.

Jedno zastrzeżenie: AI, która wygenerowała odpowiedź, nie jest wiarygodnym sędzią tego, czy odpowiedź była prawdziwa. Poprawność musi oceniać coś spoza systemu, który ją wytworzył. Na tej samej zasadzie LLM jako sędzia (po angielsku) pozostaje oddzielony od ocenianego modelu.

Jakość eskalacji: nie jak często, ale jak dobrze

Wskaźnik eskalacji raportuje się tak, jakby niższy był lepszy. Nie jest. Eskalacja to funkcja, a AI, która nigdy nie eskaluje, nie jest mocną AI, tylko uwięzionym klientem. Liczy się jakość eskalacji: czy przekazanie nastąpiło we właściwym momencie i dotarło z właściwym kontekstem.

Moment

Dwa rodzaje porażki leżą po obu stronach właściwego punktu. Zbyt wczesna eskalacja całkowicie marnuje automatyzację i irytuje klienta, który miał proste pytanie. Zbyt późna, po trzech czy czterech nieudanych pętlach, oznacza, że konsultant przejmuje już zdenerwowanego klienta i rozmowę, którą trzeba zaczynać od nowa. Warto ocenić moment: czy była rozpoznawalna tura, w której powinno nastąpić kompetentne przekazanie, i czy nastąpiło właśnie wtedy?

Przekazanie kontekstu

Najdroższa porażka eskalacji to ta, w której konsultant otwiera rozmowę i musi poprosić klienta, żeby wyjaśnił wszystko od początku. To jedno zachowanie niweczy dobre wrażenie z całej interakcji z AI. Warto ocenić, czy przekazanie objęło zgłoszony przez klienta problem, to, czego już próbowano, oraz kontekst konta lub zamówienia, który AI już pobrała.

Trafność

Czy eskalacja była w ogóle właściwą decyzją? AI, która eskaluje każdą niejednoznaczną wiadomość, generuje pracę dla ludzi bez potrzeby, co widać w koszcie na rozwiązany kontakt, a nie w ocenach jakości. Trzeba oceniać oba kierunki, inaczej optymalizacja jednego zamieni go w drugi.

Jak wygląda zła liczba. Spadający wskaźnik eskalacji razem ze spadającą oceną jakości rozwiązania to najwyraźniejszy zły sygnał w całym tym artykule. Oznacza, że AI trzyma rozmowy, których nie potrafi doprowadzić do końca.

Wskaźnik ponownych kontaktów i wskaźnik cichych porzuceń

Te dwa wskaźniki omawiamy razem, bo to Państwa najtańsze wykrywacze kłamstw. Oba wychwytują porażki, które containment liczy jako sukcesy, i żaden nie wymaga od klienta wypełniania czegokolwiek.

Wskaźnik ponownych kontaktów po rozmowie z AI

Czym jest. Odsetek klientów, którzy w określonym czasie wracają, dowolnym kanałem, z tym samym problemem po rozmowie obsłużonej przez AI.

Jak mierzyć. Kontakty trzeba łączyć według klienta i problemu, a nie zgłoszenia, i celowo patrzeć ponad kanałami. Klient, który porzucił czat, a potem zadzwonił, to najważniejszy przypadek do wychwycenia, a widok w podziale na kanały całkowicie go pominie. Okno czasowe warto dopasować do produktu: ten sam dzień dla problemu z dostawą, tydzień lub dłużej dla sporu o rozliczenie.

Jak wygląda zła liczba. Wskaźnik ponownych kontaktów, który po obsłudze przez AI rośnie w porównaniu z analogicznymi kontaktami obsłużonymi przez ludzi, to czerwona flaga, niezależnie od wartości bezwzględnej. Oznacza, że containment przesunął pracę, zamiast ją usunąć.

Wskaźnik cichych porzuceń

Czym jest. Odsetek rozmów z AI, z których klient wychodzi bez rozwiązania i bez eskalacji. Bez ankiety, bez skargi, bez ponownego kontaktu. We wszystkich wskaźnikach opartych na routingu takie rozmowy wyglądają identycznie jak sukcesy.

Jak mierzyć. Należy znaleźć rozmowy, które zakończyły się na wypowiedzi klienta albo na ostatniej wiadomości AI, na którą nikt nie odpowiedział, i ocenić, czy w tym momencie problem był rozwiązany. Odróżnienie zadowolonych wyjść od cichych rezygnacji to ocena transkrypcji i właśnie dlatego tego wskaźnika nie ma na większości dashboardów: nie da się go policzyć, trzeba go przeczytać.

Jak wygląda zła liczba. Każdy wskaźnik cichych porzuceń, który stanowi istotną część Państwa wskaźnika containment, oznacza, że liczba containment jest zawyżona dokładnie o tyle. Raportowanie containment bez niego to raportowanie liczby, o której wiadomo, że jest błędna.

Zgodność z zasadami i koszt na faktycznie rozwiązany kontakt

Dwa ostatnie wskaźniki zamykają pętlę między jakością a business case.

Zgodność z zasadami

Czym jest. To, czy AI przestrzegała zasad, których musi przestrzegać: weryfikacji tożsamości przed ujawnieniem danych konta, obowiązkowych informacji, odmowy rabatów niezgodnych z zasadami, właściwego postępowania z klientem w trudnej sytuacji lub ze zgłoszeniem reklamacji, trzymania się języka regulacyjnego tam, gdzie ma zastosowanie.

Jak mierzyć. To kryteria zero-jedynkowe, sprawdzalne na podstawie dowodów, co czyni je najłatwiejszą rzeczą z tej listy do automatycznej oceny i najbardziej szkodliwą do oceniania na próbce. Warto stosować je jako testy spełnione / niespełnione w każdej rozmowie i traktować każde niespełnienie jako incydent do przejrzenia, a nie procent do uśrednienia. To ta sama logika kryteriów, według której już oceniany jest Państwa zespół konsultantów, i o to właśnie chodzi: Państwa internal quality score powinien obejmować także AI, w przeciwnym razie mają Państwo dwa standardy i żadnego porównania.

Jak wygląda zła liczba. W weryfikacji tożsamości i informacjach wymaganych przepisami jedno niespełnienie to już zła liczba. Tego się nie uśrednia.

Koszt na faktycznie rozwiązany kontakt

Czym jest. Całkowity koszt rozmów z AI podzielony przez liczbę rozmów faktycznie rozwiązanych, a nie zatrzymanych w kanale.

Jak mierzyć. Należy wziąć ocenę jakości rozwiązania, zastosować ją do wolumenu zatrzymanego w kanale i użyć otrzymanej liczby jako mianownika. Trzeba doliczyć koszty, które AI wygenerowała dalej: ponowne kontakty, dodatkowy czas obsługi eskalacji, które dotarły bez kontekstu, oraz czas ludzi poświęcony na naprawianie skutków.

Jak wygląda zła liczba. Jeśli koszt na faktycznie rozwiązany kontakt nie jest wyraźnie lepszy niż w przypadku analogicznej obsługi przez ludzi, wdrożenie się nie zwraca, niezależnie od tego, jak dobrze wygląda wykres containment. To liczba, która zamienia argument jakościowy w argument finansowy, a to zwykle ten argument zdobywa budżet.

Dlaczego nic z tego nie działa na podstawie próbki ani ankiety

Wystarczy jeszcze raz przejrzeć siedem wskaźników, a okaże się, że jedno dotyczy każdego z nich: wymaga przeczytania rozmowy. Jakość rozwiązania to ocena transkrypcji. Wskaźnik halucynacji to sprawdzenie twierdzeń względem źródeł. Jakość eskalacji to ocena konkretnej tury. Ciche porzucenie to brak sygnału, czyli można je znaleźć tylko, patrząc na rozmowy, w których nic się nie wydarzyło.

Ma to dwie konsekwencje, których większość programów pomiarowych jeszcze nie przyswoiła.

Próbkowanie tu nie działa. Tradycyjna kontrola jakości przegląda niewielki procent rozmów i dla zespołu konsultantów o znanej wielkości to dający się obronić kompromis statystyczny. Dla AI nie da się go obronić, z dwóch powodów. Po pierwsze, porażki AI są systematyczne, a nie rozproszone: zły artykuł w bazie wiedzy albo przypadek brzegowy w zasadach wywołuje ten sam błąd za każdym razem, gdy się na niego trafi, więc próbka albo wyłapie całe skupisko, albo całkowicie je pominie. Po drugie, AI obsługuje znacznie większy wolumen, więc 2% to mniejsze okno na większą operację. Ocena każdej rozmowy (po angielsku) jest warunkiem wstępnym, a nie celem samym w sobie: usuwa błąd selekcji, przez który pozostałe siedem liczb traci sens. Nie chodzi o pilnowanie kogokolwiek, tylko o to, by reguła próbkowania nie decydowała, co mówią Państwa wskaźniki.

Żadnej oceny nie trzeba przyjmować na wiarę. Warto wymagać, by każda ocena prowadziła do dokładnego dowodu w transkrypcji, który ją uzasadnia, by każdą ocenę mógł zakwestionować i rozstrzygnąć człowiek, oraz by system oceniający dało się uruchomić na zestawie rozmów już ocenionych przez Państwa oceniających. Wtedy przed raportowaniem czegokolwiek w górę widać poziom zgodności kryterium po kryterium. Ocenę, którą da się prześledzić, da się też zakwestionować. Ocena, której nie da się prześledzić, to obietnica marketingowa z dołączoną liczbą.

Kaizo ocenia agentów AI i Państwa zespół konsultantów według jednego zestawu kryteriów, który Państwo definiują, a każdą ocenę da się prześledzić do transkrypcji i przetestować na Państwa własnym zestawie referencyjnym. Stosuje te kryteria do wszystkich rozmów, a nie do wybranego wycinka. W UiPath to podejście zautomatyzowało 100% kontroli jakości przy ROI na poziomie 200% i wzroście oceny jakości o 8%. W praktyce oznacza to, że kontrola jakości agentów AI i kontrola jakości konsultantów przestają być dwoma oddzielnymi programami, które dają dwa nieporównywalne zestawy liczb.

Najczęściej zadawane pytania

Które wskaźniki AI w obsłudze klienta są najważniejsze?

Jakość rozwiązania, poprawność merytoryczna, jakość eskalacji, wskaźnik ponownych kontaktów, wskaźnik cichych porzuceń, zgodność z zasadami i koszt na faktycznie rozwiązany kontakt. Tych siedem opisuje to, co naprawdę wydarzyło się w rozmowie. Containment rate i CSAT po rozmowie z AI, dwa najczęściej raportowane wskaźniki, opisują zamiast tego routing i opinię samoselekcjonującej się grupy, dlatego wprowadzają w błąd.

Czym jest containment rate i dlaczego wprowadza w błąd?

Containment rate, nazywany też wskaźnikiem deflekcji, to odsetek rozmów obsłużonych przez AI bez udziału człowieka. Wprowadza w błąd, bo mierzy, czy trzeba było zaangażować kogoś jeszcze, a nie czy klientowi pomożono. Klient, który zapytał trzy razy, nic nie osiągnął i sfrustrowany zamknął okno, liczy się jako zatrzymany w kanale, podobnie jak klient, który się poddał i zamiast tego zadzwonił.

Czy CSAT to dobry sposób mierzenia agentów AI?

Tylko jako jeden sygnał z kilku. Na CSAT po rozmowie z AI odpowiada mała, samoselekcjonująca się grupa, a klienci, wobec których AI zawiodła najbardziej, najrzadziej zostają, by wypełnić ankietę. Ten wskaźnik miesza też poprawność z tonem, więc AI, która z pełnym przekonaniem podaje błędne informacje, może dostać dobrą ocenę. Warto zestawiać go z miarami opartymi na transkrypcji, zamiast traktować go jako samodzielny dowód.

Jak zmierzyć, czy agent AI naprawdę rozwiązał problem?

Ocenić rozwiązanie jako jedno z kryteriów oceny jakości, stosowane do transkrypcji, a nie wnioskowane ze statusu zgłoszenia. Dla każdego typu kontaktu należy określić, jaki dowód w rozmowie liczy się jako rozwiązanie: potwierdzony zwrot, zmiana potwierdzona klientowi, poprawna odpowiedź przyjęta do wiadomości. Następnie porównać ten odsetek rozwiązanych rozmów ze wskaźnikiem containment. Różnica między nimi to rozmiar problemu.

Czym jest wskaźnik cichych porzuceń?

To odsetek rozmów z AI, z których klient wychodzi bez rozwiązania i bez eskalacji: bez skargi, bez ankiety, bez ponownego kontaktu. Takie rozmowy są niewidoczne dla wszystkich wskaźników opartych na routingu, bo nie zaangażował się żaden człowiek, więc zawyżają containment. Aby je znaleźć, trzeba czytać rozmowy zakończone na wypowiedzi klienta i oceniać, czy problem rzeczywiście został załatwiony.

Skąd wiadomo, że można ufać systemowi, który ocenia AI?

Trzeba go zweryfikować, zamiast przyjmować na wiarę: zapytać, czy każda ocena prowadzi do konkretnego dowodu w transkrypcji i czy system pokaże poziom zgodności z rozmowami, które Państwa oceniający już ocenili.

Powiązane artykuły

• Mierzenie skuteczności agentów AI
• Kontrola jakości agentów AI i chatbotów
• Jak dokładna jest ocena jakości przez AI?
• Czym jest agentic QA? (po angielsku)
• KPI obsługi klienta

Proszę zmierzyć, co naprawdę zrobili Państwa agenci AI

Proszę zobaczyć swój wskaźnik containment obok stojącej za nim oceny jakości rozwiązania, wystawionej według Państwa własnych kryteriów. Każda ocena prowadzi do dowodu w transkrypcji, a można ją sprawdzić na rozmowach, które Państwa oceniający już ocenili.

Umów demo Poznaj Agentic Auto QA Zobacz Kaizo Insights