Wskaźnik poprawnych rozwiązań (correct resolution rate) to odsetek rozmów obsłużonych przez agenta AI (albo konsultanta), które zakończyły się rozwiązaniem, z właściwą odpowiedzią, wykonanym właściwym działaniem i zgodnie z polityką, bez ponownego kontaktu w tej samej sprawie w ciągu 7 dni. Wzór: poprawne rozwiązania podzielone przez obsłużone rozmowy, razy 100, oszacowane na podstawie losowej próbki po audycie.
W skrócie
- Wskaźnik poprawnych rozwiązań = poprawne rozwiązania / obsłużone rozmowy x 100, gdzie „poprawne” oznacza zaliczenie czterech kontroli: właściwa odpowiedź, zgodność z polityką, działanie widoczne w systemie źródłowym, brak ponownego kontaktu w ciągu 7 dni.
- Wskaźnik szacuje się na podstawie losowej próbki po audycie, więc raportuje się go z 95-procentowym marginesem błędu: 1,96 x √(p x (1 − p) / n).
- Około 385 ocenionych rozmów daje margines mniej więcej ±5 punktów; około 97 na intencję daje mniej więcej ±10 punktów, co wystarcza, żeby znaleźć intencję, która nie działa.
- Jest bardziej rygorystyczny niż containment rate, deflection rate, first contact resolution i wskaźnik rozwiązań dostawcy, bo żaden z nich nie sprawdza, czy odpowiedź była poprawna i czy działanie zostało wykonane.
- Koszt agenta AI warto dzielić przez poprawne rozwiązania, a nie przez rozwiązania rozliczone przez dostawcę; wtedy wychodzi koszt jednego poprawnego rozwiązania.
Ta strona definiuje wskaźnik i daje Państwu kalkulator. Metodę oceny każdej rozmowy (ocena bez etykiety dostawcy, kontrola w systemach źródłowych, zasada werdyktu) opisuje nasz poradnik o audycie wskaźnika rozwiązań agentów AI, a oba teksty należą do centralnego artykułu o ewaluacji agentów AI.
Czym jest wskaźnik poprawnych rozwiązań?
Wskaźnik poprawnych rozwiązań to odsetek rozmów w zakresie agenta, które agent, AI lub człowiek, zamknął bez przekazania i które przechodzą cztery kontrole: odpowiedź była właściwa i kompletna, mieściła się w granicach polityki, każde obiecane działanie widać w systemie źródłowym, a klient nie wrócił w tej samej sprawie, w żadnym kanale, w ciągu 7 dni.
Każda część definicji ma swoje zadanie:
| Część | Zasada | Po co jest |
|---|---|---|
| Obsłużone | Każda rozmowa, która trafiła do agenta w danym okresie, z wyjątkiem spamu, testów i rozmów kończących się na powitaniu | Ustala mianownik, więc wskaźnika nie da się podnieść, wykluczając trudne rozmowy |
| Rozwiązane | Agent zamknął rozmowę bez przekazania do człowieka | Poprawne przekazanie to dobry wynik, ale nie jest rozwiązaniem przez tego agenta; śledzi się je osobno |
| Właściwa odpowiedź | Zgodna z polityką, ceną lub procedurą obowiązującą w dniu rozmowy | Wychwytuje pewne siebie błędne odpowiedzi, które klient przyjął |
| Dozwolone | Żadnego wyjątku ani obietnicy poza spisanym zakresem agenta | Wychwytuje odpowiedzi „pomocne”, ale sprzeczne z polityką |
| Działanie wykonane | Zwrot, anulowanie lub zmiana są w systemie źródłowym, z właściwą kwotą i pozycją | Wychwytuje działania, które agent zadeklarował, ale nigdy ich nie wykonał |
| Brak ponownego kontaktu | Brak kontaktu od tego samego klienta w tej samej sprawie w ciągu 7 dni, w dowolnym kanale | Wychwytuje klientów, którzy zrezygnowali albo wrócili innym kanałem |
Jedna niezaliczona kontrola oznacza werdykt „niepoprawne”. Rozmowa, w której brakuje rekordu, dostaje werdykt „nie da się ocenić” i wypada z próbki; to ta sama zasada werdyktu, której używa audyt rozwiązań.
Jaki jest wzór na wskaźnik poprawnych rozwiązań?
Wzór brzmi: wskaźnik poprawnych rozwiązań = (poprawne rozwiązania / obsłużone rozmowy) x 100. Ponieważ nie da się ręcznie ocenić każdej rozmowy, szacuje się go na próbce: udział poprawnych w ocenionej próbce razy 100. Jeśli próbka obejmuje tylko rozmowy rozwiązane według dostawcy, ten udział mnoży się przez odsetek rozwiązań dostawcy.
Są dwa sposoby oszacowania, zależnie od tego, co Państwo próbkują:
- Próbka ze wszystkich obsłużonych rozmów (metoda bezpośrednia). Losuje się ze wszystkiego, co obsłużył agent, łącznie z eskalacjami. Wskaźnik poprawnych rozwiązań = poprawne / ocenione. Eskalowane rozmowy po prostu liczą się jako „niepoprawne”.
- Próbka tylko z rozmów rozwiązanych według dostawcy (metoda dwuetapowa). Tak działa audyt rozwiązań. Wskaźnik poprawnych rozwiązań = odsetek rozwiązań dostawcy x udział poprawnych w audytowanej próbce rozwiązanych. Przykład: 62% rozwiązanych x 70% poprawnych = 43,4%.
Metoda dwuetapowa jest tańsza, jeśli już audytują Państwo rozwiązania, ale zakłada, że żadna rozmowa oznaczona jako nierozwiązana nie była w rzeczywistości poprawnym rozwiązaniem. Kalkulator poniżej używa metody bezpośredniej.
Jak oszacować wskaźnik poprawnych rozwiązań na podstawie próbki z audytu?
Trzeba ocenić losową próbkę, obliczyć udział poprawnych p, a potem dodać 95-procentowy margines błędu 1,96 x √(p x (1 − p) / n), gdzie n to liczba ocenionych rozmów. Przy p = 0,48 i n = 385 margines wynosi około ±5 punktów, więc rzeczywisty wskaźnik leży mniej więcej między 43% a 53%.
To najczęściej stosowany przedział dla proporcji, jak zauważa podręcznik statystyki inżynierskiej NIST. Ta sama strona preferuje przedział Wilsona, bo prosty wzór może dać niemożliwe granice (dolną granicę poniżej 0%), a przedział Wilsona nie. Przedziału Wilsona warto używać dla każdej intencji z mniej niż około 50 ocenionymi rozmowami albo ze wskaźnikiem bliskim 0% lub 100%.
Żeby dobrać wielkość próbki przed startem, stosuje się wzór n = 1,96² x 0,25 / E², gdzie E to pożądany margines, a 0,25 to najgorszy przypadek (p = 0,5):
| Potrzebny margines (E) | Ocenione rozmowy (n) | Formuła w arkuszu |
|---|---|---|
| ±10 punktów | 97 | =ROUNDUP(1.96^2*0.25/0.10^2,0) |
| ±5 punktów | 385 | =ROUNDUP(1.96^2*0.25/0.05^2,0) |
| ±3 punkty | 1068 | =ROUNDUP(1.96^2*0.25/0.03^2,0) |
Formuły są zapisane w angielskiej wersji arkusza; w polskim Excelu funkcje mają nazwy ZAOKR.GÓRA, PIERWIASTEK, UFNOŚĆ.NORM i SUMA, argumenty oddziela się średnikiem, a ułamki przecinkiem. Do próbki warto dodać od 3% do 5% na werdykty „nie da się ocenić”. Nasz artykuł o statystyce próbkowania w QA (po angielsku) wyjaśnia, dlaczego margines maleje z pierwiastkiem z wielkości próbki, a nie proporcjonalnie do niej.
Kalkulator wskaźnika poprawnych rozwiązań (do skopiowania do arkusza)
Kalkulator ma jeden wiersz na intencję, więc można nadreprezentować ryzykowne intencje i nadal uzyskać rzetelny wskaźnik ogólny. Litery kolumn poniżej wpisuje się w wierszu 1, intencje od wiersza 2, a formuły kopiuje w dół. Liczby to ilustracja, nie dane klienta.
Kolumny i formuły (pokazany wiersz 2; wiersz 6 to suma):
| Kolumna | Pole | Formuła (wiersz 2) |
|---|---|---|
| A | Intencja | wpisywane ręcznie |
| B | Obsłużone rozmowy (N) | wpisywane ręcznie, z pełnego logu agenta |
| C | Wylosowane (n) | wpisywane ręcznie |
| D | Nie da się ocenić | wpisywane ręcznie, z audytu |
| E | Poprawne rozwiązania w próbce | wpisywane ręcznie, z audytu |
| F | Ocenione | =C2-D2 |
| G | Udział poprawnych (p) | =E2/F2 |
| H | Margines, 95% | =1.96*SQRT(G2*(1-G2)/F2) (w Excelu także =CONFIDENCE.NORM(0.05,SQRT(G2*(1-G2)),F2)) |
| I | Dolna granica | =MAX(0,G2-H2) |
| J | Górna granica | =MIN(1,G2+H2) |
| K | Szacowane poprawne rozwiązania | =B2*G2 |
| L | Udział w wariancji | =(B2/$B$6)^2*G2*(1-G2)/F2 |
| Wiersz sumy 6 | Wskaźnik poprawnych rozwiązań | =SUM(K2:K5)/B6, margines =1.96*SQRT(SUM(L2:L5)) |
Skrót w kolumnie H działa, bo funkcja CONFIDENCE.NORM zwraca margines dla podanego poziomu alfa, odchylenia standardowego i wielkości próbki. Kolumna L waży każdą intencję jej udziałem w wolumenie i to sprawia, że ogólny margines jest poprawny mimo nadreprezentacji.
Przykład z obliczeniami (ilustracja). Agent AI obsługuje w październiku 20 000 rozmów. Dostawca raportuje 62% rozwiązań. Zespół losuje 440 rozmów z czterech intencji, z nadreprezentacją anulowań, i ocenia każdą według czterech kontroli.
| Intencja | Obsłużone (N) | Wylosowane | Nie da się ocenić | Poprawne | Udział poprawnych | Margines | Zakres | Szac. poprawne |
|---|---|---|---|---|---|---|---|---|
| Status zamówienia | 9000 | 120 | 2 | 73 | 61,9% | ±8,8 | 53,1% do 70,6% | 5568 |
| Zwroty i reklamacje | 5000 | 120 | 4 | 46 | 39,7% | ±8,9 | 30,8% do 48,6% | 1983 |
| Anulowanie planu | 2000 | 100 | 3 | 29 | 29,9% | ±9,1 | 20,8% do 39,0% | 598 |
| Pytanie o rozliczenie | 4000 | 100 | 1 | 35 | 35,4% | ±9,4 | 25,9% do 44,8% | 1414 |
| Razem | 20 000 | 440 | 10 | 183 | 9563 |
Wynik krok po kroku:
- Ogólny wskaźnik poprawnych rozwiązań: 9563 / 20 000 = 47,8%.
- Ogólny margines: 1,96 x √(suma kolumny L) = ±5,0 punktu, czyli od 42,8% do 52,8%.
- Różnica wobec liczby dostawcy: 62% raportowane wobec 47,8% poprawnych, różnica około 14 punktów.
- Dlaczego nie 183 / 430? Nieważone 42,6% zawyżyłoby udział anulowań, które wylosowano w 5% ich wolumenu, podczas gdy status zamówienia w 1,3%. Ważenie przez N to naprawia.
Wiersze intencji to lista zadań: anulowania i pytania o rozliczenia zawodzą najczęściej, więc dostają pierwsze poprawki albo wracają do ludzi, dopóki się nie poprawią.
Czym wskaźnik poprawnych rozwiązań różni się od containment rate, deflection rate, FCR i wskaźnika rozwiązań?
Containment rate, deflection rate, first contact resolution i wskaźnik rozwiązań dostawcy liczą rozmowy, które zakończyły się w określony sposób. Wskaźnik poprawnych rozwiązań liczy rozmowy, które zakończyły się dobrze: jako jedyny z pięciu wymaga, żeby odpowiedź była właściwa, działanie wykonane, a sprawa pozostała rozwiązana przez 7 dni.
| Wskaźnik | Co liczy | Sprawdza poprawność? | Okno ponownego kontaktu | Kto go definiuje |
|---|---|---|---|---|
| Containment rate (po angielsku) | Rozmowy zakończone bez człowieka | Nie | Brak | Państwo lub dostawca |
| Deflection rate | Prośby, które nigdy nie trafiły do kolejki ludzi | Nie | Brak | Różnie w zależności od zespołu; zob. dlaczego wskaźnik deflekcji ukrywa złe rozmowy |
| First contact resolution (FCR) (po angielsku) | Sprawy rozwiązane przy pierwszej interakcji | Często na podstawie ankiety, nie rekordu | Ustalane przez Państwa | Państwo |
| Wskaźnik rozwiązań dostawcy | Rozmowy, które dostawca oznacza jako rozwiązane | Czasem, przez czytanie transkrypcji | Krótkie i przypisane do kanału | Dostawca |
| Wskaźnik poprawnych rozwiązań | Rozwiązane, właściwe, dozwolone, działanie wykonane, brak ponownego kontaktu | Tak, względem polityki i rekordów w systemach źródłowych | 7 dni, dowolny kanał | Państwo |
Definicje dostawców się różnią. Intercom liczy „assumed resolution” (rozwiązanie domniemane), gdy klient wychodzi „without requesting further assistance” (bez prośby o dalszą pomoc), i odlicza je tylko wtedy, gdy klient wraca do tej samej rozmowy (Intercom). Zendesk oddziela rozwiązania „contained” od „verified”, w których model językowy sprawdza transkrypcję (Zendesk). Ada liczy rozwiązania ocenione przez LLM jako trafne, poprawne i bezpieczne (Ada). Żadna z tych definicji, tak jak jest udokumentowana, nie szuka ponownych kontaktów w innych kanałach, a samo czytanie transkrypcji nie potwierdzi, że zwrot lub anulowanie rzeczywiście zostały zaksięgowane, i dlatego potrzebna jest liczba, którą definiują Państwo sami.
FCR to najbliższy krewny: wskaźnik poprawnych rozwiązań to FCR z wyraźnie zapisanymi kontrolami poprawności i działania, więc działa tak samo dla agenta AI i dla człowieka.
Dlaczego warto dzielić wskaźnik poprawnych rozwiązań według intencji?
Podział według intencji jest potrzebny, bo jeden uśredniony wskaźnik ukrywa, gdzie agent zawodzi, a struktura intencji decyduje o liczbie w nagłówku. Agent, który w tym miesiącu dostaje więcej prostych pytań o status zamówienia, pokaże wyższy wskaźnik, choć wcale nie działa lepiej. Wskaźniki dla każdej intencji pokazują rzeczywistą zmianę i mówią, które intencje naprawić, rozszerzyć albo przywrócić ludziom.
Trzy zasady utrzymują uczciwe porównanie:
- Porównywać podobne z podobnym. Przy porównywaniu miesięcy, dostawców albo zespołu ludzi z agentem AI porównuje się intencję z intencją albo przelicza oba wyniki na tę samą strukturę intencji.
- Dobrać wielkość próbki każdej intencji do decyzji. Około 97 ocenionych rozmów na intencję daje ±10 punktów: wystarczy, żeby zobaczyć, że anulowania na poziomie 30% nie działają, ale nie wystarczy, żeby zobaczyć ruch o 3 punkty.
- Najpierw obserwować ryzykowne intencje. Intencje, w których agent przesuwa pieniądze albo zmienia konto, zasługują na większą próbkę, bo błędne działanie kosztuje tam więcej niż błędna odpowiedź o czasie dostawy.
To, które intencje agent powinien w ogóle przejąć, opisuje artykuł które sprawy automatyzować najpierw.
Jak obliczyć koszt jednego poprawnego rozwiązania?
Koszt jednego poprawnego rozwiązania = całkowity koszt działania agenta AI w danym okresie / szacowana liczba poprawnych rozwiązań. Uwzględnia się wszystko, co Państwo płacą za jego działanie (faktura dostawcy, opłaty za platformę, czas wewnętrzny na utrzymanie wiedzy i kontrolę jakości), i dzieli przez poprawne rozwiązania, a nie przez rozwiązania, za które dostawca wystawił rachunek.
Kontynuacja ilustracji, z przykładową ceną 0,99 USD za rozliczane rozwiązanie:
| Pozycja | Wzór | Wartość |
|---|---|---|
| Rozliczone rozwiązania | 20 000 x 62% | 12 400 |
| Faktura dostawcy | 12 400 x 0,99 USD | 12 276 USD |
| Wewnętrzny koszt działania (ilustracja) | utrzymanie wiedzy, czas kontroli jakości | 3000 USD |
| Koszt całkowity | suma | 15 276 USD |
| Koszt jednego rozliczonego rozwiązania | 15 276 USD / 12 400 | 1,23 USD |
| Koszt jednego poprawnego rozwiązania | 15 276 USD / 9563 | 1,60 USD (zakres od 1,45 do 1,78 USD) |
Zakres powstaje z podzielenia kosztu przez dolne i górne oszacowanie poprawnych rozwiązań (8565 i 10 560). Dla pełniejszego obrazu warto dodać koszt pracy ludzi przy ponownych kontaktach, które tworzą fałszywe rozwiązania, i obliczyć tę samą liczbę dla zespołu konsultantów (pełny koszt przepracowanych godzin / poprawne rozwiązania), zanim zdecydują Państwo, co automatyzować. Szerszy zestaw wskaźników AI w obsłudze klienta pokazuje, gdzie ta liczba stoi obok jakości eskalacji i cichych porzuceń.
Kiedy wskaźnik poprawnych rozwiązań nie jest wart wysiłku?
Próbkowanie można pominąć, gdy agent obsługuje kilkaset rozmów miesięcznie: wtedy ocenia się wszystkie i oblicza dokładny wskaźnik. Wskaźnik ma też mniejsze znaczenie dla agenta, który odpowiada tylko na proste pytania informacyjne i nie wykonuje działań; tam może wystarczyć liczba ponownych kontaktów i lekka kontrola poprawności.
Nie jest to też sposób na znajdowanie pojedynczych błędów. Próbka 440 rozmów daje wskaźnik z dokładnością do około 5 punktów, ale rzadko pokaże błąd, który dotyka 1 na 500 klientów; żeby je znaleźć, trzeba ocenić każdą rozmowę.
Jak zacząć mierzyć wskaźnik poprawnych rozwiązań w tym tygodniu
Potrzebny jest arkusz, jedna lub dwie osoby oceniające i dostęp tylko do odczytu do systemu zamówień lub rozliczeń. Pierwszy tydzień daje pierwszy wskaźnik z marginesem błędu i listę intencji do naprawy; definicje są ważniejsze niż miejsca po przecinku.
- Dzień 1: spisać cztery kontrole, każdą z jednym przykładem zaliczenia i niezaliczenia, oraz zasadę 7 dni.
- Dzień 2: wyeksportować obsłużone rozmowy z poprzedniego miesiąca z etykietami intencji i wylosować próbkę dla każdej intencji według tabeli wielkości powyżej.
- Dni 3 i 4: ocenić każdą rozmowę, sprawdzić zadeklarowane działania w rekordach systemów źródłowych i poszukać ponownych kontaktów we wszystkich kanałach.
- Dzień 5: wkleić liczby do kalkulatora, odczytać wskaźniki dla każdej intencji i obliczyć koszt jednego poprawnego rozwiązania.
Gdy wiadomo już, które intencje zawodzą, następnym krokiem jest wychwytywanie tych błędów w każdej rozmowie zamiast w miesięcznej próbce. AutoPilot w Kaizo ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny, a każdy wynik prowadzi do dowodu w rozmowie; jak to działa, pokazuje strona o kontroli jakości agentów AI, a żeby zobaczyć to na rozmowach własnego agenta AI, warto umówić demo.
Najczęściej zadawane pytania
Jaki wskaźnik poprawnych rozwiązań jest dobry?
Nie ma opublikowanego benchmarku, bo prawie nikt nie definiuje jeszcze tego wskaźnika w ten sam sposób. Warto śledzić własny wskaźnik dla każdej intencji miesiąc do miesiąca i obserwować różnicę wobec wskaźnika rozwiązań dostawcy. Malejąca różnica oznacza, że poprawki działają; stabilnie wysoki wskaźnik dostawcy przy spadającym wskaźniku poprawnych rozwiązań oznacza, że dashboard oddala się od rzeczywistości.
Czy wskaźnik poprawnych rozwiązań można stosować do konsultantów?
Tak. Cztery kontrole dotyczą każdej rozmowy, a wzór jest ten sam. W przypadku ludzi „rozwiązane” oznacza, że konsultant zamknął rozmowę bez przekazania jej dalej. Ludzi i agenta AI porównuje się intencja po intencji, nigdy na uśrednionych wskaźnikach, bo zwykle obsługują bardzo różną strukturę spraw.
Dlaczego okno ponownego kontaktu wynosi 7 dni?
Okna dostawców są krótkie i zwykle ograniczone do tej samej rozmowy, a wiele błędów wychodzi na jaw później: zwrot, który nigdy nie dociera, druga opłata przy kolejnym cyklu rozliczeniowym. Siedem dni wychwytuje większość z nich. Dla intencji związanych z rozliczeniami warto wydłużyć okno do daty kolejnej faktury.
Czy sędzia LLM może obliczyć wskaźnik poprawnych rozwiązań?
Sędzia LLM może oceniać kontrole odpowiedzi i polityki na dużą skalę, jeśli skalibruje się go względem werdyktów ludzi. Czytając samą transkrypcję, nie widzi rekordów w systemach źródłowych ani kontaktów w innych kanałach, więc przed uznaniem rozmowy za poprawną trzeba połączyć jego ocenę z danymi zamówień i historią kontaktów.
Czy rozmowy „nie da się ocenić” obniżają wskaźnik?
Nie. Pomija się je w liczbie ocenionych rozmów, raportuje ich liczbę i naprawia brakujące dane, jeśli przekroczą około 5% próbki. Jeśli skupiają się w jednej intencji, wskaźnik tej intencji jest mniej wiarygodny, niż sugeruje jego margines.
