Wskaźnik rozwiązań agentów AI: jak go audytować

Wskaźnik rozwiązań agenta AI (resolution rate) liczy rozmowy, które dostawca oznacza jako rozwiązane: bez przekazania do człowieka i bez ponownego kontaktu w określonym oknie czasowym. Nie sprawdza, czy odpowiedź była poprawna, czy działanie zostało wykonane ani czy klient nie wrócił. Audyt polega na pobraniu próbki „rozwiązanych” rozmów, ocenie każdej według spisanych kryteriów i danych z systemów źródłowych oraz raportowaniu skorygowanego wskaźnika obok wskaźnika dostawcy.

W skrócie

• „Rozwiązanie” według dostawcy zwykle oznacza, że klient nie poprosił o dalszą pomoc, zanim upłynął limit czasu; pewna siebie błędna odpowiedź i klient, który zrezygnował, przechodzą ten test tak samo.
• W rozwiązanych rozmowach kryją się cztery rodzaje błędów: błędna odpowiedź, którą klient przyjął, klient, który zrezygnował, klient, który wrócił innym kanałem, i działanie, które agent zadeklarował, ale nigdy go nie wykonał.
• Poprawne rozwiązanie wymaga czterech odpowiedzi „tak”: właściwa odpowiedź, zgodna z polityką, działanie wykonane w systemie źródłowym i brak ponownego kontaktu w tej samej sprawie w ciągu 7 dni.
• Losowa próbka około 400 rozwiązanych rozmów miesięcznie daje skorygowany wskaźnik z dokładnością do około 5 punktów procentowych, co wystarcza, żeby raportować go obok liczby dostawcy.
• Warto raportować obie liczby, strukturę błędów i koszt jednego poprawnego rozwiązania oraz przypisać każdy typ błędu do właściciela.

Ten poradnik uzupełnia nasz centralny artykuł o ewaluacji agentów AI i jest napisany dla Head of CX lub lidera AI, który zatwierdza wyniki agenta AI. Jeśli najpierw potrzebują Państwo podstaw wskaźnika, który zwykle stoi obok wskaźnika rozwiązań, warto zacząć od containment rate (po angielsku).

Co oznacza „rozwiązane” we wskaźniku rozwiązań agenta AI?

W większości raportów dostawców „rozwiązane” oznacza, że agent AI odpowiedział, a klient nie poprosił o dalszą pomoc ani o człowieka, zanim rozmowa wygasła. Niektórzy dostawcy dodają kontrolę transkrypcji przez model. Żadna z tych definicji, tak jak jest udokumentowana, nie sprawdza danych w systemach źródłowych ani tego, czy klient skontaktował się ponownie innym kanałem.

Definicje są publiczne i warto przeczytać je słowo po słowie, zanim zaufa się dashboardowi:

Wynikają z tego dwie rzeczy. Po pierwsze, „rozwiązane” to definicja rozliczeniowa i raportowa ustalona przez dostawcę, często powiązana z tym, ile Państwo płacą. Po drugie, definicja się zmienia: Intercom raportuje teraz „outcomes” (wyniki) obok rozwiązań i pisze, że „sukces” przestał być zero-jedynkowy (blog Intercom, marzec 2026), a Zendesk wprowadził poziomy rozwiązań 18 maja 2026 (dawna definicja Zendesk). Audyt daje Państwu definicję, która należy do Państwa.

Czym różni się rozwiązane od poprawnie rozwiązanego?

Rozwiązana rozmowa zakończyła się bez przekazania do człowieka i bez ponownego kontaktu. Poprawnie rozwiązana rozmowa dodatkowo dała właściwą odpowiedź, wykonała właściwe działanie, pozostała w granicach polityki i sprawiła, że klient nie wrócił w tej samej sprawie. Różnica między nimi to Państwa rzeczywisty poziom automatyzacji i zwykle nie widać jej na dashboardzie dostawcy.

Dostawca pyta: czy rozmowa zakończyła się spokojnie? Państwa audyt pyta: czy problem zniknął? Drugie pytanie wymaga dowodów spoza transkrypcji. Nasz artykuł o cichych błędach agentów AI opisuje szerszą rodzinę błędów, które nie zgłaszają żadnego komunikatu, a artykuł dlaczego rozmowy z AI zawodzą opisuje stojące za nimi przyczyny.

Jakie błędy kryją się w rozwiązanych rozmowach?

Jako rozwiązania przechodzą cztery typy błędów: błędna odpowiedź, którą klient przyjął, klient, który zrezygnował, klient, który wrócił innym kanałem, i działanie, które agent zadeklarował, ale go nie wykonał. Każdy z nich wygląda w transkrypcji jak spokojna, udana rozmowa, a każdy wymaga innej kontroli, żeby go znaleźć.

Ostatni typ najdrożej kosztuje, gdy się go przeoczy, i żadna ocena oparta wyłącznie na transkrypcji, ani ludzka, ani przez LLM, go nie wychwyci. Zabezpieczenia agentów AI dotyczące działań zmniejszają częstotliwość takich przypadków; audyt mówi Państwu, czy działają.

Jak zaprojektować próbkę do audytu rozwiązań?

Warto losowo wybrać około 400 rozmów, które dostawca oznaczył jako rozwiązane w danym miesiącu, warstwowo według intencji, z dodatkowymi rozmowami z intencji wysokiego ryzyka, takich jak zwroty środków, anulowania i zmiany na koncie. Status dostawcy ukrywa się przed oceniającymi, a 10% rozmów ocenia się podwójnie, żeby zmierzyć zgodność.

1. Ustalić okres i populację. Jeden miesiąc kalendarzowy, każda rozmowa ze statusem dostawcy „rozwiązane”.
2. Losować w obrębie każdej intencji, proporcjonalnie do wolumenu. Ręcznie wybrane „ciekawe” rozmowy zaniżają wskaźnik.
3. Nadreprezentować intencje wysokiego ryzyka. Dodać co najmniej 50 rozmów z intencji, w których agent podejmuje działanie albo dotyka pieniędzy; przy wskaźniku ogólnym przywrócić im wagę odpowiadającą ich rzeczywistemu udziałowi.
4. Dobrać wielkość do decyzji. 400 rozmów daje margines około ±5 punktów procentowych przy 95% ufności (zob. przedziały ufności dla proporcji w podręczniku statystyki inżynierskiej NIST). 100 na intencję daje około ±10 punktów: wystarczy, żeby wychwycić intencję, która nie działa. Rachunek wyjaśnia nasz poradnik o statystyce próbkowania w QA (po angielsku).
5. Ukryć etykietę przed oceniającym. Pokazać transkrypcję i dane z systemów, ale nie etykietę dostawcy.
6. Zmierzyć zgodność. Drugi oceniający ocenia 40 z 400 rozmów. Jeśli werdykty różnią się częściej niż 1 raz na 10, przed raportowaniem trzeba poprawić kryteria.
7. Odczekać okno. Próbkę pobiera się co najmniej 7 dni po zakończeniu miesiąca.

Jakie są kryteria „poprawnego” rozwiązania?

Rozmowa jest poprawnym rozwiązaniem tylko wtedy, gdy przechodzi wszystkie cztery kontrole: odpowiedź była właściwa i kompletna, mieściła się w granicach polityki, każde obiecane przez agenta działanie widać w systemie źródłowym, a klient nie skontaktował się ponownie w tej samej sprawie w ciągu 7 dni. Jedna niezaliczona kontrola oznacza werdykt „niepoprawne”.

Kryteria spisuje się przed pierwszą oceną, z przykładem zaliczenia i niezaliczenia dla każdego:

Warto zachować piąty werdykt, „nie da się ocenić”, dla rozmów, w których brakuje rekordu albo klient jest anonimowy. Pomija się je we wskaźniku i raportuje ich liczbę; jeśli przekroczą 5% próbki, przed kolejnym audytem trzeba naprawić dane. Właściwa odpowiedź zależy od tego, czy Państwa polityki są spisane i aktualne, o czym piszemy w artykule o politykach dla agentów AI.

Jak sprawdzić w systemach źródłowych zadeklarowane działania?

Trzeba spisać każde działanie, które agent zadeklarował w rozmowie, a potem sprawdzić każde z nich w systemie, który za nie odpowiada: zwrot w systemie rozliczeń, anulowanie w systemie subskrypcji, adres w rekordzie zamówienia. Log narzędzi samego agenta nie wystarcza, bo wywołanie narzędzia może zgłosić sukces, podczas gdy system źródłowy nie pokazuje nic.

Praktyczna kolejność dla każdej rozmowy z próbki:

1. Wyodrębnić deklaracje. Zaznaczyć każde zdanie, w którym agent mówi, że coś zrobił: „zleciłem zwrot”, „Pana plan został anulowany”, „zaktualizowałem adres”.
2. Połączyć po identyfikatorach. Użyć ID klienta, numeru zamówienia albo e-maila z rozmowy, żeby znaleźć rekord.
3. Porównać cztery pola. Czy to się stało, czy dotyczyło właściwej pozycji, czy na właściwą kwotę, czy przed zakończeniem rozmowy albo wkrótce po nim?
4. Precyzyjnie zapisywać niezgodności. „Obiecano zwrot 40 USD, w rozliczeniach 0 USD” da się naprawić; „działanie się nie udało” już nie.

Nie mają Państwo dostępu do systemu źródłowego? Warto poprosić jego właściciela o eksport tylko do odczytu, przefiltrowany po 400 ID klientów z próbki.

Jak mierzyć ponowny kontakt po rozwiązaniu przez AI?

Ponowny kontakt liczy się wtedy, gdy ten sam klient zwraca się ponownie w tej samej sprawie, w dowolnym kanale, w ciągu 7 dni od zakończenia rozmowy z AI. Dopasowanie opiera się na identyfikatorze klienta w czacie, e-mailu, telefonie i mediach społecznościowych, a potem czyta się kolejny kontakt, żeby potwierdzić, że chodzi o tę samą sprawę, a nie nową.

Dlaczego 7 dni: okna dostawców są krótkie i przypisane do kanału. Zendesk domyślnie kończy rozmowę w kanale wiadomości 2 godziny po pierwszej wiadomości, a rozmowę e-mailową po 72 godzinach; Intercom odlicza rozwiązanie tylko wtedy, gdy klient wraca do tej samej rozmowy. Wiele błędów wychodzi na jaw później: zwrot, który nie dociera w ciągu 3 do 5 dni roboczych, druga opłata przy kolejnym cyklu rozliczeniowym. Siedem dni wychwytuje większość z nich; dla intencji związanych z rozliczeniami warto wydłużyć okno do daty kolejnej faktury.

Jeśli historia kontaktów jest rozproszona między narzędziami, warto zacząć od identyfikatorów, które Państwo mają (ID konta, adres e-mail), i zaznaczyć w raporcie, że część ponownych kontaktów zostanie pominięta. Śledzenie jednego klienta przez różne kanały to istota QA ścieżki klienta.

Arkusz audytu rozwiązań (do skopiowania)

Poniższy arkusz to jeden wiersz na rozmowę z próbki. Wypełnia się cztery kontrole, a werdykt wynika z zasady werdyktu; oceniający nie wybierają go na wyczucie. Wiersze ilustrują, jak wygląda każdy typ błędu po wypełnieniu, i nie są danymi klientów.

Zasada werdyktu. Poprawne = odpowiedź poprawna (tak), działanie wykonane (tak lub działanie niepotrzebne), brak ponownego kontaktu i zgodność z polityką. Każde „nie” = niepoprawne. Każdy brak dowodu = nie da się ocenić. Gdy występują dwa błędy, zapisuje się ten, który klient odczuł jako pierwszy.

Jeśli Państwa agent może przyznawać wyjątki, warto dodać kolumnę „Dozwolone?”, a każdą notatkę z dowodem pisać na tyle konkretnie, żeby dało się ją sprawdzić w dwie minuty.

Przykład z obliczeniami: wskaźnik rozwiązań według dostawcy a wskaźnik po audycie

W tej ilustracji dostawca raportuje 68% rozwiązań przy 10 000 rozmów. Audyt 400 rozwiązanych rozmów pokazuje, że 69% z tych, które da się ocenić, rozwiązano poprawnie, więc skorygowany wskaźnik rozwiązań wynosi około 47%, z 95-procentowym przedziałem od około 44% do 50%.

Ilustracja (nie dane klienta). Agent AI obsługuje 10 000 rozmów w październiku. Dostawca oznacza 6800 jako rozwiązane: wskaźnik rozwiązań 68%. Zespół audytuje losową próbkę 400 rozwiązanych rozmów za pomocą powyższego arkusza.

Obliczenia krok po kroku:

1. Rozmowy, które da się ocenić: 400 minus 12 = 388.
2. Udział poprawnych po audycie: 268 / 388 = 69,1%.
3. Margines błędu: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 punktu, więc udział poprawnych mieści się mniej więcej między 64,5% a 73,7%.
4. Skorygowana liczba rozwiązanych rozmów: 6800 x 69,1% = około 4700.
5. Skorygowany wskaźnik rozwiązań: 4700 / 10 000 = 47,0%, z przedziałem od około 43,8% do 50,1%.
6. Koszt jednego poprawnego rozwiązania: przy przykładowej cenie 1,00 USD za rozliczane rozwiązanie 6800 rozliczonych rozwiązań kosztuje 6800 USD. Po podzieleniu przez 4700 poprawnych rozwiązań każde kosztuje około 1,45 USD, a nie 1,00 USD.

Strukturę błędów czyta się jak listę zadań: błędne odpowiedzi trafiają do właściciela wiedzy i promptów, rezygnacje do projektu eskalacji, a 12 zadeklarowanych działań idzie na pierwszy ogień, bo w każdym z tych przypadków klient usłyszał coś nieprawdziwego o swoich pieniądzach lub koncie.

Jak raportować skorygowany wskaźnik rozwiązań obok liczby dostawcy?

Wskaźnik rozwiązań dostawcy i wskaźnik po audycie pokazuje się obok siebie co miesiąc, a pod nimi definicje, wielkość próbki, margines błędu i strukturę błędów. Nie należy zastępować liczby dostawcy: różnica między nimi jest właśnie ustaleniem, a jej trend pokazuje, czy poprawki działają.

Miesięczny raport na jednym ekranie:

Definicje powinny być stabilne, a przedział widoczny, żeby ruch o 2 punkty w granicach szumu nie wywoływał dyskusji; skorygowany wskaźnik warto umieścić tam, gdzie kierownictwo już widzi liczbę dostawcy. Należy on też do szerszego zestawu wskaźników skuteczności agentów AI i do cotygodniowego widoku opisanego w artykule o monitorowaniu agentów AI.

Kiedy pełny audyt rozwiązań nie jest dla Państwa?

Formalny audyt to przesada, gdy agent AI obsługuje kilkaset rozmów miesięcznie: wtedy lepiej przeczytać wszystkie, zamiast próbkować. Ma też mniejsze znaczenie, gdy agent odpowiada tylko na pytania informacyjne, bez działań i przy niewielkich kwotach; tam może wystarczyć lżejsza kontrola poprawności i liczenie ponownych kontaktów.

Audyt nie zastępuje też oceny każdej rozmowy. Próbka 400 rozmów mówi, jaki jest wskaźnik; rzadko pokaże błąd, który dotyka 1 na 500 klientów. Jeśli trzeba znaleźć takie przypadki pojedynczo, potrzebne jest pełne pokrycie, co nasz centralny artykuł o ewaluacji agentów AI na produkcji wyjaśnia z rachunkiem wielkości próbki.

Jak zacząć audyt rozwiązań w tym tygodniu

Pierwszy audyt można przeprowadzić w tydzień, mając arkusz, jednego oceniającego i dostęp tylko do odczytu do dwóch systemów. Celem pierwszego tygodnia nie jest idealna liczba, tylko pierwszy skorygowany wskaźnik i lista błędów, które za nim stoją.

1. Poniedziałek: spisać definicję rozwiązania dostawcy oraz cztery kontrole, każdą z przykładem zaliczenia i niezaliczenia.
2. Wtorek: wyeksportować rozwiązane rozmowy z poprzedniego miesiąca, podzielić je według intencji i wylosować 400.
3. Środa: poprosić o eksporty tylko do odczytu z systemu rozliczeń lub zamówień oraz o historię kontaktów dla ID klientów z próbki.
4. Czwartek i piątek: wypełnić arkusz; ocenić podwójnie 40 rozmów i porównać werdykty.
5. Kolejny poniedziałek: obliczyć skorygowany wskaźnik i koszt jednego poprawnego rozwiązania oraz przypisać każdy typ błędu do właściciela.

Gdy audyt pokaże, gdzie rozwiązania zawodzą, następnym krokiem jest wychwytywanie tych błędów w każdej rozmowie, a nie tylko w miesięcznej próbce. AutoPilot w Kaizo ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny, a każdy wynik prowadzi do dowodu w rozmowie; jak to działa, pokazuje nasza strona o kontroli jakości agentów AI. Proszę zobaczyć to na rozmowach własnego agenta AI. Umów demo.

Najczęściej zadawane pytania

Czy wskaźnik rozwiązań to to samo co containment rate?

Nie. Containment rate liczy rozmowy, które zakończyły się bez przekazania do człowieka. Wskaźnik rozwiązań, tak jak definiują go dostawcy, zwykle dodaje warunek, że klient nie poprosił o dalszą pomoc w określonym oknie czasowym. Żaden z nich nie sprawdza, czy odpowiedź była poprawna, i dlatego oba potrzebują obok siebie audytu.

Jaki wskaźnik rozwiązań agenta AI jest dobry?

Nie ma wiarygodnego punktu odniesienia, bo dostawcy różnie definiują rozwiązanie i zmieniają swoje definicje w czasie. Lepiej porównywać własny skorygowany wskaźnik rozwiązań miesiąc do miesiąca. Niższy wskaźnik dostawcy z niewielką różnicą względem wskaźnika po audycie jest zdrowszy niż wysoki wskaźnik, który po audycie spada o połowę.

Czy kontrola przez LLM może zastąpić audyt rozwiązań prowadzony przez ludzi?

Może objąć więcej rozmów, a niektórzy dostawcy już jej używają do weryfikacji rozwiązań. Jednak kontrola, która czyta tylko tekst rozmowy, nie widzi danych w systemach źródłowych ani późniejszych kontaktów w innych kanałach. Każdego sędziego LLM warto skalibrować względem werdyktów ludzi, a kontrole systemów źródłowych i ponownych kontaktów zachować w audycie.

Jak często audytować rozwiązania agenta AI?

Domyślnie co miesiąc, z dodatkowym audytem po każdej zmianie promptów, wiedzy, działań lub zakresu agenta. Próbkę pobiera się co najmniej 7 dni po zakończeniu miesiąca, żeby każda rozmowa miała pełne okno ponownego kontaktu. Intencje wysokiego ryzyka mogą uzasadniać cotygodniową kontrolę.

Czy płacić za domniemane rozwiązania, które nie przeszły audytu?

To zależy od Państwa umowy i właśnie dlatego audyt ma znaczenie przy odnowieniu. Skorygowany wskaźnik i koszt jednego poprawnego rozwiązania dają dowody do rozmowy z dostawcą. Warto zapytać, jak definicja dostawcy traktuje powroty innymi kanałami i działania, które nigdy nie nastąpiły.

Kto powinien odpowiadać za audyt rozwiązań?

Zespół, który odpowiada za wyniki dla klientów, zwykle dział jakości CX albo support operations. Właściciel utrzymuje stabilne definicje i kieruje każdy typ błędu do tego, kto może go naprawić: zespołu wiedzy, inżynierów albo osób projektujących eskalację.