Przegląd wyników agenta AI to comiesięczne spotkanie, na którym osoby odpowiedzialne za Państwa agenta AI analizują miesiąc ocenionych rozmów, porównują go z celami i decydują, co się zmienia. Działa jak ocena okresowa konsultanta: ta sama karta oceny, prawdziwe dowody, jasne cele. Różnica tkwi w wyniku: zamiast planu coachingu powstaje zmiana treści, zakresu lub routingu.
W skrócie
- Comiesięczny przegląd wyników agenta AI zamienia wyniki w decyzje: rozszerzyć zakres bota, utrzymać go albo odebrać mu tematy.
- Różni się od oceny konsultanta tym, kto bierze udział, czym są dowody i jakie są konsekwencje.
- Na spotkaniu potrzebnych jest pięć ról, a ustalenia przedstawia QA, a nie zespół, który wdrożył bota.
- Jednostronicowy raport i 60-minutowa agenda sprawiają, że spotkanie jest na tyle krótkie, by odbywało się co miesiąc.
- Spisana reguła rozszerzania, utrzymywania lub ograniczania tematów sprawia, że przegląd nie zamienia się w dyskusję.
Ten poradnik dotyczy samego rytuału: częstotliwości, osób, raportu i decyzji. O tym, jakie wskaźniki śledzić, piszemy w poradniku o mierzeniu skuteczności agentów AI. Jeśli chodzi o samo ocenianie, nasza strona o kontroli jakości agentów AI pokazuje, jak Kaizo ocenia każdą rozmowę agenta AI według tej samej karty oceny co Państwa zespół.
Po co przeprowadzać przegląd wyników agenta AI?
Bo panele raportują, a decydują ludzie: ktoś musi odpowiadać za decyzję, czy dać botowi więcej pracy, zostawić go tam, gdzie jest, czy odebrać mu część zadań.
Większość zespołów ma już dane. Helpdesk liczy automatyczne rozwiązania, dostawca pokazuje intencje i miejsca, w których rozmowy się urywają, a QA ocenia rozmowy. Często brakuje stałego momentu, w którym ktoś z odpowiednimi uprawnieniami spojrzy na to wszystko razem i podejmie decyzję. Bez niego znany problem z odpowiedziami o zwrotach może tygodniami czekać w wątku na czacie.
Wytyczne dotyczące ryzyka AI również oczekują takiego momentu. NIST AI Risk Management Framework (styczeń 2023) w punkcie Manage 4.1 wymienia wdrożenie planów monitorowania po uruchomieniu systemu, w tym mechanizmów zbierania informacji od użytkowników, odwołań i nadpisywania decyzji, wycofania z użycia, reagowania na incydenty, przywracania działania i zarządzania zmianą. Comiesięczny przegląd to prosty sposób, by każde z tych zadań miało swoje miejsce.
Jest też powód związany ze sprawiedliwością. Państwa konsultanci są oceniani, otrzymują coaching i muszą spełniać standard. Gdy bot obsługuje coraz większą część rozmów, ta sama dyscyplina wobec niego sprawia, że porównanie jest uczciwe, i właśnie o to zapyta Państwa kierownictwo.
Czym przegląd agenta AI różni się od oceny konsultanta?
Przegląd agenta AI analizuje wzorce w tysiącach rozmów i kończy się zmianami treści i konfiguracji, a ocena konsultanta dotyczy pracy jednej osoby i kończy się coachingiem.
| Ocena konsultanta | Przegląd wyników agenta AI | |
|---|---|---|
| Co jest oceniane | Próbka lub wszystkie rozmowy jednej osoby | Każda rozmowa, którą agent AI obsłużył w danym miesiącu |
| Jednostka analizy | Osoba | Temat, artykuł, reguła |
| Kto bierze udział | Konsultant i jego lider zespołu | QA, właściciel bota, właściciel treści, operacje obsługi klienta, lider CX |
| Typowe ustalenie | Luka w umiejętnościach lub nawyk | Nieaktualny artykuł, brakująca reguła, spóźnione przekazanie rozmowy |
| Wynik | Coaching, cel, plan rozwoju | Poprawka treści, zmiana zakresu, zmiana routingu lub eskalacji |
| Konsekwencja słabego miesiąca | Plan poprawy | Tematy ograniczone lub przekazane ludziom do czasu poprawki |
| Kwestia sprawiedliwości | Ocena za rzeczy, na które nie miał wpływu | Błędy bota obciążające wynik konsultanta |
Jedną zasadę z ostatniego wiersza warto wpisać do procesu: błąd bota nigdy nie obciąża wyniku konsultanta. Jeśli agent AI obiecał zwrot, a konsultant musiał tę obietnicę wycofać, niespełnione kryterium należy do bota.
Kto powinien brać udział w spotkaniu?
W przeglądzie wyników agenta AI bierze udział pięć ról: QA przedstawia ustalenia, właściciel bota i właściciel treści przejmują poprawki, operacje mówią w imieniu kolejek, a lider CX decyduje.
| Rola | Co wnosi | Z czym wychodzi |
|---|---|---|
| Lider QA (prezentuje) | Wyniki, trendy, transkrypcje stojące za każdym ustaleniem | Zmiany kryteriów na kolejny miesiąc |
| Właściciel agenta AI | Konfigurację bota i zmiany wprowadzone w tym miesiącu | Zmiany promptów, routingu i eskalacji |
| Właściciel treści w bazie wiedzy | Informację, z których artykułów odpowiada bot | Poprawki artykułów, z terminem |
| Lider operacji obsługi klienta | Liczbę przekazań, wpływ na kolejki, ponowne kontakty | Zmiany w obsadzie lub routingu |
| Lider CX (decyduje) | Cele i akceptowalny poziom ryzyka | Decyzje o rozszerzeniu, utrzymaniu lub ograniczeniu |
Ustalenia przedstawia QA, bo powinny pochodzić od osób, które nie budowały bota. Zespół, który go wdrożył, to także zespół, którego projekt dobrze wygląda, gdy liczby dobrze wyglądają. Nasz artykuł o tym, kto sprawdza Państwa agenta AI (po angielsku), wyjaśnia, jak rozdzielić ustalenia, poprawki i uprawnienie do wyłączenia przepływu.
Dział ryzyka lub compliance warto zaprosić, gdy w danym miesiącu wystąpił błąd krytyczny w regulowanym temacie. Dostawcę warto zaprosić, gdy potrzebna jest jego pomoc przy poprawce, a nie po to, by przedstawiał wyniki.
Jednostronicowy raport wyników agenta AI
Raport mieści się na jednej stronie: główna liczba w porównaniu z celem, kryteria, które się zmieniły, zagrożone tematy, przyczyny błędów i potrzebne decyzje.
Proszę skopiować ten szablon i co miesiąc wypełniać go danymi z narzędzia QA i helpdesku:
| Sekcja | Co zawiera | Skąd pochodzą dane |
|---|---|---|
| 1. Główna liczba | Odsetek rozmów rozwiązanych poprawnie w porównaniu z celem, w tym i poprzednim miesiącu | Wyniki QA i ponowne kontakty |
| 2. Wolumen i zakres | Rozmowy agenta AI, ich udział we wszystkich rozmowach, obsługiwane tematy | Helpdesk |
| 3. Wspólne kryteria | Wyniki w kryteriach wspólnych dla ludzi i bota, obok wyników zespołu konsultantów | Karta oceny QA |
| 4. Kryteria bota | Odsetek spełnienia kryteriów oparcia w treściach, granic zasad, zakresu i eskalacji | Karta oceny QA |
| 5. Zagrożone tematy | Każdy temat poniżej celu, z liczbą rozmów | Wyniki QA według tematu |
| 6. Błędy krytyczne | Liczba, co się stało, ilu klientów dotyczyło, status | Ustalenia QA |
| 7. Trzy główne przyczyny | Artykuł, reguła lub ustawienie stojące za większością błędów, z jedną transkrypcją dla każdej | Analiza przyczyn źródłowych |
| 8. Poprawki z poprzedniego miesiąca | Co wdrożono i czy wyniki się zmieniły | Ponownie ocenione rozmowy |
| 9. Przekazanie rozmowy | Spóźnione lub brakujące przekazania, przekazany kontekst | Kryteria przekazania rozmowy |
| 10. Potrzebne decyzje | Rozszerzyć, utrzymać lub ograniczyć, dla każdego tematu | Reguła decyzyjna poniżej |
Proszę zostawić tylko liczby, które prowadzą do decyzji. Jeśli dany wiersz przez trzy miesiące nie zmienił żadnej decyzji, warto usunąć go ze strony i przenieść do załącznika.
W Kaizo wyniki dla sekcji od 3 do 9 pochodzą z tej samej karty oceny. Kaizo Insights łączy QA, analizę sentymentu i coaching w jednym widoku, gotowym do prezentacji lub eksportu, a analiza przyczyn źródłowych grupuje błędy stojące za spadkiem wyników.
Przykład: przegląd za październik
W tym przykładzie agent AI poprawił się ogólnie, ale zawiódł w jednym temacie, więc przegląd rozszerza jeden temat, trzy utrzymuje i jeden ogranicza; liczby to nasza ilustracja, a nie dane klienta.
Sekcja główna raportu za październik:
| Miara | Wrzesień | Październik | Cel |
|---|---|---|---|
| Rozmowy agenta AI | 11 200 | 12 400 | |
| Rozwiązane poprawnie | 70,4% | 73,1% | 75% |
| Oparte na naszych treściach (odsetek spełnienia) | 95,8% | 98,0% | 98% |
| Granice zasad (odsetek spełnienia) | 97,2% | 98,1% | 99% |
| Eskalacja na właściwy sygnał | 91,0% | 89,5% | 93% |
| Ponowny kontakt w ciągu 7 dni | 6,8% | 6,1% | 5% |
| Błędy krytyczne | 4 | 1 | 0 |
Główna liczba zmieniła się we właściwym kierunku, o 2,7 punktu procentowego, ale eskalacja poszła w złą stronę. To właśnie taki mieszany miesiąc, w którym przegląd jest wart swojej godziny: ogólna liczba zostałaby przedstawiona jako dobra wiadomość, a spadek poprawnych eskalacji potrzebuje właściciela.
Z sekcji tematów wynikają decyzje:
| Temat | Rozmowy | Odsetek spełnienia kryteriów oparcia w treściach i zasad | Błędy krytyczne | Decyzja |
|---|---|---|---|---|
| Śledzenie zamówień | 4900 | 99,3% (wrzesień 99,1%) | 0 | Rozszerzyć: dodać prośby o zmianę dostawy |
| Zwroty towaru | 2600 | 97,8% | 0 | Utrzymać |
| Pytania o produkty | 2700 | 97,1% | 0 | Utrzymać, poprawić dwa artykuły stojące za większością błędów |
| Refundacje | 1300 | 94,6% | 1 | Ograniczyć: przekazać częściowe refundacje ludziom do czasu poprawki |
| Zmiany na koncie | 900 | 98,4% (wrzesień 97,6%) | 0 | Utrzymać jeszcze przez miesiąc przed rozszerzeniem |
Spotkanie kończy się pięcioma decyzjami, każdą z właścicielem i terminem. Ograniczenie refundacji zostanie ponownie omówione w listopadzie, gdy właściciel treści przepisze artykuł o częściowych refundacjach, a QA ponownie oceni ten temat.
Reguła decyzyjna: rozszerzyć, utrzymać czy ograniczyć
Regułę decyzyjną trzeba spisać przed pierwszym przeglądem, z progami rozszerzania, utrzymywania i ograniczania każdego tematu, aby spotkanie stosowało regułę, a nie się o nią spierało.
Reguła na początek, do dostosowania do Państwa akceptowalnego poziomu ryzyka:
| Decyzja | Kiedy | Co się dzieje |
|---|---|---|
| Rozszerzyć | Odsetek spełnienia kryteriów oparcia w treściach i zasad co najmniej 98% przez dwa kolejne miesiące i brak błędów krytycznych | Bot przejmuje nową intencję lub szerszą wersję tematu |
| Utrzymać | Odsetek spełnienia między 96% a 98% albo jeden dobry miesiąc po słabym | Bez zmiany zakresu; poprawić główne przyczyny |
| Ograniczyć | Odsetek spełnienia poniżej 96% albo jakikolwiek błąd krytyczny w temacie finansowym | Przekazać temat lub jego ryzykowną część ludziom, dopóki ponowna ocena go nie odblokuje |
Powyższe progi to nasza propozycja, a nie standard branżowy. W razie potrzeby można je ustalić osobno dla każdego tematu: ten sam odsetek spełnienia może wystarczyć przy pytaniach o produkty i być za niski przy refundacjach. Liczy się to, by reguła istniała, zanim ktokolwiek zobaczy liczby.
60-minutowa agenda
Sześćdziesiąt minut wystarczy, jeśli raport zostanie rozesłany dwa dni robocze przed spotkaniem, a czas zostanie poświęcony na decyzje, a nie na odczytywanie liczb na głos.
| Minuty | Punkt | Prowadzi |
|---|---|---|
| Od 0 do 5 | Główna liczba w porównaniu z celem i decyzje z poprzedniego miesiąca: zrealizowane czy nie | Lider QA |
| Od 5 do 20 | Zagrożone tematy i błędy krytyczne, z jedną transkrypcją dla każdego | Lider QA |
| Od 20 do 35 | Trzy główne przyczyny i proponowane poprawki | Właściciel treści i właściciel bota |
| Od 35 do 45 | Poprawki z poprzedniego miesiąca: czy wyniki się zmieniły? | Lider QA |
| Od 45 do 55 | Decyzje dla każdego tematu według reguły | Lider CX |
| Od 55 do 60 | Właściciele, terminy i zmiany kryteriów na kolejny miesiąc | Lider QA |
Prawdziwa transkrypcja przy każdym ustaleniu znaczy więcej niż jakikolwiek wykres. Zamienia zdanie „oparcie w treściach spadło w temacie refundacji” w tekst, który wszyscy na sali mogą przeczytać, i rozstrzyga spory o to, czy oceniający miał rację. Nasz poradnik o identyfikowalności wyników QA (po angielsku) wyjaśnia, dlaczego każdy wynik potrzebuje fragmentów transkrypcji, na których się opiera.
Co tydzień, co miesiąc, co kwartał: co gdzie omawiać
Comiesięczny przegląd mieści się między cotygodniową kontrolą operacyjną a kwartalnym raportem dla kierownictwa; każdy rytm ma swoje zadanie, a mieszanie ich pogarsza wszystkie trzy.
| Rytm | Kto | Co obejmuje | O czym decyduje |
|---|---|---|---|
| Co tydzień (15 minut) | Lider QA, właściciel bota | Błędy krytyczne, nowe wzorce, to, czy poprawki z poprzedniego tygodnia zadziałały | Pilne poprawki i przekazania |
| Co miesiąc (60 minut) | Pięć ról opisanych powyżej | Jednostronicowy raport | Rozszerzyć, utrzymać lub ograniczyć dla każdego tematu |
| Co kwartał | Lider CX dla kierownictwa | Trend głównej liczby, wzrost zakresu, koszt błędów, których uniknięto | Budżet i plan rozwoju agenta AI |
W raporcie kwartalnym warto ograniczyć się do trzech liczb, które kierownictwo może śledzić w czasie: odsetka rozmów rozwiązanych poprawnie, udziału bota w rozmowach i błędów krytycznych. Nasz poradnik o raportowaniu jakości obsługi klienta dla kadry zarządzającej (po angielsku) omawia, jak przedstawić wskaźnik jakości wiceprezesowi lub dyrektorowi finansowemu. Szczegóły rytmu cotygodniowego zawiera nasz tekst o częstotliwości monitorowania QA (po angielsku).
Jak przeprowadzić pierwszy przegląd wyników agenta AI
Pierwszy przegląd wyników agenta AI wymaga miesiąca ocenionych rozmów, jednostronicowego szablonu i wcześniej uzgodnionej reguły decyzyjnej; prowadzi do tego pięć kroków.
Krok 1: Ocenić pełny miesiąc
Proszę przez miesiąc oceniać każdą rozmowę agenta AI według karty oceny, która zawiera kryteria bota: oparcie w treściach, granice zasad, zakres i eskalację. AutoPilot w Kaizo ocenia każdą rozmowę według Państwa kryteriów w momencie jej rozwiązania.
Krok 2: Uzgodnić cele i regułę decyzyjną
Proszę wyznaczyć cel dla głównej liczby i każdego kryterium bota oraz uzgodnić progi rozszerzania, utrzymywania i ograniczania, zanim ktokolwiek zobaczy pierwszy raport.
Krok 3: Wskazać osoby do pięciu ról
Proszę wpisać nazwiska przy roli lidera QA, właściciela bota, właściciela treści, lidera operacji i lidera CX. Warto zarezerwować cykliczne 60-minutowe spotkanie w pierwszym tygodniu każdego miesiąca.
Krok 4: Wysłać raport dwa dni wcześniej
Proszę wypełnić jednostronicowy szablon i wysłać go dwa dni robocze przed spotkaniem, aby godzina była poświęcona decyzjom.
Krok 5: Zakończyć właścicielami i terminami
Każda decyzja opuszcza salę z właścicielem i terminem, a kolejny raport zaczyna się od informacji, czy została zrealizowana.
Proszę zobaczyć to w demo na żywo. Kaizo ocenia każdą rozmowę agenta AI według tej samej karty oceny co Państwa zespół i pokazuje trendy według tygodnia, tematu i zespołu, gotowe na comiesięczny przegląd. Porozmawiajmy.
Najczęściej zadawane pytania
Jak często należy przeprowadzać przegląd wyników agenta AI?
Co miesiąc, jeśli chodzi o decyzje, z krótką cotygodniową kontrolą błędów krytycznych i poprawek. Miesiąc daje wystarczająco wiele rozmów w każdym temacie, by zobaczyć prawdziwy trend, a jednocześnie jest na tyle częsty, że problem w temacie finansowym nie trwa przez cały kwartał. Trend warto raportować kierownictwu co kwartał.
Co powinien zawierać przegląd wyników agenta AI?
Główny wskaźnik jakości w porównaniu z celem, odsetek spełnienia kryteriów bota, tematy poniżej celów, ewentualne błędy krytyczne, główne przyczyny błędów z jedną transkrypcją dla każdej, informację, czy poprawki z poprzedniego miesiąca zadziałały, oraz potrzebne decyzje. Proszę zmieścić to na jednej stronie, a wszystko, co nie prowadzi do decyzji, przenieść do załącznika.
Czy w przeglądzie można porównywać agenta AI z konsultantami?
Tak, w kryteriach, które są dla nich wspólne, takich jak poprawna odpowiedź i właściwy ton, ocenianych w ten sam sposób. Porównanie warto prowadzić według tematu, a nie ogólnie, bo bot zwykle obsługuje prostsze tematy. Nie należy porównywać kryteriów, które ma tylko jedna strona, a błąd bota nigdy nie powinien obciążać wyniku konsultanta.
Co się dzieje, gdy agent AI nie przejdzie przeglądu wyników?
Traci zakres, dopóki go nie odzyska. Tematy poniżej progu lub z błędem krytycznym trafiają do konsultantów albo otrzymują wymuszone przekazanie rozmowy. Właściciel treści poprawia źródło, QA ponownie ocenia temat, a kolejny przegląd decyduje, czy bot odzyska ten temat.
Czy wyniki powinien przedstawiać dostawca agenta AI?
Nie. Dostawca może wyjaśnić, jak działa bot, i pomóc przy poprawkach, ale wyniki powinny pochodzić od Państwa własnego QA, według Państwa karty oceny. Dostawca, który przedstawia ocenę własnego produktu, ma interes w dobrym wyniku, a kierownictwo będzie chciało liczby, którą wypracował Państwa zespół i którą potrafi obronić.
