Gdy ludzie i agenci AI dzielą kolejkę obsługi klienta, warto trzymać ich według jednego standardu jakości, a potem poprawiać ich na różne sposoby. Ludzie rozwijają się dzięki coachingowi, ćwiczeniom i feedbackowi. Agenci AI poprawiają się dzięki zmianom w wiedzy, zasadach i instrukcjach, ściślejszym uprawnieniom narzędzi i testowi regresji, który potwierdza poprawkę. Ta sama karta oceny, dwie ścieżki naprawy, jedna cotygodniowa pętla.
W skrócie
- Ludzi i agentów AI warto oceniać według tych samych kryteriów podstawowych (wynik, poprawność, zasady, ton, przekazanie), żeby ich wyniki dało się porównać, a klient otrzymywał jeden standard.
- Do tego dochodzi mały blok kryteriów dla każdej strony: oparcie na źródłach i zakres dla agenta AI, notatki ze sprawy i dotrzymane ustalenia dla ludzi.
- Błąd człowieka to zwykle jedna osoba jednego dnia; błąd agenta AI powtarza się w każdej rozmowie, która trafia na tę samą konfigurację, więc poprawka trafia do konfiguracji, a nie do rozmowy.
- Obie strony porównuje się tylko intencja po intencji i przy tej samej strukturze intencji, inaczej agent AI wygląda lepiej tylko dlatego, że dostaje łatwiejszą pracę.
- Każda poprawka ma wskazanego właściciela i sposób sprawdzenia: kolejne ocenione rozmowy danej osoby albo zestaw regresyjny agenta AI i jego wyniki na żywo w następnym tygodniu.
Budowę wspólnej karty oceny opisuje poradnik o wspólnej karcie oceny konsultantów i agentów AI, a prowadzenie sesji coachingowej artykuł o coachingu konsultantów obsługi klienta. Ten poradnik dotyczy tego, co dzieje się, gdy błąd już się pojawi.
Dlaczego ludzie i agenci AI powinni mieć jeden standard jakości?
Ludzie i agenci AI powinni mieć jeden standard jakości, ponieważ klient doświadcza jednej obsługi: błędna kwota zwrotu boli tak samo, niezależnie od tego, czy podał ją człowiek, czy bot. Wspólny standard pozwala też decydować na podstawie dowodów, a nie wskaźnika containment, które intencje zostają przy agencie AI.
Bez niego agent AI dostaje łagodniejszy test (containment liczy sukces, gdy klient nie dotarł do człowieka, a nie gdy odpowiedź była poprawna), ludzie są obwiniani za spóźnione przekazania bez kontekstu, a nikt nie potrafi zdecydować, czy bot powinien zostać przy reklamacjach gwarancyjnych.
Systemy helpdesk oferują to już jako funkcję. Kustomer opisuje jedną ważoną kartę oceny, w której „that same scorecard scores every conversation, AI agent and human rep alike” (ta sama karta oceny ocenia każdą rozmowę, zarówno agenta AI, jak i konsultanta) (Kustomer). Karta oceny to łatwiejsza część; trudniejsza to to, co zrobić z niespełnionym kryterium.
Które kryteria karty oceny dotyczą obu stron, a które tylko jednej?
Wynik, poprawność, zasady, weryfikacja tożsamości, ton i przekazanie dotyczą obu stron, z tym samym brzmieniem i wagą. Oparcie na Państwa treściach, pozostawanie w zakresie i przyznawanie się do niewiedzy należą do bloku agenta AI. Notatki ze sprawy i dotrzymane obietnice należą do bloku ludzi. Wspólny rdzeń ocenia się dla porównania, a bloki raportuje obok niego.
| Kryterium | Ludzie | Agent AI | Dlaczego |
|---|---|---|---|
| Sprawa rozwiązana albo jasny następny krok | Tak | Tak | Wynik dla klienta to ta sama praca |
| Każdy fakt poprawny | Tak | Tak | Błędny fakt kosztuje tyle samo w obu przypadkach |
| Zasady zachowane (zwroty, uznania, wyjątki) | Tak | Tak | Zasady nie zmieniają się w zależności od tego, kto obsługuje |
| Tożsamość zweryfikowana przed danymi konta | Tak | Tak | To samo ryzyko, ta sama zasada |
| Ton pasuje do klienta i marki | Tak | Tak | Ten sam głos marki |
| Przekazanie zawiera kontekst | Tak | Tak | Obie strony przekazują i obie przyjmują |
| Odpowiedź oparta na Państwa opublikowanych treściach | Nie | Tak | Ludzie korzystają z osądu; model może coś wymyślić |
| Pozostaje w dozwolonych intencjach i działaniach | Nie | Tak | Zakres to ustawienie bota |
| Mówi „nie wiem”, zamiast zgadywać | Rzadko | Tak | Zgadywanie to typowy błąd agenta AI |
| Notatki ze sprawy pozwalają kolejnej osobie kontynuować | Tak | Nie | U agenta AI obejmuje to treść przekazania |
| Obiecany kontakt rzeczywiście nastąpił | Tak | Nie | Zwykle tylko ludzie obiecują oddzwonienie |
Niektóre kryteria dla ludzi nie mają sensu w przypadku bota (przestrzeganie grafiku, praca po kontakcie); nasza karta oceny agenta AI pokazuje, co usunąć, a co dodać. Najważniejsza zasada: wspólne kryterium ma jedną definicję. Jeśli „zasady zachowane” oznacza dla agenta AI coś luźniejszego, porównanie przestaje istnieć.
Dlaczego ten sam błąd wymaga dwóch różnych poprawek?
Ponieważ przyczyna leży w różnych miejscach. Osoba, która źle stosuje zasadę zwrotów, ma lukę w wiedzy, umiejętnościach albo nawykach, i zamyka ją coaching. Agent AI, który popełnia ten sam błąd, działa w konfiguracji, która ten błąd wytwarza (treść, instrukcje, narzędzia albo routing), i naprawia go tylko zmiana konfiguracji.
| Konsultant | Agent AI | |
|---|---|---|
| Jak błąd się rozprzestrzenia | Jedna osoba, w części przypadków | Każda rozmowa, która trafia na tę samą konfigurację |
| Gdzie leży przyczyna | Wiedza, umiejętności, osąd, obciążenie pracą | Źródło wiedzy, instrukcje, reguły zasad, uprawnienia narzędzi, routing |
| Jak się poprawia | Feedback, ćwiczenia, przykład do naśladowania, czas | Zmiana konfiguracji, przetestowana przed wydaniem |
| Jak poprawka może zaszkodzić | Rzadko; wyćwiczona umiejętność zostaje | Często; nowa instrukcja może zepsuć trzy intencje, które wcześniej przechodziły |
Ostatni wiersz wyjaśnia, dlaczego poprawki agenta AI wymagają testu regresji: zmieniona instrukcja albo artykuł może naprawić jeden przypadek i zepsuć te, które wcześniej przechodziły. Wytyczne Anthropic dotyczące ewaluacji agentów mówią, że testy regresji „should have a nearly 100% pass rate” (powinny mieć wskaźnik zaliczeń bliski 100%), a na początek zestawu „20-50 simple tasks drawn from real failures is a great start” (20 do 50 prostych zadań wziętych z prawdziwych błędów to świetny początek) (Anthropic). W zespole obsługi klienta te zadania pochodzą z Państwa własnych ocenionych rozmów.
Ludzie natomiast uczą się z tego, co działa u innych. Badanie 5 179 konsultantów obsługi klienta wykazało, że asystent AI zwiększył liczbę spraw rozwiązanych na godzinę średnio o 14%, a u konsultantów początkujących i mniej wykwalifikowanych o 34%, z przesłankami wskazującymi, że upowszechniał praktyki najlepszych konsultantów (Brynjolfsson, Li i Raymond, NBER). Coaching na podstawie najlepszej rozmowy kolegi lub koleżanki korzysta z tego samego mechanizmu.
Łatwo przeoczyć jedną wspólną przyczynę: ludzie i agenci AI często czytają te same strony centrum pomocy i te same zasady. Gdy obie strony zawodzą w tej samej intencji, poprawką jest zwykle jeden artykuł albo jedna zasada. Nasz poradnik o tym, dlaczego rozmowy AI zawodzą, pokazuje te przyczyny źródłowe.
Ten sam błąd, dwie poprawki (tabela do skopiowania)
Ta tabela przypisuje niespełnionemu kryterium poprawkę dla człowieka, poprawkę dla agenta AI i sposób sprawdzenia, czy każda zadziałała. Można jej używać jako arkusza triażu w cotygodniowym przeglądzie; kolumna weryfikacji zamienia poprawkę w zamkniętą sprawę, a nie w nadzieję.
| Błąd widoczny w karcie oceny | Poprawka dla człowieka | Poprawka dla agenta AI | Jak sprawdzić |
|---|---|---|---|
| Błędny fakt (termin zwrotu podany jako 60 dni, zasada mówi 30) | Pokazać zasadę i rozmowę; dwa przypadki ćwiczeniowe w tej samej intencji; poprawić makro, jeśli jest błędne | Poprawić lub wycofać nieaktualny artykuł, z którego korzystał agent; usunąć sprzeczne wersje | Człowiek: poprawność w kolejnych 20 ocenionych rozmowach w tej intencji. AI: nieudana rozmowa staje się przypadkiem testowym, cały zestaw przechodzi, poprawność na żywo w tej intencji w następnym tygodniu |
| Naruszenie zasady (gest dobrej woli powyżej zatwierdzonego limitu) | Coaching dotyczący limitu i ścieżki zatwierdzenia; podpis menedżera przy wyjątkach | Ograniczyć kwotę w samym narzędziu do zwrotów, a nie tylko w instrukcjach; ponownie sformułować regułę zasady | Człowiek: brak naruszeń przez 4 tygodnie. AI: przypadek testowy, który naciska na wyższe uznanie, kończy się bezpiecznie; logi narzędzia nie pokazują niczego powyżej limitu |
| Pominięta lub spóźniona eskalacja (groźba prawna zatrzymana w bocie) | Odegrać scenki z wyzwalaczami eskalacji; dodać je do listy kontrolnej | Dodać wyzwalacz do reguł eskalacji; kierować intencję do ludzi, gdy wyzwalacz się uruchomi | Człowiek: kryterium eskalacji spełnione w oznaczonych przypadkach. AI: przypadki testowe z każdą frazą wyzwalającą są przekazywane przy pierwszej wzmiance |
| Przekazanie bez kontekstu (klient powtarza historię) | Szablon notatki ze sprawy; wspólny przegląd jednego przekazania | Dodać numer zamówienia, intencję i podjęte kroki do podsumowania przekazania | Osoba przejmująca nie dopytuje ponownie, oceniane w kolejnych 20 przekazaniach |
| Chłodny ton wobec zdenerwowanego klienta | Wysłuchać mocnego przykładu kolegi lub koleżanki; ćwiczyć zaczynanie od uznania emocji | Dodać instrukcje dotyczące tonu i dwie przykładowe odpowiedzi dla negatywnego sentymentu | Odsetek spełnionego kryterium tonu w rozmowach z negatywnym sentymentem, przed i po |
| Zamknięte, ale nierozwiązane | Nawyk potwierdzania przed zamknięciem; przegląd ponownie otwartych spraw | Zdefiniować w instrukcjach, co znaczy „rozwiązane” dla każdej intencji; nie kończyć ogólnikowym pożegnaniem | Odsetek ponownych otwarć w ciągu 7 dni w tej intencji oraz kryterium rozwiązania |
| Dane konta udostępnione przed weryfikacją tożsamości (błąd krytyczny) | Rozmowa jeden na jeden tego samego dnia; odświeżenie zasad zgodności | Sprawić, by narzędzie do wyszukiwania konta wymagało flagi weryfikacji, egzekwowanej w integracji, a nie w prompcie | Człowiek: zero powtórzeń. AI: adwersarialne przypadki testowe nie docierają do danych konta; zero wystąpień na żywo |
| Zgadywanie odpowiedzi, której nie znał | Uczynić „sprawdzę i wrócę z odpowiedzią” akceptowalnym; pokazać, gdzie szukać | Zapisać w instrukcjach i przetestować odpowiedź awaryjną; rejestrować pytanie jako lukę w wiedzy | Pytania testowe bez odpowiedzi w bazie wiedzy dostają odpowiedź awaryjną; luka zostaje uzupełniona |
Wyróżniają się dwa wzorce. Poprawki agenta AI opierają się na twardych limitach (limit w narzędziu, wymagana flaga) wszędzie tam, gdzie błąd jest kosztowny, zgodnie z wytycznymi OWASP dotyczącymi nadmiernej sprawczości: minimalne funkcje i uprawnienia oraz „require a human to approve high-impact actions before they are taken” (wymóg zatwierdzenia przez człowieka działań o dużym wpływie, zanim zostaną podjęte) (OWASP); nasz poradnik o zabezpieczeniach agentów AI opisuje, które limity należą do kodu. A poprawki dla ludzi są małe: jedna intencja, jeden przykład, jeden przypadek ćwiczeniowy. Sesja, która obejmuje naraz dziesięć kryteriów, nie zmienia żadnego z nich.
Proszę zobaczyć obie strony w jednej karcie oceny. Kaizo ocenia rozmowy agentów AI według tej samej karty oceny co Państwa zespół i wiąże każdy wynik z fragmentami, które go uzasadniają, więc każdy błąd jest przykładem, który ktoś może naprawić. Umów demo.
Jak uczciwie porównywać wyniki ludzi i agentów AI?
Wyniki ludzi i agentów AI porównuje się intencja po intencji na wspólnym rdzeniu, a potem waży obie strony tą samą strukturą intencji. Surowa średnia pokazuje głównie, kto dostał łatwiejszą pracę. Porównuje się tylko intencje, w których obie strony obsłużyły wystarczająco dużo rozmów, a nieudane przekazanie przypisuje się stronie, po której zaczął się błąd.
Oto ilustracja z liczbami, które wymyśliliśmy, żeby pokazać rachunek; to nie są dane klientów. Kryterium to „zasady zachowane”, jako odsetek spełnień:
| Intencja | Rozmowy agenta AI | Odsetek spełnień, agent AI | Rozmowy ludzi | Odsetek spełnień, ludzie |
|---|---|---|---|---|
| Zwroty | 4 000 | 97% | 500 | 95% |
| Reklamacje gwarancyjne | 500 | 80% | 2 000 | 92% |
| Surowa suma | 4 500 | 95,1% | 2 500 | 92,6% |
Surowe sumy mówią, że agent AI jest lepszy o 2,5 punktu. Teraz proszę zważyć obie strony łączną strukturą, 4 500 zwrotów i 2 500 reklamacji gwarancyjnych na 7 000:
| Odsetek spełnień po wyrównaniu struktury | Obliczenie | Wynik |
|---|---|---|
| Agent AI | (4 500 x 97 + 2 500 x 80) / 7 000 | 90,9% |
| Zespół ludzi | (4 500 x 95 + 2 500 x 92) / 7 000 | 93,9% |
Przy tej samej strukturze zespół ludzi jest lepszy o 3,0 punktu. Przydatna jest lektura według intencji, a ona wskazuje poprawkę, a nie werdykt: agent AI radzi sobie ze zwrotami, ale zawodzi w co piątej reklamacji gwarancyjnej, więc gwarancje trafiają do cotygodniowej pętli. Czy artykuł jest jasny, czy agent ma datę zakupu, czy intencja powinna trafiać do ludzi, dopóki nie zacznie przechodzić?
Trzy kolejne zasady utrzymują uczciwość porównania:
- Minimalny wolumen. Poniżej około 50 ocenionych rozmów po jednej stronie w danym okresie warto raportować „za mało danych” (to nasz sugerowany punkt wyjścia, a nie prawo statystyki).
- Przypisanie przekazania. Gdy rozmowa przechodzi od agenta AI do człowieka, oznacza się stronę, po której wystąpiło pierwsze niespełnione kryterium, inaczej ludzie przejmują błędy bota. QA ścieżki klienta opisuje ocenę sprawy obsługiwanej przez różne strony.
- Ten sam oceniający. Obie strony ocenia się w ten sam sposób. Zespół oceniany ręcznie w porównaniu z botem ocenianym automatycznie to znowu dwa standardy.
Kto odpowiada za każdą poprawkę?
Każda poprawka potrzebuje jednego wskazanego właściciela: liderzy zespołów odpowiadają za luki w umiejętnościach ludzi, właściciel agenta AI (często projektant konwersacji albo lider operacji CX) za instrukcje i ustawienia narzędzi, menedżer wiedzy za artykuły, z których korzystają obie strony, właściciel zasady za samą zasadę, a lider QA za kartę oceny.
| Wykryta przyczyna | Właściciel | Wymaga zgody | Dotyczy |
|---|---|---|---|
| Umiejętność lub nawyk jednej osoby | Lider zespołu | Nikogo | Ludzi |
| Ten sam błąd u kilku osób | Lider zespołu z właścicielem procesu lub wiedzy | Menedżera obsługi klienta | Ludzi (i często AI) |
| Błędny, brakujący lub sprzeczny artykuł | Menedżer wiedzy | Właściciela zasady, jeśli zasada się zmienia | Obu stron |
| Niejasna lub sprzeczna zasada | Właściciel zasady (finanse, dział prawny, CX) | Szefa CX | Obu stron |
| Instrukcje lub prompt agenta AI | Właściciel agenta AI | Lidera QA, który zatwierdza przebieg regresji | Agenta AI |
| Uprawnienia i limity narzędzi | Właściciel agenta AI | IT lub bezpieczeństwa | Agenta AI |
| Reguły eskalacji i routingu | Operacje CX | Szefa CX | Obu stron |
| Kryterium, które ocenia niewłaściwą rzecz | Lider QA | Grupy kalibracyjnej | Obu stron |
Kolumna zgody najbardziej liczy się przy zmianach agenta AI: edycja promptu dociera do każdej rozmowy w następnej minucie, więc podlega tej samej dyscyplinie wydań co zmiana zasady (artykuł o politykach dla agentów AI opisuje, kto zatwierdza którą zasadę). NIST AI Risk Management Framework opiera się na czterech funkcjach: govern, map, measure i manage (NIST); ta tabela to wersja funkcji govern dla zespołu obsługi klienta.
Jak wygląda cotygodniowa pętla poprawy?
Jeden rytm dla obu stron: zebrać błędy z tygodnia według kryterium i intencji, zdecydować, czy każdy dotyczy osoby, procesu czy konfiguracji agenta AI, przypisać właściciela, naprawić i sprawdzić poprawki z zeszłego tygodnia. Ludzie dostają coaching w ciągu kilku dni; zmiany agenta AI są wydawane dopiero po zaliczeniu zestawu regresyjnego.
| Dzień | Krok | Strona ludzi | Strona agenta AI |
|---|---|---|---|
| Poniedziałek | Zebrać błędy | Niespełnione kryteria według osoby i intencji | Niespełnione kryteria według intencji, z rozmowami |
| Poniedziałek | Triaż | Jedna osoba czy wiele osób? | Konfiguracja, wiedza czy zasada? |
| Wtorek | Przypisać | Karta coachingowa dla każdej osoby, po jednym lub dwa kryteria | Jedno zgłoszenie na wzorzec, z dołączonymi nieudanymi rozmowami |
| Wtorek i środa | Naprawić | 15-minutowe rozmowy jeden na jeden, przypadki ćwiczeniowe, przykłady kolegów | Zmiana wprowadzona; nieudane rozmowy dodane jako przypadki testowe; uruchomiony pełny zestaw regresyjny |
| Czwartek | Wydać | Niepotrzebne | Wydanie tylko po spełnieniu warunku; zapisanie zmiany i daty |
| Następny poniedziałek | Sprawdzić | To samo kryterium, ta sama osoba, ostatnie 7 dni | To samo kryterium, ta sama intencja, ostatnie 7 dni |
Krok triażu potrzebuje reguły decyzyjnej. Nasza:
- Błąd popełnia jedna osoba, a inne w tej samej intencji spełniają kryterium: coaching tej osoby.
- Trzy lub więcej osób nie spełnia tego samego kryterium w tej samej intencji: zatrzymać coaching i przyjrzeć się artykułowi, makru albo procesowi. Coaching dziesięciu osób wokół zepsutego artykułu to najdroższa poprawka, jaka istnieje.
- Agent AI nie spełnia kryterium, a ludzie spełniają: poprawić konfigurację agenta AI.
- Obie strony nie spełniają kryterium w tej samej intencji: raz poprawić wspólne źródło (artykuł albo zasadę) i w następnym tygodniu sprawdzić obie strony.
Coaching przygotowywany przez AI oszczędza szukanie przykładów, jeśli menedżer przegląda każdą kartę (artykuł o coachingu AI dla konsultantów zawiera listę kontrolną); dyscyplinę testów po stronie AI opisuje poradnik o testowaniu agentów AI.
Jak udowodnić, że poprawka zadziałała u człowieka i u agenta AI?
Poprawkę u człowieka potwierdza się, oceniając to samo kryterium w jego kolejnych rozmowach w tej samej intencji, przez 2 do 4 tygodni. Poprawkę u agenta AI potwierdza się dwa razy: przed wydaniem nieudane rozmowy i cały zestaw regresyjny muszą przejść; po wydaniu to samo kryterium w tej samej intencji musi być spełnione w ocenie na żywo w następnym tygodniu.
| Poprawka u człowieka | Poprawka u agenta AI | |
|---|---|---|
| Zanim poprawka się liczy | Nic; coachingu nie da się przetestować z góry | Zestaw regresyjny przechodzi, a przypadki krytyczne są uruchamiane 3 razy i przechodzą za każdym razem |
| Potem | To samo kryterium, ta sama intencja, kolejne co najmniej 20 ocenionych rozmów | To samo kryterium, ta sama intencja, następny tydzień rozmów na żywo |
| Czego się spodziewać | Stopniowej zmiany w ciągu 2 do 4 tygodni | Skokowej zmiany albo żadnej |
| Jeśli nie zadziałało | Druga sesja z innym przykładem, potem przyjrzenie się obciążeniu pracą albo procesowi | Ponowne otwarcie zgłoszenia; przyczyna leżała prawdopodobnie gdzie indziej w konfiguracji |
Przypadki krytyczne uruchamia się kilka razy, bo model może przejść przypadek raz, a przy następnym przebiegu go nie przejść. Anthropic nazywa miarę „wszystkie przebiegi zaliczone” pass^k i zauważa, że spada ona wraz z liczbą przebiegów (Anthropic); przy weryfikacji tożsamości jedynym akceptowalnym progiem jest „przechodzi za każdym razem”. Te progi to sugerowane punkty wyjścia; własne warto ustalić przed pierwszym przeglądem. Pętlę zamyka ocena na żywo każdej rozmowy, bo próbka 2% może dawać trzy punkty danych na intencję tygodniowo. Artykuł o ewaluacji agentów AI pokazuje, jak łączą się ewaluacja przed wydaniem i ocena na żywo.
Czy agenci AI zastąpią konsultantów obsługi klienta?
Agenci AI przejmują intencje o dużym wolumenie i dobrze udokumentowane, a praca ludzi przesuwa się w stronę wyjątków, decyzji wymagających osądu, zdenerwowanych klientów i przekazań. Wokół agenta AI powstają nowe role (właściciel jego konfiguracji, menedżer wiedzy, QA dla obu stron), a standard jakości pozostaje ten sam.
Ta zmiana wpływa na coaching. Gdy rutynowe zwroty trafiają do agenta AI, ludzie średnio obsługują trudniejsze rozmowy, a ich wyniki mogą spaść bez żadnej zmiany umiejętności. Wyniki ludzi warto raportować według intencji, inaczej będą Państwo coachować ludzi za zmianę struktury intencji.
Kiedy to podejście nie jest dla Państwa
Ta pętla zakłada tygodniowy wolumen, kartę oceny, której Państwo ufają, i agenta AI, którego treści, instrukcje i narzędzia mogą Państwo zmieniać. To więcej, niż potrzeba, jeśli Państwa agent AI obsługuje kilkadziesiąt rozmów tygodniowo (wystarczy przeczytać wszystkie i naprawić to, co widać), jeśli nie mają Państwo jeszcze karty oceny (najpierw trzeba zbudować wspólny rdzeń) albo jeśli zespół liczy mniej niż pięć osób.
Jeśli agent AI to zamknięta skrzynka, jego strona pętli staje się zgłoszeniem do dostawcy: ocenę warto prowadzić dalej, a dowody umieszczać w tym zgłoszeniu.
Jak zacząć w tym tygodniu
Warto zacząć od małej skali: dwie intencje, jeden wspólny rdzeń, rozmowy z ostatniego miesiąca i jeden termin przeglądu w przyszły poniedziałek. To wystarczy, żeby zastosować regułę triażu do prawdziwych błędów i zamknąć pierwsze poprawki po obu stronach w ciągu tygodnia.
- Wybrać dwie intencje, które obsługują zarówno ludzie, jak i agent AI, jedną łatwą i jedną trudną.
- Uzgodnić wspólny rdzeń dla tych intencji: wynik, poprawność, zasady, tożsamość, ton, przekazanie. Po jednej definicji dla każdego.
- Ocenić rozmowy z ostatniego miesiąca po obu stronach i wypełnić powyższą tabelę z wyrównaniem struktury.
- Zastosować regułę triażu do trzech największych błędów. Przy każdym wpisać właściciela.
- Użyć tabeli „ten sam błąd, dwie poprawki” dla każdego błędu, łącznie z kolumną weryfikacji.
- Zarezerwować 30-minutowy przegląd na przyszły poniedziałek, żeby sprawdzić poprawki z tego tygodnia na tym samym kryterium.
Kaizo to jeden ze sposobów prowadzenia strony oceny w tej pętli. AutoPilot ocenia każdą rozmowę według Państwa własnej karty oceny w chwili jej rozwiązania, z komentarzem, który wyjaśnia wynik; w Zendesk obejmuje to rozmowy obsługiwane przez agentów AI Zendesk, według tej samej karty oceny co Państwa zespół. W przypadku ludzi coaching w Kaizo przygotowuje kartę coachingową każdego konsultanta na podstawie jego ocen, powiązaną z rozmowami, z których wynika, a menedżer zatwierdza ją, zanim konsultant ją zobaczy. Jeśli chcą Państwo zobaczyć to na własnych rozmowach, strona o kontroli jakości agentów AI pokazuje, jak działa strona agenta AI.
Najczęściej zadawane pytania
Czym jest współpraca ludzi i AI w obsłudze klienta?
To układ, w którym agenci AI i ludzie dzielą się pracą: agenci AI zwykle przejmują intencje o dużym wolumenie i dobrze udokumentowane, a ludzie wyjątki, sprawy emocjonalne i przekazania. Działa, gdy obie strony obowiązuje jeden standard jakości, a przekazanie zawiera kontekst.
Czy można prowadzić coaching agenta AI?
Nie w ludzkim sensie: agent AI nie uczy się z rozmowy feedbackowej. Poprawia się, gdy ktoś zmieni jego źródło wiedzy, instrukcje, reguły zasad, uprawnienia narzędzi albo routing i przetestuje, że zmiana naprawiła przypadek, nie psując innych.
Czy agenci AI uczą się na własnych błędach na produkcji?
Większość agentów AI w obsłudze klienta nie zmienia sama swojego zachowania z jednej rozmowy na drugą, więc błąd powtarza się, dopóki ktoś nie zmieni konfiguracji. Nieudaną rozmowę warto zamienić w przypadek testowy, żeby poprawkę dało się udowodnić, a błąd nie mógł po cichu wrócić.
Czy agentów AI i konsultantów należy oceniać według tej samej karty oceny?
Tak, na wspólnym rdzeniu z tym samym brzmieniem i wagą, plus mały blok kryteriów dla każdej strony, dotyczący błędów, które występują tylko po jednej stronie, takich jak wymyślone odpowiedzi agenta AI.
Ile rozmów agentów AI powinien przeglądać człowiek?
Jeśli automatyczny oceniający obejmuje każdą rozmowę, ludzie przeglądają błędy, każdy błąd krytyczny i próbkę rozmów zaliczonych, żeby sprawdzić oceniającego. Bez niego warto przeglądać w każdej intencji tyle rozmów, żeby widzieć tygodniowe wzorce; kilka procent ze wszystkich intencji zwykle pomija powtarzające się błędy w tych mniejszych.
