Wspólna karta oceny konsultantów i agentów AI to jeden standard jakości w dwóch warstwach: wspólny rdzeń kryteriów, według których oceniane są obie strony, z tymi samymi definicjami i wagami, oraz krótki blok dla każdej strony, obejmujący błędy, które popełnia tylko jedna z nich. Konsultantów i boty porównuje się wyłącznie na wspólnym rdzeniu, temat po temacie, a wyniki obu przedstawia na jednej stronie.
W skrócie
- Wspólna karta oceny konsultantów i agentów AI oznacza jeden wspólny rdzeń i mały blok dla każdej strony, a nie identyczną listę dla obu.
- Wspólny rdzeń działa tylko wtedy, gdy każde kryterium ma jedną definicję, jedną skalę i jedną wagę dla obu stron.
- Siedem zasad zapewnia uczciwość, od pisania kryteriów pod kątem transkrypcji po ustalenie, do kogo należy każdy niespełniony wiersz.
- Porównanie na wspólnym rdzeniu prowadzi się według tematu: w przykładzie liczbowym prosta średnia sprawia, że bot wygląda o 7,9 punktu lepiej, a przy uczciwym porównaniu to konsultanci są lepsi o 3,8 punktu.
- Kartę buduje się w sześciu krokach, zaczynając od karty oceny, której zespół już używa.
Ta strona dotyczy wspólnego standardu. Jeśli szukają Państwo listy kryteriów, których potrzebuje bot, a człowiek nie, proszę najpierw przeczytać nasz poradnik o karcie oceny agenta AI. To, jak Kaizo stosuje jedną kartę oceny do Państwa zespołu i agentów AI, pokazuje strona o kontroli jakości agentów AI.
Dlaczego warto mieć wspólną kartę oceny dla konsultantów i agentów AI?
Bo Państwa klienci otrzymują jeden standard obsługi, niezależnie od tego, kto odpowiada, a dwie osobne karty oceny dają dwie liczby, których nikt nie potrafi porównać, i dwa spory o to, która się liczy.
W każdym zespole, który korzysta z obu, pojawiają się trzy praktyczne powody:
- Kierownictwo zadaje jedno pytanie. Na pytanie „czy bot jest tak dobry jak nasi ludzie?” można odpowiedzieć tylko na podstawie wspólnej miary. Przy dwóch kartach oceny odpowiedź zależy od tego, czyje definicje się przyjmie.
- Decyzje o routingu wymagają porównania. Aby zdecydować, które tematy ma obsługiwać agent AI, a które trafiają do ludzi, obie strony muszą być oceniane w ten sam sposób w tym samym temacie.
- Jeden standard łatwiej utrzymać. Gdy zmieniają się zasady, aktualizuje się jedno kryterium, a nie dwie karty oceny prowadzone przez dwa zespoły, które się od siebie oddalają.
Pułapką jest błąd odwrotny: zastosowanie karty oceny konsultantów do bota bez zmian. Powitanie i ortografia rzadko zawodzą u bota, a wymyślone zasady rzadko zdarzają się człowiekowi. Jeden standard oznacza jeden rdzeń, a nie jedną identyczną listę.
Co należy do wspólnego rdzenia, a co nie?
Wspólny rdzeń obejmuje kryteria opisujące dobry wynik dla klienta, niezależnie od tego, kto odpowiadał, a kryteria opisujące sposób, w jaki zawodzi jedna strona, trafiają do jej bloku.
Oto szablon do skopiowania. Wagi są przykładowe; chodzi o to, by we wspólnym rdzeniu obie strony miały te same wagi:
| Blok | Kryterium | Spełnione, gdy | Waga |
|---|---|---|---|
| Wspólny rdzeń | Poprawna odpowiedź | Każdy fakt w odpowiedzi jest prawdziwy w przypadku tego klienta | 25 |
| Wspólny rdzeń | Kompletna odpowiedź | Odpowiedziano na wszystkie części pytania, łącznie z warunkami | 15 |
| Wspólny rdzeń | Zasady przestrzegane | Nic nie zostało zaoferowane, obiecane ani odmówione poza spisanymi zasadami | 20 |
| Wspólny rdzeń | Jasny następny krok | Klient wie, co stanie się dalej, albo sprawa jest rozwiązana | 15 |
| Wspólny rdzeń | Tożsamość i dane | Tożsamość jest zweryfikowana, zanim zostaną udostępnione dane konta | 10 |
| Wspólny rdzeń | Ton zgodny z marką | Odpowiedź brzmi jak Państwa marka i pasuje do sytuacji klienta | 5 |
| Wspólny rdzeń | Przekazanie rozmowy | Przy przekazaniu przekazywany jest kontekst, a odbiorca z niego korzysta | 10 |
| Blok agenta AI | Oparta na naszych treściach | Każdy fakt pochodzi z opublikowanego przez Państwa artykułu pomocy lub zasad | Spełnione / niespełnione |
| Blok agenta AI | Zakres | Pozostaje w obrębie tematów i działań, które może obsługiwać | Spełnione / niespełnione |
| Blok agenta AI | Sygnał eskalacji | Przekazuje rozmowę na zdefiniowane sygnały i nie za późno | Spełnione / niespełnione |
| Blok agenta AI | Niepewność | Mówi, że nie wie, zamiast zgadywać | Spełnione / niespełnione |
| Blok konsultanta | Notatki do sprawy | Notatki i tagi pozwalają kolejnej osobie kontynuować bez ponownego pytania | Spełnione / niespełnione |
| Blok konsultanta | Dotrzymane ustalenia | Obiecany telefon lub informacja nastąpiły na czas | Spełnione / niespełnione |
Wspólny rdzeń sumuje się do 100, co daje jeden porównywalny wynik dla każdej rozmowy. Bloki poszczególnych stron oceniane są jako spełnione lub niespełnione i raportowane obok wyniku jako osobne odsetki spełnienia. Niespełnione kryterium z bloku nadal może uruchomić działanie, na przykład automatyczne niezaliczenie dla bota przy wymyślonym zwrocie, bez zniekształcania porównania.
Karty oceny w Kaizo przyjmują Państwa własne kryteria, zapisane Państwa słowami, i można je przypisać do zespołu, kolejki lub klienta. Dzięki temu jeden wspólny rdzeń i dwa bloki działają w ramach jednego standardu, a nie dwóch dokumentów.
Siedem zasad, które zapewniają uczciwość wspólnej karty oceny
Wspólna karta oceny pozostaje uczciwa, gdy obie strony są oceniane według tych samych słów, skali i wag, porównuje się podobne z podobnym, a każda strona odpowiada tylko za własne wiersze.
Zasada 1: Jedna definicja dla każdego wspólnego kryterium
Każde wspólne kryterium należy zapisać raz, słowami, które nie zakładają, że odpowiada człowiek albo bot.
„Konsultant wykazał się znajomością produktu” zakłada człowieka. „Każdy fakt w odpowiedzi jest prawdziwy w przypadku tego klienta” działa dla obu. Nasz poradnik o tym, jak napisać kryteria oceny QA, które AI potrafi ocenić (po angielsku), pokazuje, jak formułować kryteria, aby dało się je sprawdzić w transkrypcji.
Zasada 2: Jedna skala
Wspólny rdzeń należy oceniać w tej samej skali dla obu stron, czy to spełnione lub niespełnione dla każdego kryterium, czy punkty za każde kryterium. Połączenie skali od 1 do 5 dla ludzi z oceną spełnione lub niespełnione dla bota sprawia, że sumy wyglądają na porównywalne, choć takie nie są.
Zasada 3: Jeden zestaw wag dla rdzenia
Każde wspólne kryterium powinno mieć tę samą wagę dla obu stron. Jeśli ton ma wyższą wagę u ludzi, wynik konsultantów rośnie z powodów, które nie mają nic wspólnego z klientem. Nasz artykuł o tym, jak ustalić wagi kryteriów oceny, omawia ustalanie wag na podstawie wyników, a nie przyzwyczajeń.
Zasada 4: Porównywać na rdzeniu, według tematu
Konsultantów i bota należy porównywać wyłącznie na wspólnym rdzeniu, temat po temacie. Poniższy przykład pokazuje, dlaczego ogólna średnia wprowadza w błąd.
Zasada 5: Każdy niespełniony wiersz należy do tego, kto go napisał
Błąd bota nigdy nie obciąża wyniku konsultanta. Jeśli agent AI obiecał zwrot, a konsultant musiał tę obietnicę wycofać, niespełnione kryterium „zasady przestrzegane” należy do rozmowy bota, a konsultant jest oceniany za to, jak poradził sobie z wycofaniem obietnicy.
Zasada 6: Oceniać przekazanie rozmowy jako przekazanie
Kryterium przekazania rozmowy jest we wspólnym rdzeniu, bo obie strony mogą go nie spełnić: bot, nie przekazując kontekstu, a człowiek, nie czytając go. Każdą stronę ocenia się za jej część. Nasz poradnik o ocenie przekazania rozmowy między botem a konsultantem omawia oba kierunki.
Zasada 7: Jedna kalibracja, jeden proces zmian
Proszę kalibrować recenzentów i automatycznego oceniającego na mieszanym zestawie rozmów konsultantów i agentów AI, tak aby „poprawna odpowiedź” znaczyła to samo w obu przypadkach. Gdy zmienia się wspólne kryterium, zmienia się dla obu stron tego samego dnia. W Kaizo edycja opisu kryterium obowiązuje we wszystkich przyszłych ocenach, a sesje kalibracyjne pomagają recenzentom zachować zgodność w przypadkach granicznych.
Jak uczciwie porównać konsultantów i agentów AI?
Konsultantów i agentów AI porównuje się na wspólnym rdzeniu, temat po temacie, a potem waży oba wyniki tym samym rozkładem tematów, bo prosta średnia mierzy głównie to, jakie tematy trafiają do każdej strony.
Powód jest prosty: bot zwykle obsługuje łatwe tematy, a ludzie trudne. Oto przykład z liczbami, które dobraliśmy, aby pokazać rachunek, a nie dane klienta. Wyniki to wynik wspólnego rdzenia w skali do 100:
| Temat | Rozmowy agenta AI | Wynik agenta AI | Rozmowy konsultantów | Wynik konsultantów |
|---|---|---|---|---|
| Śledzenie zamówień | 6000 | 96 | 1000 | 94 |
| Spory o rozliczenia | 1000 | 70 | 4000 | 82 |
| Prosta średnia | 7000 | 92,3 | 5000 | 84,4 |
Według prostych średnich bot wygląda o 7,9 punktu lepiej. Temat po temacie bot jest o 2 punkty lepszy w śledzeniu zamówień i o 12 punktów gorszy w sporach o rozliczenia.
Aby porównać uczciwie, oba wyniki waży się tym samym rozkładem. Tutaj używamy łącznego rozkładu: 7000 rozmów o śledzeniu zamówień i 5000 o rozliczeniach na 12 000.
| Wynik skorygowany o rozkład tematów | Obliczenie | Wynik |
|---|---|---|
| Agent AI | (7000 x 96 + 5000 x 70) / 12 000 | 85,2 |
| Zespół konsultantów | (7000 x 94 + 5000 x 82) / 12 000 | 89,0 |
Przy tym samym rozkładzie zespół konsultantów jest lepszy o 3,8 punktu. Wniosek nie brzmi „bot jest lepszy” ani „bot jest gorszy”. Brzmi: „zostawić bota przy śledzeniu zamówień, a spory o rozliczenia zostawić ludziom, dopóki wynik bota w rozliczeniach się nie poprawi”. Taką odpowiedź umożliwia właśnie wspólny rdzeń.
Dwie dodatkowe kontrole zapewniają rzetelność porównania. Porównywać warto tylko tematy, w których obie strony mają wystarczająco dużo rozmów, by wynik był stabilny, i zaznaczać, gdy jedna strona nie ma ich prawie wcale. Warto też patrzeć na bloki obu stron obok wyniku: bot z wysokim wynikiem rdzenia, który w jednym temacie nie spełnia kryterium oparcia w treściach, nadal wymaga poprawki.
Jak raportować jakość konsultantów i agentów AI na jednej stronie
Raport na jednej stronie zawiera wynik wspólnego rdzenia według tematu dla obu stron, sumy skorygowane o rozkład tematów i obok nich odsetki spełnienia z bloków; kierownictwo czyta porównanie, a zespoły własne bloki.
| Sekcja | Zespół konsultantów | Agent AI |
|---|---|---|
| Wspólny rdzeń, skorygowany o rozkład tematów | Wynik i trend | Wynik i trend |
| Wspólny rdzeń według tematu | Wynik dla każdego tematu | Wynik dla każdego tematu |
| Blok strony | Notatki do sprawy, dotrzymane ustalenia: odsetki spełnienia | Oparcie w treściach, zakres, eskalacja, niepewność: odsetki spełnienia |
| Przekazanie rozmowy | Przejęcie kontekstu | Przekazanie kontekstu |
| Główne przyczyny | Luki w umiejętnościach, luki w procesach | Artykuły, reguły, ustawienia |
W ostatnim wierszu obie strony się rozchodzą. Błędy człowieka zwykle wskazują na potrzebę coachingu lub zmiany procesu, a błędy bota na artykuł lub ustawienie.
Nasz artykuł o tym, czy to błąd konsultanta, czy błąd procesu (po angielsku), pokazuje, jak je rozróżnić, zanim Państwo zaczną działać. W Kaizo ocenianie rozmów konsultantów i agentów AI według tej samej karty oceny pozwala zobaczyć wyniki obu stron obok siebie.
Jak zbudować wspólną kartę oceny dla konsultantów i agentów AI
Wspólną kartę oceny buduje się w sześciu krokach, zaczynając od karty, której zespół konsultantów już używa; pierwsze trzy kroki zajmują jedną sesję roboczą, a reszta odbywa się w trakcie oceniania.
Krok 1: Podzielić obecne kryteria na trzy grupy
Proszę wziąć kartę oceny konsultantów i oznaczyć każde kryterium jako wspólne, tylko dla konsultantów albo niepotrzebne. Większość zespołów stwierdza, że poprawna odpowiedź, zasady i następny krok są wspólne, a powitanie i formułki ze skryptu dotyczą tylko konsultantów albo można je usunąć.
Krok 2: Przepisać wspólne kryteria neutralnymi słowami
Każde wspólne kryterium należy przepisać tak, aby nie zakładało, że odpowiada człowiek albo bot, i aby recenzent mógł wskazać wiersz, który je spełnia lub nie.
Krok 3: Dodać blok agenta AI
Proszę dodać cztery kryteria bota z szablonu: oparcie w Państwa treściach, zakres, sygnał eskalacji i niepewność. Warto oceniać je jako spełnione lub niespełnione.
Krok 4: Ustalić wagi i skalę dla rdzenia
Proszę ustalić jedną skalę i jeden zestaw wag dla wspólnego rdzenia, sumujący się do 100, i zapisać je tam, gdzie oba zespoły mogą je zobaczyć.
Krok 5: Kalibrować na mieszanych rozmowach
Proszę przeprowadzić sesję kalibracyjną na mieszance rozmów konsultantów i agentów AI i dopracowywać opisy kryteriów, aż recenzenci będą zgodni w obu przypadkach.
Krok 6: Oceniać wszystko i raportować według tematu
Proszę oceniać każdą rozmowę, konsultantów i agentów AI, według tej karty i raportować wspólny rdzeń według tematu z korektą o rozkład tematów. AutoPilot w Kaizo ocenia każdą rozmowę według Państwa kryteriów w momencie jej rozwiązania, w rozmowach telefonicznych, na czacie i w e-mailach.
Proszę zobaczyć to w demo na żywo. Kaizo ocenia Państwa zespół i agentów AI według jednej karty oceny, z dowodami za każdym wynikiem, i pokazuje obie strony obok siebie. Porozmawiajmy.
Najczęściej zadawane pytania
Czy agent AI powinien spełniać wyższy standard niż konsultanci?
We wspólnym rdzeniu obie strony powinny spełniać ten sam standard, inaczej porównanie nic nie znaczy. Surowiej można podejść w bloku agenta AI i w konsekwencjach: wymyślony zwrot może oznaczać automatyczne niezaliczenie dla bota, a jeden błąd krytyczny może kosztować go utratę tematu, bo bot powtarza ten sam błąd w wielu rozmowach.
Kto powinien oceniać rozmowy konsultantów i agentów AI?
Ten sam oceniający dla obu stron, na wspólnym rdzeniu. Jeśli rozmowy konsultantów oceniają ludzie, a bota automatyczny oceniający, różnice między oceniającymi pojawią się jako różnice między stronami. Proszę oceniać obie strony automatycznie według tych samych kryteriów, a recenzenci co miesiąc niech sprawdzają mieszaną część rozmów obu stron.
Co, jeśli agent AI ma wyższy wynik niż zespół konsultantów?
Najpierw trzeba sprawdzić rozkład tematów, bo bot zwykle obsługuje łatwiejsze tematy. Jeśli po korekcie nadal ma wyższy wynik w tym samym temacie, to przydatna informacja: może być gotowy na większą część tego tematu, a jego odpowiedzi mogą pokazać, gdzie proces lub treści zespołu konsultantów wymagają pracy.
Ile kryteriów powinna mieć wspólna karta oceny?
Wspólny rdzeń warto ograniczyć do około sześciu do ośmiu kryteriów, a każdy blok strony do dwóch do czterech. Przy większej liczbie recenzenci przestają oceniać spójnie, a porównanie staje się zaszumione. Jeśli kryterium od miesięcy nie było niespełnione i nie wpływa na żadną decyzję, warto je usunąć albo zamienić w prostą kontrolę spełnione lub niespełnione.
Czy jedna karta oceny może obejmować rozmowy telefoniczne, czat i e-mail?
Tak, jeśli kryteria opisują wynik, a nie kanał. Poprawna odpowiedź, przestrzeganie zasad i jasny następny krok znaczą to samo w rozmowie telefonicznej, na czacie i w e-mailu. Kontrole właściwe dla danego kanału warto dodawać tylko tam, gdzie kanał zmienia to, jak wygląda dobra rozmowa, na przykład weryfikację tożsamości w rozmowach telefonicznych.
