Kontrola jakości przekazania rozmowy z bota do konsultanta ocenia moment, w którym rozmowa przechodzi między agentem AI a człowiekiem, w dowolnym kierunku. To tu obsługa łącząca AI i konsultantów psuje się najczęściej, a oceny poszczególnych konsultantów tego nie widzą, bo błąd należy do samego przejścia.
W skrócie
- Przekazanie od AI do konsultanta i od konsultanta do AI zawodzi na różne sposoby.
- Od AI do konsultanta: spóźniona eskalacja, utracony kontekst albo brak użytecznego powodu.
- Od konsultanta do AI: nierozwiązana sprawa wraca do automatyzacji.
- Containment rate i średni czas obsługi tego nie pokażą. Trzeba przeczytać całą rozmowę.
Dlaczego przekazanie to osobne miejsce awarii
Oceniając konsultanta i oceniając agenta AI, oceniają Państwo dwie połowy rozmowy, która coraz częściej nie składa się z dwóch połówek. W modelu mieszanym klient może zacząć od agenta AI, zostać przekazany do człowieka w ramach eskalacji, a potem wrócić do automatyzacji przy follow-upie, wszystko w jednym wątku. Każdy z uczestników może dostać dobrą ocenę za swój odcinek, a mimo to cała rozmowa jest złym doświadczeniem, bo szkoda powstała na styku i nie należy do żadnego z nich.
To jest martwe pole. Karta oceny konsultanta ocenia, co każda ze stron zrobiła z rozmową, kiedy ją prowadziła. Nic nie mówi o tym, co stało się w chwili przekazania dalej, a właśnie tam obsługa mieszana zwykle się psuje. Przekazanie trzeba oceniać jako osobny element.
Przekazanie rozmowy z bota do konsultanta: co oceniać przy eskalacji
To bardziej znany kierunek i ma trzy rodzaje błędów, które warto oceniać wprost.
Moment: czy eskalacja nastąpiła we właściwej chwili
Najczęściej za późno. Agent, który próbuje dalej, choć wyraźnie utknął, każe klientowi krążyć w kółko, zanim przekaże konsultantowi sfrustrowaną osobę. Za wcześnie oznacza zmarnowaną automatyzację i czas konsultanta. Kryterium brzmi: czy eskalacja nastąpiła w miejscu, w którym agent przestał robić postępy. Widać to w transkrypcji.
Kontekst: czy konsultant dostał to, czego potrzebuje
Najgorsze przekazanie zmusza klienta do zaczynania od nowa. Proszę ocenić, czy eskalacja przeniosła historię, dotychczasową diagnozę i to, czego klient naprawdę chce, tak aby konsultant otworzył sprawę z wiedzą, a nie w ciemno. Przekazanie, które gubi kontekst, zamienia jedną rozmowę w dwie.
Powód: czy eskalacja była zrozumiała
Eskalacja oznaczona tylko jako „przekazano do konsultanta” nic konsultantowi nie mówi. Proszę ocenić, czy powód przekazania został zapisany w formie, z którą osoba przejmująca może coś zrobić. To jedno z kryteriów karty oceny agenta AI, ale staje się widoczne dopiero wtedy, gdy czyta się rozmowę po obu stronach styku.
Od konsultanta do AI: kierunek, którego nikt nie ocenia
Przekazanie w drugą stronę jest nowsze i słabiej zbadane, a zawodzi w sposób łatwy do przeoczenia.
| Przekazanie od konsultanta do AI | Jak wygląda dobrze | Błąd, który trzeba oceniać |
|---|---|---|
| Odesłanie sprawy do automatyzacji w celu follow-upu | AI zna rozwiązanie, a kolejny krok jest naprawdę rutynowy | Konsultant oddaje nierozwiązaną sprawę, żeby oczyścić swoją kolejkę |
| Przekazanie zadania cząstkowego w trakcie rozmowy | AI potrafi wykonać konkretne zadanie i czysto oddać rozmowę | AI nie potrafi podjąć wątku, a klient traci ciągłość |
| Automatyczny follow-up po rozwiązaniu sprawy | Follow-up zgadza się z tym, co faktycznie rozwiązano | Automatyzacja przeczy temu, co konsultant właśnie zrobił, albo o tym zapomina |
Jak oceniać przekazanie w praktyce
Jednostką oceny jest rozmowa po obu stronach styku, a nie odcinek po jednej czy drugiej stronie. Wynikają z tego trzy praktyczne konsekwencje.
Ocena całego wątku
Proszę oceniać ciągłość na styku: czy kontekst przetrwał, czy klient nie musiał się powtarzać, czy druga strona podjęła rozmowę tam, gdzie skończyła pierwsza. Jest to niemożliwe, jeśli kontrola jakości traktuje część AI i część konsultanta jako osobne rekordy, a tak przechowuje je większość narzędzi.
Ocena każdego przekazania, bo w pojedynczej parze są rzadkie, ale w sumie częste
Konkretna para agenta i konsultanta może przekazywać sobie rozmowy rzadko, więc próbka na konsultanta niemal z założenia pomija przekazania. W skali całej operacji są wszędzie. Ocenianie 100% rozmów sprawia, że błędy przekazania widać jako wzorzec, a nie jako sporadyczną skargę. W UiPath Kaizo zautomatyzowało 100% kontroli jakości, osiągając 200% ROI i wzrost wyniku jakości o 8%. Jeśli chcą Państwo zobaczyć to na własnych rozmowach, mogą Państwo umówić demo.
Oceniający, który nie jest stroną przekazania
Błąd przekazania rodzi niewygodne pytanie: czy zawiniła AI, bo źle eskalowała, czy konsultant, bo oddał bałagan? Kaizo ocenia styk na podstawie dowodów, a każde ustalenie wskazuje dokładne wypowiedzi, w których ciągłość się zerwała. Dzięki temu można naprawić routing, zamiast spierać się o winę. Cały proces opisuje artykuł kontrola jakości agentów AI i chatbotów.
Najczęściej zadawane pytania
Czym jest kontrola jakości przekazania rozmowy?
To ocena momentu, w którym rozmowa przechodzi między agentem AI a człowiekiem, w dowolnym kierunku. Traktuje przejście jako osobną jednostkę oceny, ponieważ przekazanie może się nie udać (utracony kontekst, spóźniona eskalacja, oddana nierozwiązana sprawa) nawet wtedy, gdy zarówno konsultant, jak i AI dostają dobre oceny za swoje odcinki.
Co oceniać przy eskalacji od AI do konsultanta?
Trzy rzeczy: moment (czy eskalacja nastąpiła tam, gdzie agent przestał robić postępy, a nie za późno lub za wcześnie), kontekst (czy konsultant dostał historię i diagnozę, tak aby klient nie zaczynał od nowa) i powód (czy eskalację zapisano w formie, z którą osoba przejmująca może coś zrobić).
Co idzie nie tak przy przekazaniu od konsultanta do AI?
Główne błędy to oddanie nierozwiązanej sprawy do automatyzacji, żeby oczyścić kolejkę, przekazanie zadania AI, która nie potrafi podjąć wątku i przez to przerywa ciągłość, oraz automatyczne follow-upy po rozwiązaniu sprawy, które przeczą temu, co konsultant właśnie zrobił, albo o tym zapominają. Ten kierunek jest nowszy i rzadko oceniany.
Dlaczego oceny QA poszczególnych konsultantów nie wychwytują problemów z przekazaniem?
Bo błąd leży pomiędzy rekordami. Karta oceny konsultanta ocenia, co każda ze stron zrobiła, kiedy prowadziła rozmowę, a nie to, co stało się w chwili przejścia. Ocena przekazania wymaga przeczytania całego wątku po obu stronach styku, dlatego rozmowa musi być przechowywana i oceniana jako jedna jednostka, a nie dwie.
Które wskaźniki nie pokazują błędów przekazania?
Containment rate i średni czas obsługi ich nie pokażą, bo błąd leży w przejściu między AI a konsultantem, a nie na odcinku jednej czy drugiej strony. Żeby je zobaczyć, trzeba przeczytać całą rozmowę i oceniać 100% rozmów, tak aby błędy przekazania było widać jako wzorzec, a nie jako sporadyczną skargę.
