Przejdź do treści

Poradnik

Czym jest Auto QA? Automatyczna ocena rozmów w praktyce

Czym jest Auto QA? To automatyczna ocena każdej rozmowy obsługi klienta według karty oceny, a nie ręcznej próbki. Jak działa i czym różni się od ręcznej QA.

· Zaktualizowano · 6 min czytania

Zweryfikowane przez Dominik Blattner, założyciel Kaizo

Auto QA, pisane też AutoQA, to automatyczna kontrola jakości w obsłudze klienta: oprogramowanie ocenia rozmowy według karty oceny jakości, dzięki czemu można sprawdzić każdą rozmowę, a nie tylko ręcznie czytaną próbkę.

System czyta pełną transkrypcję, stosuje Państwa kryteria i dołącza do każdej oceny dowody, na których się opiera. To silnik nowoczesnej kontroli jakości obsługi klienta. O wyborze, wdrożeniu i zaufaniu do takiego rozwiązania piszemy w kompletnym przewodniku po automatycznej kontroli jakości rozmów.

W skrócie

  • Auto QA stosuje Państwa własną kartę oceny do każdej rozmowy w chwili jej zamknięcia.
  • Kontrola jakości działa w sposób ciągły, a nie w zaplanowanych cyklach ocen.
  • Oceny powiązane z dowodami można sprawdzić i zakwestionować.
  • Liderzy zespołów poświęcają czas na coaching zamiast na ocenianie.

Co oznacza Auto QA

Auto QA oznacza, że oprogramowanie, zwykle oparte na AI, ocenia rozmowy z klientami według tej samej karty oceny, której użyłby recenzent jakości. AutoQA, Auto QA i automatyczna QA to różne zapisy tego samego pojęcia, a część dostawców nazywa szerszą praktykę Auto QM (automatyczne zarządzanie jakością).

QA to quality assurance, czyli zapewnianie jakości: sprawdzanie, czy rozmowa była poprawna, zgodna z zasadami, dobrze poprowadzona i rozwiązana. Nowe jest słowo „auto”. Zamiast lidera, który czyta kilka zgłoszeń tygodniowo, oprogramowanie czyta wszystkie i zostawia przy każdym ocenę i komentarz. Ludzki pozostaje sam standard: to Państwo decydują, co jest dobrą obsługą, a oprogramowanie go stosuje.

Jak działa Auto QA

Auto QA działa w pięciu krokach: łączy się z helpdeskiem, przejmuje kartę oceny, jest testowane na rozmowach ocenionych już przez recenzentów, ocenia każdą nową rozmowę po jej zamknięciu i zasila coaching.

1. Połączenie z helpdeskiem

Narzędzie łączy się z helpdeskiem lub CRM, w którym już są Państwa rozmowy, na przykład z Zendesk lub Salesforce Service Cloud. Czaty i e-maile są już tekstem, rozmowy telefoniczne są najpierw transkrybowane.

2. Wczytanie karty oceny

Wnoszą Państwo kryteria, których zespół już używa: powitanie, poprawność, proces, ton, rozwiązanie, a także ewentualne kryteria automatycznego niezaliczenia (po angielsku). Każde kryterium potrzebuje pisemnego opisu tego, jak wygląda „spełnione”, bo właśnie według niego ocenia AI.

3. Test przed uruchomieniem

Przy dobrym wdrożeniu AI najpierw ocenia zestaw rozmów, które recenzenci już ocenili, a wyniki porównuje się kryterium po kryterium. Tam, gdzie się różnią, kryterium trzeba przepisać. Nasz protokół walidacji (po angielsku) pokazuje, jak przeprowadzić taki test w tydzień.

4. Ocena każdej rozmowy po zamknięciu

Od tej chwili każda rozwiązana rozmowa jest oceniana automatycznie. Każda ocena ma komentarz i link do fragmentów transkrypcji, z których wynika, więc recenzent i konsultant widzą, dlaczego punkty zostały odjęte.

5. Weryfikacja, odwołania i coaching

Oceny trafiają do dashboardów według konsultanta, zespołu i kryterium. Konsultanci mogą odwołać się od oceny, recenzenci sprawdzają przypadki graniczne, a liderzy prowadzą coaching na podstawie wzorców, a nie pojedynczych zgłoszeń.

Co jest oceniane w rozmowie

Auto QA może ocenić każde kryterium widoczne w transkrypcji. Najbardziej wiarygodne jest przy prostych kontrolach tak lub nie, a najdokładniejszych opisów wymaga przy kryteriach ocennych, takich jak empatia.

Rodzaj kryteriumPrzykładJak radzi sobie z nim Auto QA
Proces i zgodnośćTożsamość zweryfikowana przed zmianą na koncieBardzo wiarygodnie: krok nastąpił albo nie
PoprawnośćPodany termin zwrotu zgadza się z regulaminemWiarygodnie, jeśli narzędzie ma dostęp do bazy wiedzy
RozwiązanieRzeczywisty problem klienta został rozwiązanyDobrze, przy jasnej definicji dla każdego powodu kontaktu
Ton i empatiaFrustracja klienta dostrzeżona przed odpowiedziąWymaga precyzyjnych sformułowań i kalibracji z recenzentami
Jakość pisaniaOrtografia, gramatyka, jasny kolejny krokBardzo wiarygodnie na czacie i w e-mailu

Zasada jest taka sama jak u recenzentów: niejasne kryteria dają sporne oceny. Jeśli dwóch Państwa recenzentów nie zgodziłoby się co do kryterium, AI nie rozstrzygnie tego sporu za Państwa. Nasz przewodnik o tym, jak napisać kryteria, które AI potrafi ocenić (po angielsku), zamienia niejasne kryteria w sprawdzalne.

Auto QA a ręczna kontrola jakości

Ręczną kontrolę jakości ogranicza liczba zgłoszeń, którą człowiek jest w stanie przeczytać, dlatego większość zespołów ocenia tylko niewielką część rozmów. W ankiecie Call Centre Helper wśród contact center (2016) 68% odpowiadających oceniało pod kątem jakości 2% interakcji lub mniej. Auto QA usuwa ten sufit.

WymiarRęczna kontrola jakościAuto QA
PokrycieMała próbka, często 2% lub mniejDo 100% rozmów
Nakład pracyStały czas recenzentówDziała automatycznie
SpójnośćZależy od recenzenta i dniaJedna karta oceny stosowana zawsze tak samo
SzybkośćCo cykl ocen, dni lub tygodnie późniejZaraz po zamknięciu każdej rozmowy
Mocna stronaNiuanse, przypadki graniczne, kalibracjaSkala, trendy, kontrole zgodności

Ręczna ocena nie znika. Przenosi się na rozmowy wymagające osądu, na kalibrację i na odwołania. Koszty obu podejść porównujemy w tekście ręczna vs automatyczna kontrola jakości rozmów.

W pełni automatyczna ocena a ocena wspomagana

Auto QA występuje w dwóch formach: w pełni automatycznej, gdy oprogramowanie samo ocenia i komentuje każdą rozmowę, oraz wspomaganej, gdy wstępnie wypełnia kartę oceny, którą człowiek poprawia i zatwierdza.

W Kaizo obie mają własne nazwy. AutoPilot ocenia każdą rozmowę według Państwa kryteriów w chwili jej rozwiązania i zostawia oceny oraz komentarze bez pracy nad kolejką ocen.

Auto QA w Kaizo to wersja wspomagana: automatyzuje rutynowe kontrole, takie jak gramatyka, ortografia i zgodność z procedurą, wstępnie wypełnia kryteria i przygotowuje szkic informacji zwrotnej, który recenzent poprawia i zatwierdza. Wiele zespołów korzysta z obu: z pełnej automatyzacji dla pokrycia i z oceny wspomaganej dla rozmów, które wymagają ludzkiego oka.

Dlaczego zespoły obsługi automatyzują QA

Zespoły automatyzują QA, bo próbkowanie zostawia większość rozmów z klientami nieprzeczytanych: problemy i okazje do coachingu umykają, a wynik jakości opiera się na garstce zgłoszeń. Ocena każdej rozmowy zamienia jakość z próbki w trend. To samo dotyczy sytuacji, gdy część kolejki obsługuje agent AI: ocena jego rozmów obok rozmów zespołu to jakościowa połowa monitorowania agentów AI.

Zmienia się też to, czym recenzenci zajmują się w tygodniu. W SteelSeries, 30-osobowym zespole obsługi z długimi, technicznymi zgłoszeniami, podsumowania AI skróciły czas kontroli jakości o połowę, a proces nie wychwytywał mniej. Ten czas wraca do coachingu, kalibracji i naprawy procesów, które wciąż generują te same błędy.

Auto QA nie jest właściwym pierwszym krokiem dla każdego zespołu. Jeśli jedna lub dwie osoby obsługują kilkadziesiąt rozmów tygodniowo, samodzielne czytanie z krótką listą kontrolną daje to samo.

Jak zacząć

Proszę zacząć od karty oceny, którą Państwo już mają, a nie od narzędzia. Warto doprecyzować każde kryterium tak, by dwóch recenzentów oceniło je identycznie, ustalić, które kryteria od razu oznaczają niezaliczenie rozmowy, i wybrać zestaw ocenionych już rozmów do testu AI.

Następnie należy połączyć helpdesk, porównać oceny AI z ocenami recenzentów i włączyć pełne pokrycie dopiero wtedy, gdy kryteria są zgodne.

Zapraszamy na demo na żywo z realistycznymi przykładowymi danymi. Umów demo.

Najczęściej zadawane pytania

Czy Auto QA to to samo co agentowa QA?

Agentowa QA to odmiana Auto QA, w której agenci AI robią więcej niż ocenianie: pracują w sposób ciągły bez uruchamiania każdego cyklu przez człowieka, badają wzorce w wielu rozmowach i proponują działania, takie jak coaching czy zmiana procesu, które zatwierdza człowiek. Auto QA to pojęcie szersze, obejmujące też prostą automatyzację opartą na regułach.

Czy Auto QA działa z moim helpdeskiem?

Auto QA czyta rozmowy z systemów, których Państwo już używają, więc zależy to od integracji danego narzędzia. Kaizo działa natywnie w Zendesk i Salesforce Service Cloud i ocenia rozmowy tam, gdzie się znajdują, bez eksportu transkrypcji i bez zmiany sposobu pracy konsultantów.

Czy Auto QA może ocenić 100% rozmów?

Tak. Ponieważ nie ogranicza go czas recenzentów, Auto QA może ocenić każdą rozmowę zamiast małej ręcznej próbki, a pokrycie utrzymuje się także przy rosnącym wolumenie. Większość zespołów nadal zostawia człowiekowi przypadki graniczne, odwołania i kalibrację, więc pełne pokrycie nie oznacza, że nikt już nie czyta rozmów.

Jak dokładne jest Auto QA?

Auto QA jest tak dokładne, jak jasne są jego kryteria. Kontrole obiektywne, takie jak weryfikacja tożsamości czy obowiązkowa informacja, są oceniane bardzo wiarygodnie, a kryteria ocenne, takie jak empatia, wymagają precyzyjnych opisów. Warto przetestować narzędzie na rozmowach ocenionych już przez recenzentów i zmierzyć zgodność dla każdego kryterium, zanim zaufa się wynikom.

Czy Auto QA zastępuje recenzentów jakości?

Nie. Auto QA przejmuje czytanie i ocenianie, ale to ludzie nadal ustalają standard, kalibrują kryteria, rozpatrują odwołania i prowadzą coaching konsultantów. Recenzenci spędzają mniej czasu na wypełnianiu formularzy, a więcej na rozmowach i wzorcach, w których ich osąd zmienia wynik.

Powiązane pojęcia

Na tej stronie

Powiązane artykuły

Zobacz to podczas demo na żywo

Zaprezentujemy Państwu Kaizo na realistycznych przykładowych rozmowach, aby zobaczyli Państwo, jak taki przykład jest oceniany, wyjaśniany i przekładany na coaching.

Zaufały nam zespoły obsługi klienta na całym świecie

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath