Auto QA, pisane też AutoQA, to automatyczna kontrola jakości w obsłudze klienta: oprogramowanie ocenia rozmowy według karty oceny jakości, dzięki czemu można sprawdzić każdą rozmowę, a nie tylko ręcznie czytaną próbkę.
System czyta pełną transkrypcję, stosuje Państwa kryteria i dołącza do każdej oceny dowody, na których się opiera. To silnik nowoczesnej kontroli jakości obsługi klienta. O wyborze, wdrożeniu i zaufaniu do takiego rozwiązania piszemy w kompletnym przewodniku po automatycznej kontroli jakości rozmów.
W skrócie
- Auto QA stosuje Państwa własną kartę oceny do każdej rozmowy w chwili jej zamknięcia.
- Kontrola jakości działa w sposób ciągły, a nie w zaplanowanych cyklach ocen.
- Oceny powiązane z dowodami można sprawdzić i zakwestionować.
- Liderzy zespołów poświęcają czas na coaching zamiast na ocenianie.
Co oznacza Auto QA
Auto QA oznacza, że oprogramowanie, zwykle oparte na AI, ocenia rozmowy z klientami według tej samej karty oceny, której użyłby recenzent jakości. AutoQA, Auto QA i automatyczna QA to różne zapisy tego samego pojęcia, a część dostawców nazywa szerszą praktykę Auto QM (automatyczne zarządzanie jakością).
QA to quality assurance, czyli zapewnianie jakości: sprawdzanie, czy rozmowa była poprawna, zgodna z zasadami, dobrze poprowadzona i rozwiązana. Nowe jest słowo „auto”. Zamiast lidera, który czyta kilka zgłoszeń tygodniowo, oprogramowanie czyta wszystkie i zostawia przy każdym ocenę i komentarz. Ludzki pozostaje sam standard: to Państwo decydują, co jest dobrą obsługą, a oprogramowanie go stosuje.
Jak działa Auto QA
Auto QA działa w pięciu krokach: łączy się z helpdeskiem, przejmuje kartę oceny, jest testowane na rozmowach ocenionych już przez recenzentów, ocenia każdą nową rozmowę po jej zamknięciu i zasila coaching.
1. Połączenie z helpdeskiem
Narzędzie łączy się z helpdeskiem lub CRM, w którym już są Państwa rozmowy, na przykład z Zendesk lub Salesforce Service Cloud. Czaty i e-maile są już tekstem, rozmowy telefoniczne są najpierw transkrybowane.
2. Wczytanie karty oceny
Wnoszą Państwo kryteria, których zespół już używa: powitanie, poprawność, proces, ton, rozwiązanie, a także ewentualne kryteria automatycznego niezaliczenia (po angielsku). Każde kryterium potrzebuje pisemnego opisu tego, jak wygląda „spełnione”, bo właśnie według niego ocenia AI.
3. Test przed uruchomieniem
Przy dobrym wdrożeniu AI najpierw ocenia zestaw rozmów, które recenzenci już ocenili, a wyniki porównuje się kryterium po kryterium. Tam, gdzie się różnią, kryterium trzeba przepisać. Nasz protokół walidacji (po angielsku) pokazuje, jak przeprowadzić taki test w tydzień.
4. Ocena każdej rozmowy po zamknięciu
Od tej chwili każda rozwiązana rozmowa jest oceniana automatycznie. Każda ocena ma komentarz i link do fragmentów transkrypcji, z których wynika, więc recenzent i konsultant widzą, dlaczego punkty zostały odjęte.
5. Weryfikacja, odwołania i coaching
Oceny trafiają do dashboardów według konsultanta, zespołu i kryterium. Konsultanci mogą odwołać się od oceny, recenzenci sprawdzają przypadki graniczne, a liderzy prowadzą coaching na podstawie wzorców, a nie pojedynczych zgłoszeń.
Co jest oceniane w rozmowie
Auto QA może ocenić każde kryterium widoczne w transkrypcji. Najbardziej wiarygodne jest przy prostych kontrolach tak lub nie, a najdokładniejszych opisów wymaga przy kryteriach ocennych, takich jak empatia.
| Rodzaj kryterium | Przykład | Jak radzi sobie z nim Auto QA |
|---|---|---|
| Proces i zgodność | Tożsamość zweryfikowana przed zmianą na koncie | Bardzo wiarygodnie: krok nastąpił albo nie |
| Poprawność | Podany termin zwrotu zgadza się z regulaminem | Wiarygodnie, jeśli narzędzie ma dostęp do bazy wiedzy |
| Rozwiązanie | Rzeczywisty problem klienta został rozwiązany | Dobrze, przy jasnej definicji dla każdego powodu kontaktu |
| Ton i empatia | Frustracja klienta dostrzeżona przed odpowiedzią | Wymaga precyzyjnych sformułowań i kalibracji z recenzentami |
| Jakość pisania | Ortografia, gramatyka, jasny kolejny krok | Bardzo wiarygodnie na czacie i w e-mailu |
Zasada jest taka sama jak u recenzentów: niejasne kryteria dają sporne oceny. Jeśli dwóch Państwa recenzentów nie zgodziłoby się co do kryterium, AI nie rozstrzygnie tego sporu za Państwa. Nasz przewodnik o tym, jak napisać kryteria, które AI potrafi ocenić (po angielsku), zamienia niejasne kryteria w sprawdzalne.
Auto QA a ręczna kontrola jakości
Ręczną kontrolę jakości ogranicza liczba zgłoszeń, którą człowiek jest w stanie przeczytać, dlatego większość zespołów ocenia tylko niewielką część rozmów. W ankiecie Call Centre Helper wśród contact center (2016) 68% odpowiadających oceniało pod kątem jakości 2% interakcji lub mniej. Auto QA usuwa ten sufit.
| Wymiar | Ręczna kontrola jakości | Auto QA |
|---|---|---|
| Pokrycie | Mała próbka, często 2% lub mniej | Do 100% rozmów |
| Nakład pracy | Stały czas recenzentów | Działa automatycznie |
| Spójność | Zależy od recenzenta i dnia | Jedna karta oceny stosowana zawsze tak samo |
| Szybkość | Co cykl ocen, dni lub tygodnie później | Zaraz po zamknięciu każdej rozmowy |
| Mocna strona | Niuanse, przypadki graniczne, kalibracja | Skala, trendy, kontrole zgodności |
Ręczna ocena nie znika. Przenosi się na rozmowy wymagające osądu, na kalibrację i na odwołania. Koszty obu podejść porównujemy w tekście ręczna vs automatyczna kontrola jakości rozmów.
W pełni automatyczna ocena a ocena wspomagana
Auto QA występuje w dwóch formach: w pełni automatycznej, gdy oprogramowanie samo ocenia i komentuje każdą rozmowę, oraz wspomaganej, gdy wstępnie wypełnia kartę oceny, którą człowiek poprawia i zatwierdza.
W Kaizo obie mają własne nazwy. AutoPilot ocenia każdą rozmowę według Państwa kryteriów w chwili jej rozwiązania i zostawia oceny oraz komentarze bez pracy nad kolejką ocen.
Auto QA w Kaizo to wersja wspomagana: automatyzuje rutynowe kontrole, takie jak gramatyka, ortografia i zgodność z procedurą, wstępnie wypełnia kryteria i przygotowuje szkic informacji zwrotnej, który recenzent poprawia i zatwierdza. Wiele zespołów korzysta z obu: z pełnej automatyzacji dla pokrycia i z oceny wspomaganej dla rozmów, które wymagają ludzkiego oka.
Dlaczego zespoły obsługi automatyzują QA
Zespoły automatyzują QA, bo próbkowanie zostawia większość rozmów z klientami nieprzeczytanych: problemy i okazje do coachingu umykają, a wynik jakości opiera się na garstce zgłoszeń. Ocena każdej rozmowy zamienia jakość z próbki w trend. To samo dotyczy sytuacji, gdy część kolejki obsługuje agent AI: ocena jego rozmów obok rozmów zespołu to jakościowa połowa monitorowania agentów AI.
Zmienia się też to, czym recenzenci zajmują się w tygodniu. W SteelSeries, 30-osobowym zespole obsługi z długimi, technicznymi zgłoszeniami, podsumowania AI skróciły czas kontroli jakości o połowę, a proces nie wychwytywał mniej. Ten czas wraca do coachingu, kalibracji i naprawy procesów, które wciąż generują te same błędy.
Auto QA nie jest właściwym pierwszym krokiem dla każdego zespołu. Jeśli jedna lub dwie osoby obsługują kilkadziesiąt rozmów tygodniowo, samodzielne czytanie z krótką listą kontrolną daje to samo.
Jak zacząć
Proszę zacząć od karty oceny, którą Państwo już mają, a nie od narzędzia. Warto doprecyzować każde kryterium tak, by dwóch recenzentów oceniło je identycznie, ustalić, które kryteria od razu oznaczają niezaliczenie rozmowy, i wybrać zestaw ocenionych już rozmów do testu AI.
Następnie należy połączyć helpdesk, porównać oceny AI z ocenami recenzentów i włączyć pełne pokrycie dopiero wtedy, gdy kryteria są zgodne.
Zapraszamy na demo na żywo z realistycznymi przykładowymi danymi. Umów demo.
Najczęściej zadawane pytania
Czy Auto QA to to samo co agentowa QA?
Agentowa QA to odmiana Auto QA, w której agenci AI robią więcej niż ocenianie: pracują w sposób ciągły bez uruchamiania każdego cyklu przez człowieka, badają wzorce w wielu rozmowach i proponują działania, takie jak coaching czy zmiana procesu, które zatwierdza człowiek. Auto QA to pojęcie szersze, obejmujące też prostą automatyzację opartą na regułach.
Czy Auto QA działa z moim helpdeskiem?
Auto QA czyta rozmowy z systemów, których Państwo już używają, więc zależy to od integracji danego narzędzia. Kaizo działa natywnie w Zendesk i Salesforce Service Cloud i ocenia rozmowy tam, gdzie się znajdują, bez eksportu transkrypcji i bez zmiany sposobu pracy konsultantów.
Czy Auto QA może ocenić 100% rozmów?
Tak. Ponieważ nie ogranicza go czas recenzentów, Auto QA może ocenić każdą rozmowę zamiast małej ręcznej próbki, a pokrycie utrzymuje się także przy rosnącym wolumenie. Większość zespołów nadal zostawia człowiekowi przypadki graniczne, odwołania i kalibrację, więc pełne pokrycie nie oznacza, że nikt już nie czyta rozmów.
Jak dokładne jest Auto QA?
Auto QA jest tak dokładne, jak jasne są jego kryteria. Kontrole obiektywne, takie jak weryfikacja tożsamości czy obowiązkowa informacja, są oceniane bardzo wiarygodnie, a kryteria ocenne, takie jak empatia, wymagają precyzyjnych opisów. Warto przetestować narzędzie na rozmowach ocenionych już przez recenzentów i zmierzyć zgodność dla każdego kryterium, zanim zaufa się wynikom.
Czy Auto QA zastępuje recenzentów jakości?
Nie. Auto QA przejmuje czytanie i ocenianie, ale to ludzie nadal ustalają standard, kalibrują kryteria, rozpatrują odwołania i prowadzą coaching konsultantów. Recenzenci spędzają mniej czasu na wypełnianiu formularzy, a więcej na rozmowach i wzorcach, w których ich osąd zmienia wynik.







