Ręczna vs automatyczna kontrola jakości rozmów

Przy ręcznej kontroli jakości recenzenci sami oceniają niewielką próbkę rozmów. Przy automatycznej kontroli jakości (Auto QA) te same kryteria są stosowane do każdej rozmowy, bez zmęczenia i bez rozjeżdżania się ocen, a ludzie nadal wyznaczają standard i podejmują decyzje wymagające subiektywnej oceny.

W skrócie

• Ręczna kontrola QA kosztuje godziny pracy recenzentów, a tych godzin przybywa wraz z wolumenem.
• Przy Auto QA informacja zwrotna trafia do konsultanta tego samego dnia, a nie po kilku tygodniach.
• Zupełnie nowy program warto zacząć ręcznie, bo maszyna nie wyznaczy standardu.

Co właściwie oznacza ręczna i automatyczna kontrola QA

Ręczna kontrola QA to model tradycyjny. Recenzent, często etatowy analityk QA albo lider zespołu, który ma QA w zakresie obowiązków, otwiera rozmowę, czyta ją lub odsłuchuje w całości i ocenia według karty oceny. Rzetelna ocena zajmuje sporo czasu, dlatego ocenia się tylko próbkę rozmów, zwykle wybraną losowo albo według prostej reguły, na przykład stałej liczby rozmów na konsultanta w miesiącu.

Auto QA bierze tę samą kartę oceny i stosuje ją w oprogramowaniu. Każda rozmowa jest oceniana według tych samych kryteriów bez udziału człowieka, a każdy wynik jest powiązany z dowodem w transkrypcji, na którym się opiera. Zamiast próbki dostają Państwo ocenioną całą populację rozmów, a zamiast kolejki ocen zespół ma kolejkę wyjątków, którym warto się przyjrzeć.

Warto precyzyjnie określić, co tu porównujemy. Oba podejścia mają te same kryteria, tę samą definicję jakości i ten sam cel coachingowy. Różnią się tym, kto ocenia, jaka część pracy jest oceniana, jak spójnie, jak szybko i za jaką cenę. Dalsza część tekstu uczciwie porównuje te pięć elementów, łącznie z sytuacjami, w których podejście ręczne naprawdę wygrywa.

Ręczna vs automatyczna kontrola jakości: zestawienie

Oto bezpośrednie porównanie w wymiarach, które naprawdę zmieniają skuteczność programu QA. Jeśli mają Państwo tylko minutę, proszę zacząć od ostatniej kolumny: pokazuje praktyczne skutki, a nie teorię.

Koszt: liczyć godziny recenzentów, a nie ceny licencji

Najczęstszy błąd w tym porównaniu to zestawianie ceny oprogramowania z zerem. Ręczna kontrola QA nie jest darmowa. Płaci się za nią godzinami recenzentów, zwykle ukrytymi w pensjach liderów zespołów, więc nikt nigdy nie przypisuje jej konkretnej kwoty. Gdy ta kwota się pojawi, porównanie staje się proste.

Model kosztów do policzenia na własnych danych

Nie warto przyjmować tu niczyjego benchmarku, łącznie z naszym. Proszę użyć własnych danych:

• Krok 1, godziny ocen w miesiącu: liczba konsultantów pomnożona przez liczbę ocen na konsultanta w miesiącu, pomnożona przez średnią liczbę minut na ocenę i podzielona przez 60.
• Krok 2, doliczyć pracę wokół ocen: proszę dodać godziny, które zespół faktycznie poświęca na sesje kalibracyjne, spory o wyniki, przygotowywanie raportów i kompletowanie próbek. Warto je zmierzyć, a nie szacować, bo zwykle są większe, niż się wydaje.
• Krok 3, przeliczyć na pieniądze: łączną liczbę godzin proszę pomnożyć przez własny pełny koszt godziny pracy osób, które oceniają. Pełny koszt to wynagrodzenie plus koszty pracodawcy plus koszty ogólne, a nie pensja zasadnicza podzielona przez 2080.
• Krok 4, wycenić pokrycie, którego Państwo nie mają: proszę powtórzyć krok 1, zastępując liczbę ocen na konsultanta liczbą rozmów obsłużonych przez konsultanta. To koszt ręcznej oceny wszystkiego. Dla większości zespołów ta liczba jest absurdalna i właśnie o to chodzi.

Dwa uczciwe zastrzeżenia. Po pierwsze, Auto QA też kosztuje: to oprogramowanie, czas ludzi potrzebny na skonfigurowanie i skalibrowanie karty oceny oraz stały czas na analizę tego, co system wychwytuje. Bez tych pozycji porównanie nie jest uczciwe. Po drugie, uwolnione godziny recenzentów nie znikają z listy płac. Zostają przesunięte do coachingu i analizy przyczyn źródłowych. Oszczędność jest realna, ale widać ją jako większe możliwości i lepsze wyniki, a nie mniejszy zespół, a każdy business case, który obiecuje coś innego, przesadza.

Nie podajemy tu benchmarku kosztu jednej oceny ani typowego wynagrodzenia, bo te liczby tak bardzo zależą od regionu, stażu i kanału, że podanie jednej wprowadzałoby w błąd. Przydatna jest powyższa arytmetyka.

Pokrycie: luka, której próbka nigdy nie zamknie

To wymiar, w którym oba podejścia najtrudniej porównać. Ręczna kontrola QA ocenia próbkę. Auto QA ocenia całą populację. Wszystkie inne różnice to różnice stopnia; ta jest różnicą rodzaju.

Problem z próbką nie polega na tym, że jest niedokładna co do rozmów, które obejmuje. Polega na tym, że milczy o rozmowach spoza niej. Jeśli recenzenci czytają niewielki odsetek interakcji, to przytłaczająca większość doświadczeń Państwa klientów w każdym miesiącu po prostu pozostaje niezauważona. Eskalacje, naruszenia zasad, nowy rodzaj błędu w obszarze produktu wprowadzonym w zeszłym tygodniu: nic z tego nie jest widoczne, chyba że przypadkiem trafi do próbki. A próbki rzadko są tak losowe, jak sądzą zespoły. Recenzenci wybierają świeże zgłoszenia, krótkie zgłoszenia, zgłoszenia konsultantów, których już mają na oku, co jeszcze bardziej zniekształca obraz.

Jest też problem statystyczny, który zwolennicy próbkowania zwykle pomijają. Próbka wystarcza do oszacowania ogólnej średniej, na przykład łącznego wyniku jakości dużego zespołu. Jest jednak prawie bezużyteczna przy pytaniach, które faktycznie zadaje się QA, a te są konkretne: czy ten konsultant robi postępy, czy ta zmiana zasad zadziałała, który rodzaj błędu narasta. Po podzieleniu małej próbki według konsultanta, kanału i miesiąca w każdej komórce zostaje garstka rozmów, a to za mało, by wyciągać jakiekolwiek wnioski o czyichś wynikach.

Pełne pokrycie zmienia pytanie z „co zobaczyliśmy” na „co się dzieje”. W UiPath Kaizo zautomatyzowało 100% kontroli QA, co dało 200% ROI i wzrost wyniku jakości o 8%, czyli rezultat, który staje się osiągalny dopiero wtedy, gdy ocenia się każdą rozmowę, a nie jej wycinek.

Spójność: rozjeżdżanie się ocen kontra te same kryteria za każdym razem

Ręczna kontrola QA ma problem ze sprawiedliwością, o którym rzadko mówi się otwarcie, bo nazwanie go brzmi jak krytyka recenzentów. To nie ich wina. Tak dzieje się z każdym człowiekiem, który setki razy stosuje subiektywne kryteria.

Trzy sposoby, w jakie rozjeżdżają się ręczne oceny

• Między recenzentami: dwie osoby oceniają tę samą rozmowę inaczej. Właśnie dlatego istnieją sesje kalibracyjne, a sam fakt, że są potrzebne, jest na to dowodem.
• U jednego recenzenta w czasie: ta sama osoba ocenia surowiej na początku serii ocen niż na końcu, a inaczej w spokojny wtorek niż przy zaległościach. Zmęczenie jest realne i przesuwa wyniki.
• W całym programie: standardy się przesuwają, gdy recenzenci przychodzą i odchodzą, gdy kryteria są reinterpretowane i gdy narastają nieformalne precedensy, których nikt nie spisał. Po dwóch latach wyniki znaczą coś innego niż na starcie.

Automatyzacja nie ma tych słabości. Stosuje identyczne kryteria do rozmowy numer jeden i rozmowy numer czterysta tysięcy, według tego samego standardu, bez pamięci o ostatnio przyznanym wyniku. Dlatego trend wyników z systemu automatycznego jest wiarygodny w sposób, w jaki trend ręczny często nie jest: gdy liczba się zmienia, zmieniło się zachowanie, a nie nastrój recenzenta.

Uczciwy kontrargument jest taki, że spójność to nie to samo co poprawność. Maszyna, która stosuje źle napisane kryterium, zastosuje je źle do wszystkiego, za to spójnie. To argument za inwestowaniem w kryteria i ich kalibrację, a nie za akceptowaniem rozbieżności.

Dokładność: gdzie każda ze stron naprawdę wygrywa

O dokładność spiera się najwięcej, a rozumie się ją najsłabiej, więc warto jasno opisać ten podział.

Automatyzacja jest najmocniejsza przy kryteriach, które da się sprawdzić na podstawie dowodów w transkrypcji. Czy konsultant zweryfikował tożsamość? Czy przekazano wymagane informacje? Czy informacja była zgodna z bazą wiedzy? Czy obiecany kontakt zwrotny faktycznie został zaplanowany? To większość kryteriów w większości prawdziwych kart oceny, a przy takich sprawdzeniach maszyna czytająca całą rozmowę wypada lepiej niż człowiek, który przegląda ją pobieżnie pod koniec długiej serii ocen.

Ludzie są lepsi tam, gdzie naprawdę potrzebny jest osąd. Czy te przeprosiny były szczere, czy formułkowe? Czy prawdziwy problem klienta był inny niż ten, który opisał? Czy ten przypadek graniczny powinien zostać eskalowany, biorąc pod uwagę wszystko, co działo się z tym kontem? To także kryteria, przy których recenzenci najczęściej nie zgadzają się ze sobą, i to jest uczciwy powód, dla którego są trudne, a nie zarzut wobec automatyzacji.

Praktyczny wniosek: ocena systemu powinna mieć takie wagi, jakie faktycznie ma Państwa karta oceny. Ocenianie systemu automatycznego wyłącznie po jego najtrudniejszym subiektywnym kryterium, gdy to kryterium stanowi niewielką część całości, mówi bardzo niewiele. Dokładność omawiamy szczegółowo na osobnej stronie, łącznie z tym, jak zmierzyć zgodność na własnych rozmowach zamiast wierzyć czyimkolwiek zapewnieniom: jak dokładna jest ocena jakości z AI. W skrócie: dokładność mierzy się względem skalibrowanego ludzkiego standardu, a nie przyjmuje na wiarę, a każdy wynik powinien prowadzić do dowodu, na którym się opiera, aby mogli go Państwo sprawdzić.

Pytanie, które trzeba zadać, zanim uwierzy się automatycznemu wynikowi

Pytanie brzmi: czy da się udowodnić, że wynik jest prawidłowy. Warto poprosić o trzy rzeczy: każdy wynik powiązany z konkretnymi fragmentami transkrypcji, na których się opiera; ścieżkę, którą konsultant może zakwestionować wynik, a człowiek go zmienić; oraz przebieg automatycznego oceniającego na rozmowach, które Państwa recenzenci już ocenili i co do których się zgodzili, aby zobaczyć poziom zgodności kryterium po kryterium, zanim ktokolwiek zostanie według niego oceniony. Ręczna kontrola QA nie ma odpowiednika tego ostatniego testu, co warto podkreślić: nikt nie weryfikuje recenzenta-człowieka względem zestawu referencyjnego.

Szybkość informacji zwrotnej i skalowalność

Te dwa wymiary dostają mniej uwagi niż koszt i pokrycie, a zmieniają codzienne funkcjonowanie programu QA bardziej niż którykolwiek z nich.

Szybkość: coaching trafia albo nie trafia

W programie ręcznym pętla jest długa. Rozmowa się odbywa, czeka w kolejce, pod koniec cyklu trafia do próbki, zostaje oceniona, a potem omówiona na rozmowie indywidualnej. Do tego czasu konsultant może już nie pamiętać interakcji, a jeśli pamięta, to od tamtej pory wiele razy powtórzył to samo zachowanie. Informacja zwrotna, która przychodzi po tygodniach, to dokumentacja zgodności, a nie coaching.

Przy automatycznym ocenianiu rozmowa dostaje wynik, gdy tylko zostanie zamknięta. Wzorzec, który pojawi się w poniedziałek, można omówić w ramach coachingu jeszcze w poniedziałek, a konsultant widzi swoje wyniki na bieżąco, zamiast być zaskoczonym w dniu oceny. To skraca dystans między zachowaniem a korektą, a właśnie na tym polega cały mechanizm, dzięki któremu QA cokolwiek poprawia.

Skalowalność: liniowa pułapka

Ręczna kontrola QA skaluje się liniowo. Gdy wolumen rozmów się podwaja, do utrzymania tego samego pokrycia potrzeba dwa razy więcej godzin recenzentów. W praktyce nikt nie podwaja liczby recenzentów, więc pokrycie po cichu spada o połowę, a program niepostrzeżenie słabnie, gdy firma rośnie. Sezonowe szczyty jeszcze to pogarszają: właśnie wtedy, gdy ryzyko dla jakości jest największe, recenzenci są przesuwani do obsługi kolejki, a QA odpada jako pierwsze.

Automatyczne pokrycie nie zależy od liczby pracowników. Wolumen może wzrosnąć trzykrotnie, a każda rozmowa nadal jest oceniana. Ta strukturalna różnica wyjaśnia, dlaczego zespoły, które przekraczają pewną wielkość, zwykle dochodzą do tego samego wniosku; szerzej omawiamy to w naszym poradniku o automatycznej kontroli jakości.

Kiedy ręczna kontrola QA nadal jest właściwym wyborem

Uczciwe porównanie musi uwzględniać sytuacje, w których podejście ręczne jest nie tylko akceptowalne, ale właściwe. Jest ich kilka.

• Budują Państwo program QA od zera. Nie da się zautomatyzować standardu, którego jeszcze nie zdefiniowano. Ręczna ocena to sposób, w jaki zespół odkrywa, jak w jego własnym kontekście wygląda dobra praca, które kryteria mają znaczenie, a które brzmią ważnie, ale nigdy nie zmieniają wyniku. Wystarczy ręcznie przeczytać odpowiednio dużo rozmów, a kryteria napiszą się same. Kto pominie ten etap, zautomatyzuje cudzą opinię. Nasz poradnik o budowaniu programu kontroli jakości zaczyna się właśnie od tego.
• Stawka w pojedynczej sprawie jest bardzo wysoka. Decyzje podlegające regulacjom, reklamacje z ryzykiem prawnym, eskalacje kont o wysokiej wartości. Takie sprawy zasługują na lekturę przez człowieka bez względu na to, jaki wynik przyznał jakikolwiek system.
• Prowadzą Państwo kalibrację. Kalibracja jest z natury ręczna: ludzie czytają te same rozmowy i dyskutują, aż dojdą do porozumienia. Ta praca nie znika po automatyzacji; staje się ważniejsza, bo uzgodniony standard jest punktem odniesienia, względem którego mierzy się automatyzację.
• Coś wygląda źle i trzeba zrozumieć dlaczego. Wynik mówi, co się stało. Zrozumienie, dlaczego, zwykle wymaga człowieka, który przeczyta rozmowę i jej kontekst. Automatyzacja świetnie wskazuje właściwe rozmowy, ale nie zastępuje ich lektury.
• Państwa wolumen jest naprawdę mały. Jeśli zespół jest w stanie uczciwie ocenić ręcznie dużą część swoich rozmów, argument pokrycia w dużej mierze znika, a powodami do automatyzacji pozostają spójność i szybkość.

Jeśli po lekturze tego wszystkiego dojdą Państwo do wniosku, że chcą zachować znaczącą część ręcznych ocen, to stanowisko jest do obrony. Błędem nie jest utrzymywanie ręcznej kontroli QA. Błędem jest poleganie na niej w kwestii pokrycia, którego nie jest w stanie zapewnić.

Uczciwy wniosek: podział pracy

Ujęcie tego jako kwestii zastąpienia prowadzi do złej odpowiedzi w obie strony. Zespoły albo bronią ręcznej kontroli QA przed zagrożeniem, które tak naprawdę nim nie jest, albo automatyzują i po cichu tracą ludzki osąd, dzięki któremu program był wiarygodny.

Model, który działa, to podział pracy według tego, w czym każda ze stron jest naprawdę dobra:

• Maszyny oceniają. Każdą rozmowę, według tych samych kryteriów, tego samego dnia, z każdym wynikiem powiązanym z dowodem. To praca wolumenowa z wymogiem spójności, czyli definicja zadania do automatyzacji.
• Ludzie kalibrują. Decydują, jak wygląda dobra praca, piszą i doprecyzowują kryteria, uzgadniają standard referencyjny i rozstrzygają spory. Żaden system tego nie zrobi i żaden nie powinien próbować.
• Ludzie analizują. Automatyzacja wychwytuje odstępstwa i pojawiające się wzorce. Ludzie sprawdzają, skąd się biorą, i właśnie stąd pochodzą przyczyny źródłowe i usprawnienia procesów.
• Ludzie prowadzą coaching. Celem QA nigdy nie był wynik. Była nim rozmowa, która po nim następuje, a to w każdej wersji tego modelu zadanie dla człowieka.

W praktyce zmienia się to, na co idzie czas recenzentów. W programie ręcznym większość pochłania ocenianie, a na coaching zostaje to, co zostanie. Po automatyzacji oceniania te proporcje się odwracają. Ten sam zespół przeznacza swój czas na pracę, która zmienia zachowanie konsultantów, a to właśnie rezultat, dla którego program w ogóle sfinansowano. Kaizo jest zbudowane pod taki podział i zbudowane tak, by dało się je sprawdzić. Każdy wynik prowadzi do dokładnego dowodu, na którym się opiera, każdy wynik może zostać zakwestionowany i zmieniony przez człowieka, a automatycznego oceniającego można uruchomić na rozmowach, które Państwa recenzenci już ocenili, aby zobaczyć, jak bardzo się z nimi zgadza, zanim zaczną Państwo na nim polegać. Kaizo stosuje kartę oceny zdefiniowaną przez Państwa zespół do każdej rozmowy, a nie do wybranej próbki, więc nikt nie trafia pod lupę tylko z powodu reguły próbkowania. Ocenia pracę wykonaną przez AI i przez konsultantów według tego samego standardu. Działa natywnie w Zendesk i Salesforce, więc ocena odbywa się tam, gdzie praca już się toczy.

Jeśli są Państwo na wcześniejszym etapie, warto zacząć od podstaw jakości obsługi klienta i dopracować standard, zanim zacznie się go skalować. Automatyzacja kryteriów, którym nikt nie ufa, daje tylko szybciej wyniki, którym nikt nie ufa.

Najczęściej zadawane pytania

Czym różni się ręczna kontrola QA od Auto QA?

Ręczna kontrola QA to recenzent-człowiek, który ocenia próbkę rozmów według kryteriów. Auto QA to oprogramowanie, które automatycznie stosuje te same kryteria do każdej rozmowy. Kryteria i cel są te same; zmienia się pokrycie, spójność, koszt i to, jak szybko informacja zwrotna dociera do konsultanta.

Czy Auto QA jest tańsze od ręcznej kontroli QA?

To zależy od wolumenu, a porównanie ma sens tylko wtedy, gdy liczy się godziny recenzentów z pełnymi kosztami, a nie ceny licencji. Koszty ręcznej kontroli QA rosną liniowo wraz z wolumenem rozmów i liczbą pracowników, natomiast automatyczne pokrycie pozostaje w dużej mierze stałe w miarę wzrostu firmy. Warto policzyć to na własnych danych: liczba konsultantów razy liczba ocen razy minuty na ocenę, podzielone przez 60, a następnie pomnożone przez własny pełny koszt godziny pracy.

Czy Auto QA jest dokładniejsze od recenzenta-człowieka?

Jest bardziej spójne i dokładniejsze przy obiektywnych kryteriach, które da się sprawdzić na podstawie dowodów, takich jak przestrzeganie procedur i poprawność informacji. Recenzenci-ludzie pozostają lepsi przy rzadkich, mocno subiektywnych decyzjach, a przy tych kryteriach ludzie najczęściej też nie zgadzają się ze sobą. Najbardziej przydatne porównanie to nie dokładność w pojedynczej rozmowie, lecz dokładność w skali całej operacji, gdzie pełne pokrycie wygrywa ze staranną próbką.

Czy Auto QA zastępuje analityków QA?

Nie. Zastępuje ręczne ocenianie tysięcy rozmów, a nie analityka. Rola przesuwa się od czytania i oceniania do kalibrowania standardu, analizowania tego, co wychwytuje system, rozstrzygania sporów i coachingu, czyli do najbardziej wartościowej części pracy, która faktycznie zmienia zachowanie konsultantów.

Czy mały zespół obsługi klienta powinien automatyzować kontrolę QA?

Jeśli zespół jest w stanie uczciwie ocenić ręcznie dużą część swoich rozmów, argument pokrycia jest słabszy, a powodami do automatyzacji stają się spójność i szybkość informacji zwrotnej. Małe zespoły nadal zyskują na wyeliminowaniu rozbieżności między oceniającymi i na wynikach dostępnych tego samego dnia, ale zwrot jest mniej spektakularny niż w zespołach, w których ręczna ocena zawsze obejmie tylko niewielką próbkę.

Czy można łączyć ręczną kontrolę QA z Auto QA?

Tak, i to model, do którego dochodzi większość dojrzałych programów. Automatyzacja ocenia każdą rozmowę i oznacza wyjątki, a ludzie kalibrują standard, ręcznie oceniają niejednoznaczne sprawy i te o wysokiej stawce oraz prowadzą coaching. Zachowanie ręcznych ocen nie jest porażką automatyzacji; to miejsce, w którym ludzki osąd jest najcenniejszy.

Powiązane pojęcia

• Czym jest Auto QA? (po angielsku)
• Automatyczna kontrola jakości rozmów z AI: poradnik
• Jak dokładna jest ocena jakości z AI?
• Czym jest 100% pokrycia QA? (po angielsku)
• Czym jest kalibracja oceny jakości?
• Karta oceny QA: struktura, przykłady i szablon

Proszę sprawdzić oceniającego na własnych rozmowach

Prosimy przynieść obecną kartę oceny, miesiąc prawdziwych rozmów oraz te, które Państwa recenzenci już ocenili. Pokażemy, na ile automatyczna ocena zgadza się z Państwa własnym standardem, kryterium po kryterium, z każdym wynikiem powiązanym z dokładnym dowodem w transkrypcji.

Umów demo Poznaj Agentic Auto QA Porównaj oprogramowanie QA