Próbkowanie rozmów do oceny jakości polega na ocenianiu części rozmów z klientami, często dwóch lub trzech zgłoszeń na konsultanta tygodniowo, zamiast wszystkich. Istnieje, ponieważ ręczna ocena jest powolna: to sposób na obejście ograniczenia mocy przerobowych, a jego wiarygodność zależy wyłącznie od tego, na ile próbka jest reprezentatywna.
W skrócie
- Próbka daje przybliżony obraz zespołu, ale jest zbyt mała, by oceniać pojedynczych konsultantów.
- Najtrudniejsze rozmowy mają najmniejsze szanse, by trafić do próbki.
- Automatyczna ocena usuwa ograniczenie mocy przerobowych, dlatego pełne pokrycie zastępuje próbkowanie w mierzeniu pracy konsultantów.
- Próbkowanie nadal sprawdza się przy weryfikacji, czy recenzenci lub systemy oceniające oceniają spójnie.
Czym jest próbkowanie w kontroli jakości obsługi klienta
Próbkowanie w kontroli jakości obsługi klienta to po prostu decyzja, by ocenić niektóre rozmowy, a inne pominąć. Recenzent jest w stanie przeczytać lub odsłuchać tylko określoną liczbę zgłoszeń czy rozmów dziennie, więc zespół QA wybiera ich część, ocenia ją według karty oceny i traktuje wynik jako obraz całości.
Częsty model to stała liczba rozmów na konsultanta tygodniowo, dobrana do czasu, jakim dysponują recenzenci.
Kluczowe jest tu słowo reprezentować. Rozmowy z próbki zastępują wszystkie te, których nikt nie ocenił, a cała wartość tego ćwiczenia zależy od tego, jak dobrze to robią. Gdy próbka dobrze odzwierciedla całość, próbkowanie jest rozsądną oszczędnością. Gdy nie odzwierciedla, każdy wniosek wyciągnięty na jej podstawie opiera się na rozmowach, na które nikt w rzeczywistości nie spojrzał.
Jedno wyjaśnienie, bo termin funkcjonuje w wielu branżach: próbkowanie oznacza tu wybór rozmów z klientami do oceny. Nie ma związku z próbkowaniem statystycznym w przemysłowej kontroli jakości, które jest inną praktyką o innym celu.
Dlaczego zespoły stosują próbkowanie i ile to kosztuje
Próbkowanie jest odpowiedzią na twarde ograniczenie. Jeśli Państwa zespół obsługuje tysiące rozmów tygodniowo, a recenzentów jest dwóch lub trzech, przeczytanie wszystkiego jest niemożliwe, więc czyta się wycinek. W tej logice nie ma nic złego. Problem tkwi w tym, co ten wycinek może, a czego nie może udźwignąć.
Mała próbka daje ogólne wyobrażenie o tym, jak radzi sobie cały zespół, i do tego wystarcza. Zawodzi w chwili, gdy używa się jej do oceny konkretnej osoby, bo kilka rozmów to maleńkie i często pechowe okno na cały miesiąc czyjejś pracy. Dwóch równie dobrych konsultantów może wypaść w małej próbce zupełnie inaczej wyłącznie z powodu tego, które rozmowy zostały wylosowane. Jest też problem doboru: rozmowy, które najbardziej wymagają oceny, czyli trudne eskalacje i te, które po cichu poszły źle, często najrzadziej trafiają do próbki, bo recenzenci skłaniają się ku rozmowom, które szybko się ocenia. Pełne ujęcie statystyczne znajdą Państwo w artykule why a small QA sample cannot support agent-level decisions (po angielsku).
Przykład: co widzi tygodniowa próbka
Weźmy hipotetycznego konsultanta, który obsługuje tygodniowo 100 rozmów mailowych i czatowych, z których dwie trafiają do oceny. Wynik jakości za ten tydzień opiera się na 2% jego pracy. W skali miesiąca osiem rozmów reprezentuje czterysta, a jeden słaby tydzień może wynikać z jednego pechowego losowania.
Teraz proszę spojrzeć, ile te osiem rozmów musi udźwignąć. Jeśli jedna to szybki reset hasła, a druga długi spór o zwrot pieniędzy, wynik odzwierciedla głównie to, które zgłoszenia wylosowano, a nie to, jak konsultant pracuje. Jeśli w tym miesiącu źle poprowadził trzy eskalacje, jest duża szansa, że żadna z nich nie znalazła się w próbce, więc rozmowa coachingowa nigdy się nie odbędzie. Zwiększenie próbki do pięciu rozmów tygodniowo trochę pomaga, ale kosztuje recenzenta więcej godzin, czyli dokładnie ten kompromis, którego próbkowanie miało pozwolić uniknąć.
Próbkowanie rozmów do oceny a pełne pokrycie
Próbkowanie obejmuje część rozmów dobraną do mocy przerobowych recenzentów, a pełne pokrycie ocenia każdą rozmowę. Próbkowanie wystarcza do przybliżonej oceny zespołu; pełne pokrycie jest potrzebne do decyzji dotyczących pojedynczych konsultantów i do wykrywania trendów. Ograniczenie, które wymuszało próbkowanie, znika, bo automatyczna kontrola jakości potrafi dziś automatycznie ocenić każdą rozmowę, co zmienia cały wybór.
Automatyczna ocena, taka jak AutoPilot od Kaizo, stosuje Państwa własną kartę oceny do wszystkich rozmów, a nie do wybranego wycinka. Jeśli w międzyczasie decydują Państwo, jak dużą próbkę przyjąć, nasz przewodnik po wyborze planu próbkowania QA (po angielsku) porównuje opcje obok siebie.
| Próbkowanie | Pełne pokrycie | |
|---|---|---|
| Co jest oceniane | Część rozmów, dobrana do mocy przerobowych recenzentów | Każda rozmowa |
| Do czego się nadaje | Przybliżona ocena zespołu | Decyzje dotyczące konsultantów i wykrywanie trendów |
| Martwe pole | Rozmowy, których nigdy nie wylosowano, w tym te najgorsze | Wymaga zaufania do automatycznego systemu oceniającego, więc trzeba go weryfikować |
| Do czego służy próbka | Do mierzenia jakości | Do sprawdzania systemu oceniającego, nie do mierzenia konsultantów |
Co zespoły widzą, gdy przestają próbkować
Zespoły, które przechodzą z ręcznej próbki na automatyczną ocenę, mówią o większym pokryciu i mniejszym nakładzie pracy na przygotowanie, a nie tylko o większych liczbach. W EverHelp kontrola jakości przeszła z ręcznie kompletowanej próbki na automatyczną ocenę według kryteriów każdego projektu; pokrycie QA wzrosło o 270%, a czas przygotowania do coachingu spadł o 75% w szesnastu obszarach.
Historia klienta EverHelp (po angielsku) pokazuje, jak to działało w wielu projektach klientów. W UiPath Kaizo zautomatyzowało 100% kontroli jakości, osiągając 200% ROI i wzrost wyniku jakości o 8%. W obu przypadkach zmiana była ta sama: wynik przestał opierać się na garstce rozmów, które ktoś zdążył przeczytać.
Proszę zobaczyć to na własnych rozmowach. Kaizo ocenia 100% Państwa rozmów z klientami według Państwa własnej karty oceny i zamienia wnioski w coaching. Umów demo.
Gdzie próbkowanie wciąż ma sens
Pełne pokrycie nie sprawia, że próbkowanie staje się bezużyteczne; przenosi je do lepszego zadania. Gdy każda rozmowa jest oceniana automatycznie, nie próbkuje się już po to, by mierzyć konsultantów. Próbkuje się po to, by sprawdzić sam pomiar: potwierdzić, że recenzenci są ze sobą zgodni i że automatyczny system oceniający zgadza się z Państwa recenzentami, co przy automatyzacji ma większe, a nie mniejsze znaczenie.
To uprawnione i stałe zastosowanie próbki, które zyskuje na znaczeniu przy automatyzacji, bo jeden system oceniający kształtuje teraz każdy wynik. Powiązane praktyki to kalibracja oceny jakości i walidacja oceny QA przez AI (po angielsku).
Przejście od próbkowania do pełnego pokrycia sprawia też, że kontrola jakości przestaje być źródłem sporów w zespole. Gdy wynik konsultanta opiera się na dwóch rozmowach, łatwo go podważyć. Gdy opiera się na wszystkich, a każdy wynik da się powiązać z dowodami, dyskusja przesuwa się z pytania, czy próbka była uczciwa, na to, co rozmowy faktycznie pokazują. Właśnie to uzasadnia artykuł scoring 100% of conversations (po angielsku).
Kiedy próbkowanie rozmów do oceny wystarcza
Próbkowanie rozmów do oceny wystarcza, gdy zespół jest mały, wolumen niski, a celem jest ogólny obraz jakości, a nie decyzje dotyczące pojedynczych konsultantów. Jeśli kilku konsultantów obsługuje tygodniowo umiarkowaną liczbę zgłoszeń, lider może ręcznie przeczytać dużą ich część, a próbka może już być bliska pełnemu pokryciu.
Próbkowanie to także rozsądny pierwszy krok dla zespołu, który nie ma jeszcze karty oceny. Automatyzacja oceny każdej rozmowy pomaga dopiero wtedy, gdy wiadomo, co się ocenia, więc najpierw buduje się i kalibruje kartę oceny na ręcznej próbce. Gdy zespół rośnie albo gdy wyniki zaczynają wpływać na coaching, oceny okresowe czy premie, zbyt mała próbka staje się problemem i to jest moment, by przyjrzeć się automatycznej kontroli jakości.
Najczęściej zadawane pytania
Czym jest próbkowanie rozmów w kontroli jakości obsługi klienta?
To praktyka oceniania części rozmów z klientami zamiast wszystkich, zwykle kilku na konsultanta w danym okresie. Istnieje, bo ręczna ocena jest powolna, a rozmów zawsze jest więcej, niż recenzenci są w stanie przeczytać. Rozmowy z próbki traktuje się jako reprezentatywne dla całości, więc metoda jest tyle warta, na ile próbka rzeczywiście jest reprezentatywna.
Dlaczego próbkowanie to problem przy ocenie pojedynczych konsultantów?
Bo kilka rozmów to maleńkie okno na miesiąc pracy konsultanta, a to, które rozmowy wylosowano, ma ogromne znaczenie. Dwóch równie dobrych konsultantów może przypadkiem uzyskać bardzo różne wyniki z próbki, a najtrudniejsze rozmowy, które najbardziej wymagają oceny, często najrzadziej do niej trafiają. Próbka dobrana do mocy przerobowych recenzentów jest zbyt mała, by uzasadnić decyzję dotyczącą jednej osoby.
Ile rozmów powinna obejmować próbka w zespole QA?
Nie ma uniwersalnej liczby. Większość zespołów dobiera próbkę do czasu recenzentów, często dwie lub trzy rozmowy na konsultanta tygodniowo, co wystarcza do przybliżonej oceny zespołu, ale nie do decyzji dotyczących jednego konsultanta. Jeśli wyniki wpływają na coaching lub oceny okresowe, próbka musi być znacznie większa, dlatego zespoły przechodzą na ocenę każdej rozmowy.
Jak wybierać rozmowy do próbki QA?
Losowy wybór utrzymuje próbkę możliwie najbardziej reprezentatywną, bo nie pozwala recenzentom wybierać rozmów, które szybko się ocenia. Niektóre zespoły dodają celowane wybory, na przykład eskalacje lub niskie oceny klientów, by zobaczyć najtrudniejsze przypadki. W raportach warto trzymać je osobno, bo celowany wybór nie odzwierciedla całościowej pracy konsultanta.
Czy próbkowanie w kontroli jakości obsługi klienta to to samo co w produkcji?
Nie. W obsłudze klienta próbkowanie oznacza wybór rozmów do oceny. Nie ma związku ze statystyczną kontrolą odbiorczą stosowaną w kontroli jakości w produkcji, która sprawdza część fizycznych egzemplarzy względem dopuszczalnego poziomu wad. Łączy je słowo, nie cel.
Czy pełne pokrycie QA całkowicie zastępuje próbkowanie?
Zastępuje je w mierzeniu pracy konsultantów, bo każdą rozmowę można ocenić. Zostawia próbkowanie do innego zadania: sprawdzania systemu oceniającego, czyli potwierdzania, że recenzenci są ze sobą zgodni i że automatyczny system oceniający zgadza się z Państwa recenzentami. Przy automatyzacji to zastosowanie próbkowania zyskuje na znaczeniu, a nie traci.
Powiązane pojęcia
- Why a small QA sample cannot support agent-level decisions (po angielsku)
- How to score 100% of conversations (po angielsku)
- QA monitoring cadence (po angielsku)
- Kalibracja oceny jakości w QA: na czym polega
- What is 100% QA coverage? (po angielsku)
