Metody kontroli jakości w obsłudze klienta to zasady określające, które rozmowy są oceniane, przez kogo i jak często. Pięć głównych to próbkowanie losowe, przegląd celowany, przegląd oparty na ryzyku, przegląd oparty na kalibracji i pełne pokrycie. Każda wykrywa inne problemy i pomija inne, dlatego większość dojrzałych zespołów łączy dwie lub trzy z nich w jednym planie kontroli jakości.
W skrócie
- Metoda kontroli jakości decyduje, które rozmowy są oceniane; karta oceny decyduje, jak ocenia się każdą z nich.
- Próbkowanie losowe jest sprawiedliwe i proste, ale widzi za mało, by ocenić jednego konsultanta; przegląd celowany i oparty na ryzyku szybciej znajdują problemy, ale z założenia są stronnicze.
- Przegląd oparty na kalibracji służy spójności ocen, a nie wykrywaniu większej liczby problemów.
- Pełne pokrycie automatycznie ocenia każdą rozmowę, a ludzie sprawdzają te, w których ich osąd coś wnosi.
- Przykładowy plan kontroli jakości dla zespołu 300 konsultantów pokazuje, jak łączyć metody w granicach rzeczywistych możliwości recenzentów.
Ta strona porównuje metody. Jeśli budują Państwo kontrolę jakości od zera, warto zacząć od naszego planu budowy programu kontroli jakości w 7 krokach; podstawy próbkowania wyjaśnia artykuł o tym, czym jest próbkowanie rozmów do oceny jakości. Kaizo to nasz produkt i obsługuje pełne pokrycie. Poniżej piszemy, gdzie inne metody sprawdzają się lepiej.
Która metoda kontroli jakości do jakiego zadania?
Metodę wybiera się według pytania: próbkowanie losowe dla rzetelnej średniej, przegląd celowany dla znanego problemu, oparty na ryzyku dla kosztownych błędów, oparty na kalibracji dla spójności, pełne pokrycie dla wzorców u poszczególnych konsultantów.
| Metoda | Jak wybiera się rozmowy | W czym jest dobra | Co pomija | Nakład pracy recenzentów | Najlepsza dla |
|---|---|---|---|---|---|
| Próbkowanie losowe | Stała liczba na konsultanta lub kolejkę, wybierana losowo | Nieobciążona średnia; łatwo obronić jej sprawiedliwość | Rzadkie problemy i problemy pojedynczych konsultantów; większości rozmów nikt nie widzi | Średni, rośnie wraz z liczbą pracowników | Małych zespołów; jako kontrola bazowa każdej innej metody |
| Przegląd celowany | Filtry dla znanego problemu: temat, kolejka, nowi pracownicy, niski CSAT | Szybkie znalezienie i usunięcie konkretnego problemu | Wszystko poza filtrem; wyniki są zaniżone | Niski do średniego | Wdrożeń nowości, nowych pracowników, znanego wzrostu skarg |
| Przegląd oparty na ryzyku | Reguły lub oceny oznaczają rozmowy, w których błąd jest kosztowny | Zgodność z przepisami, zwroty pieniędzy, klienci szczególnie wrażliwi, eskalacje | Ciche problemy, które nie uruchamiają żadnej flagi | Średni | Kolejek regulowanych i o wysokiej wartości |
| Przegląd oparty na kalibracji | Te same rozmowy oceniane przez kilku recenzentów, potem porównywane | Spójne ocenianie; wspólne rozumienie każdego kryterium | Pokrycie; z założenia obejmuje niewiele rozmów | Niski pod względem wolumenu, wysoki pod względem czasu na rozmowę | Każdego zespołu z więcej niż jednym recenzentem |
| Pełne pokrycie | Każda rozmowa oceniana automatycznie, ludzie sprawdzają flagi i odwołania | Wzorce u konsultantów, rzadkie problemy, trendy we wszystkich kontaktach | Niuanse, których karta oceny nie obejmuje, chyba że sprawdzają je ludzie | Niski na rozmowę, konfiguracja i weryfikacja na początku | Zespołów z wolumenem większym, niż recenzenci są w stanie przeczytać |
Poniżej omawiamy kolejno każdą metodę: werdykt, sposób działania i miejsca, w których zawodzi.
Czym jest metoda kontroli jakości w obsłudze klienta?
Metoda kontroli jakości w obsłudze klienta to uzgodniony sposób wybierania, oceniania i wykorzystywania rozmów do sprawdzania jakości. Działa obok karty oceny: karta mówi, jak wygląda dobra rozmowa, a metoda mówi, które rozmowy się z nią porównuje i co dzieje się dalej.
Zespoły spisują ją w planie kontroli jakości. Plan wskazuje kartę oceny, metodę lub ich połączenie, liczbę rozmów ocenianych przez każdą osobę, kto i jak często prowadzi kalibrację, jak konsultanci odwołują się od oceny i jak wyniki zamieniają się w coaching.
Bez spisanego planu metodą staje się to, na co każdy recenzent ma akurat czas. Szablon planu poniżej obejmuje każdą z tych części.
Próbkowanie losowe
Werdykt: najlepsze jako rzetelny punkt odniesienia i kontrola innych metod; zbyt skąpe, by ocenić jednego konsultanta. Próbkowanie losowe polega na ocenianiu stałej liczby losowo wybranych rozmów na konsultanta lub kolejkę, zwykle kilku tygodniowo.
Jego zaletą jest sprawiedliwość. Gdy rozmowy są naprawdę losowe, konsultant nie może twierdzić, że kontrola jakości wybiera tylko jego najgorsze połączenia, a średnia dla zespołu jest uczciwym oszacowaniem. Nasz artykuł o wyborze rozmów do oceny jakości (po angielsku) wyjaśnia, dlaczego ręczny „losowy” wybór często wcale nie jest losowy.
Jego słabością jest arytmetyka. Oto przykład tego, co może powiedzieć próbka, przy standardowych 95-procentowych przedziałach ufności:
| Co oceniono | Zaobserwowany odsetek spełnienia kryterium „poprawna odpowiedź” | Przedział, w którym prawdopodobnie leży rzeczywista wartość |
|---|---|---|
| 5 rozmów jednego konsultanta w miesiącu (4 spełniły kryterium) | 80% | około 38% do 96% |
| 20 rozmów jednego konsultanta (16 spełniło kryterium) | 80% | około 58% do 92% |
| 400 rozmów w całym zespole (340 spełniło kryterium) | 85% | około 81% do 88% |
Przy pięciu ocenach miesięcznie konsultant z wynikiem 80% i konsultant z wynikiem 50% mogą wyglądać identycznie. Na poziomie zespołu ta sama metoda sprawdza się dobrze. Nasz artykuł o tym, dlaczego 3-procentowa próbka nie wystarcza do decyzji o konsultantach (po angielsku), zagłębia się w statystykę.
Przegląd celowany
Werdykt: najszybszy sposób na usunięcie znanego problemu; słaba miara ogólnej jakości. Przegląd celowany filtruje rozmowy według warunku, który już Państwa interesuje, np. tematu, kolejki, nowych pracowników, niskiego CSAT lub ponownie otwartych zgłoszeń, i ocenia właśnie je.
Warto go stosować, gdy ma się konkretne pytanie: czy nowa zasada zwrotów jest poprawnie wyjaśniana, jak nowi pracownicy przyjęci w tym miesiącu radzą sobie z rezygnacjami, dlaczego CSAT spadł w kolejce rozliczeń. Odpowiedź znajdzie się znacznie szybciej niż przy próbce losowej.
Haczyk polega na tym, że wyniki przeglądu celowanego nie są porównywalne z losowymi. Jeśli ocenia się rozmowy z niskim CSAT, wyniki będą niższe od średniej, a konsultant, który obsługuje więcej takich kolejek, wypadnie gorzej. Przeglądy celowane warto raportować osobno i nigdy nie wliczać ich do średniej konsultanta.
Przegląd oparty na ryzyku
Werdykt: niezbędny tam, gdzie jeden błąd dużo kosztuje; ślepy na wszystko, czego nie oznaczają reguły. Przegląd oparty na ryzyku kieruje do człowieka w pierwszej kolejności rozmowy, które najpewniej mogą wyrządzić szkodę, oznaczone przez reguły lub automatyczną ocenę.
Typowe flagi to zwroty powyżej progu, rezygnacje, skargi, tematy prawne lub regulacyjne, klienci szczególnie wrażliwi, eskalacje, wyjątki od zasad oraz kryteria błędu krytycznego, takie jak udostępnienie danych płatniczych. Nasz przewodnik po błędach krytycznych w ocenie rozmów opisuje, jak zdefiniować te najpoważniejsze.
Przegląd oparty na ryzyku znajduje tylko to, co ktoś pomyślał, by oznaczyć. Nowy rodzaj błędu albo powolna zmiana tonu nie uruchomi żadnej reguły. Dlatego najlepiej sprawdza się jako warstwa nad szerszą metodą, próbkowaniem losowym albo pełnym pokryciem, a nie samodzielnie.
Przegląd oparty na kalibracji
Werdykt: nie służy do wykrywania problemów, ale to metoda, dzięki której każda inna metoda jest wiarygodna. W przeglądzie opartym na kalibracji kilku recenzentów ocenia te same rozmowy, porównuje różnice i uzgadnia, co oznacza każde kryterium.
Typowa sesja obejmuje kilka przypadków granicznych, czyli rozmów, o które recenzenci się spierają, i każdy ocenia je według tej samej karty oceny. Tam, gdzie oceny się rozchodzą, zespół uzgadnia znaczenie i dopisuje je do opisu kryterium.
Nasz przewodnik o prowadzeniu sesji kalibracyjnych (po angielsku) opisuje stały przebieg, a złoty zestaw (po angielsku) uzgodnionych ocen daje stały punkt odniesienia.
Niektóre zespoły prowadzą cały program kontroli jakości z kalibracją na pierwszym miejscu: mniej rozmów, każda oceniana przez dwie osoby, a każda rozbieżność jest rozstrzygana. Daje to bardzo wiarygodne oceny dla niewielu rozmów. To dobry wybór, gdy oceny wpływają na wynagrodzenie lub ocenę pracy, a wolumen jest niski.
Pełne pokrycie
Werdykt: jedyna metoda, która widzi pełny obraz pracy każdego konsultanta i rzadkie problemy; wymaga zweryfikowanego oceniania i ludzi przy rozmowach, które mają znaczenie. Przy pełnym pokryciu każda rozmowa jest automatycznie oceniana według karty oceny, a recenzenci zajmują się flagami, odwołaniami i przypadkami granicznymi.
Zmienia się to, na jakie pytania kontrola jakości potrafi odpowiedzieć. Gdy oceniana jest każda rozmowa, kryterium niespełnione w 2% rozmów jednego konsultanta to liczba, a nie domysł. Trendy w tematach, kolejkach i kanałach widać bez tego, by ktoś musiał wybierać, gdzie patrzeć. Nasz artykuł o pełnym pokryciu kontroli jakości zawiera definicję.
Ryzyka też są realne. Automatyczne ocenianie jest tylko tak dobre jak karta oceny i instrukcje, na których się opiera, więc zanim się mu zaufa, warto przetestować je na rozmowach, które zespół już ocenił. Ludzie nadal muszą też sprawdzać rozmowy, w których liczy się osąd.
W kontroli jakości obsługi klienta w Kaizo AutoPilot ocenia każdą rozmowę według Państwa własnej karty oceny po jej rozwiązaniu, z komentarzem wyjaśniającym każdą ocenę.
Przypisania kierują następnie recenzentów do rozmów, w których człowiek coś wnosi, według kolejki, kanału lub konsultanta albo według sygnałów takich jak negatywny CSAT i częste ponowne otwarcia, a Auto QA wstępnie wypełnia te oceny, aby recenzent mógł je poprawić i zatwierdzić.
Jak połączyć metody kontroli jakości w jednym planie?
Metody kontroli jakości łączy się, przypisując każdej zadanie: pełne pokrycie lub próbkowanie losowe jako punkt odniesienia, przegląd oparty na ryzyku dla kosztownych błędów, przegląd celowany dla pytania danego miesiąca i kalibrację dla spójności recenzentów. Potem plan dopasowuje się do rzeczywistych godzin recenzentów.
Oto przykład dla zespołu 300 konsultantów, który obsługuje 150 000 rozmów miesięcznie, z sześcioma analitykami jakości. Liczby są poglądowe.
Krok 1: Obliczenie możliwości recenzentów
Sześciu analityków po 120 godzin na oceny miesięcznie, przy około 10 minutach na ocenę, może wykonać 4 320 ocen miesięcznie. To 2,9% wszystkich rozmów, czyli około 14 na konsultanta miesięcznie, gdyby nie robili nic innego.
Krok 2: Ustalenie, co stanowi punkt odniesienia
Przy samym próbkowaniu te 4 320 ocen stanowi punkt odniesienia i na pracę związaną z ryzykiem lub przeglądy celowane prawie nic nie zostaje. Przy pełnym pokryciu wszystkie 150 000 rozmów jest ocenianych automatycznie, a 4 320 ocen ludzkich trafia tam, gdzie liczy się ludzki osąd.
Krok 3: Podział ocen ludzkich
| Zadanie | Metoda | Oceny ludzkie miesięcznie | Dlaczego tyle |
|---|---|---|---|
| Flagi wysokiego ryzyka: zwroty, skargi, błędy krytyczne | Oparta na ryzyku | 1 500 | Każda oznaczona rozmowa w najbardziej ryzykownych kolejkach |
| Nowi pracownicy i temat miesiąca | Celowana | 1 200 | Około 40 na nowego pracownika plus temat miesiąca |
| Losowa kontrola ocen automatycznych | Próbkowanie losowe | 600 | Wystarczająco do comiesięcznej kontroli dokładności na poziomie zespołu |
| Odwołania konsultantów | Rozpatrywanie odwołań | 300 | Na podstawie oczekiwanego odsetka odwołań |
| Kalibracja: 20 rozmów ocenianych przez każdego z 6 analityków | Oparta na kalibracji | 120 | Comiesięczna sesja plus nowe przypadki graniczne |
| Rezerwa na przygotowanie coachingu | 600 | Bufor na szczyty i pogłębione analizy | |
| Razem | 4 320 |
O losowej kontroli zespoły zapominają najczęściej. Utrzymuje ona rzetelność automatycznego oceniania, tak jak próbka losowa utrzymuje rzetelność przeglądów celowanych. Nasz przewodnik o częstotliwości monitoringu jakości (po angielsku) opisuje, jak często powinien odbywać się każdy rodzaj oceny.
Co zawiera plan kontroli jakości?
Plan kontroli jakości to jednostronicowy dokument, który wskazuje kartę oceny, połączenie metod, liczbę ocen, rytm kalibracji, proces odwołań i sposób, w jaki wnioski zamieniają się w coaching i poprawki. Wystarczy skopiować szablon poniżej i uzupełnić każdy wiersz.
| Sekcja | Co wpisać | Przykład |
|---|---|---|
| Zakres | Objęte kanały, kolejki i zespoły | Czat i e-mail, wszystkie kolejki, zespół własny i outsourcing |
| Karta oceny | Nazwa, wersja, właściciel | Karta oceny obsługi v3, właściciel: lider kontroli jakości |
| Metoda bazowa | Jak mierzy się ogólną jakość | Wszystkie rozmowy oceniane automatycznie; 600 losowych kontroli ludzkich miesięcznie |
| Reguły ryzyka | Co jest oznaczane do oceny przez człowieka | Zwroty powyżej 200 USD, skargi, kryteria błędu krytycznego |
| Cel przeglądu celowanego | Pytanie danego miesiąca | Nowa zasada rezygnacji; nowi pracownicy w tygodniach od 1 do 6 |
| Kalibracja | Kto, jak często, ile rozmów | Wszyscy analitycy, co miesiąc, 20 rozmów |
| Odwołania | Jak konsultanci kwestionują ocenę, czas odpowiedzi | W narzędziu, odpowiedź w ciągu pięciu dni roboczych |
| Raportowanie | Co trafia do kogo | Wyniki konsultantów do liderów zespołów co tydzień; trendy do kierownika obsługi klienta co miesiąc |
| Działania | Jak wnioski zamieniają się w coaching lub poprawki | Luki w umiejętnościach do coachingu; luki w procesie do właściciela makra lub zasady |
| Data przeglądu | Kiedy przegląda się sam plan | Co kwartał albo po zmianie zasad |
Jeśli w tym samym planie oddzielają Państwo zapewnienie jakości od kontroli jakości, nasz artykuł zapewnienie jakości a kontrola jakości pokazuje, gdzie jest miejsce każdego z nich.
Jak wybrać połączenie metod kontroli jakości
Połączenie metod wybiera się według wolumenu i ryzyka: małe zespoły mogą stosować próbkowanie losowe z kalibracją, kolejki ryzykowne dodają przegląd oparty na ryzyku, a duże zespoły przenoszą punkt odniesienia na pełne pokrycie.
Gdy wolumen przerasta możliwości recenzentów, ludzie zajmują się ryzykiem, przeglądami celowanymi i odwołaniami, a nie punktem odniesienia.
Warto stosować tę regułę decyzyjną:
- Poniżej około 20 konsultantów, niskie ryzyko: próbkowanie losowe stałej liczby rozmów na konsultanta, comiesięczna kalibracja, przegląd celowany, gdy coś się zmienia.
- Dowolna wielkość, kontakty regulowane lub o wysokiej wartości: dodać przegląd oparty na ryzyku każdej oznaczonej rozmowy w tych kolejkach.
- Oceny wpływają na wynagrodzenie lub ocenę pracy: dodać podwójną ocenę rozmów, które się liczą, oraz proces odwołań.
- Możliwości recenzentów poniżej około 5% wolumenu: przenieść punkt odniesienia na pełne pokrycie, zweryfikować ocenianie i zachować jego losową kontrolę.
Proszę zobaczyć plan kontroli jakości oparty na pełnym pokryciu. Kaizo ocenia każdą rozmowę według Państwa karty oceny i kieruje recenzentów do tych, które wymagają człowieka. Proszę umówić demo, aby zobaczyć to na realistycznych danych przykładowych.
Najczęściej zadawane pytania
Jaka metoda kontroli jakości jest najczęściej stosowana w obsłudze klienta?
Najczęściej nadal stosuje się próbkowanie losowe, zwykle stałą liczbę rozmów na konsultanta tygodniowo lub miesięcznie, często połączone z przeglądem celowanym skarg lub rozmów z niskim CSAT. Zespoły z dużym wolumenem coraz częściej oceniają automatycznie każdą rozmowę, a ocenę ludzką zostawiają dla ryzyka, odwołań i kalibracji.
Czym różni się metoda kontroli jakości od procesu kontroli jakości?
Metoda to zasada wyboru rozmów: losowo, celowo, według ryzyka, przez kalibrację albo w pełnym pokryciu. Proces to wszystko wokół niej: ocena według karty oceny, przekazywanie informacji zwrotnej, obsługa odwołań, coaching i usuwanie przyczyn. Metodę można zmienić bez przebudowy całego procesu i właśnie tak większość zespołów przechodzi od próbkowania do pełnego pokrycia.
Ile rozmów na konsultanta powinna oceniać kontrola jakości?
Zależy to od celu ocen. Kilka rozmów miesięcznie daje przybliżoną średnią zespołu, ale nie pokazuje wiarygodnie jakości pracy jednego konsultanta. Dwadzieścia lub więcej na konsultanta znacznie zawęża przedział. Gdy oceny wpływają na ocenę pracy, warto oceniać automatycznie znacznie więcej rozmów albo wszystkie.
Czy przy pełnym pokryciu nadal potrzebne jest próbkowanie losowe?
Tak, w mniejszej roli. Przy pełnym pokryciu losowy zestaw automatycznie ocenionych rozmów, sprawdzany co miesiąc przez ludzi, potwierdza, że ocenianie nadal odpowiada Państwa standardowi. Wychwytuje to odchylenia po zmianie karty oceny lub zasad, których nie pokazałyby reguły ryzyka ani odwołania.
Czym jest kontrola jakości oparta na ryzyku?
Kontrola jakości oparta na ryzyku w pierwszej kolejności ocenia rozmowy, w których błąd kosztuje najwięcej, takie jak zwroty, rezygnacje, skargi, tematy regulacyjne czy klienci szczególnie wrażliwi. Reguły lub automatyczne oceny oznaczają je dla człowieka. To warstwa priorytetów, a nie pełna metoda, bo wychwytuje tylko te ryzyka, które ktoś przewidział i oznaczył.
