Kalibracja oceny jakości polega na tym, że kilku recenzentów ocenia tę samą rozmowę i porównuje wyniki, tak aby wszyscy stosowali kartę oceny w ten sam sposób. Bez niej dwie osoby oceniają to samo zgłoszenie inaczej, a wyniki stają się niesprawiedliwe. Kalibracja zamienia te rozbieżności w jaśniejsze kryteria, dzięki czemu wynik odzwierciedla rozmowę, a nie recenzenta, który ją otworzył.
W skrócie
- Kalibracja QA oznacza, że kilku recenzentów niezależnie ocenia tę samą rozmowę, a następnie porównuje wyniki i uzgadnia prawidłową ocenę.
- Kalibracja ujawnia niejasne kryteria, które recenzenci rozumieją różnie, a to sygnał, że trzeba je przepisać.
- Sesja kalibracyjna ma cztery kroki: wybór wspólnej próbki, ocena w ciemno, porównanie i dyskusja, a na końcu aktualizacja karty oceny.
- Regularne sesje zabierają recenzentom czas, który mógłby pójść na coaching, więc częstotliwość jest kompromisem.
- Automatyczna ocena stosuje jeden standard do każdej rozmowy, więc kalibracji potrzeba mniej, ale ludzie nadal kalibrują się co do tego, jak wygląda dobra obsługa.
Na czym polega kalibracja oceny jakości w zespole obsługi klienta
W zespole obsługi klienta kalibracja oceny jakości to rutynowe sprawdzenie, czy każdy recenzent ocenia rozmowę tak samo, według tej samej karty oceny. Recenzenci samodzielnie oceniają wspólną próbkę, porównują wyniki i zapisują, jak rozstrzygnięto każdą rozbieżność, tak aby konsultant otrzymał ten sam wynik i tę samą informację zwrotną bez względu na to, kto go ocenia.
Pojęcie pochodzi z metrologii: przyrząd jest skalibrowany, gdy wskazuje tę samą wartość co znany wzorzec. W kontroli jakości przyrządami są Państwa recenzenci, a wzorcem jest uzgodnione rozumienie każdego kryterium w karcie oceny. Oprogramowanie do kalibracji QA od Kaizo opiera się na tej samej zasadzie: ta sama rozmowa, ten sam wynik.
Dlaczego kalibracja QA jest ważna
Kalibracja QA jest ważna, ponieważ wyniki oceny jakości mają sens tylko wtedy, gdy są spójne. Gdy jeden recenzent uznaje rozmowę za zgodną z procedurą, a drugi tę samą rozmowę za błąd, konsultanci tracą zaufanie do programu. Coaching zamienia się wtedy w spór o wynik, a nie o zachowanie, a danych nie da się już wykorzystać.
Kalibracja chroni to zaufanie. Sprawdzając, czy recenzenci zgadzają się co do tych samych rozmów, dba o to, by karta oceny była sprawiedliwa i dawała się obronić. Ujawnia też kryteria zbyt subiektywne, by oceniać je wiarygodnie, a to sygnał, że trzeba je przepisać na coś obserwowalnego. Z czasem kalibracja spełnia trzy praktyczne zadania:
- Sprawia, że dryf recenzentów staje się widoczny, zamiast pozostawać niezauważony.
- Przenosi rozstrzygnięcia przypadków granicznych do spisanych kryteriów, aby nie zostawały tylko w czyjejś pamięci.
- Wprowadza nowych recenzentów w uzgodniony standard.
Jak przebiega sesja kalibracyjna
Sesja kalibracyjna przebiega w czterech powtarzalnych krokach: wybór wspólnej próbki rozmów, niezależna ocena tej próbki przez każdego recenzenta według karty oceny, porównanie wyników obok siebie i omówienie różnic, a następnie zmiana brzmienia każdego kryterium, które wywołało rozbieżność. To zmiana kryteriów jest prawdziwym efektem sesji.
Typowy cykl kalibracji obejmuje następujące kroki:
1. Wybór wspólnej próbki
Należy wybrać jedną lub kilka rozmów, które każdy recenzent oceni niezależnie, nie widząc wyników pozostałych.
2. Ocena według karty oceny
Każdy recenzent ocenia rozmowę według tej samej karty oceny, której zespół używa na co dzień.
3. Porównanie i dyskusja
Zespół zestawia wyniki obok siebie, omawia, w czym się rozeszły, i uzgadnia właściwą interpretację.
4. Aktualizacja karty oceny
Kryterium, które wywołało rozbieżność, zostaje doprecyzowane lub przeformułowane, aby następnym razem oceniano je tak samo.
O częstotliwości, uczestnikach, doborze próbki i mierzeniu zgodności recenzentów piszemy w poradniku o tym, jak prowadzić sesje kalibracji QA (po angielsku).
Przykład kalibracji oceny jakości krok po kroku
Oto poglądowy przykład kalibracji oceny jakości. Czterech recenzentów ocenia tę samą rozmowę na czacie według wiersza karty oceny „Konsultant okazał empatię”, w skali od 1 do 4. Wystawiają 2, 4, 3 i 4. Sam rozrzut jest wnioskiem: przed następną sesją poprawić trzeba kryterium, a nie recenzentów.
W dyskusji okazuje się, że dwóch recenzentów przyznało punkty za formułę przeprosin, a dwóch pozostałych sprawdzało, czy konsultant odniósł się do konkretnego problemu klienta. Żadne z tych odczytań nie jest błędne, ale karta oceny nigdy nie mówiła, które się liczy. Zespół przepisuje wiersz na coś obserwowalnego:
| Przed | Po |
|---|---|
| Konsultant okazał empatię (od 1 do 4) | Konsultant własnymi słowami odniósł się do konkretnego problemu klienta, zanim przeszedł do rozwiązania (tak lub nie) |
Przepisane kryterium można sprawdzić w transkrypcji, więc następna sesja powinna pokazać przy nim mniejszy rozrzut. To właśnie zostawia po sobie użyteczna sesja kalibracyjna: zmienione kryteria oceny, a nie tylko spotkanie.
Jak automatyzacja zmniejsza potrzebę kalibracji
Automatyzacja zmniejsza potrzebę kalibracji QA, ponieważ niespójność, którą kalibracja usuwa, jest ludzka: recenzenci nie zgadzają się ze sobą nawzajem, a z czasem także sami ze sobą. Gdy rozmowy są oceniane automatycznie, jeden model stosuje ten sam standard do każdej rozmowy, więc dryf między recenzentami w dużej mierze znika, a kalibracja przesuwa się na definiowanie samego standardu.
Kaizo automatycznie ocenia 100% rozmów według Państwa karty oceny, a każdy wynik jest powiązany z dowodem w transkrypcji, dzięki czemu wyniki pozostają spójne bez cyklicznych sesji kalibracyjnych. AutoPilot, czyli automatyczna ocena w Kaizo, za każdym razem interpretuje kryteria identycznie, więc nie wymaga kalibracji; kalibracja dotyczy ludzkich recenzentów, którzy pracują obok niego. W UiPath Kaizo zautomatyzowało 100% QA przy ROI na poziomie 200%, a wynik rozmowy nie zależy już od tego, który recenzent ją otworzył. W GAMING1 zespół używał Kaizo, aby spójnie oceniać rozmowy i śledzić wskaźnik oceny jakości jako osobną metrykę; wskaźnik ten wzrósł z 78% do 82% między 2021 a 2022 rokiem.
Proszę zobaczyć to na własnych rozmowach. Kaizo ocenia 100% Państwa rozmów z klientami i zamienia wnioski w coaching. Umów demo.
Kalibracja nadal ma swoje miejsce przy definiowaniu, jak wygląda dobra obsługa, ale przestaje być stałym obciążeniem czasu recenzentów. Zanim zaczną Państwo polegać na automatycznych wynikach, warto porównać je z ocenami skalibrowanych recenzentów na tej samej próbce, jak opisujemy w poradnikach o shadow scoringu i o budowaniu golden setu (po angielsku).
Kiedy sesje kalibracyjne się nie opłacają
Sesje kalibracyjne się nie opłacają, gdy rozmowy ocenia tylko jedna osoba, bo nie ma z kim się nie zgadzać, albo gdy nie mają Państwo jeszcze spisanej karty oceny. W takich przypadkach najpierw należy napisać i przetestować kartę oceny. Kalibracja pozwala ludziom stosować wspólny standard; nie stworzy go z niczego.
To samo dotyczy automatycznej oceny. Jeśli Państwa zespół obsługuje tylko kilka rozmów tygodniowo, a jeden lider czyta je wszystkie, wystarczą arkusz kalkulacyjny i jasna karta oceny, a narzędzie do automatycznej kontroli jakości, takie jak Kaizo, to prawdopodobnie więcej, niż Państwo potrzebują.
Najczęściej zadawane pytania
Czym różni się kalibracja QA od oceny QA?
Ocena QA to ocenianie pojedynczej rozmowy według karty oceny. Kalibracja QA to kontrola wyższego poziomu, która sprawdza, czy różni recenzenci wystawiają ten sam wynik tej samej rozmowie, tak aby samej ocenie można było ufać.
Jak często przeprowadzać kalibrację QA?
Większość zespołów z ręczną kontrolą jakości prowadzi sesje kalibracyjne co tydzień lub co miesiąc, a także zawsze wtedy, gdy zmienia się karta oceny lub dołącza nowy recenzent. Częstotliwość jest kompromisem: więcej sesji to większa spójność, ale mniej czasu na coaching.
Czy automatyczna kontrola jakości nadal wymaga kalibracji?
W znacznie mniejszym stopniu. Automatyczna ocena stosuje jeden spójny standard do każdej rozmowy, więc dryf między recenzentami znika. Kalibracja pozostaje przydatna do uzgodnienia, jak wygląda dobra obsługa, gdy po raz pierwszy projektuje się lub zmienia kartę oceny.
Co powoduje niską zgodność w kalibracji?
Zwykle niejasne lub subiektywne kryteria w karcie oceny. Jeśli zasady nie da się powiązać z czymś obserwowalnym w transkrypcji, recenzenci będą ją interpretować różnie, a to sygnał, by przepisać kryterium na jasne i oparte na dowodach.
Kto powinien brać udział w kalibracji QA?
Udział powinni brać wszyscy, którzy oceniają rozmowy, w tym liderzy zespołów oceniający własnych konsultantów. Najwięcej zyskują nowi recenzenci, bo kalibracja wprowadza ich w standard, który reszta zespołu już uzgodniła.
Co powinno być efektem sesji kalibracyjnej?
Efektem sesji kalibracyjnej powinna być spisana zmiana: przeformułowane kryterium, doprecyzowany przypadek graniczny albo przykład dodany do karty oceny. Jeśli w karcie oceny nic się nie zmieni, ta sama rozbieżność wróci na następnej sesji.
Powiązane pojęcia
- Analityk QA (po angielsku)
- Monitoring jakości (po angielsku)
- Kryteria oceny
- Karta oceny
- Auto QA (po angielsku)
