Kryteria oceny jakości rozmów (w języku angielskim „QA rubric”) to zestaw kryteriów, według których zespół obsługi klienta ocenia rozmowę z klientem, wraz z opisem każdego poziomu oceny i informacją, ile waży każde kryterium. Zamieniają „dobrą obsługę” w konkretne pozycje, które dwóch recenzentów oceni tak samo, i stanowią logikę stojącą za każdym wynikiem QA.
W skrócie
- Kryteria oceny QA mają pięć elementów: kryteria, skalę ocen, opisy poziomów, wagi i krótką listę elementów krytycznych.
- To opisy poziomów odróżniają kryteria oceny od zwykłej checklisty, bo mówią recenzentowi, co naprawdę oznacza „spełnione częściowo”.
- Wynik QA to zdobyte punkty podzielone przez możliwe punkty, a sposób traktowania pozycji „nie dotyczy” może go przesunąć o dziesięć punktów.
- Większości zespołów obsługi klienta wystarcza od 5 do 8 kryteriów, które da się sprawdzić na podstawie samego zapisu rozmowy.
Z czego składają się kryteria oceny jakości
Kryteria oceny jakości składają się z pięciu elementów: ocenianych kryteriów, skali ocen dla każdego z nich, pisemnego opisu każdego poziomu na tej skali, wagi określającej, ile liczy się dane kryterium, oraz kilku elementów krytycznych, które od razu oznaczają niezaliczenie rozmowy. Wystarczy usunąć jeden z nich, a recenzenci zaczynają wypełniać lukę własnym osądem.
Samo pojęcie pochodzi z edukacji. Centrum dydaktyczne Carnegie Mellon definiuje rubrykę oceny jako „narzędzie oceniania, które wprost przedstawia oczekiwania dotyczące wykonania zadania” (tłum. własne) i zauważa, że rubryki pomagają zachować spójność ocen na kursach, na których ocenia kilka osób. Zespół obsługi klienta z dziesięcioma recenzentami ma dokładnie ten sam problem.
| Element | Na jakie pytanie odpowiada | Przykład |
|---|---|---|
| Kryterium | Co oceniamy? | „Odpowiedź była poprawna i kompletna” |
| Skala ocen | Ile jest możliwych wyników? | Spełnione, spełnione częściowo, niespełnione, nie dotyczy |
| Opisy poziomów | Jak wygląda każdy wynik? | „Spełnione częściowo: poprawnie, ale brakuje jednej potrzebnej informacji” |
| Waga | Ile to waży? | 30 ze 100 punktów |
| Element krytyczny | Co oznacza niezaliczenie całej rozmowy? | Udostępnienie danych konta przed weryfikacją tożsamości |
Elementy krytyczne zwykle nazywa się błędem krytycznym: jeden taki błąd zeruje wynik bez względu na to, co działo się w pozostałej części rozmowy. W oprogramowaniu kryteria oceny to zestaw kryteriów i opisów, które oprogramowanie do kart oceny stosuje do każdej rozmowy.
Kryteria oceny QA, karta oceny i checklista
Kryteria oceny QA, karta oceny QA i checklista QA opisują to samo działanie na różnym poziomie szczegółowości. Kryteria oceny to logika oceniania, karta oceny to formularz, który wypełnia recenzent, a checklista to lista pozycji typu tak lub nie, bez opisów poziomów i zwykle bez wag. Wiele zespołów używa tych pojęć zamiennie.
| Checklista QA | Karta oceny QA | Kryteria oceny QA | |
|---|---|---|---|
| Główne pytanie | Czy to się wydarzyło? | Jaki wynik uzyskała rozmowa? | Co oznacza każdy wynik? |
| Ocena | Tak lub nie | Tak lub nie albo skala | Skala z opisem każdego poziomu |
| Wagi | Rzadko | Zwykle | Zwykle |
| Najlepsze do | Kroków procesu i zgodności | Codziennych ocen | Zgodności między recenzentami, odwołań, automatyzacji |
W praktyce Państwa karta oceny rozmów to kryteria oceny plus formularz wokół nich: link do rozmowy, recenzent, komentarze i wynik końcowy. Jeśli karta oceny ma kryteria i wagi, ale nie ma pisemnego opisu każdego poziomu, to jest to karta oceny, której wciąż brakuje kryteriów oceny z prawdziwego zdarzenia.
Przykładowe kryteria oceny jakości rozmów na czacie i w e-mailu
Poniżej pełne kryteria oceny jakości rozmów dla obsługi pisemnej na czacie i w e-mailu: sześć ważonych kryteriów o łącznej wartości 100 punktów, trzystopniowa skala z opisem każdego poziomu i dwa elementy krytyczne. To przykład do dostosowania, a nie standard. Proszę dopasować kryteria do swoich produktów, zasad i powodów kontaktu.
| Kryterium | Waga | Spełnione (pełna liczba punktów) | Spełnione częściowo (połowa) | Niespełnione (0) |
|---|---|---|---|---|
| Zrozumiał rzeczywisty problem | 15 | Powtarza własnymi słowami lub rozwiązuje rzeczywisty problem, zadaje pytanie doprecyzowujące, gdy prośba jest niejasna | Odpowiada na pytanie dosłownie, ale pomija faktyczną potrzebę | Odpowiada na inne pytanie niż zadane |
| Poprawna i kompletna odpowiedź | 30 | Informacje są trafne i obejmują wszystko, czego klient potrzebuje, by działać dalej | Trafna, ale brakuje jednej potrzebnej informacji | Błędne, nieaktualne lub wprowadzające w błąd informacje |
| Wymagany proces zachowany | 20 | Wykonano każdy wymagany krok dla tego powodu kontaktu (zasady zwrotów, ścieżka eskalacji, tagowanie) | Pominięto drobny krok bez wpływu na klienta | Pominięto wymagany krok i klient to odczuł |
| Jasny kolejny krok i termin | 15 | Mówi, co wydarzy się dalej, kto się tym zajmie i do kiedy | Kolejny krok podany, brak terminu | Klient musi zgadywać, co będzie dalej |
| Ton dopasowany do sytuacji | 10 | Dostrzega frustrację, jeśli występuje, prosty język, bez obwiniania | Uprzejmy, ale ogólnikowy lub szablonowy tam, gdzie nie powinien | Lekceważący, obwiniający lub niezrozumiały |
| Notatki wystarczające dla kolejnej osoby | 10 | Notatka wewnętrzna lub pola zgłoszenia pozwalają współpracownikowi kontynuować bez czytania całego wątku | Notatki są, ale brakuje kluczowej informacji | Brak notatek w rozmowie, która wymaga przekazania |
Elementy krytyczne (wynik zerowany): udostępnienie danych konta lub danych osobowych przed weryfikacją tożsamości; obietnica zwrotu lub uznania niezgodna z zasadami.
Dwie rzeczy sprawiają, że to są kryteria oceny, a nie zwykła lista. Każdy poziom ma opis, który recenzent może wskazać w zapisie rozmowy, a pozycję „notatki” można oznaczyć jako nie dotyczy, gdy przekazanie nie jest potrzebne. Gotowe wersje dla poszczególnych kanałów znajdą Państwo w naszych szablonach kart oceny QA (po angielsku).
Jak obliczyć wynik QA na podstawie kryteriów oceny
Wynik QA to punkty, które rozmowa zdobyła, podzielone przez punkty, które mogła zdobyć, wyrażone w procentach. W większości konfiguracji kryteria oznaczone jako nie dotyczy wypadają z obu liczb, a element krytyczny zeruje wynik. Średnia tych wyników z wielu rozmów daje wynik jakości konsultanta lub zespołu.
Weźmy jeden e-mail oceniony według powyższych kryteriów:
| Kryterium | Waga | Ocena | Punkty |
|---|---|---|---|
| Zrozumiał rzeczywisty problem | 15 | Spełnione | 15 |
| Poprawna i kompletna odpowiedź | 30 | Spełnione częściowo | 15 |
| Wymagany proces zachowany | 20 | Spełnione | 20 |
| Jasny kolejny krok i termin | 15 | Niespełnione | 0 |
| Ton dopasowany do sytuacji | 10 | Spełnione | 10 |
| Notatki dla kolejnej osoby | 10 | Nie dotyczy | pominięte |
Rozmowa zdobyła 60 punktów na 90 możliwych, więc wynik wynosi 67%. Proszę zwrócić uwagę, co robi zasada „nie dotyczy”. Gdyby zespół liczył tę pozycję jako niezaliczoną, wynik wyniósłby 60 na 100, czyli 60%. Gdyby liczył ją jako zaliczoną, 70 na 100, czyli 70%. Ta sama rozmowa, dziesięć punktów różnicy, wyłącznie przez zasadę, której nikt nie spisał.
Dlatego zasada N/D powinna być zapisana w samych kryteriach oceny. Wagi są równie ważne: potknięcie w tonie kosztuje tu 5 punktów, a błędna odpowiedź nawet 30. Nasz poradnik o wagach kryteriów oceny pokazuje, jak ustalić te liczby na podstawie danych, a artykuł o internal quality score wyjaśnia, jak wyniki pojedynczych rozmów składają się na jeden wynik zespołu.
Analityczne czy holistyczne: wybór formatu kryteriów oceny
Istnieją dwa formaty kryteriów oceny. Format analityczny ocenia każde kryterium osobno, a następnie je łączy, i tak działają niemal wszystkie kryteria oceny QA w obsłudze klienta. Format holistyczny daje jedną ogólną ocenę na podstawie jednego opisu jakości. Format analityczny wymaga więcej pracy przy budowie, ale mówi konsultantowi dokładnie, którą część rozmowy poprawić.
Biuro ds. ewaluacji University of Oklahoma tak podsumowuje ten wybór: w rubryce analitycznej każde „kryterium można zważyć, aby odzwierciedlić względne znaczenie każdego wymiaru”, natomiast w rubryce holistycznej „kryteriów nie można zważyć” (tłum. własne). Ta sama strona zauważa, że opracowanie i stosowanie rubryk analitycznych zajmuje więcej czasu.
Dla zespołów obsługi klienta wybór jest zwykle prosty:
- Format analityczny do kontroli jakości pracy konsultantów, coachingu i wszystkiego, co wiąże się z celem lub premią. Konsultanci muszą wiedzieć, które kryterium kosztowało ich punkty.
- Format holistyczny do szybkich przeglądów, na przykład gdy menedżer ocenia partię rozmów jako „dobra, do poprawy, słaba”, aby wychwycić problem, zanim powstaną pełne kryteria oceny.
Które kryteria kontroli jakości powinny się znaleźć w ocenie
Kryterium warto włączyć do oceny QA, gdy przechodzi cztery testy: recenzent widzi je w rozmowie, sprawdza ono jedną rzecz, konsultant ma na nie wpływ i dotyczy ocenianego typu kontaktu. Kryteria, które nie przechodzą tych testów, dają wyniki najczęściej kwestionowane przez konsultantów, bo dwóch rzetelnych recenzentów może dojść do różnych werdyktów.
- Obserwowalne. „Okazał empatię” to odczucie. „Dostrzegł frustrację klienta, zanim odpowiedział” to coś, co można zacytować.
- Jedno sprawdzenie na kryterium. „Przywitał klienta i zweryfikował jego tożsamość” to dwa kryteria. Proszę rozdzielać wszystko, co łączy spójnik „i”.
- Zależne od konsultanta. Wolne narzędzie lub zasada, której konsultant nie może zmienić, nie powinny kosztować go punktów. Lepiej śledzić to jako problem procesowy.
- Dopasowane do powodu kontaktu. Budowanie relacji ma duży sens przy reklamacji, a niewielki przy resetowaniu hasła. W jednym wątku na Reddicie o wynikach QA konsultant firmy sprzedającej energię skarżył się, że jest oceniany za „prowadzenie klienta przez całą ścieżkę”, gdy klient chciał tylko dokonać płatności.
Jeśli chodzi o liczbę, większość praktyków poprzestaje na krótkiej liście. Jeden z komentujących w wątku na Reddicie o przebudowie QA w arkuszu kalkulacyjnym radził ograniczyć kryteria oceny do „od 5 do 7 kryteriów, z których większość da się sprawdzić w treści zgłoszenia”. Jeśli planują Państwo automatyzację oceny, poprzeczka jest jeszcze wyżej; nasz poradnik o tym, jak pisać kryteria, które AI potrafi ocenić (po angielsku), przepisuje typowe ogólnikowe kryteria na sprawdzalne.
Jak w sześciu krokach zbudować kryteria oceny QA
Zbudowanie kryteriów oceny QA wymaga sześciu kroków: wyboru rezultatów, które mają chronić, spisania zachowań, które do nich prowadzą, zapisania każdego jako obserwowalnego kryterium, opisania każdego poziomu oceny, ustalenia wag i elementów krytycznych, a na koniec przetestowania ich na prawdziwych rozmowach z kilkoma recenzentami, zanim konsultanci zobaczą choćby jeden wynik.
- Zacząć od rezultatów. Warto spisać trzy lub cztery rzeczy, które dobra rozmowa musi osiągnąć dla Państwa firmy: poprawną odpowiedź, rozwiązany problem, proces zgodny z zasadami, klienta, który wie, co będzie dalej.
- Spisać zachowania, które do nich prowadzą. Warto przeczytać od 20 do 30 niedawnych rozmów, dobrych i złych, i zanotować, które działania konsultantów przesądziły o wyniku.
- Napisać kryteria. Każde zachowanie należy zamienić w jedno obserwowalne stwierdzenie, korzystając z czterech testów opisanych wyżej.
- Opisać każdy poziom. Dla każdego kryterium trzeba opisać, jak wygląda „spełnione”, „spełnione częściowo” i „niespełnione”, z krótkim przykładem z prawdziwego zapisu rozmowy.
- Ustalić wagi i elementy krytyczne. Najwięcej punktów powinno dostać to, co najbardziej szkodzi klientom. Elementy krytyczne warto ograniczyć do dwóch lub trzech błędów, które naprawdę nie podlegają negocjacji.
- Przetestować przed wdrożeniem. Warto poprosić trzech lub czterech recenzentów o niezależną ocenę tych samych dziesięciu rozmów i porównać wyniki. Tam, gdzie się nie zgadzają, niejasny jest opis, a nie recenzent.
Krok 6 to ten, który zespoły pomijają. W wątku na Reddicie o narzędziach do kart oceny QA jeden z komentujących opisał dwóch recenzentów, którzy ocenili to samo zgłoszenie na 60 i 85, bo „okazał empatię” znaczyło dla każdego z nich coś innego, i dodał, że konsultanci „przestali ufać tej liczbie”. Regularna kalibracja oceny jakości utrzymuje tę lukę zamkniętą po wdrożeniu. Inny komentujący, odpowiadając na to samo pytanie opublikowane w drugim subreddicie, zwrócił uwagę na kolejną praktyczną kwestię: zgłoszenia rozliczeniowe, eskalacje błędów i prośby o zwrot mogą wymagać osobnych kryteriów oceny, bo „nie mają wspólnych kryteriów”.
Jedne kryteria oceny dla każdej rozmowy
Kryteria oceny przynoszą korzyść dopiero wtedy, gdy stosuje się je tak samo do każdej rozmowy, i właśnie tu kończą się możliwości ręcznej oceny. Recenzent czytający małą próbkę nie jest w stanie oceniać spójnie przy dużej skali, a każdy recenzent z czasem trochę odchodzi od standardu. Automatyczna ocena stosuje jeden spisany standard do wszystkich rozmów, bez zmęczenia i pośpiechu.
Kaizo korzysta z Państwa obecnych kryteriów zamiast narzucać szablon i ocenia według nich 100% rozmów z klientami, niezależnie od tego, czy odpowiadał człowiek, czy agent AI, z dowodami powiązanymi z każdym wynikiem. Gdy zmienią Państwo opis kryterium, zmiana obowiązuje we wszystkich przyszłych ocenach, więc nikt nie musi ponownie instruować zespołu recenzentów. W UiPath Kaizo zautomatyzowało 100% kontroli jakości z ROI na poziomie 200%. W EverHelp czas przygotowania do coachingu spadł o 75%.
Proszę sprawdzić to na własnych rozmowach. Kaizo ocenia 100% Państwa rozmów z klientami według Państwa własnych kryteriów oceny i zamienia wnioski w coaching. Zapraszamy do umówienia demo lub sprawdzenia, jak działa oprogramowanie do kart oceny.
Kiedy formalne kryteria oceny nie są Państwu potrzebne
Pełne, ważone kryteria oceny z opisami poziomów nie opłacają się w każdym zespole. Jeśli jedna lub dwie osoby obsługują kilkadziesiąt zgłoszeń tygodniowo, menedżer, który czyta rozmowy i daje bezpośrednią informację zwrotną, osiąga to samo mniejszym nakładem pracy. Krótka checklista tak lub nie wystarczy, dopóki nie zaczną się pojawiać rozbieżności co do jakości.
Kryteria oceny nie rozwiążą też problemu procesowego. Jeśli konsultanci masowo nie spełniają tego samego kryterium, przyczyną jest zwykle zasada, narzędzie lub szkolenie, a surowsza ocena sprawi tylko, że wyniki będą wyglądać gorzej. Kryteria oceny warto zbudować, gdy mają Państwo kilku recenzentów, konsultanci pytają, dlaczego stracili punkty, albo planują Państwo automatyczną ocenę rozmów.
Najczęściej zadawane pytania
Co oznacza QA rubric?
QA rubric to przewodnik oceniania, którego zespół kontroli jakości używa do oceny rozmów z klientami, czyli kryteria oceny QA. Zawiera kryteria, skalę ocen, opis każdego poziomu i informację, ile waży każde kryterium. „Kryteria oceny jakości” i „karta oceny jakości” to popularne nazwy tego samego.
Czym jest wynik QA?
Wynik QA to rezultat zastosowania kryteriów oceny do jednej rozmowy: zdobyte punkty podzielone przez możliwe punkty, w procentach. Kryteria oznaczone jako nie dotyczy zwykle wypadają z obu liczb, a element krytyczny zeruje wynik. Wyniki jakości zespołu i konsultanta to średnie tych wyników z poszczególnych rozmów.
Ile kryteriów powinna mieć ocena QA?
Większości zespołów obsługi klienta wystarcza od 5 do 8 kryteriów, z których każde da się sprawdzić w zapisie rozmowy. Mniejsza liczba rzadko obejmuje jednocześnie poprawność, proces i komunikację, a znacznie dłuższe listy wolno się ocenia i trudno stosuje spójnie. Zespoły o bardzo różnych typach kontaktów często mają krótkie kryteria dla każdego typu zamiast jednej długiej listy.
Czy kryteria oceny QA powinny mieć skalę tak lub nie, czy skalę od 1 do 5?
Skala tak lub nie sprawdza się przy krokach, które albo się wydarzyły, albo nie, takich jak weryfikacja tożsamości czy wymagana informacja prawna. Skala trzystopniowa (spełnione, spełnione częściowo, niespełnione) pasuje do zachowań, które mają rzeczywiste stopnie, takich jak kompletność odpowiedzi. Skale pięciopunktowe mają sens tylko wtedy, gdy każdy punkt ma własny pisemny opis.
Jak często aktualizować kryteria oceny QA?
Kryteria oceny warto przeglądać, gdy zmieniają się produkty, zasady lub powody kontaktu, i co najmniej kilka razy w roku. Najlepiej zmieniać jedno kryterium naraz i zapisywać datę, bo każda zmiana przesuwa wyniki i utrudnia porównanie trendów sprzed niej i po niej.
Czy kryteria oceny QA można stosować do agentów AI?
Tak. Te same kryteria oceny mogą służyć do oceny rozmów prowadzonych przez agenta AI i przez ludzi, dzięki czemu jakość pozostaje porównywalna. Kryteria muszą być obserwowalne w zapisie rozmowy, co i tak jest dobrą praktyką przy ocenie wykonywanej przez ludzi.
Powiązane pojęcia
- Karta oceny rozmów
- Czym jest błąd krytyczny
- Kalibracja oceny jakości
- Szablony kart oceny QA (po angielsku)
- Auto QA (po angielsku)
