Ocena jakości a CSAT: gdy te dwie liczby dają sprzeczne sygnały, żadna z nich nie ma racji, dopóki nie sprawdzą Państwo, czy obie opisują te same rozmowy, bo zwykle tak nie jest. Jeśli opisują, trwała rozbieżność oznacza, że Państwa karta oceny mierzy zgodność z procesem zamiast rezultatu.
W skrócie
- Niski wynik QA przy wysokim CSAT często oznacza, że konsultant złamał procedurę, żeby pomóc.
- Należy to traktować jako wniosek dotyczący zasad, a nie coachingu.
- Eskalacje, ponowne kontakty i zwroty rozstrzygają spór, bo są zachowaniem.
- Wynik oceny jakości, który nigdy nie różni się od CSAT, jest zbędny.
Czy obie liczby w ogóle opisują te same rozmowy?
Warto to sprawdzić przed jakąkolwiek diagnozą, bo to najczęstsze wyjaśnienie, a prawie nikt go nie weryfikuje.
Proszę zastanowić się, jak faktycznie powstaje każda z tych liczb. CSAT pochodzi od klientów, którzy otrzymali ankietę i zdecydowali się na nią odpowiedzieć, zwykle od niewielkiej części kontaktów. Wynik oceny jakości pochodzi z rozmów wybranych przez recenzenta, zwykle około 3% wolumenu. To dwa niezależne procesy doboru działające w tym samym miesiącu, a ich część wspólna jest często bliska zeru.
Kiedy więc obie liczby się rozjeżdżają, pierwszą uczciwą hipotezą nie jest to, że jedna z nich się myli. Jest nią to, że zmierzyli Państwo różne rozmowy i traktują różnicę jak sprzeczność.
Pięciominutowy test. Proszę pobrać rozmowy, które w zeszłym miesiącu otrzymały odpowiedź CSAT. Proszę pobrać rozmowy, które zostały ocenione. Proszę policzyć część wspólną. Jeśli jest jednocyfrowa, obecnie nie mają Państwo żadnego porównania i żadna analiza oparta na tych dwóch liczbach go nie stworzy. Rozwiązaniem jest celowe ocenienie zestawu rozmów, do których dołączona jest odpowiedź CSAT, co po raz pierwszy umożliwia porównanie.
Na ten pierwszy problem doboru nakłada się drugi. Odpowiedzi na ankiety nie są losowe: osoby, które odpowiadają, systematycznie różnią się od tych, które tego nie robią, dlatego błąd braku odpowiedzi traktuje się jako zasadniczy problem metodologiczny, a nie kwestię zaokrągleń. Opracowanie Pew Research o tym, co niski wskaźnik odpowiedzi oznacza dla badań ankietowych, jest najjaśniejszym dostępnym ujęciem tematu, a wniosek dla CSAT jest bezpośredni. Wskaźnik odpowiedzi 20% nie jest 20-procentową próbką doświadczeń Państwa klientów, lecz pełną próbką klientów, którzy mieli na tyle silne odczucia, żeby odpowiedzieć.
Uwaga
Jeśli w zeszłym miesiącu mniej niż około dziesięć rozmów miało jednocześnie odpowiedź CSAT i ocenę QA, Państwa dwa wskaźniki wcale nie są ze sobą sprzeczne. Opisują odrębne populacje, a rozbieżność, którą Państwo widzą, może nie nieść żadnej informacji.
Co tak naprawdę mierzy każda z liczb?
To nie są dwie próby tego samego pomiaru i właśnie dlatego oczekiwanie, że będą zgodne, jest błędem u podstaw. Mierzą różne rzeczy, a dobrze zaprojektowana para wskaźników powinna czasem się różnić.
- Wynik oceny jakości mierzy proces, który Państwo kontrolują. Czy konsultant zrobił to, co Państwa organizacja uznała za dobrą obsługę? Jest wewnętrzny, porównywalny między konsultantami i wart tyle, ile osąd zapisany w kryteriach oceny.
- CSAT mierzy rezultat i całą resztę. Odpowiedź, którą klient otrzymał, zasady, które za nią stoją, czas oczekiwania, produkt, cenę i nastrój klienta. Bardzo niewiele z tego zależy od konsultanta.
W takim ujęciu rozbieżność staje się źródłem informacji, a nie powodem do niepokoju. Klient może być niezadowolony z prawidłowo przekazanej odmowy. Konsultant może stracić punkty za pominięcie kroku, choć klient dostał dokładnie to, czego potrzebował. Oba stwierdzenia są prawdziwe i dotyczą różnych rzeczy, a wewnętrzny wskaźnik jakości istnieje właśnie dlatego, że ocena klienta nie powie Państwu, co zmienić.
Wynik oceny jakości, który zawsze zgadza się z CSAT, nie mierzy niczego dodatkowego. Jeśli obie liczby poruszają się w tym samym rytmie, to albo zbudowali Państwo kartę oceny, która przewiduje satysfakcję zamiast opisywać obsługę, albo ktoś ocenia, zerkając na ocenę klienta. Pełna zgodność to sygnał ostrzegawczy, a nie warunek sukcesu.
Ocena jakości a CSAT: cztery ćwiartki i co oznacza każda z nich
Po wykluczeniu problemu populacji warto zestawić obie liczby ze sobą. Każda ćwiartka ma konkretną przyczynę i konkretne działanie, i nie są one wymienne.
| Wzorzec | Najbardziej prawdopodobna przyczyna | Jak to potwierdzić | Co zrobić |
|---|---|---|---|
| Wysoki wynik QA, niski CSAT | Karta oceny nagradza zgodność z procesem zamiast rozwiązania sprawy albo klient jest niezadowolony z zasad, a nie z obsługi | Przeczytać dziesięć rozmów z wysokim wynikiem i niską oceną klienta. Zapytać, czy problem klienta został faktycznie rozwiązany | Przesunąć wagę w stronę rozwiązania sprawy albo przeklasyfikować skargę jako kwestię zasad i wyprowadzić ją poza QA |
| Niski wynik QA, wysoki CSAT | Konsultant złamał procedurę, żeby pomóc, albo karta oceny karze za rzeczy, których klienci nie zauważają | Sprawdzić, za co obniżono wynik. Jeśli za ton, formatowanie lub użycie makr, ocenić, czy kryterium zasługuje na swoją wagę | To wniosek dotyczący zasad lub kryteriów, a nie coachingu. Nie należy prowadzić coachingu konsultanta z powodu zadowolonego klienta |
| Oba niskie | Rzeczywisty problem z wydajnością lub przepustowością albo proces, który zawodzi wszystkich | Sprawdzić, czy problem skupia się u konkretnych konsultantów, czy dotyczy wszystkich | Rozproszony oznacza proces. Skupiony oznacza coaching. Najpierw diagnoza, potem działanie |
| Oba wysokie, a Państwo w to nie wierzą | Pobłażliwi recenzenci, karta oceny, którą wszyscy zaliczają, albo dobór ankiet faworyzujący rozwiązane kontakty | Przyjrzeć się rozkładowi wyników. Jeśli prawie nic nie wypada negatywnie, karta oceny przestała rozróżniać | Ponownie skalibrować recenzentów i sprawdzić, czy któreś kryterium było zaliczane w 95% przypadków przez dwa kwartały |
Dlaczego wysoki wynik QA przy niskim CSAT to najczęstszy wzorzec?
Ponieważ karty oceny dryfują w stronę tego, co łatwo zaobserwować, a to, co łatwo zaobserwować, rzadko jest tym, co ważne. Powitanie, pożegnanie, tagowanie i ton można ocenić szybko i spójnie. To, czy problem klienta naprawdę zniknął, wymaga przeczytania całej rozmowy i znajomości zasad.
W efekcie kryteria tanie w ocenie się mnożą, najważniejsze kryterium dostaje jedną linijkę, a w końcu powstaje karta oceny, w której rozmowa może uzyskać 95%, zostawiając klienta z nierozwiązanym problemem i uprzejmym pożegnaniem. Rozwiązaniem jest przesunięcie wagi w stronę rezultatu, a metodą jest ustalanie wag kryteriów na podstawie danych: porównać odsetek niespełnień każdego kryterium z dalszym rezultatem, takim jak ponowny kontakt, i pozwolić, by kryteria, które niczego nie przewidują, straciły wagę.
Warto wyodrębnić drugą przyczynę, bo działanie jest zupełnie inne. Czasem obsługa była naprawdę dobra, a klient jest niezadowolony z odpowiedzi. Prawidłowo przekazana odmowa, trafna, ale niechciana zasada, cena. To nie jest błąd jakości i nie powinno być przedmiotem coachingu. To wniosek dla osoby odpowiedzialnej za daną zasadę, a najbardziej przydatne, co QA może z nim zrobić, to policzyć go, przekazać dalej i na tym poprzestać. Traktowanie go jako niezadowolenia klienta, które da się zmniejszyć lepszą obsługą, nie zadziała, bo to nie obsługa była problemem.
Wskazówka
Proszę oznaczać niskie oceny według tego, czy skarga dotyczy obsługi, czy odpowiedzi. Dwa miesiące tego jednego rozróżnienia pokażą, jaka część niezadowolenia w ogóle jest problemem obsługi klienta, a zwykle jest to mniej, niż zakłada kierownictwo.
Która liczba wygrywa, gdy trzeba wybrać?
Żadna. Rozstrzygające powinno być zachowanie. Obie liczby są opiniami, jedna recenzenta, druga klienta. To, co klienci zrobili później, nie jest opinią i znajduje się już w Państwa helpdesku.
Trzy rozstrzygające sygnały, w kolejności przydatności:
- Ponowny kontakt w ciągu siedmiu dni. Najczystszy dostępny sygnał. Klient, który wraca, mówi w ten sposób, że pierwszy kontakt nie rozwiązał sprawy, niezależnie od tego, co pokazywała którakolwiek z liczb. Jeśli rozmowy z wysokim wynikiem generują ponowne kontakty, karta oceny jest błędna.
- Eskalacje i skargi. Kosztowne, świadome działania klientów. Zespół ze znakomitymi ocenami i rosnącą liczbą eskalacji ma gdzieś problem z pomiarem, a jakość obsługi eskalacji to pierwsze miejsce, w którym warto szukać.
- Zwroty i rekompensaty przyznane w ramach naprawy błędów obsługi. Pieniądze wychodzące z firmy, żeby coś naprawić, to najtrudniejszy do podważenia dowód, jaki istnieje.
Następnie warto przeprowadzić sprawdzenie w odwrotną stronę. Proszę wziąć rozmowy, które klienci ocenili źle, i poprosić recenzentów o ocenę w ciemno, bez wglądu w ocenę klienta. Jeśli recenzenci konsekwentnie oceniają je dobrze, Państwa kryteria i Państwa klienci nie zgadzają się co do tego, co oznacza dobra obsługa, a kryteria to element, który mogą Państwo zmienić. To ten sam mechanizm co sesja kalibracyjna (po angielsku), skierowany na kartę oceny zamiast na recenzentów.
Warto nazwać problem skali, bo to on sprawia, że jest to trudne, a nie tylko żmudne. Każde z tych sprawdzeń wymaga wystarczającej liczby rozmów z oceną klienta i oceną QA, żeby dało się je odczytać, a przy próbce 3% ta część wspólna jest zbyt mała, by ją segmentować. Auto QA od Kaizo ocenia całą populację według Państwa własnych kryteriów, co oznacza, że każda rozmowa objęta ankietą ma też przypisany wynik oceny jakości, a porównanie przestaje zależeć od tego, czy dwie próbki przypadkiem się pokryją. To właśnie daje tu 100% pokrycia, ujawniające trendy, których próbkowanie 3% nigdy by nie pokazało: nie lepszy wynik, lecz w ogóle możliwość zadania tego pytania.
Co zmienić w pierwszej kolejności?
Proszę działać w tej kolejności. Każdy krok jest tani i każdy eliminuje jedno możliwe wyjaśnienie, co chroni przed zmianą wag karty oceny w celu naprawienia artefaktu próbkowania.
- Zmierzyć część wspólną. Policzyć rozmowy, które mają zarówno ocenę klienta, jak i ocenę QA. Jeśli jest ich bardzo mało, najpierw to naprawić, celowo oceniając rozmowy objęte ankietą, i przerwać analizę, dopóki to nie nastąpi.
- Sprawdzić zgodność recenzentów. Jeśli dwóch recenzentów nie zgadza się ze sobą, wynik oceny jakości nie jest na tyle stabilny, by porównywać go z czymkolwiek. Rozrzut między recenzentami podszywa się pod problem CSAT kontra QA częściej, niż zostaje rozpoznany jako to, czym jest.
- Oddzielić skargi na obsługę od skarg na odpowiedź. Dwa miesiące oznaczania pokażą, jaka część rozbieżności jest w ogóle problemem obsługi klienta.
- Przetestować każde kryterium względem ponownego kontaktu. Kryteria, które nie są spełniane, a nie wpływają na żaden dalszy rezultat, mają wagę, na którą nie zapracowały.
- Dopiero wtedy zmienić wagi. A przy tej zmianie wersjonować kartę oceny (po angielsku), żeby historyczne wyniki dało się odczytać względem kryteriów, które je wygenerowały.
Nie należy natomiast wyznaczać celu, który zmusza obie liczby do zgodności. Wynik oceny jakości zarządzany pod CSAT przestaje być niezależnym pomiarem i staje się drugim, droższym sposobem raportowania tego samego. Powodem prowadzenia obu jest to, że wychwytują różne błędy, a tekst o tym, co CSAT może, a czego nie może zmierzyć (po angielsku), to szersza wersja tego argumentu. Utrzymanie ich niezależności jest celem, a okazjonalna rozbieżność jest dowodem, że to się udało.
Najczęściej zadawane pytania
Dlaczego nasze wyniki QA są wysokie, a CSAT niski?
Najczęściej dlatego, że karta oceny nagradza zgodność z procesem zamiast rozwiązania sprawy, więc rozmowa może uzyskać wysoki wynik, zostawiając problem klienta nierozwiązanym. Druga częsta przyczyna to niezadowolenie klienta z odpowiedzi, a nie z obsługi, co jest wnioskiem dotyczącym zasad i nie powinno być przedmiotem coachingu. Zanim jednak przejdą Państwo do którejkolwiek z nich, warto sprawdzić, czy rozmowy objęte ankietą i rozmowy ocenione to faktycznie ten sam zbiór, bo zwykle tak nie jest.
Co jest bardziej wiarygodne: CSAT czy wewnętrzny wskaźnik jakości?
Żaden z nich, bo mierzą różne rzeczy. Wynik oceny jakości mierzy proces, który Państwo kontrolują, i jest porównywalny między konsultantami. CSAT mierzy rezultat oraz zasady, czas oczekiwania, produkt i nastrój klienta, a bardzo niewiele z tego zależy od konsultanta. Rozstrzygające powinno być zachowanie: ponowne kontakty, eskalacje i zwroty to działania, a nie opinie.
Czy wyniki QA i CSAT powinny być zgodne?
Nie, a para, która zawsze się zgadza, to sygnał ostrzegawczy. Oznacza, że karta oceny została zbudowana tak, by przewidywać satysfakcję zamiast opisywać obsługę, albo że recenzenci oceniają, zerkając na ocenę klienta. Powodem prowadzenia obu wskaźników jest to, że wychwytują różne błędy, więc okazjonalna rozbieżność dowodzi, że działają niezależnie. To, czy QA w ogóle podnosi CSAT, omawia tekst czy QA poprawia CSAT (po angielsku).
Co oznacza sytuacja, gdy konsultant ma niskie wyniki QA i zadowolonych klientów?
Zwykle to, że złamał procedurę, żeby pomóc klientowi, albo że karta oceny karze za rzeczy, których klienci nie zauważają, takie jak ton, formatowanie czy użycie makr. Zanim ktokolwiek dostanie coaching, warto sprawdzić, za co obniżono wynik. Jeśli kryterium nie przewiduje żadnego dalszego rezultatu, takiego jak ponowny kontakt, jest to wniosek dotyczący kryteriów, a nie wydajności.
Czy wskaźnik odpowiedzi na ankietę 20% to próbka 20%?
Nie. To pełna próbka klientów, którzy mieli na tyle silne odczucia, żeby odpowiedzieć, czyli grupa systematycznie różna od tych, którzy nie odpowiedzieli. Błąd braku odpowiedzi to dobrze udokumentowany problem metodologiczny, a nie kwestia zaokrągleń, i oznacza, że CSAT opisuje populację, która sama się wybrała. To główny powód, dla którego potrzebuje on obok siebie miary wewnętrznej, a nie zamiast niej.
Powiązane pojęcia
- Poza CSAT: co ten wskaźnik może, a czego nie może zmierzyć (po angielsku)
- Do czego służy wewnętrzny wskaźnik jakości
- CSAT a DSAT (po angielsku)
- Jak ustalać wagi kryteriów karty oceny
- Jak prowadzić sesję kalibracyjną QA (po angielsku)
- Jak mierzyć jakość rozmów (po angielsku)
Proszę sprawdzić, czy Państwa dwie liczby opisują te same rozmowy
Prosimy przynieść miesiąc rozmów objętych ankietą i obecną kartę oceny. Ocenimy je według Państwa własnych kryteriów, żeby mogli Państwo zobaczyć, gdzie ocena klienta i ocena QA naprawdę się różnią, a gdzie nigdy się nie spotkały.
