Ocena jakości a czynniki poza kontrolą konsultanta

Gdy kryterium zależy od awarii systemu, klienta, który się rozłączył, albo zespołu, który nigdy nie odpowiedział, konsultanci tracą punkty za coś, na co nie mieli wpływu. Kartę oceny poprawia się, wyłączając kryterium, oznaczając je jako nie dotyczy albo przekazując ustalenie jego właścicielowi.

W skrócie

• Konsultanci zauważają kryterium, na które nie mają wpływu, mniej więcej w ciągu miesiąca.
• Opcja „nie dotyczy” musi istnieć przy każdym kryterium i zmniejszać mianownik.
• Błędy skupione w jednej kolejce, godzinie lub wersji systemu wskazują na problem systemowy.
• Wadliwy proces powinien zmienić proces, a nie wynik konsultanta.

Dlaczego jedno kryterium poza kontrolą konsultanta podważa cały wynik

Cztery sytuacje powtarzają się raz po raz, gdy konsultanci opisują wynik, który uważają za niesprawiedliwy, i żadna z nich nie jest tak naprawdę sporem o ocenę merytoryczną.

• Awaria systemu sprawiła, że krok wykonany przez konsultanta nie został zapisany, więc recenzent go nie widział i ocenił go jako brakujący.
• Klient rozłączył się przed sekwencją zamykającą rozmowę i każde kryterium zamknięcia zwróciło automatyczne zero.
• Eskalacja trafiła do przełożonego, który nigdy nie odpowiedział, a konsultant stracił punkty za rozwiązanie sprawy i działania następcze.
• Rozmówcę było słabo słychać, adres e-mail wrócił z literówką, a kryterium dokładności danych zapisało to jako naruszenie prywatności.

Arytmetykę drugiej sytuacji warto potraktować poważnie, bo jest najbardziej czytelna. Jeśli sekcja zamknięcia obejmuje cztery kryteria, a rozłączenie zeruje trzy z nich, to o tym, w którym przedziale wyników znajdzie się konsultant, decyduje zachowanie klienta, a nie konsultanta. Konsultanci, którzy obsługują najbardziej zdenerwowanych rozmówców, najczęściej słyszą, jak ktoś się rozłącza, więc osoby wykonujące najtrudniejszą pracę mają najgorsze wyniki.

Wynikają z tego dwie rzeczy, w tej kolejności. Po pierwsze, wynik przestaje nieść informację. Jeśli recenzent nie potrafi powiedzieć, czy 72 oznacza słabą pracę, czy zły dzień z narzędziami, nikt dalej nie może użyć tej liczby do podjęcia decyzji. Po drugie, co kosztuje więcej, wynik traci autorytet u ludzi, którym ma pomagać. Gdy konsultant uzna, że liczba jest częściowo przypadkowa, każdy coaching z nią związany jest z góry przyjmowany z rezerwą. To już nie coaching, tylko negocjacje, i znikają warunki do prowadzenia programu QA, któremu konsultanci ufają (po angielsku). Deming ujął ogólną zasadę dosadniej niż jakikolwiek poradnik QA: a bad system will beat a good person every time, czyli zły system za każdym razem pokona dobrego człowieka, a coraz surowsze mierzenie człowieka nie zmienia tego, kto przegrywa.

To nie jest porażka zespołu QA. Recenzenci pracują w tym samym formularzu co wszyscy inni, a większość formularzy daje im przy kryterium, którego nie dało się spełnić, dwie możliwości: niezaliczyć je albo po cichu zaliczyć i liczyć na to, że nikt tego nie sprawdzi. Obie są złe, a trzeciej opcji nie ma. To problem projektu, który można naprawić w kryteriach oceny, a nie w sporze o te kryteria.

Jak znaleźć w karcie oceny kryteria zależne od czynników zewnętrznych

Proszę wziąć obecną kartę oceny QA i przejść przez nią linijka po linijce. Przy każdym kryterium warto zadać trzy pytania w tej kolejności.

1. Czy konsultant mógł je zaliczyć przy narzędziach, uprawnieniach i informacjach, które miał w tamtej chwili? Nie przy narzędziach, które powinien mieć. Przy tych, które faktycznie miał przed sobą.
2. Czy zaliczenie wymaga, by ktoś inny najpierw coś zrobił? Inny zespół, klient, zadanie wsadowe, zatwierdzenie.
3. Czy dobry konsultant mógłby je zaliczyć za każdym razem, jeśli tylko by chciał? Jeśli szczera odpowiedź brzmi „nie”, kryterium mierzy okoliczności, a nie tylko umiejętności.

Przy okazji należy przypisać każde kryterium do jednej z trzech grup. W pełni kontrolowane: tu powinna się znaleźć większość kryteriów dotyczących kompetencji miękkich i procesów. Warunkowo kontrolowane: konsultant ma na nie wpływ tylko wtedy, gdy spełniony jest warunek wstępny. Niekontrolowane: zaliczenie zależy od czegoś, na co konsultant nie ma żadnego wpływu.

Najwięcej pracy wymaga druga grupa. Przy każdym kryterium warunkowo kontrolowanym warto zapisać warunek wstępny w jednym prostym zdaniu: klient pozostał na linii, narzędzie do zwrotów działało, zespół drugiej linii odpowiedział w ramach swojego SLA, nagranie objęło całą rozmowę. Te zdania staną się później wyzwalaczami statusu „nie dotyczy”, a ich spisanie zamienia mgliste poczucie niesprawiedliwości w regułę, którą recenzent zastosuje dwa razy tak samo.

Proszę to zrobić z konsultantami przy stole

Ten przegląd warto przeprowadzić z dwoma recenzentami i dwoma doświadczonymi konsultantami razem, a nie jako ćwiczenie wyłącznie dla QA. Konsultanci znajdą kryteria zależne od czynników zewnętrznych w ułamku czasu, bo od miesięcy tracą na nich punkty i potrafią wskazać konkretne zgłoszenie. Zmienia to też wymowę całego ćwiczenia: proszą Państwo zespół o pomoc w poprawieniu formularza, zamiast ogłaszać jego korektę. Na kartę oceny z piętnastoma kryteriami warto zarezerwować dwie godziny i spodziewać się od dwóch do pięciu problematycznych pozycji.

Trzy kategorie błędów poza kontrolą konsultanta

Prawie wszystko, co Państwo znajdą, da się przypisać do jednej z trzech kategorii, a kategoria podpowiada, co z tym zrobić. Liczy się to, kto mógł zapobiec błędowi, bo to także ta osoba lub ten zespół powinien otrzymać ustalenie.

Wyłączyć, oznaczyć jako nie dotyczy czy przekazać dalej

Są trzy rozwiązania, a wybór niewłaściwego sprawia, że takie korekty zawodzą. Kryterium wyboru nie jest to, jak poważny był błąd, tylko to, jak często kryterium jest niemożliwe do spełnienia i kto odpowiada za przyczynę.

Kryterium należy wyłączyć, gdy przez większość czasu nie przechodzi testu kontroli. Jeśli kryterium zależy od zawodnego narzędzia albo od określonego zachowania klienta, nie jest standardem, tylko rzutem monetą z przypisaną liczbą punktów. Przydatna reguła: jeśli nigdy nie prowadziliby Państwo z kogoś coachingu w tym zakresie, nie należy go z tego oceniać.

Kryterium należy oznaczyć jako nie dotyczy, gdy zwykle jest kontrolowane, ale w tej jednej rozmowie było naprawdę niemożliwe do spełnienia. To najczęstszy przypadek i wymaga dwóch rzeczy: nazwanego wyzwalacza spośród wcześniej spisanych warunków wstępnych i dowodu w rekordzie, że wyzwalacz zadziałał. Znacznik czasu rozłączenia przed sekwencją zamknięcia jest dowodem. Wrażenie recenzenta nie jest.

Ustalenie należy przekazać dalej, gdy błąd jest prawdziwy, ma znaczenie dla klienta i należy do kogoś konkretnego. Klient nie otrzymał zwrotu pieniędzy, co jest prawdziwym błędem jakości, o którym warto wiedzieć, ale przyczyną była zasada, której konsultant nie może pominąć. Ustalenie opuszcza QA jako defekt procesu z właścicielem i terminem. Wynik konsultanta się nie zmienia.

Jest też czwarta opcja, po którą zespoły sięgają, a której należy odmówić: niezaliczyć kryterium i dodać komentarz, że to nie wina konsultanta. Komentarz nie zmienia liczby, a to liczba trafia do comiesięcznego przeglądu, do rankingu i do rozmowy o wynikach. Współczucie w polu tekstowym nie jest mechanizmem kontroli, a konsultantowi zostaje wtedy tylko kwestionowanie wyniku (po angielsku).

Proszę dać recenzentom uprawnienia, a potem je audytować

Recenzenci powinni móc stosować status „nie dotyczy” bez pytania o zgodę. Zespoły, które robią z tego eskalację, w praktyce usuwają tę opcję, bo recenzent z czterdziestoma ocenami do zakończenia nie otworzy zgłoszenia, żeby pominąć jedną linijkę. Kontrolę warto przenieść na koniec procesu: raportować użycie statusu „nie dotyczy” według recenzenta i kryterium, a wartości odstające omawiać na najbliższej sesji kalibracyjnej. To znacznie lepsza rozmowa niż ta, do której prowadzi wymuszanie fałszywych niezaliczeń.

Dlaczego „nie dotyczy” musi być pełnoprawną opcją przy każdym kryterium

Status „nie dotyczy” działa tylko wtedy, gdy zgadza się arytmetyka. Wynik musi być liczbą zdobytych punktów podzieloną przez punkty możliwe do zdobycia w danej rozmowie, a nie przez cały formularz. Jeśli zastosowanie miało jedenaście z piętnastu kryteriów, a konsultant zaliczył osiem, wynik to osiem na jedenaście. Jeśli formularz zostawia wszystkie piętnaście w mianowniku, oznaczenie linijki jako „nie dotyczy” kosztuje dokładnie tyle samo co jej niezaliczenie, recenzenci zauważają to w ciągu tygodnia i opcja przestaje być używana. Wiele zespołów już teraz liczy wynik tylko z pytań, które mają zastosowanie. Inne mają pole wyboru „nie dotyczy”, które niczego nie zmienia, co jest gorsze niż jego brak, bo wygląda jak rozwiązanie.

Warto zastanowić się, co dzieje się w formularzu bez działającej opcji „nie dotyczy”. Surowi recenzenci nie zaliczają niemożliwego kryterium, łagodni je zaliczają, a jedni i drudzy zgadują regułę, której nikt nigdy nie spisał. W ten sposób powstaje rozbieżność między recenzentami, której żadna kalibracja (po angielsku) nie usunie, bo jest strukturalna, a nie wynika z różnicy w postrzeganiu: dwóch recenzentów może całkowicie zgadzać się co do tego, co się wydarzyło, i nadal wystawić różne wyniki. Konsultanci zaczynają wtedy postrzegać swój wynik jako zależny od tego, kto ich oceniał, a to najszybszy sposób, by program QA stracił wiarygodność.

Szkody w danych trwają dłużej. Kryterium zaliczone, choć nigdy nie zostało sprawdzone, zawyża wskaźnik zaliczeń. Kryterium niezaliczone, choć było niemożliwe, tworzy defekt, który nigdy nie wystąpił. W obu przypadkach statystyki tego kryterium stają się bezużyteczne, a to właśnie one są potrzebne, by rozsądnie nadać wagi karcie oceny i wychwycić problemy systemowe opisane w następnej sekcji.

Cztery wymagania, wszystkie tanie:

• Dostępne przy każdym kryterium, a nie przy kilku wybranych. To, którego Państwo nie włączą, okaże się tym, które zawiedzie.
• Kod przyczyny z krótkiej listy, pięć lub sześć opcji, aby użycie dało się policzyć. Wolnego tekstu nie da się policzyć.
• Widoczne dla konsultanta w ocenie, aby widział, że recenzent to zauważył. Połowa żalu w całej tej sprawie bierze się z przekonania konsultantów, że nikt tego nie zauważył.
• Raportowane co miesiąc według kryterium i przyczyny.

Warto przyjąć jeden próg. Jeśli kryterium otrzymuje status „nie dotyczy” w więcej niż mniej więcej jednej trzeciej rozmów, nie należy do tej karty oceny. Należy do karty dla konkretnego kanału lub kolejki, bo jeden formularz ma wtedy oceniać dwa różne rodzaje pracy.

Jak wychwycić problem w danych, zanim powie o nim konsultant

Skargi są wskaźnikiem opóźnionym i przychodzą od najbardziej pewnych siebie konsultantów, a nie od najbardziej poszkodowanych. Dane docierają tam pierwsze, a metodę można zastosować w arkuszu kalkulacyjnym.

Dla każdego kryterium należy wziąć wskaźnik niezaliczeń z ostatniego kwartału, a następnie rozbić go według godziny dnia, kolejki lub umiejętności, kanału, stażu konsultanta i zestawić z datami wydań i zmian zasad. Umiejętności konsultantów rozkładają się w tych przedziałach dość równomiernie. Problemy systemowe nie, i na tej asymetrii opiera się cała diagnoza. Kryterium, które ogólnie nie jest zaliczane w 6% przypadków, ale w jednej kolejce między czternastą a siedemnastą w 35%, nie mówi nic o coachingu.

Cztery wzorce i to, co zwykle oznaczają:

• Skupienie w jednym przedziale czasu. Niedobór personelu (po angielsku), presja kolejki albo zadanie wsadowe, które każdego popołudnia blokuje system. Zanim powstanie notatka coachingowa, warto sprawdzić, co jeszcze dzieje się o tej godzinie.
• Skupienie w jednej kolejce, umiejętności lub kanale. Narzędzie używane tylko przez tę grupę, reguła routingu albo karta oceny, która nie pasuje do pracy tej grupy.
• Skokowa zmiana w określonym dniu. Wydanie, zmiana zasad albo zmiana samej karty oceny. Kryterium, które w marcu było w porządku, a od kwietnia stale nie jest zaliczane, nie stało się trudniejsze dlatego, że konsultanci pracują gorzej.
• Równomierny rozkład u wszystkich, łącznie z najlepszymi konsultantami. Kryterium jest niejednoznaczne albo niemożliwe do spełnienia. Jeśli najlepszy decyl nie zalicza go mniej więcej tak samo często jak najsłabszy, kryterium nie mierzy umiejętności.

W tej metodzie kryje się problem próbkowania i warto go nazwać. Przy próbce 3%, z jaką działa większość programów, w ogóle nie da się jej zastosować. Po rozbiciu jednego kryterium według kolejki i godziny większość komórek jest pusta, więc wzorzec, który oczyściłby konsultanta z zarzutów, jest niewidoczny, a spór wygrywa anegdota. To praktyczny argument za ocenianiem wszystkiego: 100% pokrycia ujawnia trendy, których próbka 3% nigdy by nie pokazała. Nie chodzi o to, że widać więcej, tylko o to, że znika błąd selekcji, więc skupiony błąd da się rozpoznać jako skupiony.

Auto QA w Kaizo ocenia każdą rozmowę według Państwa własnej karty oceny i przechowuje dowody przypisane do każdego kryterium, więc niezaliczenia jednego kryterium można przefiltrować według kolejki i godziny i sprawdzić, czy się skupiają, zanim ktokolwiek przejdzie z ich powodu coaching. Ta identyfikowalność ma większe znaczenie niż samo pokrycie: przydatne pytanie nie brzmi, ile rozmów oceniono, tylko czy można pokazać, dlaczego konkretne kryterium nie zostało zaliczone w konkretnej rozmowie. Więcej o pokryciu w artykule czym naprawdę jest 100% pokrycia QA.

Ustalenie trafia do właściciela, a nie do wyniku konsultanta

Wszystko powyżej prowadzi do jednej zasady. Ustalenie, które wynika z wadliwego procesu, powinno zmienić proces, a nie wynik człowieka. QA widzi więcej tego, co faktycznie dzieje się z klientami, niż jakakolwiek inna funkcja, co czyni ją najlepszym systemem wykrywania defektów, jaki ma większość organizacji obsługi klienta. Wydawanie tego sygnału na indywidualne potrącenia punktów to jego marnowanie.

Mechanika jest zwyczajna i właśnie o to chodzi:

• Właściciela należy oznaczyć w momencie oceny. Produkt, zarządzanie personelem, druga linia, baza wiedzy, zasady. Zrobienie tego podczas oceny zajmuje kilka sekund. Odtworzenie tego na comiesięcznej retrospektywie zajmuje popołudnie i zwykle zostaje pominięte.
• Ustalenie powinno mieć te same pola co defekt. Co zawiodło, jak często, w których kolejkach, ile kosztuje w ponownych otwarciach lub czasie obsługi. Ustalenie dotyczące procesu z przypisaną liczbą zostaje naprawione. Skarga nie. To standardowa analiza przyczyn źródłowych, zastosowana do samej karty oceny, a nie do zgłoszenia.
• Na czas otwartego defektu kryterium należy zawiesić i głośno o tym powiedzieć zespołowi. To krok, który odbudowuje wiarygodność, bo dowodzi, że karta oceny reaguje na dowody.
• Poprawki należy raportować obok wyników. Zawieszone kryteria, zgłoszone defekty, zamknięte defekty. Zmienia to postrzeganie tego, czemu służy QA, i daje zespołowi drugi zestaw liczb, który nie jest średnim wynikiem.

Po tej pracy zostaje część, na którą konsultant faktycznie ma wpływ, i tylko ona jest warta rozmowy indywidualnej. Coaching przestaje zaczynać się od sporu o to, czy wynik był sprawiedliwy, a zamiana danych QA w coaching (po angielsku) staje się łatwiejsza, bo wszystkie ustalenia dotyczą rzeczy, które człowiek może zmienić. Coaching AI w Kaizo tworzy karty coachingowe na podstawie ocenionych kryteriów, więc wyłączone lub uwarunkowane kryteria przestają generować zarówno potrącenia punktów, jak i coachingowy szum.

Na koniec dwie zasady porządkowe. Kartę oceny należy wersjonować za każdym razem, gdy usuwa się lub uwarunkowuje kryterium, i nigdy nie przeliczać starych wyników według nowych zasad, bo marcowy wynik powstał według marcowego formularza. Każdą zmianę należy też ogłosić, zanim wejdzie w życie, razem z uzasadnieniem. Karta oceny, która widocznie sama się koryguje, jest traktowana zupełnie inaczej niż taka, która co kwartał po cichu pojawia się w nowej wersji.

Najczęściej zadawane pytania

Czy konsultantów należy oceniać za rzeczy, na które nie mają wpływu?

Nie. Kryterium, na które konsultant nie ma wpływu, mierzy okoliczności, a nie wyniki pracy, i sprawia, że całkowity wynik jest bezużyteczny dla coachingu i rankingów. Błąd może być wart odnotowania, ale należy go przypisać systemowi, sytuacji klienta lub zespołowi, który go spowodował. Każde kryterium warto przypisać do grupy w pełni kontrolowanych, warunkowo kontrolowanych lub niekontrolowanych, a następnie odpowiednio je wyłączyć, oznaczyć jako nie dotyczy albo przekazać dalej.

Co zrobić, gdy konsultant nie zaliczył oceny jakości z przyczyny, która nie była jego winą?

Nie należy tego korygować notatką w komentarzach, bo komentarz nie zmienia liczby, która trafia do jego oceny. Jeśli kryterium było niemożliwe do spełnienia w tej konkretnej rozmowie, należy oznaczyć je jako nie dotyczy, aby wypadło z mianownika. Jeśli kryterium regularnie jest niemożliwe do spełnienia, należy usunąć je z karty oceny. Jeśli błąd był prawdziwy, ale spowodował go inny zespół, ustalenie należy zachować, przypisać mu właściciela i nie zmieniać wyniku konsultanta.

Jak ocenić rozmowę, w której klient rozłączył się przed formułą zamknięcia?

Każdemu kryterium zamknięcia należy nadać status „nie dotyczy”, udokumentowany znacznikiem czasu rozłączenia, zamiast pozwalać, by zwracały automatyczne zera. Ocenić należy te części rozmowy, które się odbyły. Rozłączenie, które zeruje trzy lub cztery kryteria zamknięcia, może przesunąć konsultanta o cały przedział wyników wyłącznie z powodu zachowania klienta, a najmocniej uderza w konsultantów obsługujących najtrudniejszych rozmówców.

Czy karta oceny QA powinna mieć opcję „nie dotyczy”?

Tak, przy każdym kryterium, i musi ona usuwać to kryterium z mianownika, tak by wynik był liczbą zdobytych punktów na tle punktów możliwych do zdobycia w danej rozmowie. Opcja „nie dotyczy”, która zostawia sumę bez zmian, jest arytmetycznie tożsama z niezaliczeniem i recenzenci przestają jej używać. Warto wymagać kodu przyczyny z krótkiej listy, pokazywać status konsultantowi w ocenie i raportować użycie według recenzenta i kryterium, aby kalibracja mogła je audytować.

Jak odróżnić w danych QA problem systemowy od problemu konsultanta?

Wskaźnik niezaliczeń każdego kryterium należy rozbić według godziny dnia, kolejki, kanału, stażu i daty wydania. Umiejętności rozkładają się w tych przedziałach dość równomiernie, więc kryterium, które znacznie częściej nie jest zaliczane w jednej kolejce, w jednym przedziale czasu lub od określonej daty wydania, prawie zawsze wskazuje na problem systemu lub procesu. Kryterium niezaliczane równie często przez najlepszych i najsłabszych konsultantów jest niejednoznaczne albo niemożliwe do spełnienia.

Jak stosować analizę przyczyn źródłowych w kontroli jakości?

Należy zapytać, co musiałoby być prawdą, aby konsultant zaliczył kryterium, i podążać za tym łańcuchem, aż dojdzie się do czegoś, za co ktoś odpowiada. Jeśli łańcuch kończy się na narzędziu, które nie zapisało pola, błędnym artykule w bazie wiedzy albo eskalacji, na którą nikt nie odpowiedział, ustalenie należy do tego właściciela jako defekt z częstotliwością i kosztem, a kryterium w karcie oceny powinno zostać zawieszone do czasu naprawy. Ustalenie, które wynika z wadliwego procesu, powinno zmienić proces, a nie wynik człowieka.

Powiązane pojęcia

• Czym są kryteria oceny QA i jak je zbudować
• Jak prowadzić program QA, któremu konsultanci ufają (po angielsku)
• Analiza przyczyn źródłowych w obsłudze klienta
• Czym jest kalibracja QA i dlaczego ma znaczenie
• Jak zamienić dane QA w coaching (po angielsku)

Proszę sprawdzić, których kryteriów konsultanci naprawdę nie mogą zaliczyć

Prosimy przynieść kartę oceny, której używają Państwo dziś, i oceny rozmów z jednego kwartału. Pokażemy, które kryteria nie są zaliczane według wzorców zgodnych z Państwa kolejkami i datami wydań, a nie z Państwa konsultantami.

Umów demo Zobacz, jak działa Coaching AI