Oprogramowanie do kalibracji QA to część narzędzia do kontroli jakości, dzięki której oceniający oceniają tę samą rozmowę w ten sam sposób. Kilku oceniających ocenia jedną rozmowę, oprogramowanie pokazuje, gdzie i o ile się różnią, śledzi dryf każdego oceniającego w czasie i zapisuje uzgodnioną decyzję z powrotem w karcie oceny. Dzięki temu ocena konsultanta zależy od rozmowy, a nie od tego, kto ją przeglądał.
W skrócie
- Oprogramowanie do kalibracji QA zastępuje wspólny arkusz niezależnym ocenianiem, automatycznym porównaniem i zapisem każdej decyzji.
- Każde typowe zniekształcenie oceniających, od pobłażliwości po dryf, ma funkcję, która mu przeciwdziała; tabela poniżej je łączy.
- Lista zakupowa wymienia dziesięć funkcji, z których pięć jest niezbędnych w zespole z kilkoma oceniającymi.
- Przykład obliczeń pokazuje, jak zmierzyć zgodność i odchylenie każdego oceniającego dla jednego kryterium oraz dlaczego jeden oceniający może przesunąć ocenę konsultanta o cały punkt.
- Ocena AI stosuje rubrykę za każdym razem tak samo, co usuwa różnice między oceniającymi, ale nie naprawia źle napisanej rubryki.
- Reguła decyzji mówi, kiedy arkusz kalkulacyjny jeszcze wystarcza.
Ten poradnik pomaga wybrać narzędzie. Samą metodę opisujemy w artykule o kalibracji oceny jakości i w poradniku o prowadzeniu sesji kalibracyjnych QA (po angielsku). Jeśli porównują Państwo oprogramowanie do kontroli jakości obsługi klienta, kalibracja jest jedną z funkcji, które odróżniają narzędzie wystawiające oceny od narzędzia oceniającego sprawiedliwie.
Co robi oprogramowanie do kalibracji, czego nie zrobi arkusz
Oprogramowanie do kalibracji QA przedstawia tę samą rozmowę kilku oceniającym osobno, porównuje ich oceny według kryteriów i przechowuje decyzję obok karty oceny. Arkusz może przechowywać oceny, ale zależy od kogoś, kto utrzyma oceniających w niewiedzy, wykona obliczenia i zaktualizuje rubrykę.
| Zadanie kalibracji | We wspólnym arkuszu | W oprogramowaniu do kalibracji |
|---|---|---|
| Wybór rozmów | Skopiowane linki, często łatwe przypadki | Wybór w narzędziu, łącznie z przypadkami granicznymi |
| Osobne ocenianie | Oceniający widzą kolumny innych | Oceny ukryte, dopóki wszyscy nie ocenią |
| Porównanie | Ktoś buduje formuły | Rozrzut według kryterium pokazywany automatycznie |
| Śledzenie oceniających w czasie | Prawie nigdy się nie dzieje | Odchylenie każdego oceniającego od grupy, sesja po sesji |
| Zapis decyzji | Notatki ze spotkania | Zapisana w opisie kryterium |
| Stosowanie jej do przyszłych ocen | Zależy od pamięci | Każda kolejna ocena korzysta z zaktualizowanego kryterium |
Najważniejsze są dwa ostatnie wiersze. Kalibracja, która kończy się notatkami ze spotkania, daje zgodność na tydzień; kalibracja, która kończy się w kryterium, ją utrzymuje.
Skąd biorą się zniekształcenia oceniających w ocenach QA
Zniekształcenia oceniających wynikają z ludzkich nawyków, a nie ze złej woli: niektórzy z przyzwyczajenia oceniają wysoko lub nisko, trzymają się środka skali, oceniają konsultanta zamiast rozmowy albo dryfują z miesiąca na miesiąc. Każdemu wzorcowi przeciwdziała jakaś funkcja.
| Zniekształcenie | Jak wygląda | Funkcja, która mu przeciwdziała |
|---|---|---|
| Pobłażliwość lub surowość | Jeden oceniający jest zawsze powyżej lub poniżej grupy | Raport odchylenia każdego oceniającego od grupy lub oceny wzorcowej |
| Tendencja centralna | Wszystko dostaje 3 na 5 | Rozrzut według kryterium i kotwice dla każdego punktu skali |
| Efekt aureoli | Dobre powitanie podnosi wszystkie inne kryteria | Ocena według kryteriów z dowodem dla każdego wiersza |
| Znajomość | Znani dobrzy konsultanci dostają kredyt zaufania | Ukrycie nazwiska konsultanta podczas kalibracji (warto zapytać, czy narzędzie to umożliwia) |
| Zakotwiczenie | Kolejni oceniający powtarzają pierwszą ocenę, którą zobaczą | Ocena w ciemno, dopóki wszyscy nie oddadzą |
| Dryf | Standard oceniającego przesuwa się z miesiącami | Odchylenie śledzone w czasie i regularne sesje |
| Obciążenie | Zmęczony oceniający inaczej ocenia koniec kolejki | Równy podział pracy przeglądowej |
| Selekcja | Kalibrowanie tylko łatwych rozmów ukrywa niezgodę | Celowy wybór przypadków granicznych |
Kalibracja rozwiązuje niezgodę między oceniającymi. Sama nie naprawi kryterium, które mierzy niewłaściwą rzecz; to decyzja dotycząca karty oceny.
Lista zakupowa oprogramowania do kalibracji QA
Warto szukać dziesięciu funkcji i traktować pierwsze pięć jako niezbędne, jeśli rozmowy ocenia więcej niż dwie osoby. Każdego dostawcę należy poprosić, by pokazał je na demo, zamiast zaznaczać je w formularzu.
| # | Funkcja | Niezbędna? | Co poprosić o pokazanie |
|---|---|---|---|
| 1 | Kilku oceniających ocenia tę samą rozmowę w sesji | Tak | Sesję z trzema oceniającymi na tym samym zgłoszeniu |
| 2 | Oceny pozostają ukryte, dopóki wszyscy nie ocenią | Tak | Co widzi oceniający przed oddaniem oceny i po nim |
| 3 | Rozrzut według kryterium, a nie tylko według rozmowy | Tak | Gdzie w sesji jest największa niezgoda |
| 4 | Decyzja jest zapisywana w opisie kryterium | Tak | Kryterium edytowane po sesji i moment, od którego zmiana obowiązuje |
| 5 | Każda ocena powiązana z dowodem w transkrypcji | Tak | Fragment rozmowy stojący za odjęciem punktów |
| 6 | Odchylenie każdego oceniającego śledzone między sesjami | Zdecydowanie zalecana | Trend jednego oceniającego przez kilka miesięcy |
| 7 | Równy podział pracy przeglądowej | Zalecana | Jak przydziały są rozdzielane między oceniających |
| 8 | Proces odwołań dla konsultantów | Zalecana | Konsultanta odwołującego się od oceny i to, dokąd trafia odwołanie |
| 9 | AI jako dodatkowy oceniający, ze zgodnością według kryterium | Przy automatyzacji | Oceny AI obok skalibrowanych oceniających na tym samym zestawie |
| 10 | Nazwiska konsultantów ukryte podczas kalibracji | Opcjonalna | Widok sesji bez nazwiska konsultanta |
Funkcja 9 to miejsce, gdzie kalibracja spotyka się z automatyzacją. Zanim zaufają Państwo automatycznym ocenom, potrzebny jest zestaw rozmów, co do których skalibrowani oceniający są zgodni, jak wyjaśnia nasz poradnik o budowie złotego zestawu (po angielsku).
Jak zmierzyć, czy ocenianie jest sprawiedliwe: przykład obliczeń
Sprawiedliwość mierzy się dla każdego kryterium trzema liczbami: jak często oceniający są dokładnie zgodni, jak często mieszczą się w jednym punkcie i jak daleko każdy oceniający odbiega od średniej grupy. Ten przykład poglądowy używa wymyślonych ocen dla jednego kryterium.
Trzech oceniających ocenia „Empatię” w skali od 1 do 5 dla tych samych sześciu rozmów.
| Rozmowa | Oceniający 1 | Oceniający 2 | Oceniający 3 | Rozrzut (najwyższa minus najniższa) |
|---|---|---|---|---|
| 1 | 4 | 3 | 4 | 1 |
| 2 | 3 | 2 | 4 | 2 |
| 3 | 5 | 4 | 5 | 1 |
| 4 | 2 | 2 | 3 | 1 |
| 5 | 4 | 3 | 4 | 1 |
| 6 | 3 | 3 | 3 | 0 |
| Średnia | 3,50 | 2,83 | 3,83 | 1,0 |
Krok 1: Obliczyć zgodność dokładną i zgodność w granicach jednego punktu
Wszyscy trzej oceniający dali tę samą ocenę w jednej z sześciu rozmów, więc zgodność dokładna wynosi 1 na 6. W pięciu z sześciu zmieścili się w jednym punkcie, więc zgodność w granicach jednego punktu wynosi 5 na 6. Taka różnica zwykle oznacza, że skala ma więcej punktów, niż opis kryterium potrafi rozróżnić.
Krok 2: Obliczyć odchylenie każdego oceniającego
Średnia grupy ze wszystkich 18 ocen to 61 ÷ 18 = 3,39. Oceniający 1 ma +0,11, oceniający 2 ma -0,56, a oceniający 3 ma +0,44. Oceniający 2 jest najniższy lub ex aequo najniższy we wszystkich sześciu rozmowach: to wzorzec surowości, a nie przypadek.
Krok 3: Przełożyć to na to, co odczuwa konsultant
Jeśli oceniający 2 przegląda jednego konsultanta, a oceniający 3 innego, dwóch konsultantów z identycznymi rozmowami dzieli cały punkt na pięciopunktowej skali: 2,83 wobec 3,83. To właśnie niesprawiedliwość, którą zauważają konsultanci, a wynika wyłącznie z tego, kto otworzył zgłoszenie.
Krok 4: Poprawić kryterium i zmierzyć ponownie
Należy napisać kotwicę z przykładem dla każdego punktu skali, omówić rozmowę 2, w której rozrzut był największy, i na kolejnej sesji ocenić nowy zestaw. Trzy liczby warto śledzić dla każdego kryterium w czasie; istniejący poradnik szerzej opisuje, jak sprawdzić, czy kalibracja działa (po angielsku).
Czy AI może usunąć ludzką stronniczość z ocen QA?
AI usuwa różnice między oceniającymi, bo stosuje tę samą rubrykę w ten sam sposób do każdej rozmowy, ale nie usuwa stronniczości zapisanej w samej rubryce. Spójność jest warunkiem sprawiedliwości, ale nie jest tym samym.
O tym, czy ocena AI jest sprawiedliwa, a nie tylko spójna, decydują trzy rzeczy:
- Rubryka: niejasne lub stronnicze kryterium zostanie zastosowane spójnie i błędnie. Najpierw skalibrowanie oceniających ludzi pozwala takie kryteria znaleźć.
- Test: przed uruchomieniem należy porównać oceny AI, kryterium po kryterium, z zestawem, co do którego skalibrowani oceniający są zgodni. Nasz protokół walidacji oceny AI (po angielsku) daje plan na tydzień.
- Odwołanie: konsultanci potrzebują sposobu, by zakwestionować ocenę i zobaczyć dowód, jak w naszym poradniku o projektowaniu procesu odwołań od ocen AI (po angielsku).
Gdy AI ocenia każdą rozmowę, rola kalibracji się zmienia. Przestaje służyć pilnowaniu oceniających na próbce i staje się miejscem, w którym uzgadnia się standard, który AI potem stosuje wszędzie.
Arkusz czy oprogramowanie do kalibracji: reguła decyzji
Arkusz wystarcza, dopóki oceniają jedna lub dwie osoby, a karta oceny jest krótka; oprogramowanie się opłaca, gdy oceniają trzy lub więcej osób albo oceny wpływają na decyzje wobec konsultantów. Tabela pomaga ustalić, gdzie jest Państwa zespół.
| Państwa sytuacja | Czy arkusz wystarczy? | Dlaczego |
|---|---|---|
| Jeden lub dwóch oceniających, mniej niż 10 kryteriów | Tak | Mało par do porównania, niezgodę łatwo zauważyć |
| Trzech lub więcej oceniających | Nie | Ocena w ciemno i rozrzut według kryterium są trudne do prowadzenia ręcznie |
| Kilka lokalizacji, zespołów lub klientów | Nie | Odchylenia między grupami trzeba śledzić w czasie |
| Oceny wpływają na wynagrodzenie, awans lub decyzje o wynikach | Nie | Potrzebny jest dowód dla każdej oceny i zapis każdej decyzji |
| AI ocenia część Państwa wolumenu | Nie | Potrzebna jest zgodność według kryterium między AI a oceniającymi |
Jeśli pasują dwa wiersze lub więcej, czas poświęcony na budowanie formuł i zbieranie ocen w ciemno kosztuje więcej niż narzędzie. Nasz artykuł o tym, kiedy przestać prowadzić QA w arkuszu (po angielsku), opisuje szerszą zmianę.
Jak Kaizo obsługuje kalibrację
W Kaizo kalibracja przedstawia jedną rozmowę kilku oceniającym, pokazuje, gdzie się rozeszli, i zapisuje uzgodnione znaczenie w opisie kryterium. AutoPilot stosuje następnie zaktualizowany opis do każdej przyszłej oceny.
Oto co obejmuje z listy zakupowej, według stron produktowych Kaizo:
- Sesje z kilkoma oceniającymi, którzy oceniają te same rozmowy tą samą kartą oceny (funkcje 1 i 3).
- Decyzje zapisane w rubryce, więc nie żyją w niczyjej pamięci, a nowi oceniający uczą się uzgodnionego standardu (funkcja 4).
- Dryf oceniających widoczny zamiast niewidocznego (funkcja 6).
- Dowód przy każdej ocenie: każda ocena prowadzi do dowodu w rozmowie (funkcja 5).
- Przydziały, które równo dzielą pracę przeglądową (funkcja 7).
- AI sprawdzona względem Państwa zespołu: przed uruchomieniem testują Państwo AI na historycznych ocenach, a AutoPilot za każdym razem odczytuje rubrykę identycznie, więc kalibracja służy oceniającym ludziom pracującym obok niego (funkcja 9).
Jak w tym miesiącu zacząć oceniać sprawiedliwiej
Na początek wystarczy jedno kryterium, o które spierają się oceniający, pięć lub sześć przypadków granicznych i trzech oceniających oceniających w ciemno. Należy obliczyć zgodność i odchylenia jak w przykładzie, przepisać kryterium i powtórzyć na kolejnej sesji.
Warto zrobić to dla trzech najbardziej spornych kryteriów, zanim zaczną Państwo porównywać narzędzia. Będą Państwo wiedzieć, jakich funkcji potrzebują, i będą mieć zestaw wzorcowy do późniejszego testu oceny AI każdego dostawcy.
Sesja kalibracyjna na demo na żywo. Pokażemy, jak porównywane są oceny oceniających i jak decyzja aktualizuje rubrykę, na realistycznych danych przykładowych. Umów spotkanie.
Najczęściej zadawane pytania
Czym jest rzetelność międzyoceniająca w QA?
Rzetelność międzyoceniająca mierzy, jak spójnie różni oceniający wystawiają tę samą ocenę tej samej rozmowie. W QA mierzy się ją zwykle dla każdego kryterium, jako odsetek zgodności dokładnej, odsetek w granicach jednego punktu albo miarą taką jak kappa Cohena, która koryguje zgodność przypadkową. Niska rzetelność oznacza, że ocena mówi tyle samo o oceniającym, co o konsultancie.
Jak ograniczyć stronniczość w ocenach QA?
Należy oceniać w ciemno, porównywać według kryteriów i przepisywać kryteria, które powtarzalnie wywołują niezgodę. Warto śledzić w czasie odchylenie każdego oceniającego od grupy, równo dzielić pracę i wymagać dowodu z rozmowy przy każdym odjęciu punktów. Konsultanci powinni mieć możliwość odwołania się od oceny, a odwołania warto omawiać na kolejnej sesji.
Czy podczas kalibracji QA ukrywać nazwiska konsultantów?
Ukrycie nazwisk konsultantów podczas kalibracji ogranicza zniekształcenie wynikające ze znajomości, gdy oceniający ocenia znanego mocnego lub słabego konsultanta zamiast rozmowy. Ma to największe znaczenie w małych zespołach, gdzie wszyscy się znają. Osoba prowadząca sesję może zachować nazwiska, aby informacja zwrotna trafiła potem do właściwego konsultanta.
Czym jest ocena wzorcowa w kalibracji QA?
Ocena wzorcowa to bazowa ocena rozmowy kalibracyjnej, zwykle ustalona przez kierownika ds. jakości lub uzgodniona przez grupę, z którą porównuje się ocenę każdego oceniającego. Zamienia dyskusję w pomiar: widać, kto jest powyżej lub poniżej wzorca i w jakich kryteriach.
Czy kalibrację QA można prowadzić w Excelu?
Tak, przy jednym lub dwóch oceniających i krótkiej karcie oceny. Każdy oceniający ocenia w ukrytej kolumnie, a proste formuły liczą zgodność i rozrzut według kryterium. Przestaje to działać, gdy oceniający widzą oceny innych, gdy trzeba porównywać kilka zespołów albo gdy decyzje nigdy nie wracają do karty oceny.
