Przejdź do treści

Kontrola jakości

Ta sama rozmowa, ten sam wynik.

Sesje kalibracyjne sprawiają, że Państwa recenzenci oceniają przypadki graniczne tak samo, więc różnica w wyniku oznacza różnicę w rozmowie, a nie w tym, kto ją oceniał.

Sesje

Rozbieżności ujawnione i rozstrzygnięte.

Ta sama rozmowa trafia do kilku recenzentów, porównują Państwo, gdzie ich oceny się rozeszły, i ustalają, co kryterium naprawdę oznacza. Wynik aktualizuje kryteria oceny, zamiast zostawać w czyjejś pamięci.

  • Rozjazd ocen recenzentów widoczny zamiast ukryty
  • Przypadki graniczne rozstrzygnięte w kryteriach
  • Nowi recenzenci wdrażani według uzgodnionego standardu

Jak to działa

Jak przebiega sesja kalibracyjna, w czterech krokach

  1. Wybór przypadków granicznych

    Kilka rozmów leżących na granicy kryterium: tych, o które oceniający się spierają, albo które nowy oceniający najpewniej oceniłby inaczej.

  2. Ocena przez kilku oceniających

    Każdy oceniający ocenia te same rozmowy według tej samej karty oceny.

  3. Porównanie rozbieżności

    Sprawdzają Państwo, gdzie oceny się rozeszły, i omawiają dlaczego. Spór zwykle sprowadza się do tego, co naprawdę oznacza jedno kryterium.

  4. Zapis decyzji w kryteriach

    Zespół uzgadnia znaczenie i aktualizuje opis kryterium, aby wynik został w kryteriach, a nie w czyjejś pamięci. AutoPilot stosuje nowy opis w każdej kolejnej ocenie.

Przykład

Jedno kryterium, trzech oceniających

Ilustracja typowej sesji, a nie przypadek klienta.

  1. Kryterium

    „Konsultant potwierdza, że problem został rozwiązany, zanim zamknie zgłoszenie.”

  2. Rozbieżność

    Dwóch oceniających zalicza czat, bo konsultant zapytał: „Czy mogę pomóc w czymś jeszcze?”. Trzeci go nie zalicza, bo klient nigdy nie potwierdził rozwiązania.

  3. Decyzja

    Zespół ustala, że do zaliczenia potrzebne jest potwierdzenie klienta albo ponowny kontakt, gdy klient nie odpowiada, i dopisuje to do opisu kryterium.

  4. Efekt

    Gdy sytuacja pojawi się następnym razem, każdy oceniający oceni ją tak samo, a nowi oceniający poznają regułę z kryteriów.

Więcej na ten temat: czym jest kalibracja QA, jak prowadzić sesje kalibracyjne, które eliminują stronniczość ocen i jak zbudować golden set, na którym sprawdza się ocenianie.

FAQ

Najczęściej zadawane pytania

Czy AutoPilot wymaga kalibracji?

Nie. Za każdym razem interpretuje kryteria identycznie i właśnie o to chodzi. Kalibracja jest dla recenzentów, którzy pracują obok niego.

Jak często powinniśmy przeprowadzać kalibrację?

Większość zespołów organizuje sesję raz w miesiącu oraz za każdym razem, gdy standard istotnie się zmienia.

Czy konsultant powinien odwołać się od wyniku spowodowanego błędem systemu?

Tak. Jeśli przyczyną była awaria narzędzia lub procesu, wynik nic nie mówi o konsultancie. Warto zgłosić to oceniającemu i przynieść sprawę na najbliższą sesję kalibracyjną; jeśli zespół się zgodzi, do opisu kryterium dopisuje się, jak oceniać taką sytuację, aby nie była już zapisywana na niekorzyść konsultanta.

Kto powinien brać udział w kalibracji?

Wszyscy, którzy oceniają rozmowy: oceniający QA, liderzy zespołów, którzy oceniają, oraz nowi oceniający, wdrażani według uzgodnionego standardu.

Bezpieczeństwo i zgodność

SOC 2 Type II, ISO 27001 i RODO

Raporty z audytów, certyfikaty i zasady w jednym miejscu.

Trust Center ›

Sprawdź, jak bardzo różnią się Państwa recenzenci

Przekażemy te same rozmowy Państwa zespołowi i pokażemy, gdzie wyniki się rozchodzą.

Zaufały nam zespoły obsługi klienta na całym świecie

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath