Internal quality score (IQS): wzór i benchmarki

IQS (internal quality score, czyli wewnętrzny wskaźnik jakości) to procent punktów jakości, które zdobywa Państwa zespół obsługi klienta, gdy jego rozmowy są oceniane według Państwa własnej karty oceny QA. Pokazuje, czy konsultanci spełnili Państwa standardy, niezależnie od tego, jak czuł się klient.

W skrócie

• IQS = (zdobyte punkty / możliwe punkty) × 100.
• Większość dojrzałych zespołów obsługi klienta stawia sobie za cel IQS na poziomie od 75 do 85%.
• W przeciwieństwie do CSAT czy NPS oddziela wyniki konsultantów od problemów z produktem.
• Mała próbka ocen sprawia, że wynik jest zaszumiony, dlatego liczy się pokrycie.

Mierzą już Państwo CSAT. Być może również NPS. A jednak żaden z tych wskaźników nie mówi, czy konsultanci rzeczywiście trzymali się procesu, udzielali poprawnych odpowiedzi i dobrze poradzili sobie z tym zdenerwowanym klientem. Klient może wystawić entuzjastyczną ocenę po tym, jak konsultant obiecał coś, czego Państwa produkt nie potrafi.

Właśnie tę lukę ma zamknąć internal quality score.

Czym jest IQS w obsłudze klienta?

Internal quality score (IQS) to wskaźnik, który mierzy jakość interakcji Państwa zespołu z klientami według standardów, które sami Państwo definiują. Recenzent (lub AI) ocenia rozmowy za pomocą karty oceny QA, a połączone wyniki dają jeden procent.

Cały sens tkwi w słowie „wewnętrzny”. CSAT pyta klientów, jak się czuli. IQS pyta: czy zrobiliśmy to, co sami uznajemy za jakość? To Państwo definiują kryteria, ustalają wagi i są właścicielami standardu.

Jedna uwaga o terminologii, bo „znaczenie IQS” wprowadza wielu w błąd: branża motoryzacyjna używa skrótu IQS dla Initial Quality Study firmy J.D. Power, które mierzy usterki w nowych samochodach. To zupełnie inny wskaźnik. Jeśli interesuje Państwa obsługa klienta, trafili Państwo we właściwe miejsce.

Jak brzmi pełna nazwa IQS?

IQS to skrót od Internal Quality Score, czyli wewnętrzny wskaźnik jakości. Niektóre zespoły nazywają go wewnętrznym wynikiem kontroli jakości albo po prostu wynikiem QA; wszystkie te nazwy oznaczają to samo, czyli procent, który wyraża, w jakim stopniu ocenione rozmowy spełniły Państwa kryteria jakości. Jeśli w kontekście contact center pada „wynik jakości” bez dalszego doprecyzowania, zwykle chodzi właśnie o ten wskaźnik.

Czym IQS różni się od CSAT, NPS i CES?

Każdy wskaźnik odpowiada na inne pytanie i nie da się ich stosować zamiennie.

Różnica w praktyce: gdy CSAT spada, wiedzą Państwo, że coś jest nie tak, ale nie wiedzą co. Gdy spada IQS, widać dokładnie, które kryterium zawiodło, w którym zespole i w którym kanale. Dlatego oba wskaźniki najlepiej działają razem. Zestawiając je, wychwycą Państwo rozmowy, w których klient był zadowolony, ale konsultant udzielił błędnej odpowiedzi, albo takie, w których konsultant zrobił wszystko dobrze, a klient i tak był sfrustrowany produktem. Jak te wskaźniki na siebie oddziałują, opisujemy w naszym przewodniku po KPI obsługi klienta.

Za tym kryje się też szersza zmiana. Badanie Gartnera z czerwca 2024 roku wykazało, że wśród liderów obsługi klienta, którzy wysoko oceniają wartość swojego programu QA, 52% przypisuje to głównie wiedzy o głosie klienta, a tylko 19% wskazuje na wyniki konsultantów. Wyniki jakości już jakiś czas temu przestały być wyłącznie narzędziem działu HR.

Jak obliczyć internal quality score?

Sam wzór jest prosty:

IQS = (zdobyte punkty / możliwe punkty) × 100

Słowami: proszę podzielić punkty, które zdobyła rozmowa, przez punkty, które mogła zdobyć, i pomnożyć wynik przez 100. Aby uzyskać wynik zespołu lub konsultanta, należy uśrednić ten procent dla wszystkich ocenionych rozmów.

Cała praca kryje się w tym, co stoi za wzorem. Oto proces, który stosuje większość zespołów.

1. Zdefiniowanie kryteriów karty oceny

Proszę pogrupować standardy jakości w kategorie. Klasyczne kategorie to:

• Obsługa sprawy: czy konsultant udzielił poprawnych i pełnych informacji? Czy przekazał sprawę dalej (eskalacja), gdy powinien?
• Umiejętności obsługi: czy wykazał empatię? Czy dostosował się, gdy prośba klienta zmieniła się w trakcie rozmowy?
• Język: gramatyka, ortografia, ton zgodny z głosem Państwa marki.
• Błędy krytyczne: udostępnienie danych wrażliwych, pomylenie klienta, naruszenie zasady zgodności.

Nasz formularz monitoringu rozmów zawiera pełny zestaw przykładowych kryteriów, które można przejąć.

2. Nadanie wag kryteriom

Nie każdy błąd jest taki sam. Literówka kosztuje punkt; wyciek danych osobowych powinien przekreślić całą ocenę. Większość zespołów traktuje błędy krytyczne jako automatyczne niezaliczenie, a umiejętności miękkie mają umiarkowaną wagę. Właściwe wagi są ważniejsze niż liczba kryteriów, dlatego warto przeglądać je co kwartał. W Kaizo karty oceny zawierają te wagi i można je ustawiać osobno dla zespołu, kolejki lub klienta. Nasz przewodnik po budowie karty oceny rozmów szczegółowo omawia nadawanie wag.

3. Ocena rozmów i agregacja wyników

Recenzenci oceniają zgłoszenia według karty oceny. Załóżmy, że rozmowa zdobyła 42 z 50 możliwych punktów: to daje IQS 84% dla tego zgłoszenia. Uśrednienie wszystkich ocenionych rozmów daje wynik zespołu. Można go rozbić na konsultantów, zespoły, kanały lub okresy.

Przykład obliczenia. Państwa karta oceny ma cztery kategorie po 25 punktów. Konsultant zdobywa 25 (obsługa sprawy), 20 (umiejętności obsługi), 22 (język), 25 (brak błędów krytycznych). To 92 ze 100 punktów, więc ta rozmowa ma wynik 92%. Po powtórzeniu tego dla 200 ocenionych zgłoszeń średnia, powiedzmy 81%, jest Państwa miesięcznym IQS.

Jeśli prowadzą Państwo kontrolę jakości w arkuszu kalkulacyjnym, to właśnie przy agregacji zaczynają się kłopoty. Narzędzia stworzone do tego celu robią to automatycznie. W Kaizo na przykład administrator QA raz konfiguruje kartę oceny, każdy recenzent ocenia według tych samych kryteriów, a IQS agreguje się w podziale na konsultantów, zespoły i okresy na dashboardach (po angielsku), bez dotykania jakiejkolwiek formuły.

4. Kalibracja recenzentów

Dwóch recenzentów oceniających to samo zgłoszenie powinno dojść do tego samego wyniku. Na początku zwykle tak nie jest. Regularne sesje kalibracyjne, podczas których kilku recenzentów ocenia te same rozmowy i porównuje uwagi, to właśnie to, co zamienia IQS z opinii we wskaźnik. Bez nich wynik mierzy nastrój recenzenta, a nie jakość rozmowy.

Jaki wynik IQS jest dobry?

Krótka odpowiedź: zależy to od tego, jak wymagająca jest Państwa karta oceny. 95% na łagodnej karcie oceny znaczy mniej niż 80% na wymagającej. Mimo to istnieją przydatne punkty odniesienia:

• 75 do 85% to cel, który wyznacza sobie większość dojrzałych zespołów obsługi klienta.
• Powyżej 90% zwykle oznacza albo znakomity zespół, albo zbyt łatwą kartę oceny. Warto sprawdzić, które z nich, zanim zacznie się świętować.
• Poniżej 70% zazwyczaj wskazuje na lukę szkoleniową, niejasne procesy lub kryteria, które nie odpowiadają rzeczywistości.

Trend jest ważniejszy niż wartość bezwzględna. IQS rosnący z 78% do 84% w ciągu dwóch kwartałów pokazuje, że coaching działa. Stałe 90% nie mówi nic poza tym, że nikt nie przygląda się z bliska.

Proszę porównywać się najpierw z własną historią, a dopiero potem z danymi branżowymi. Karty oceny tak bardzo różnią się między firmami, że porównania między nimi faworyzują lub karzą Państwa z powodów, które nie mają nic wspólnego z jakością.

Czy wyniki IQS zmieniają się w czasie?

Tak, a stabilny IQS to właśnie przypadek podejrzany. Zmiany przychodzą z czterech kierunków:

• Nowi pracownicy. Grupa nowych konsultantów zwykle obniża IQS zespołu o 5 do 10 punktów na jeden kwartał. To nie problem z jakością, tylko krzywa wdrożenia. Proszę śledzić grupy nowych osób osobno, aby fala zatrudnień nie wyglądała jak spadek wyników zespołu.
• Zmiany karty oceny. Za każdym razem, gdy dodają Państwo, usuwają lub zmieniają wagę kryterium, IQS zmienia znaczenie. Proszę oznaczać zmiany karty oceny na osi czasu raportów, inaczej za rok będą Państwo szukać przyczyny „spadku”, który w rzeczywistości był bardziej wymagającą kartą oceny.
• Sezonowość. Okresy szczytu skracają czas obsługi i rozkładają pracę konsultantów na więcej rozmów. Większość zespołów odnotowuje mierzalny spadek IQS w sezonie. Coaching (po angielsku) warto zaplanować przed nim, a nie w jego trakcie.
• Inflacja wyników. Recenzenci z czasem stają się łagodniejsi, zwłaszcza gdy miesiąc po miesiącu oceniają tych samych konsultantów. Jeśli IQS stale rośnie, a CSAT stoi w miejscu, inflacja jest bardziej prawdopodobnym wyjaśnieniem niż poprawa. Mechanizmem korekty są sesje kalibracyjne.

Praktyczny wniosek: IQS należy oceniać jako trend w kontekście, nigdy jako pojedynczą liczbę. Wahanie o 4 punkty nic nie znaczy w miesiącu, w którym wdrożyli Państwo sześciu konsultantów i wprowadzili nową kartę oceny.

Skąd pochodzą dane do IQS?

Wynik zasilają trzy warstwy:

1. Same rozmowy. Zgłoszenia, e-maile, czaty oraz nagrania lub transkrypcje rozmów telefonicznych, pobierane z Państwa helpdesku lub platformy contact center. To surowiec.
2. Karta oceny. Państwa kryteria, wagi i warunki niezaliczenia. To ona zamienia rozmowę w punkty.
3. Oceny. Kartę oceny do każdej rozmowy stosuje recenzent-człowiek, AI albo jedno i drugie. Niezależnie od tego, kto ocenia, wynik jest ten sam: punkty zdobyte za każde kryterium w każdej rozmowie.

Czego IQS celowo nie wykorzystuje: odpowiedzi klientów z ankiet. To rozdzielenie jest zaletą. CSAT mówi, jak czuł się klient; IQS mówi, co zrobił Państwa zespół. Mieszanie obu źródeł danych odbiera możliwość odróżnienia tych dwóch historii.

Dlaczego IQS ma znaczenie?

Poza tym, że „jakość jest ważna”, IQS zasługuje na miejsce na Państwa dashboardzie z konkretnych powodów:

• Oddziela wyniki obsługi klienta od problemów z produktem. Klienci oceniają całe doświadczenie. Jeśli produkt ich frustruje, CSAT spada nawet wtedy, gdy konsultanci pracują znakomicie. IQS odfiltrowuje ten szum.
• Sprawia, że coaching jest konkretny. Niski CSAT mówi „popraw się”. Niski IQS w kryterium eskalacji mówi „przeszkól zespół w tym, kiedy przekazywać sprawy dalej”. Tylko jedna z tych informacji pozwala działać. Cel kontroli jakości w call center to właśnie takie przełożenie wyniku na działanie.
• Wychwytuje problemy, zanim zrobią to klienci. Uchybienia w zgodności i błędne odpowiedzi pojawiają się w ocenach QA, zanim pojawią się w odejściach klientów.
• Daje argumenty w rozmowach o etatach i budżecie. „Jakość spadła o 6 punktów po tym, jak ograniczyliśmy program szkoleń” to argument, który rozumie zarząd.

Problem próbkowania: kiedy IQS wprowadza w błąd

Oto niewygodna część, którą pomija większość poradników o IQS.

Typowy zespół QA ocenia 3 do 5 zgłoszeń na konsultanta tygodniowo. Przy zespole obsługującym realny wolumen to od 1 do 5% wszystkich rozmów. Państwa IQS, liczba na dashboardzie zarządu, opisuje maleńką próbkę. Pozostałe 95% i więcej leży w szarej strefie, do której nikt nie zajrzał.

Małe próbki powodują dwa konkretne problemy:

1. Szum statystyczny. Przy pięciu ocenionych zgłoszeniach jedna słaba rozmowa zmienia wynik konsultanta o 20 punktów. W efekcie coaching dotyczy przypadkowych wahań, a nie wyników.
2. Błąd selekcji. Recenzenci często wybierają zgłoszenia, które łatwo znaleźć lub które już zostały oznaczone. Ciche błędy, takie jak błędna odpowiedź udzielona uprzejmie, nigdy nie trafiają do próbki.

Jak duży jest problem szumu? Oto margines błędu dla IQS w okolicach 80% w zależności od miesięcznej liczby ocen:

Przy 25 ocenach miesięcznie raportowany IQS na poziomie 80% jest statystycznie zgodny z dowolną wartością od 64% do 96%. Większość zespołów świętujących poprawę o 3 punkty odczytuje szum.

Rozwiązanie ręczne to ocenianie większej liczby zgłoszeń, prawidłowe losowanie próbki i zaakceptowanie kosztów. Niektóre zespoły robią dokładnie to i w małym zespole może to wystarczyć.

Rozwiązanie systemowe to automatyzacja. Automatyczna kontrola jakości oparta na AI ocenia każdą rozmowę według Państwa karty oceny zamiast próbki, co zamienia IQS z szacunku w pomiar. W tym kierunku zmierza cała kategoria: automatyczna kontrola jakości w Kaizo ocenia każde zgłoszenie według Państwa karty oceny, a sesje kalibracyjne utrzymują recenzentów i AI przy tym samym standardzie, dzięki czemu wynik odzwierciedla spójny standard, a nie osąd jednego oceniającego w danym dniu. Pokrycie zmienia to, na czym opiera się wynik. Kalibracja decyduje o tym, czy można ufać temu, co on mówi.

Jeśli porównują Państwo podejście ręczne i zautomatyzowane, nasze zestawienie procesów automatycznej kontroli jakości omawia temat szerzej.

Jak poprawić niski IQS?

Niski wynik to punkt wyjścia, a nie wyrok. Sprawdzona kolejność działań:

Proszę szukać kryterium, które zawodzi, a nie konsultanta. Jeśli połowa zespołu nie spełnia tego samego kryterium, problemem jest proces albo samo kryterium. Najpierw trzeba naprawić system, a dopiero potem prowadzić coaching indywidualny.

Coaching oparty na dowodach. Ogólnikowa informacja zwrotna („bądź bardziej empatyczny”) niczego nie zmienia. Każdy punkt coachingu warto powiązać z konkretnymi rozmowami. Konsultanci akceptują informację zwrotną, którą mogą zobaczyć. Nasz przewodnik po coachingu w obsłudze klienta opisuje, jak prowadzić takie sesje, a narzędzia też tu pomagają: Kaizo automatycznie generuje karty coachingowe z danych QA, dzięki czemu liderzy zespołów poświęcają czas na coaching, a nie na zestawianie danych.

Ponowny pomiar po 30, 60 i 90 dniach. Coaching bez ponownego pomiaru to tylko sugestia. Proszę sprawdzać, czy wybrane kryterium rzeczywiście poprawia się w kolejnym cyklu.

Przegląd samej karty oceny dwa razy w roku. Standardy się zmieniają. Kanały się zmieniają. Karta oceny napisana do kontroli jakości e-maili źle mierzy rozmowy na czacie. Kontrola jakości to żywy proces, a nie jednorazowa konfiguracja; różnica między zapewnieniem jakości a kontrolą jakości ma tu znaczenie.

Bezpłatny szablon karty oceny IQS do skopiowania

Proszę potraktować go jako punkt wyjścia. Cztery kategorie, 100 punktów, jedna reguła automatycznego niezaliczenia.

Proszę dostosować wagi do swojej rzeczywistości. Fintech powinien przypisać większą wagę procesom i zgodności; zespół e-commerce może przenieść więcej punktów na obsługę sprawy. Regułę automatycznego niezaliczenia zachowalibyśmy w każdej wersji: niektóre błędy nie powinny rozmywać się w średniej.

Jak raportować IQS zarządowi?

Błędem jest raportowanie samej liczby. IQS na poziomie 82% nic nie mówi wiceprezesowi bez kontekstu. Co się sprawdza:

• Trend z adnotacjami. Linia IQS z 6 miesięcy z zaznaczonymi zmianami karty oceny i falami zatrudnień.
• Zestawienie z CSAT. Obie linie razem odpowiadają na pytanie, które naprawdę zadaje zarząd: czy jakość przekłada się na zadowolenie?
• Jedno słabe kryterium, jedno działanie. „Obsługa eskalacji uzyskała w tym kwartale 61%; prowadzimy ukierunkowany coaching i zmierzymy ponownie za 30 dni” jest lepsze niż dashboard z czterdziestoma liczbami.
• Ujawnienie pokrycia. Proszę podać, na jakim odsetku rozmów opiera się wynik. To najważniejszy wskaźnik przejrzystości w raporcie QA, a prawie nikt go nie podaje.

Powiązane artykuły

• Agentowe Auto QA: jak Kaizo automatycznie ocenia 100% rozmów
• Czym jest 100% pokrycia QA? (po angielsku) (rozwiązanie problemu próbkowania)
• Karta oceny rozmów: struktura, przykłady i szablon
• Czym jest auto QA? (po angielsku)
• Czym jest conversation intelligence? (po angielsku)
• Jak zamienić dane QA w coaching konsultantów (po angielsku)
• Jak zweryfikować ocenę QA wykonaną przez AI (po angielsku)
• Jak dokładna jest ocena jakości przez AI?
• Czym jest DSAT?

Najczęściej zadawane pytania

Co oznacza skrót IQS?

W obsłudze klienta IQS oznacza Internal Quality Score, czyli wewnętrzny wskaźnik jakości: procent punktów jakości, które Państwa zespół zdobywa w ocenionych rozmowach. (W branży motoryzacyjnej ten sam skrót oznacza Initial Quality Study firmy J.D. Power, które nie ma z tym nic wspólnego.)

Jaki wynik QA jest dobry?

Większość zespołów obsługi klienta stawia sobie za cel IQS między 75 a 85%. Wyniki powyżej 90% wymagają sprawdzenia, czy karta oceny nie jest zbyt łatwa, a wyniki poniżej 70% zwykle wskazują na luki szkoleniowe lub procesowe, a nie na słabych konsultantów.

Jak oblicza się IQS?

Należy podzielić zdobyte punkty jakości przez możliwe punkty i pomnożyć przez 100. Zgłoszenie, które zdobyło 42 z 50 punktów, ma IQS 84%. IQS zespołu to średnia ze wszystkich ocenionych rozmów.

Ile zgłoszeń trzeba ocenić, aby IQS był wiarygodny?

Więcej, niż niemal ktokolwiek ocenia ręcznie. Przy 3 do 5 zgłoszeniach na konsultanta tygodniowo próbka obejmuje mniej niż 5% rozmów, przez co indywidualne wyniki są zaszumione. Można zwiększyć i losować próbkę albo użyć oprogramowania do kontroli jakości opartego na AI, aby oceniać każdą rozmowę.

Czy IQS jest lepszy niż CSAT?

Żaden z nich nie zastępuje drugiego. CSAT mierzy, jak czują się klienci; IQS mierzy, czy Państwa zespół spełnił Państwa standardy. Stosowane razem pokazują, gdzie te dwie rzeczy się rozchodzą, a właśnie w tej rozbieżności zwykle kryją się najciekawsze problemy.

Co sprawia, że IQS jest wiarygodny?

Karta oceny i spójność ocen, które za nią stoją. IQS to podsumowanie, a podsumowanie jest tylko tak dobre jak to, co podsumowuje: jeśli kryteria są niejasne, a recenzenci oceniają je różnie, IQS mierzy opinię recenzenta, a nie jakość. Wiarygodny IQS opiera się na jasnych kryteriach, skalibrowanych recenzentach i najlepiej na pełnym pokryciu zamiast małej próbki, a do tego da się go prześledzić aż do kryterium i rozmowy, dzięki czemu zmiana liczby staje się konkretnym ustaleniem, na którym można oprzeć coaching.

Czy wyniki IQS zmieniają się w czasie?

Tak. Grupy nowych konsultantów, zmiany karty oceny, sezonowy wolumen i rosnąca łagodność recenzentów wpływają na wynik. Należy oceniać trend w kontekście, a nie liczbę z jednego miesiąca.

Jak brzmi pełna nazwa IQS?

IQS to Internal Quality Score, czyli wewnętrzny wskaźnik jakości, nazywany czasem wewnętrznym wynikiem kontroli jakości: procent punktów jakości zdobytych w ocenionych rozmowach z klientami.

Mierzyć to, co naprawdę widać

IQS to jedyny wskaźnik obsługi klienta, nad którym mają Państwo pełną kontrolę: Państwa standardy, Państwa karta oceny, Państwa definicja tego, co dobre. Ta kontrola jest jednocześnie ryzykiem, bo wynik zbudowany na skąpej próbce i nieskalibrowanych recenzentach daje szum, który wygląda na pewność.

Najpierw trzeba zadbać o podstawy. Jasne kryteria, uczciwe wagi, skalibrowani recenzenci. Potem warto zwiększać pokrycie, bo każda nieoceniona rozmowa to punkt danych, o którym mogą Państwo tylko zgadywać.

Jeśli chcą Państwo zobaczyć, jak wygląda IQS przy 100% pokrycia, wystarczy umówić demo, a pokażemy to na Państwa własnych zgłoszeniach.