QA-Methoden im Kundenservice sind die Regeln dafür, welche Konversationen geprüft werden, von wem und wie oft. Die fünf wichtigsten sind die Zufallsstichprobe, die gezielte Prüfung, die risikobasierte Prüfung, die kalibrierungsgeführte Prüfung und die 100-%-Abdeckung. Jede findet andere Probleme und übersieht andere, deshalb kombinieren die meisten reifen Teams zwei oder drei davon in einem QA-Plan.
Kurz gesagt
- Eine QA-Methode entscheidet, welche Konversationen geprüft werden; die Scorecard entscheidet, wie jede einzelne beurteilt wird.
- Die Zufallsstichprobe ist fair und einfach, sieht aber zu wenig, um einen einzelnen Agent zu beurteilen; gezielte und risikobasierte Prüfung finden Probleme schneller, sind aber bewusst verzerrt.
- Bei der kalibrierungsgeführten Prüfung geht es um einheitliche Scores, nicht darum, mehr Probleme zu finden.
- Bei 100 % Abdeckung wird jede Konversation automatisch bewertet, und Menschen prüfen dort, wo ihr Urteil etwas beiträgt.
- Ein durchgerechneter QA-Plan für ein Team mit 300 Agents zeigt, wie Sie die Methoden innerhalb der realen Prüfkapazität kombinieren.
Diese Seite vergleicht die Methoden. Wenn Sie QA von null aufbauen, beginnen Sie mit unserem Leitfaden zum Aufbau der Qualitätssicherung in 7 Schritten; die Grundlagen der Stichprobe finden Sie im Beitrag Was ist eine QA-Stichprobe?. Kaizo ist unser Produkt und unterstützt volle Abdeckung. Wir sagen unten, wo die anderen Methoden die Aufgabe besser erfüllen.
Welche QA-Methode passt zu welcher Aufgabe?
Wählen Sie die Methode nach der Frage: Zufallsstichprobe für einen fairen Durchschnitt, gezielte Prüfung für ein bekanntes Problem, risikobasierte für teure Fehler, kalibrierungsgeführte für Einheitlichkeit, volle Abdeckung für Muster pro Agent.
| Methode | Wie Konversationen ausgewählt werden | Wofür sie gut ist | Was sie übersieht | Aufwand für Reviewer | Am besten für |
|---|---|---|---|---|---|
| Zufallsstichprobe | Eine feste Zahl pro Agent oder Queue, zufällig gezogen | Ein unverzerrter Durchschnitt; leicht als fair zu begründen | Seltene Probleme und Probleme einzelner Agents; die meisten Konversationen sieht nie jemand | Mittel, wächst mit der Teamgröße | Kleine Teams; eine Basisprüfung für jede andere Methode |
| Gezielte Prüfung | Filter für ein bekanntes Thema: ein Thema, eine Queue, neue Mitarbeitende, niedriger CSAT | Ein konkretes Problem schnell finden und beheben | Alles außerhalb des Filters; die Scores fallen tendenziell niedrig aus | Gering bis mittel | Einführungen, neue Mitarbeitende, eine bekannte Häufung von Beschwerden |
| Risikobasierte Prüfung | Regeln oder Scores markieren Konversationen, in denen ein Fehler teuer ist | Compliance, Erstattungen, schutzbedürftige Kunden, Eskalationen | Leise Probleme, die keine Markierung auslösen | Mittel | Regulierte und hochwertige Queues |
| Kalibrierungsgeführte Prüfung | Dieselben Konversationen von mehreren Reviewern bewertet und dann verglichen | Einheitliche Bewertung; ein gemeinsames Verständnis jedes Kriteriums | Abdeckung; sie prüft bewusst wenige Konversationen | Gering im Volumen, hoch in der Zeit pro Konversation | Jedes Team mit mehr als einem Reviewer |
| 100 % Abdeckung | Jede Konversation automatisch bewertet, Menschen prüfen Markierungen und Einsprüche | Muster pro Agent, seltene Probleme, Trends über alle Kontakte | Nuancen, die die Scorecard nicht erfasst, wenn keine Menschen prüfen | Gering pro Konversation, Einrichtung und Validierung vorab | Teams mit mehr Volumen, als Reviewer lesen können |
Die folgenden Abschnitte behandeln jede Methode der Reihe nach, mit einem Urteil, ihrer Funktionsweise und ihren Schwachstellen.
Was ist eine QA-Methode im Kundenservice?
Eine QA-Methode im Kundenservice ist das vereinbarte Vorgehen, mit dem Sie Konversationen zur Qualitätsprüfung auswählen, prüfen und daraus handeln. Sie steht neben der Scorecard: Die Scorecard sagt, wie gut aussieht, die Methode sagt, welche Konversationen Sie daran messen.
Außerdem legt die Methode fest, was danach passiert. Teams halten sie in einem QA-Plan fest. Ein QA-Plan nennt die Scorecard, die Methode oder den Methodenmix, wie viele Konversationen jede Person prüft, wer wie oft kalibriert, wie Agents einen Score anfechten und wie Ergebnisse zu Coaching werden.
Ohne schriftlichen Plan wird die Methode zu dem, wofür jeder Reviewer gerade Zeit hat. Die Planvorlage weiter unten deckt jeden Teil ab.
Zufallsstichprobe
Urteil: am besten als faire Basis und als Kontrolle anderer Methoden; zu dünn, um einen einzelnen Agent zu beurteilen. Bei der Zufallsstichprobe wird eine feste Zahl zufällig gewählter Konversationen pro Agent oder Queue geprüft, meist ein paar pro Woche.
Ihre Stärke ist die Fairness. Wenn Konversationen wirklich zufällig gezogen werden, kann kein Agent sagen, QA suche nur seine schlechtesten Anrufe heraus, und der Teamdurchschnitt ist eine ehrliche Schätzung. Unser Beitrag zur Auswahl von Anrufen für QA (auf Englisch) erklärt, warum manuell „zufällig“ gezogene Fälle oft gar nicht zufällig sind.
Ihre Schwäche ist die Rechnung. Hier ein durchgerechnetes Beispiel dafür, was eine Stichprobe aussagen kann, mit üblichen 95-%-Konfidenzintervallen:
| Was geprüft wurde | Beobachtete Erfüllungsquote bei „korrekte Antwort“ | Bereich, in dem die wahre Quote wahrscheinlich liegt |
|---|---|---|
| 5 Konversationen eines Agents in einem Monat (4 erfüllt) | 80 % | etwa 38 % bis 96 % |
| 20 Konversationen eines Agents (16 erfüllt) | 80 % | etwa 58 % bis 92 % |
| 400 Konversationen über ein Team (340 erfüllt) | 85 % | etwa 81 % bis 88 % |
Bei fünf Prüfungen im Monat können ein Agent mit 80 % und einer mit 50 % gleich aussehen. Auf Teamebene funktioniert dieselbe Methode gut. Unser Beitrag dazu, warum eine QA-Stichprobe von 3 % keine Entscheidungen über einzelne Agents trägt (auf Englisch), geht tiefer in die Statistik.
Gezielte Prüfung
Urteil: der schnellste Weg, ein bekanntes Problem zu beheben; ein schlechtes Maß für die Gesamtqualität. Bei der gezielten Prüfung filtern Sie Konversationen nach einer Bedingung, die Ihnen bereits wichtig ist, etwa ein Thema, eine Queue, neue Mitarbeitende, niedriger CSAT oder wieder geöffnete Tickets, und prüfen diese.
Nutzen Sie sie, wenn Sie eine Frage haben: Wird die neue Erstattungsrichtlinie richtig erklärt, wie gehen die neuen Mitarbeitenden dieses Monats mit Kündigungen um, warum ist der CSAT in der Rechnungs-Queue gefallen? Die Antwort finden Sie viel schneller als mit einer Zufallsstichprobe.
Der Haken: Scores aus gezielter Prüfung sind nicht mit zufälligen vergleichbar. Wenn Sie Konversationen mit niedrigem CSAT prüfen, liegen die Scores unter dem Durchschnitt, und ein Agent, der mehr aus diesen Queues bearbeitet, sieht schlechter aus. Berichten Sie gezielte Prüfungen getrennt und mischen Sie sie nie in den Durchschnitt eines Agents.
Risikobasierte Prüfung
Urteil: unverzichtbar, wo ein einzelner Fehler teuer ist; blind für alles, was die Regeln nicht markieren. Bei der risikobasierten Prüfung gehen die Konversationen, die am ehesten Schaden anrichten, zuerst an einen Menschen, markiert durch Regeln oder durch einen automatischen Score.
Typische Markierungen sind Erstattungen über einem Schwellenwert, Kündigungen, Beschwerden, rechtliche oder regulatorische Themen, schutzbedürftige Kunden, Eskalationen, Ausnahmen von Richtlinien und KO-Kriterien wie die Weitergabe von Zahlungsdaten. Unser Leitfaden zu KO-Kriterien in der Qualitätsbewertung zeigt, wie Sie die schwerwiegendsten definieren.
Die risikobasierte Prüfung findet nur, woran Sie beim Markieren gedacht haben. Eine neue Art von Fehler oder eine schleichende Veränderung im Ton löst keine Regel aus. Deshalb wirkt sie am besten auf einer breiteren Methode, entweder einer Zufallsstichprobe oder voller Abdeckung, und nicht allein.
Kalibrierungsgeführte Prüfung
Urteil: kein Weg, Probleme zu finden, aber die Methode, die jede andere Methode vertrauenswürdig macht. Bei der kalibrierungsgeführten Prüfung bewerten mehrere Reviewer dieselben Konversationen, vergleichen die Unterschiede und einigen sich darauf, was jedes Kriterium bedeutet.
Eine typische Sitzung nimmt eine Handvoll Grenzfälle, also die Konversationen, über die Reviewer streiten, und lässt alle sie anhand derselben Scorecard bewerten. Wo die Scores auseinandergehen, einigt sich das Team auf die Bedeutung und schreibt sie in die Beschreibung des Kriteriums.
Unser Leitfaden zur Ablauf von QA-Kalibrierungssitzungen (auf Englisch) beschreibt die Routine, und ein Golden Set (auf Englisch) mit vereinbarten Scores gibt Ihnen eine feste Referenz.
Manche Teams führen ihr ganzes QA-Programm kalibrierungsorientiert: weniger Konversationen, jede von zwei Personen geprüft, jede Abweichung geklärt. Das ergibt sehr verlässliche Scores auf wenigen Konversationen. Es ist eine gute Wahl, wenn Scores in Gehalts- oder Leistungsentscheidungen einfließen und das Volumen gering ist.
100 % Abdeckung
Urteil: die einzige Methode, die den vollständigen Bestand jedes Agents und seltene Probleme sieht; sie braucht eine validierte Bewertung und Menschen bei den Konversationen, auf die es ankommt. Bei 100 % Abdeckung wird jede Konversation automatisch anhand Ihrer Scorecard bewertet, und menschliche Reviewer arbeiten an Markierungen, Einsprüchen und Grenzfällen.
Die Veränderung liegt darin, was QA beantworten kann. Wenn jede Konversation bewertet ist, ist ein Kriterium, das in 2 % der Konversationen eines Agents verfehlt wird, eine Zahl und keine Vermutung. Trends über Themen, Queues und Kanäle werden sichtbar, ohne dass jemand entscheiden muss, wo er hinschaut. Unser Beitrag zur 100-%-QA-Abdeckung erklärt die Definition.
Auch die Risiken sind real. Automatisierte Bewertung ist nur so gut wie die Scorecard und die Anweisungen dahinter, testen Sie sie also an Konversationen, die Ihr Team bereits bewertet hat, bevor Sie ihr vertrauen. Und Menschen müssen weiterhin die Konversationen prüfen, in denen Urteilsvermögen zählt.
In Kaizos Qualitätssicherung für den Kundenservice bewertet AutoPilot jede Konversation nach ihrem Abschluss anhand Ihrer eigenen Scorecard, mit einem Kommentar, der jeden Score erklärt.
Assignments schicken menschliche Reviewer dann zu den Konversationen, bei denen ein Mensch etwas beiträgt, nach Queue, Kanal oder Agent oder nach Signalen wie negativem CSAT und vielen Wiedereröffnungen. Auto QA füllt diese Prüfungen vor, und der Reviewer bearbeitet und genehmigt sie.
Wie kombinieren Sie QA-Methoden in einem Plan?
Kombinieren Sie QA-Methoden, indem Sie jeder eine Aufgabe geben: volle Abdeckung oder Zufallsstichprobe für die Basis, risikobasierte Prüfung für teure Fehler, gezielte Prüfung für die Frage des Monats und Kalibrierung für einheitliche Reviewer.
Passen Sie den Plan dann an Ihre realen Prüfstunden an. Hier ein durchgerechnetes Beispiel für ein Team mit 300 Agents, das 150.000 Konversationen im Monat bearbeitet und sechs QA-Analysten hat. Die Zahlen sind erfunden.
Schritt 1: Die Prüfkapazität ermitteln
Sechs Analysten mit je 120 Prüfstunden im Monat schaffen bei etwa 10 Minuten pro Prüfung 4.320 Prüfungen im Monat. Das sind 2,9 % aller Konversationen oder etwa 14 pro Agent und Monat, wenn sie sonst nichts täten.
Schritt 2: Festlegen, was die Basis abdeckt
Mit reiner Stichprobe sind diese 4.320 Prüfungen die Basis, und für Risiko- oder gezielte Arbeit bleibt fast nichts übrig. Mit voller Abdeckung werden alle 150.000 Konversationen automatisch bewertet, und die 4.320 menschlichen Prüfungen gehen dorthin, wo Menschen ihr Urteil einbringen.
Schritt 3: Die menschlichen Prüfungen verteilen
| Aufgabe | Methode | Menschliche Prüfungen pro Monat | Warum so viele |
|---|---|---|---|
| Hochrisiko-Markierungen: Erstattungen, Beschwerden, KO-Kriterien | Risikobasiert | 1.500 | Jede markierte Konversation in den riskantesten Queues |
| Neue Mitarbeitende und das Schwerpunktthema des Monats | Gezielt | 1.200 | Etwa 40 pro neuer Person, dazu das Schwerpunktthema |
| Zufällige Kontrolle der automatischen Scores | Zufallsstichprobe | 600 | Genug für eine monatliche Genauigkeitsprüfung auf Teamebene |
| Einsprüche von Agents | Prüfung von Einsprüchen | 300 | Nach der erwarteten Einspruchsquote |
| Kalibrierung: 20 Konversationen durch jeden der 6 Analysten | Kalibrierungsgeführt | 120 | Monatliche Sitzung plus neue Grenzfälle |
| Reserve für die Coaching-Vorbereitung | 600 | Puffer für Spitzen und vertiefte Analysen | |
| Summe | 4.320 |
Die zufällige Kontrolle ist die Zeile, die Teams vergessen. Sie hält die automatische Bewertung ehrlich, so wie eine Zufallsstichprobe gezielte Prüfungen ehrlich hält. Unser Leitfaden zum Rhythmus des QA-Monitorings (auf Englisch) zeigt, wie oft jede Prüfart laufen sollte.
Was gehört in einen QA-Plan?
Ein QA-Plan ist ein einseitiges Dokument, das Scorecard, Methodenmix, Prüfvolumen, Kalibrierungsroutine, Einspruchsverfahren und den Weg von Ergebnissen zu Coaching und Korrekturen festhält. Kopieren Sie die Vorlage unten und füllen Sie jede Zeile aus.
| Abschnitt | Was Sie eintragen | Beispiel |
|---|---|---|
| Umfang | Abgedeckte Kanäle, Queues und Teams | Chat und E-Mail, alle Queues, intern und ausgelagert |
| Scorecard | Name, Version, Verantwortliche | Support-Scorecard v3, verantwortet von der QA-Leitung |
| Basismethode | Wie die Gesamtqualität gemessen wird | Alle Konversationen automatisch bewertet; 600 zufällige menschliche Kontrollen im Monat |
| Risikoregeln | Was zur menschlichen Prüfung markiert wird | Erstattungen über 200 $, Beschwerden, KO-Kriterien |
| Gezielter Schwerpunkt | Die Frage dieses Monats | Neue Kündigungsrichtlinie; neue Mitarbeitende in Woche 1 bis 6 |
| Kalibrierung | Wer, wie oft, wie viele Konversationen | Alle Analysten, monatlich, 20 Konversationen |
| Einsprüche | Wie Agents einen Score anfechten, Antwortzeit | Im Tool, Antwort innerhalb von fünf Arbeitstagen |
| Reporting | Was an wen geht | Ergebnisse pro Agent wöchentlich an die Teamleitungen; Trends monatlich an die Supportleitung |
| Maßnahmen | Wie Ergebnisse zu Coaching oder Korrekturen werden | Kompetenzlücken ins Coaching; Prozesslücken an die Verantwortlichen für Makro oder Richtlinie |
| Überprüfungstermin | Wann der Plan selbst überprüft wird | Jedes Quartal oder nach einer Richtlinienänderung |
Wenn Sie im selben Plan QA und QC trennen, zeigt unser Beitrag zu Qualitätssicherung vs. Qualitätskontrolle, wo beides hingehört.
So wählen Sie Ihren Mix an QA-Methoden
Wählen Sie Ihren Mix nach Volumen und Risiko: Kleine Teams kommen mit Zufallsstichprobe plus Kalibrierung aus, riskante Queues ergänzen die risikobasierte Prüfung, und große Teams verlegen die Basis auf volle Abdeckung.
Sobald das Volumen die Prüfkapazität übersteigt, arbeiten Menschen an Risiken, Schwerpunkten und Einsprüchen statt an der Basis.
Nutzen Sie diese Entscheidungsregel:
- Unter etwa 20 Agents, geringes Risiko: Zufallsstichprobe mit einer festen Zahl pro Agent, monatliche Kalibrierung, gezielte Prüfung, wenn sich etwas ändert.
- Jede Größe, regulierte oder hochwertige Kontakte: risikobasierte Prüfung jeder markierten Konversation in diesen Queues ergänzen.
- Scores fließen in Gehalts- oder Leistungsbeurteilungen ein: doppelte Prüfung bei den zählenden Konversationen und ein Einspruchsverfahren ergänzen.
- Prüfkapazität unter etwa 5 % des Volumens: die Basis auf 100 % Abdeckung verlegen, die Bewertung validieren und eine zufällige Kontrolle beibehalten.
Sehen Sie einen QA-Plan mit voller Abdeckung. Kaizo bewertet jede Konversation anhand Ihrer Scorecard und schickt Reviewer zu denen, die einen Menschen brauchen. Buchen Sie eine Demo und sehen Sie es auf realistischen Beispieldaten.
Häufig gestellte Fragen
Was ist die häufigste QA-Methode im Kundenservice?
Die Zufallsstichprobe ist noch immer am häufigsten, meist eine feste Zahl an Konversationen pro Agent und Woche oder Monat, oft kombiniert mit gezielter Prüfung von Beschwerden oder niedrigem CSAT. Teams mit hohem Volumen bewerten zunehmend jede Konversation automatisch und behalten die menschliche Prüfung für Risiken, Einsprüche und Kalibrierung.
Was ist der Unterschied zwischen einer QA-Methode und einem QA-Prozess?
Die Methode ist die Regel für die Auswahl der Konversationen: zufällig, gezielt, risikobasiert, kalibrierungsgeführt oder volle Abdeckung. Der Prozess ist alles darum herum: Bewertung anhand der Scorecard, Feedback, Einsprüche, Coaching und Ursachenbehebung. Sie können die Methode ändern, ohne den ganzen Prozess neu aufzubauen, und so wechseln die meisten Teams von der Stichprobe zur vollen Abdeckung.
Wie viele Konversationen sollte QA pro Agent prüfen?
Das hängt davon ab, wofür die Prüfungen gedacht sind. Ein paar pro Monat ergeben einen groben Teamdurchschnitt, zeigen aber nicht verlässlich die Qualität eines einzelnen Agents. Zwanzig oder mehr pro Agent engen den Bereich deutlich ein. Wenn Scores in Leistungsbeurteilungen einfließen, bewerten Sie weit mehr oder alle automatisch.
Brauchen Sie bei 100 % Abdeckung noch eine Zufallsstichprobe?
Ja, in einer kleineren Rolle. Bei 100 % Abdeckung prüft eine zufällige Auswahl automatisch bewerteter Konversationen, die jeden Monat von Menschen kontrolliert wird, ob die Bewertung noch Ihrem Standard entspricht. Sie erkennt Abweichungen nach einer Änderung der Scorecard oder Richtlinie, die Risikoregeln und Einsprüche nicht zeigen würden.
Was ist risikobasierte QA?
Risikobasierte QA prüft zuerst die Konversationen, in denen ein Fehler am teuersten ist, etwa Erstattungen, Kündigungen, Beschwerden, regulatorische Themen oder schutzbedürftige Kunden. Regeln oder automatische Scores markieren sie für einen Menschen. Sie ist eine Prioritätsebene, keine vollständige Methode, denn sie erfasst nur die Risiken, an die jemand beim Markieren gedacht hat.
