Zum Inhalt springen

Leitfaden

Was ist Auto QA? Bedeutung und Funktionsweise erklärt

Was ist Auto QA? Sie bewertet jede Konversation im Kundenservice anhand Ihrer QA-Scorecard statt einer Stichprobe. Wie sie funktioniert und was sie besser kann.

· Aktualisiert · 6 Min. Lesezeit

Geprüft von Dominik Blattner, Gründer von Kaizo

Auto QA, auch AutoQA geschrieben, ist automatisierte Qualitätssicherung im Kundenservice: Software bewertet Konversationen anhand einer QA-Scorecard, sodass jede Konversation geprüft werden kann statt einer von Hand gelesenen Stichprobe.

Sie liest das vollständige Transkript, wendet Ihre Kriterien an und hängt an jeden Score die Belege. Damit ist sie der Motor eines modernen Qualitätsmanagements im Kundenservice. Wie Sie eine Lösung auswählen, einführen und ihr vertrauen, lesen Sie im vollständigen Leitfaden zur KI-Qualitätssicherung im Kundenservice.

Kurz gesagt

  • Auto QA wendet Ihre eigene Scorecard auf jede Konversation an, sobald sie abgeschlossen ist.
  • Qualitätssicherung läuft fortlaufend statt in geplanten Prüfzyklen.
  • Scores mit Belegen lassen sich nachprüfen und anfechten.
  • Teamleitungen verbringen ihre Zeit mit Coaching statt mit Bewerten.

Was Auto QA bedeutet

Auto QA bedeutet, dass Software, meist KI, Supportkonversationen anhand derselben Scorecard bewertet, die auch ein menschlicher QA-Reviewer nutzen würde. AutoQA, Auto QA und automatisierte QA meinen dasselbe, und manche Anbieter nennen die breitere Praxis Auto QM (automatisiertes Qualitätsmanagement).

QA steht für Quality Assurance, also Qualitätssicherung: War die Konversation korrekt, regelkonform, gut geführt und gelöst? Neu ist das „Auto“. Statt dass eine Teamleitung pro Woche ein paar Tickets liest, liest die Software alle und hinterlässt an jedem einen Score und einen Kommentar. Menschlich bleibt der Maßstab selbst: Sie legen fest, was gut ist, und die Software wendet es an.

Wie Auto QA funktioniert

Auto QA arbeitet in fünf Schritten: Anbindung an den Helpdesk, Übernahme Ihrer Scorecard, Test an bereits bewerteten Konversationen, Bewertung jeder neuen Konversation beim Abschluss und Coaching aus den Ergebnissen.

1. Helpdesk anbinden

Das Tool verbindet sich mit dem Helpdesk oder CRM, in dem Ihre Konversationen bereits liegen, etwa Zendesk oder Salesforce Service Cloud. Chats und E-Mails sind schon Text, Anrufe werden zuerst transkribiert.

2. Scorecard übernehmen

Sie bringen die Kriterien mit, die Ihr Team bereits nutzt: Begrüßung, Richtigkeit, Prozess, Ton, Lösung, dazu etwaige Auto-Fail-Kriterien (auf Englisch). Jedes Kriterium braucht eine schriftliche Beschreibung, wie ein „erfüllt“ aussieht, denn genau daran misst die KI.

3. Vor dem Livegang testen

Bei einer guten Einführung bewertet die KI zuerst Konversationen, die Ihre Reviewer schon bewertet haben, und Sie vergleichen beides Kriterium für Kriterium. Wo die Ergebnisse auseinandergehen, formulieren Sie das Kriterium neu. Unser Validierungsprotokoll (auf Englisch) zeigt, wie dieser Test in einer Woche gelingt.

4. Jede Konversation beim Abschluss bewerten

Ab dann wird jede gelöste Konversation automatisch bewertet. Jeder Score kommt mit einem Kommentar und einem Link auf die Stellen im Transkript, aus denen er entstanden ist, sodass Reviewer und Agents sehen, warum Punkte fehlen.

5. Prüfen, anfechten, coachen

Die Scores laufen in Dashboards nach Agent, Team und Kriterium. Agents können einen Score anfechten, Reviewer prüfen die Grenzfälle, und Teamleitungen coachen an Mustern statt an einzelnen Tickets.

Was in einer Konversation bewertet wird

Auto QA kann jedes Kriterium bewerten, das im Transkript sichtbar ist. Am zuverlässigsten ist sie bei klaren Ja-Nein-Prüfungen, bei Ermessenskriterien wie Empathie braucht sie die genauesten Beschreibungen.

KriterientypBeispielWie gut Auto QA damit umgeht
Prozess und ComplianceIdentität vor einer Kontoänderung geprüftSehr zuverlässig: Der Schritt ist passiert oder nicht
RichtigkeitDie genannte Rückgabefrist entspricht der RichtlinieZuverlässig, wenn das Tool Ihre Wissensdatenbank lesen kann
LösungDas eigentliche Problem des Kunden wurde gelöstGut, mit einer klaren Definition pro Kontaktgrund
Ton und EmpathieFrust anerkannt, bevor geantwortet wurdeBraucht präzise Formulierung und Kalibrierung mit Reviewern
SchreibqualitätRechtschreibung, Grammatik, klarer nächster SchrittSehr zuverlässig bei Chat und E-Mail

Das Muster ist dasselbe wie bei menschlichen Reviewern: Vage Kriterien erzeugen umstrittene Scores. Wenn zwei Ihrer Reviewer bei einem Kriterium uneins wären, wird eine KI den Streit nicht für Sie entscheiden. Unser Leitfaden, wie Sie eine QA-Rubrik schreiben, die eine KI bewerten kann (auf Englisch), macht aus vagen Kriterien prüfbare.

Auto QA vs. manuelle QA

Manuelle QA ist dadurch begrenzt, wie viele Tickets ein Mensch lesen kann, deshalb prüfen die meisten Teams nur einen kleinen Teil ihrer Konversationen. In einer Umfrage von Call Centre Helper unter Contact Centern (2016) gaben 68 % an, 2 % oder weniger ihrer Interaktionen auf Qualität zu prüfen. Auto QA hebt diese Grenze auf.

DimensionManuelle QAAuto QA
AbdeckungEine kleine Stichprobe, oft 2 % oder wenigerBis zu 100 % der Konversationen
AufwandLaufende Zeit der ReviewerLäuft automatisch
EinheitlichkeitHängt von Reviewer und Tagesform abEine Scorecard, immer gleich angewendet
TempoPro Prüfzyklus, Tage oder Wochen späterSobald eine Konversation abgeschlossen ist
StärkeNuancen, Grenzfälle, KalibrierungVolumen, Trends, Compliance-Prüfungen

Manuelle Prüfung verschwindet nicht. Sie verlagert sich auf Konversationen, die Urteilsvermögen brauchen, auf Kalibrierung und auf Einsprüche. Die Kostenseite des Vergleichs finden Sie unter Manuelle QA vs. Auto QA.

Vollautomatische Bewertung vs. unterstützte Prüfung

Auto QA gibt es in zwei Formen: vollautomatische Bewertung, bei der die Software jede Konversation selbst bewertet und kommentiert, und unterstützte Prüfung, bei der sie eine Scorecard vorausfüllt, die ein Mensch bearbeitet und freigibt.

In Kaizo tragen die beiden eigene Namen. AutoPilot bewertet jede Konversation anhand Ihrer Rubrik, sobald sie gelöst ist, und hinterlässt Scores und Kommentare, ohne dass jemand eine Prüfwarteschlange abarbeitet.

Auto QA in Kaizo ist die unterstützte Variante: Sie automatisiert Routineprüfungen wie Grammatik, Rechtschreibung und Prozesstreue, füllt die Kriterien vor und entwirft das Feedback, das ein Reviewer bearbeitet und freigibt. Viele Teams nutzen beides, die Vollautomatik für die Abdeckung und die unterstützte Prüfung für Konversationen, die einen menschlichen Blick brauchen.

Warum Supportteams QA automatisieren

Teams automatisieren QA, weil Stichproben die meisten Kundenkonversationen ungelesen lassen. Probleme und Coaching-Anlässe gehen verloren, und der QA-Score beruht auf einer Handvoll Tickets. Wer jede Konversation bewertet, macht aus Qualität einen Trend statt einer Stichprobe. Das gilt genauso, wenn ein KI-Agent einen Teil der Queue übernimmt: Seine Konversationen neben denen Ihres Teams zu bewerten, ist die Qualitätshälfte beim KI-Agenten-Monitoring.

Es verändert auch, womit Reviewer ihre Woche verbringen. Bei SteelSeries, einem Supportteam mit 30 Personen und langen, technischen Tickets, halbierten KI-Zusammenfassungen den Zeitaufwand für QA, ohne dass der Prozess weniger fand. Die Zeit fließt in Coaching, Kalibrierung und in die Prozesse, die immer wieder dieselben Fehler erzeugen.

Auto QA ist nicht für jedes Team der richtige erste Schritt. Wenn ein oder zwei Personen ein paar Dutzend Konversationen pro Woche bearbeiten, decken Sie mit eigenem Lesen und einer kurzen Checkliste dasselbe ab.

So starten Sie

Beginnen Sie mit der Scorecard, die Sie schon haben, nicht mit dem Tool. Schärfen Sie jedes Kriterium, bis zwei Reviewer es gleich bewerten würden, legen Sie fest, welche Kriterien eine Konversation sofort durchfallen lassen, und wählen Sie bewertete Konversationen für den KI-Test aus.

Dann binden Sie den Helpdesk an, vergleichen die Scores der KI mit denen Ihrer Reviewer und schalten die volle Abdeckung erst ein, wenn die Kriterien übereinstimmen.

Sehen Sie es in einer Live-Demo mit realistischen Beispieldaten. Termin buchen.

Häufig gestellte Fragen

Ist Auto QA dasselbe wie agentische QA?

Agentische QA ist eine Form von Auto QA, bei der KI-Agenten über das Bewerten hinausgehen: Sie arbeiten fortlaufend, ohne dass ein Mensch jeden Zyklus anstößt, untersuchen Muster über viele Konversationen und schlagen Maßnahmen wie Coaching oder eine Prozessänderung vor, die ein Mensch freigibt. Auto QA ist der weitere Begriff und umfasst auch einfache regelbasierte Automatisierung.

Funktioniert Auto QA mit meinem Helpdesk?

Auto QA liest Konversationen aus den Systemen, die Sie bereits nutzen, es kommt also auf die Integrationen des Tools an. Kaizo arbeitet nativ in Zendesk und Salesforce Service Cloud und bewertet Konversationen dort, wo sie liegen, ohne Export von Transkripten und ohne dass sich die Arbeitsweise der Agents ändert.

Kann Auto QA 100 % der Konversationen bewerten?

Ja. Weil sie nicht durch die Zeit der Reviewer begrenzt ist, kann Auto QA jede Konversation bewerten statt einer kleinen Stichprobe, und die Abdeckung hält auch bei wachsendem Volumen. Die meisten Teams lassen Grenzfälle, Einsprüche und Kalibrierung weiter von Menschen prüfen, volle Abdeckung heißt also nicht, dass niemand mehr Konversationen liest.

Wie genau ist Auto QA?

Auto QA ist so genau, wie ihre Kriterien klar sind. Objektive Prüfungen wie die Identitätsprüfung oder ein Pflichthinweis werden sehr zuverlässig bewertet, Ermessenskriterien wie Empathie brauchen präzise Beschreibungen. Testen Sie das Tool an Konversationen, die Ihre Reviewer schon bewertet haben, und messen Sie die Übereinstimmung je Kriterium, bevor Sie den Scores vertrauen.

Ersetzt Auto QA die QA-Reviewer?

Nein. Auto QA nimmt das Lesen und Bewerten ab, aber Menschen setzen weiterhin den Maßstab, kalibrieren die Kriterien, bearbeiten Einsprüche und coachen die Agents. Reviewer verbringen weniger Zeit mit Formularen und mehr mit den Konversationen und Mustern, bei denen ihr Urteil das Ergebnis verändert.

Verwandte Begriffe

Auf dieser Seite

Weiterlesen

Sehen Sie das in einer Live-Demo

Wir führen Sie mit realistischen Beispielkonversationen durch Kaizo, damit Sie sehen, wie das Beispiel bewertet, erklärt und gecoacht wird.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath