Qualitätssicherung für KI-Voicebots heißt, die Anrufe, die Ihr Voicebot führt, nach jedem Gesprächsende anhand eines schriftlichen Standards zu bewerten. So wissen Sie, ob er den Anrufer verstanden hat, eine richtige und zulässige Antwort gegeben hat und an einen Menschen übergeben hat, wenn er es sollte.
Sie brauchen dafür eine Scorecard mit sprachspezifischen Prüfungen, ein Transkript jedes Anrufs und eine Möglichkeit, alle Anrufe zu bewerten statt einer Stichprobe.
Kurz gesagt
- Ein Voicebot scheitert auf eine Weise, die ein Chatbot nicht kennt (falsch verstandene Zahlen, Ins-Wort-Fallen, verlorene Weiterleitungen). Seine Scorecard ergänzt daher Prüfungen zu Spracherkennung, Wiederholung, Eskalation und Offenlegung.
- Eine kleine Zufallsstichprobe von Anrufen übersieht die Fehler eines Voicebots meist, weil sie sich bei einem Anliegen häufen und wiederholen.
- Sechs Schritte decken die Arbeit ab: zuerst die riskanten Anliegen, die Scorecard, Transkripte, die Bewertung jedes Anrufs, die Übergabe und die Neubewertung nach jeder Korrektur.
- Seit dem 2. August 2026 verlangt die KI-Verordnung der EU, dass Anrufer erfahren, dass sie mit einer KI sprechen, und die US-Regeln zur Gesprächsaufzeichnung gelten weiterhin.
- Tests vor dem Start und die QA echter Anrufe sind verschiedene Phasen, und Sie brauchen beide.
Dieser Leitfaden ist die Sprachversion unseres allgemeinen Leitfadens zur Qualitätssicherung von KI-Agenten. Zur Produktseite: Die Seite zur QA für KI-Agenten zeigt, wie Kaizo Konversationen von KI-Agenten mit derselben Scorecard bewertet wie die Ihres Teams.
Was ist bei der Qualitätssicherung für KI-Voicebots anders?
Die QA eines KI-Voicebots prüft, was der Bot gehört hat, und nicht nur, was er gesagt hat, denn ein Voicebot wandelt Sprache in Text um, bevor er antwortet. Ein Fehler in diesem ersten Schritt verändert alles danach. Ein Chatbot liest, was der Kunde getippt hat; ein Voicebot rät.
Dadurch kommen drei Fehlerarten hinzu, die die QA von Textkanälen nie sieht:
- Erkennungsfehler. Der Bot hört „fünfzehn“ als „fünfzig“, erfasst eine Ziffer einer Bestellnummer falsch oder verstümmelt einen Nachnamen. Die folgende Antwort kann sich vollständig auf Ihre Inhalte stützen und trotzdem die falsche Bestellung betreffen.
- Gesprächstiming. Der Bot antwortet, bevor der Anrufer ausgeredet hat, lässt lange Pausen oder redet weiter, wenn der Anrufer ihn unterbrechen will. In einem Chat-Transkript gibt es nichts davon.
- Die Weiterleitung. Eine Übergabe am Telefon ist eine Live-Weiterleitung. Wenn der Kontext nicht mit dem Anruf mitgeht, wiederholt der Anrufer alles gegenüber einer Person, die schon unvorbereitet klingt.
Der Rest ist wie bei jedem KI-Agenten: Die Antwort muss richtig sein, aus Ihren eigenen Inhalten stammen, innerhalb der Richtlinie bleiben und beim richtigen Auslöser eskalieren. Diese gemeinsamen Prüfungen behandeln wir in der Scorecard für KI-Agenten, die Weiterleitung ausführlich im Beitrag zur Bewertung der Übergabe.
Welche Fehler sollte eine Voicebot-Scorecard erfassen?
Eine Voicebot-Scorecard sollte falsche Antworten, erfundene Richtlinien, falsch verstandene Angaben, unbestätigte Aktionen, verpasste Eskalationen und eine fehlende KI-Offenlegung erfassen. Zu jeder Prüfung sollte sie auch festhalten, ob das Transkript reicht oder die Aufnahme nötig ist, denn davon hängt ab, wie Sie prüfen.
Hier eine Scorecard, die Sie übernehmen und anpassen können. Die ersten vier Zeilen sind die Kriterien, nach denen Ihre menschlichen Agents bereits bewertet werden. So bleiben beide Ergebnisse vergleichbar.
| Kriterium | Was es prüft | Bewertet für | Reicht das Transkript? |
|---|---|---|---|
| Richtige Antwort | Die Antwort löst die Frage des Anrufers | Menschliche Agents und KI-Agenten | Ja |
| Grenzen der Richtlinie | Keine erfundene Erstattung, kein erlassener Betrag, keine Ausnahme | Menschliche Agents und KI-Agenten | Ja |
| Identität geprüft | Die vorgeschriebenen Prüfungen liefen, bevor Kontodaten genannt wurden | Menschliche Agents und KI-Agenten | Ja |
| Tonfall | Er klingt nach Ihrer Marke, nicht nach einem Skript | Menschliche Agents und KI-Agenten | Teilweise: Tempo und Ins-Wort-Fallen brauchen die Aufnahme |
| Wiederholung wichtiger Angaben | Zahlen, Daten, Namen und Beträge wurden dem Anrufer zur Bestätigung wiederholt | KI-Agenten | Ja |
| Spracherkennung | Worauf der Bot reagiert hat, entspricht dem, was der Anrufer gesagt hat | KI-Agenten | Nein: bei fehlgeschlagenen Anrufen Aufnahme und Transkript vergleichen |
| Auf Ihre Inhalte gestützt | Jede Tatsache stammt aus Ihrer Wissensdatenbank | KI-Agenten | Ja |
| Eskalation | Er hat beim richtigen Auslöser eine Person angeboten, auch wenn zweimal „Mitarbeiter“ oder „Mensch“ gesagt wurde | KI-Agenten | Ja |
| Übergabe | Der Kontext ging mit der Weiterleitung mit, und die Person hat ihn aufgegriffen | KI-Agenten und menschliche Agents | Ja, wenn beide Teile des Anrufs in einem Datensatz liegen |
| KI-Offenlegung | Dem Anrufer wurde zu Beginn gesagt, dass er mit einer KI spricht | KI-Agenten | Ja |
Die Zeile zur Wiederholung ist die günstigste Korrektur mit der größten Wirkung. Ein Voicebot, der sagt „Also Bestellung 4-8-1-7, eine Erstattung von 15 Dollar, ist das richtig?“, macht aus einem stillen Erkennungsfehler eine Korrektur, die der Anrufer für Sie vornimmt. Bewerten Sie sie bei jedem Anruf, der ein Konto ändert, eine Zahlung annimmt oder etwas bucht.
Warum übersieht eine Stichprobe die Fehler von Voicebots?
Eine Zufallsstichprobe übersieht die Fehler von Voicebots, weil sie sich auf ein Anliegen konzentrieren und wiederholen. Ein Fehler, der einen großen Teil einer Anrufart verdirbt, ist trotzdem ein kleiner Teil aller Anrufe. Die Rechnung unten zeigt, wie oft eine typische Stichprobe nichts sieht.
Rechenbeispiel (Zahlen zur Veranschaulichung, keine Kaizo-Daten). Angenommen, Ihr Voicebot führt 12.000 Anrufe im Monat, und Ihr Team prüft eine Zufallsstichprobe von einem Anruf aus 50, also 240 Anrufe. Jeder zwanzigste Anruf betrifft eine Erstattung, also 600 Anrufe.
Nach einer Richtlinienänderung nennt der Bot bei jedem zehnten Erstattungsanruf die falsche Erstattungsfrist: 60 Anrufe, oder einer von 200.
| Wert | |
|---|---|
| Anrufe pro Monat | 12.000 |
| Geprüfte Anrufe (Stichprobe von 2 %) | 240 |
| Erstattungsanrufe mit falscher Antwort | 60 (0,5 % aller Anrufe) |
| Erwartete falsche Erstattungsanrufe in der Stichprobe | 1,2 |
| Wahrscheinlichkeit, dass die Stichprobe keinen davon enthält | etwa 30 % |
| Wahrscheinlichkeit, dass sie höchstens einen enthält | etwa 66 % |
Die letzten beiden Zeilen folgen aus der Binomialverteilung: Die Wahrscheinlichkeit, keinen zu ziehen, ist 0,995 hoch 240, also etwa 0,30.
In ungefähr zwei von drei Monaten sehen Ihre Reviewer einen schlechten Erstattungsanruf oder keinen, was nach Rauschen aussieht. Wenn Sie jeden Anruf bewerten, wird derselbe Fehler zu 60 nicht bestandenen Anrufen bei einem Kriterium, mit den Transkripten dazu.
Die allgemeine Fassung dieses Arguments, mit den Formeln, steht in unserem Beitrag, warum eine QA-Stichprobe von 3 % keine Entscheidungen über einzelne Agents trägt (auf Englisch).
Qualitätssicherung für KI-Voicebots in sechs Schritten
Für die Qualitätssicherung von KI-Voicebots beginnen Sie mit den teuren Anliegen, schreiben eine Scorecard mit Sprachprüfungen, sorgen für ein Transkript jedes Anrufs, bewerten alle Anrufe, prüfen die Weiterleitungen und bewerten nach jeder Korrektur neu.
Schritt 1: Listen Sie die riskanten Anliegen auf
Ziehen Sie die Anliegen, die Ihr Voicebot bearbeitet, und markieren Sie die, bei denen ein Fehler Geld oder Vertrauen kostet: Erstattungen, Zahlungen, Kündigungen, Adressänderungen, Terminbuchungen und alles, was die Identität berührt. Diese werden zuerst bewertet und am häufigsten gelesen.
Schritt 2: Schreiben Sie die Scorecard
Beginnen Sie mit der Tabelle oben. Behalten Sie die Kriterien, die Ihre menschlichen Agents mit dem Bot teilen, ergänzen Sie die Sprachprüfungen und formulieren Sie jedes Kriterium als Ja-oder-Nein-Frage, die eine KI oder ein Reviewer anhand des Anrufs beantworten kann. Wie Sie sie formulieren, zeigt unser Leitfaden zu einem QA-Bewertungsraster, das eine KI bewerten kann (auf Englisch).
Schritt 3: Sorgen Sie für ein Transkript jedes Anrufs
Für die Bewertung brauchen Sie Text. Prüfen Sie, dass jeder Anruf des Voicebots mit einer Aufnahme und einem Transkript in dem System landet, in dem auch die Anrufe Ihres Teams liegen, und dass das Transkript zeigt, wer was gesagt hat. Wenn die Bot-Anrufe in einer separaten Anbieterkonsole liegen, landen die Ergebnisse von Menschen und KI nie in einem Bericht.
Schritt 4: Bewerten Sie jeden Anruf, nicht nur eine Stichprobe
Bewerten Sie alle Anrufe des Voicebots anhand der Scorecard, mit einem Kommentar zu jedem Score, der auf die zugrunde liegende Stelle verweist.
Setzen Sie Reviewer für die Anrufe ein, die ein hoch gewichtetes Kriterium nicht bestehen, und für eine Auswahl bestandener Anrufe, um die Bewertung selbst zu prüfen. Bevor Sie sich auf automatische Scores verlassen, testen Sie sie an Ihren eigenen früheren Bewertungen, wie im Leitfaden zur Validierung der KI-QA-Bewertung (auf Englisch) beschrieben.
Schritt 5: Prüfen Sie die Weiterleitungen
Filtern Sie nach Anrufen, die der Voicebot weitergeleitet hat, und nach Anrufen, in denen der Anrufer nach einer Person gefragt hat. Bewerten Sie, ob der Bot beim richtigen Auslöser eskaliert hat, ob der Kontext beim menschlichen Agent ankam und ob der Anrufer sich wiederholen musste.
Sehen Sie sich dann die Anrufe an, die ohne Weiterleitung und ohne Lösung endeten: Ein Anrufer, der auflegt, wird oft als erfolgreich abgeschlossen gezählt.
Schritt 6: Korrigieren, dann neu bewerten
Führen Sie jeden Fehler auf seine Ursache zurück: einen Artikel in der Wissensdatenbank, einen Prompt, eine fehlende Wiederholung, eine Eskalationsregel oder ein Problem der Spracherkennung bei einer bestimmten Art von Angabe. Korrigieren Sie ihn und beobachten Sie dieses Kriterium beim selben Anliegen in der folgenden Woche.
Die Korrektur einer Antwort kann eine andere verschlechtern, und das sehen Sie nur, wenn Sie weiterhin alle Anrufe bewerten.
Sehen Sie es in einer Live-Demo. Kaizo bewertet Anrufe, Chats und E-Mails mit einer Scorecard und bewertet Konversationen von KI-Agenten mit derselben Scorecard wie die Ihres Teams. Termin buchen.
Was verlangt das Recht von einem KI-Voicebot?
In der EU muss ein Voicebot seit dem 2. August 2026 Anrufern von Beginn des Anrufs an klarmachen, dass sie mit einer KI sprechen. In den USA gelten die üblichen Regeln zur Gesprächsaufzeichnung, und ausgehende KI-Sprachanrufe fallen unter die Robocall-Regeln.
| Regel | Was sie für einen Voicebot bedeutet | Quelle |
|---|---|---|
| KI-Verordnung der EU, Art. 50 Abs. 1 | Anbieter müssen KI-Systeme, die direkt mit Menschen interagieren, so gestalten, dass diese Menschen informiert werden, dass sie mit einer KI interagieren, es sei denn, das ist offensichtlich. Gilt ab dem 2. August 2026. | Verordnung (EU) 2024/1689 auf EUR-Lex |
| Leitlinien der Kommission zu Artikel 50 | Der Hinweis ist ab Beginn der ersten Interaktion fällig, klar und barrierefrei; Chatbots und KI-Agenten werden als Beispiele genannt. | FAQ der Europäischen Kommission zu Artikel 50 |
| US-Bundesrecht zur Aufzeichnung | Aufzeichnen ist mit der Einwilligung einer Partei erlaubt, nach 18 U.S.C. § 2511(2)(d). | Cornell LII |
| Aufzeichnungsgesetze der US-Bundesstaaten | Einige Bundesstaaten, darunter Kalifornien, verlangen die Einwilligung aller Parteien. | California Penal Code § 632 |
| Ausgehende Anrufe in den USA | Die FCC hat am 8. Februar 2024 entschieden, dass KI-generierte Stimmen nach dem TCPA als „artificial“ gelten, sodass die Einwilligungsregeln für Robocalls gelten. | Mitteilung der FCC |
Diese Tabelle ist eine Zusammenfassung, keine Rechtsberatung.
Für die QA ist die praktische Folge einfach: Machen Sie die KI-Offenlegung und den Hinweis auf die Aufzeichnung zu Kriterien auf der Scorecard. So können Sie zeigen, dass beide bei jedem Anruf gegeben wurden, statt es anzunehmen.
Leitlinien und nationale Regeln können sich noch ändern, klären Sie den aktuellen Stand also mit Ihrer Rechtsberatung, bevor Sie in einem neuen Markt starten.
Tests vor dem Start und QA nach dem Anruf
Tests vor dem Start prüfen den Voicebot mit geskripteten Anrufen in einer kontrollierten Umgebung; die QA nach dem Anruf prüft, was er mit echten Anrufern tatsächlich getan hat. Beide finden unterschiedliche Probleme, und ein Voicebot braucht beide.
| Tests vor dem Start | QA echter Anrufe | |
|---|---|---|
| Eingabe | Geskriptete oder simulierte Testanrufe | Echte Anrufe echter Kunden |
| Wann | Vor dem Release und nach jeder Änderung an Prompts oder Abläufen | Nach dem Ende jedes Anrufs |
| Findet | Defekte Abläufe, Rückschritte durch Prompt-Änderungen, Latenz unter Last | Echte Akzente und Störgeräusche, neue Fragen, schleichende Abweichungen von der Richtlinie, gescheiterte Weiterleitungen |
| Verantwortlich | Das Team, das den Bot baut | QA und Support Operations |
| Typisches Tool | Eine Testsuite oder ein Simulationstool | Eine QA-Plattform mit Scorecard |
Kaizo gehört in die zweite Spalte. Es bewertet Konversationen, sobald sie beendet sind, und seine Website sagt das klar: Einen Voicebot vor dem Start mit geskripteten Testanrufen zu prüfen, ist eine andere Phase als die QA echter Konversationen.
Wenn Sie Anrufe live mithören oder während des Anrufs Hinweise in Echtzeit geben wollen, ist das Agent Assist in Echtzeit (auf Englisch), wieder eine andere Kategorie.
So starten Sie die QA Ihres Voicebots
Beginnen Sie diese Woche mit einem Anliegen: Wählen Sie das riskanteste, das Ihr Voicebot bearbeitet, schreiben Sie zehn Scorecard-Kriterien anhand der Tabelle oben und bewerten Sie zwei Wochen lang jeden Anruf zu diesem Anliegen. Aus diesen Anrufen lernen Sie mehr als aus einem Monat Stichproben über alle Anliegen.
Erweitern Sie den Umfang dann Anliegen für Anliegen. Wie eine Scorecard menschliche Agents, Chatbots und Anrufe abdeckt, zeigt die Seite zur Qualitätssicherung von KI-Agenten.
Häufig gestellte Fragen
Wie testen Sie einen KI-Voicebot, bevor er live geht?
Führen Sie geskriptete Testanrufe durch, die Ihre wichtigsten und riskanten Anliegen abdecken, dazu die schwierigen Fälle: Hintergrundgeräusche, Akzente, Unterbrechungen, schnell gesprochene Zahlen und Anrufer, die nach einer Person fragen. Prüfen Sie Abläufe, Antworten und Antwortzeit. Wiederholen Sie dieselben Tests nach jeder Änderung an Prompt oder Ablauf, denn eine Korrektur an einer Stelle kann eine andere beschädigen.
Welche Kennzahlen zählen bei einem KI-Voicebot?
Verfolgen Sie Ergebniskennzahlen wie Containment, Weiterleitungsquote und wiederholte Anrufe, beurteilen Sie die Qualität aber mit einer Scorecard: richtige Antwort, Grenzen der Richtlinie, Wiederholung wichtiger Angaben, Eskalation und Übergabe. Containment allein zählt einen Anrufer, der aufgegeben und aufgelegt hat, als Erfolg. Unser Leitfaden zur Containment Rate (auf Englisch) erklärt, wie Sie sie lesen, ohne sich zu täuschen.
Können Sie Voicebot-Anrufe und Anrufe von Menschen mit derselben Scorecard bewerten?
Ja, bei den Kriterien, die für beide gelten, etwa richtige Antwort, Grenzen der Richtlinie, Identitätsprüfung und Tonfall. So bleiben die Ergebnisse vergleichbar, und Sie sehen, wo der Bot stärker oder schwächer ist als Ihr Team. Der Voicebot bekommt dann zusätzliche Kriterien für Spracherkennung, Wiederholung, Eskalation und die KI-Offenlegung.
Bewertet Kaizo Telefonate?
Ja. Kaizo bewertet Anrufe mit derselben Scorecard wie Chat und E-Mail, und jeder Tarif enthält KI-Zusammenfassungen und Transkription auf Abruf. Kaizo prüft eine Konversation, sobald sie beendet ist und der Fall gelöst wird. Es ist also ein QA-Tool für echte Anrufe im Nachhinein, kein Tool für das Live-Monitoring.
Wie viele Voicebot-Anrufe sollten Sie manuell prüfen?
Bewerten Sie jeden Anruf automatisch, wenn Sie können, und prüfen Sie dann manuell die Anrufe, die ein hoch gewichtetes Kriterium nicht bestehen, sowie eine kleine Auswahl bestandener Anrufe, um die Bewertung zu kontrollieren. Wenn Sie nur manuell prüfen, lesen Sie zuerst jeden Anruf zu Ihrem riskantesten Anliegen, denn die Fehler von Voicebots häufen sich bei einem Anliegen und wiederholen sich.
