Eine Scorecard für Mensch und KI-Agent ist ein einziger Qualitätsstandard mit zwei Ebenen: einem gemeinsamen Kern von Kriterien, nach denen beide bewertet werden, mit denselben Definitionen und Gewichten, und einem kurzen Block je Bearbeiter für Fehler, die nur einer von beiden macht. Sie vergleichen Menschen und Bots nur auf dem gemeinsamen Kern, Thema für Thema, und berichten beide auf einer Seite.
Kurz gesagt
- Eine Scorecard für Mensch und KI-Agent bedeutet einen gemeinsamen Kern plus einen kleinen Block je Bearbeiter, keine identische Liste für beide.
- Der gemeinsame Kern funktioniert nur, wenn jedes Kriterium für beide eine Definition, eine Skala und ein Gewicht hat.
- Sieben Regeln halten sie fair, vom Formulieren der Kriterien für das Transkript bis zur Frage, wem jede verfehlte Zeile gehört.
- Vergleichen Sie auf dem gemeinsamen Kern je Thema: In einem Rechenbeispiel lässt der rohe Durchschnitt den Bot 7,9 Punkte besser aussehen, während Menschen auf fairer Basis 3,8 Punkte besser sind.
- Bauen Sie sie in sechs Schritten, ausgehend von der Scorecard, die Ihr Team bereits nutzt.
Diese Seite behandelt den gemeinsamen Standard. Wenn Sie die Liste der Kriterien suchen, die ein Bot braucht und eine Person nicht, lesen Sie zuerst unseren Leitfaden zur Scorecard für KI-Agenten. Wie Kaizo eine Scorecard auf Ihr Team und Ihre KI-Agenten anwendet, zeigt die Seite zur Qualitätssicherung für KI-Agenten.
Warum eine Scorecard für Mensch und KI-Agent?
Nutzen Sie eine Scorecard für Mensch und KI-Agent, weil Ihre Kunden einen Servicestandard erleben, egal wer antwortet. Zwei getrennte Scorecards ergeben zwei Zahlen, die niemand vergleichen kann, und zwei Diskussionen darüber, welche zählt.
Drei praktische Gründe tauchen in jedem Team auf, das beides betreibt:
- Die Geschäftsleitung stellt eine Frage. „Ist der Bot so gut wie unsere Leute?“ lässt sich nur mit einem gemeinsamen Maßstab beantworten. Mit zwei Scorecards hängt die Antwort davon ab, wessen Definitionen Sie verwenden.
- Routing-Entscheidungen brauchen einen Vergleich. Um zu entscheiden, welche Themen der KI-Agent übernimmt und welche an Menschen gehen, müssen beide beim selben Thema gleich bewertet werden.
- Ein Standard ist leichter zu pflegen. Wenn sich eine Richtlinie ändert, passen Sie ein Kriterium an, nicht zwei Scorecards, die von zwei Teams gepflegt werden und auseinanderdriften.
Die Falle ist der umgekehrte Fehler: die Scorecard für Ihr menschliches Team unverändert auf den Bot anzuwenden. Begrüßung und Rechtschreibung scheitern bei einem Bot selten, während eine erfundene Richtlinie bei einer Person selten vorkommt. Ein Standard heißt ein Kern, nicht eine identische Liste.
Was gehört in den gemeinsamen Kern und was nicht?
Der gemeinsame Kern enthält die Kriterien, die ein gutes Ergebnis für den Kunden beschreiben, egal wer geantwortet hat. Kriterien, die beschreiben, wie eine Art von Bearbeiter scheitert, gehören in den Block dieses Bearbeiters.
Hier eine Vorlage zum Kopieren. Die Gewichte sind ein Beispiel; entscheidend ist, dass der gemeinsame Kern für beide Bearbeiter dasselbe Gewicht hat:
| Block | Kriterium | Erfüllt, wenn | Gewicht |
|---|---|---|---|
| Gemeinsamer Kern | Richtige Antwort | Jeder Fakt in der Antwort stimmt für den Fall dieses Kunden | 25 |
| Gemeinsamer Kern | Vollständige Antwort | Alle Teile der Frage sind beantwortet, einschließlich der Bedingungen | 15 |
| Gemeinsamer Kern | Richtlinie eingehalten | Nichts wird außerhalb der schriftlichen Richtlinie angeboten, versprochen oder abgelehnt | 20 |
| Gemeinsamer Kern | Klarer nächster Schritt | Der Kunde weiß, was als Nächstes passiert, oder das Anliegen ist gelöst | 15 |
| Gemeinsamer Kern | Identität und Daten | Die Identität wird geprüft, bevor Kontodaten geteilt werden | 10 |
| Gemeinsamer Kern | Ton passt zur Marke | Die Antwort klingt nach Ihrer Marke und passt zur Lage des Kunden | 5 |
| Gemeinsamer Kern | Übergabe | Bei einer Weiterleitung wird der Kontext übergeben, und der Empfänger nutzt ihn | 10 |
| Block KI-Agent | Bezug auf unsere Inhalte | Jeder Fakt stammt aus einem Hilfeartikel oder einer Richtlinie, die Sie veröffentlichen | Erfüllt oder nicht erfüllt |
| Block KI-Agent | Zuständigkeit | Er bleibt bei den Themen und Aktionen, die er bearbeiten darf | Erfüllt oder nicht erfüllt |
| Block KI-Agent | Eskalationsauslöser | Er übergibt bei den festgelegten Auslösern, und nicht zu spät | Erfüllt oder nicht erfüllt |
| Block KI-Agent | Unsicherheit | Er sagt, dass er es nicht weiß, statt zu raten | Erfüllt oder nicht erfüllt |
| Block Mensch | Fallnotizen | Notizen und Tags lassen die nächste Person weitermachen, ohne erneut nachzufragen | Erfüllt oder nicht erfüllt |
| Block Mensch | Zusage eingehalten | Ein versprochener Rückruf oder ein Update kam rechtzeitig | Erfüllt oder nicht erfüllt |
Der gemeinsame Kern ergibt zusammen 100, also einen vergleichbaren Score pro Konversation. Die Blöcke der Bearbeiter sind erfüllt oder nicht erfüllt und werden neben dem Score als eigene Erfüllungsquoten berichtet. Ein verfehltes Kriterium im Block kann trotzdem eine Maßnahme auslösen, etwa ein Auto-Fail für den Bot bei einer erfundenen Erstattung, ohne den Vergleich zu verzerren.
Kaizo-Scorecards übernehmen Ihre eigenen Kriterien in Ihren Worten und lassen sich je Team, Warteschlange oder Kunde zuschneiden. So leben ein gemeinsamer Kern und zwei Blöcke in einem Standard statt in zwei Dokumenten.
Sieben Regeln, die eine gemeinsame Scorecard fair halten
Eine gemeinsame Scorecard bleibt fair, wenn beide Bearbeiter mit denselben Worten, derselben Skala und denselben Gewichten bewertet werden, Gleiches mit Gleichem verglichen wird und jeder nur für die eigenen Zeilen geradesteht.
Regel 1: Eine Definition je gemeinsamem Kriterium
Schreiben Sie jedes gemeinsame Kriterium einmal, in Worten, die weder eine Person noch einen Bot voraussetzen.
„Der Agent zeigte Produktwissen“ setzt eine Person voraus. „Jeder Fakt in der Antwort stimmt für den Fall dieses Kunden“ funktioniert für beide. Unser Leitfaden, wie Sie ein QA-Bewertungsraster schreiben, das eine KI bewerten kann (auf Englisch), zeigt, wie Sie Kriterien so formulieren, dass sie sich am Transkript prüfen lassen.
Regel 2: Eine Skala
Bewerten Sie den gemeinsamen Kern für beide auf derselben Skala, ob erfüllt oder nicht erfüllt je Kriterium oder Punkte je Kriterium. Wer eine Skala von 1 bis 5 für Menschen mit erfüllt oder nicht erfüllt für den Bot mischt, erhält Summen, die vergleichbar aussehen, es aber nicht sind.
Regel 3: Ein Satz Gewichte für den Kern
Geben Sie jedem gemeinsamen Kriterium für beide Bearbeiter dasselbe Gewicht. Wenn Sie den Ton bei Menschen höher gewichten, steigt die Summe der Menschen aus Gründen, die nichts mit dem Kunden zu tun haben. Unser Beitrag zur Gewichtung der Bewertungskriterien zeigt, wie Sie Gewichte aus Ergebnissen ableiten statt aus Gewohnheit.
Regel 4: Auf dem Kern vergleichen, je Thema
Vergleichen Sie Menschen und Bot nur auf dem gemeinsamen Kern, Thema für Thema. Das Rechenbeispiel unten zeigt, warum ein Gesamtdurchschnitt in die Irre führt.
Regel 5: Jede verfehlte Zeile gehört dem, der sie geschrieben hat
Ein Fehler des Bots landet nie im Score eines menschlichen Agenten. Wenn der KI-Agent eine Erstattung versprochen hat und der menschliche Agent sie zurücknehmen musste, gehört das verfehlte Kriterium „Richtlinie eingehalten“ zur Konversation des Bots, und der Mensch wird danach bewertet, wie er die Rücknahme gehandhabt hat.
Regel 6: Die Übergabe als Weiterleitung bewerten
Das Kriterium Übergabe steht im gemeinsamen Kern, weil beide Seiten es verfehlen können: der Bot, indem er keinen Kontext übergibt, die Person, indem sie ihn nicht liest. Bewerten Sie jede Seite für ihren eigenen Teil. Unser Leitfaden zur Bewertung der Übergabe zwischen Mensch und KI behandelt beide Richtungen.
Regel 7: Eine Kalibrierung, ein Änderungsprozess
Kalibrieren Sie Ihre Prüfer und Ihren automatisierten Bewerter an einer gemischten Auswahl menschlicher und KI-Konversationen, damit „richtige Antwort“ bei beiden dasselbe bedeutet. Wenn sich ein gemeinsames Kriterium ändert, ändert es sich für beide am selben Tag. In Kaizo gilt eine geänderte Beschreibung eines Kriteriums für jede künftige Bewertung, und Kalibrierungssitzungen halten Prüfer bei Grenzfällen auf einer Linie.
Wie vergleichen Sie menschliche Agenten und KI-Agenten fair?
Vergleichen Sie menschliche Agenten und KI-Agenten auf dem gemeinsamen Kern, Thema für Thema, und gewichten Sie dann beide mit demselben Themenmix. Ein roher Gesamtdurchschnitt misst vor allem, welche Themen jeder Bearbeiter bekommt.
Der Grund ist einfach: Der Bot bearbeitet meist die leichten Themen, Menschen die schweren. Hier ein Rechenbeispiel mit Zahlen, die wir gewählt haben, um die Rechnung zu zeigen, keine Kundendaten. Die Scores sind der Score des gemeinsamen Kerns von 100:
| Thema | Konversationen KI-Agent | Score KI-Agent | Konversationen Mensch | Score Mensch |
|---|---|---|---|---|
| Sendungsverfolgung | 6.000 | 96 | 1.000 | 94 |
| Rechnungsreklamationen | 1.000 | 70 | 4.000 | 82 |
| Roher Durchschnitt | 7.000 | 92,3 | 5.000 | 84,4 |
Nach den rohen Durchschnitten sieht der Bot 7,9 Punkte besser aus. Thema für Thema ist der Bot bei der Sendungsverfolgung 2 Punkte besser und bei Rechnungsreklamationen 12 Punkte schlechter.
Für einen fairen Vergleich gewichten Sie beide mit demselben Mix. Hier verwenden wir den gemeinsamen Mix: 7.000 Konversationen zur Sendungsverfolgung und 5.000 zu Rechnungen von 12.000.
| Mix-bereinigter Score | Rechnung | Ergebnis |
|---|---|---|
| KI-Agent | (7.000 x 96 + 5.000 x 70) / 12.000 | 85,2 |
| Menschliches Team | (7.000 x 94 + 5.000 x 82) / 12.000 | 89,0 |
Beim selben Mix ist das menschliche Team 3,8 Punkte besser. Die Entscheidung, die daraus folgt, lautet nicht „der Bot ist besser“ oder „der Bot ist schlechter“. Sie lautet: „Lassen Sie den Bot bei der Sendungsverfolgung, und lassen Sie Rechnungsreklamationen bei Menschen, bis sich der Rechnungsscore des Bots verbessert.“ Genau diese Art von Antwort macht ein gemeinsamer Kern möglich.
Zwei weitere Prüfungen halten den Vergleich ehrlich. Vergleichen Sie nur Themen, bei denen beide Bearbeiter genug Konversationen für stabile Werte haben, und vermerken Sie es, wenn einer fast keine hat. Und sehen Sie sich die Blöcke der Bearbeiter neben dem Score an: Ein Bot mit hohem Kernscore, der bei einem Thema den Quellenbezug verfehlt, braucht trotzdem eine Korrektur.
Wie Sie die Qualität von Mensch und KI auf einer Seite berichten
Berichten Sie auf einer Seite den Score des gemeinsamen Kerns je Thema für beide Bearbeiter, die mix-bereinigten Summen und daneben die Erfüllungsquoten der Blöcke. Die Geschäftsleitung liest den Vergleich, die Teams lesen ihre eigenen Blöcke.
| Abschnitt | Menschliches Team | KI-Agent |
|---|---|---|
| Gemeinsamer Kern, mix-bereinigt | Score und Trend | Score und Trend |
| Gemeinsamer Kern je Thema | Score je Thema | Score je Thema |
| Block des Bearbeiters | Fallnotizen, Zusage eingehalten: Erfüllungsquoten | Quellenbezug, Zuständigkeit, Eskalation, Unsicherheit: Erfüllungsquoten |
| Übergabe | Kontext aufgenommen | Kontext übergeben |
| Wichtigste Ursachen | Kompetenzlücken, Prozesslücken | Artikel, Regeln, Einstellungen |
In der untersten Zeile gehen die beiden auseinander. Die Fehler eines Menschen deuten meist auf Coaching oder einen Prozess, die eines Bots meist auf einen Artikel oder eine Einstellung.
Unser Beitrag zur Frage Fehler des Agenten oder Fehler im Prozess (auf Englisch) zeigt, wie Sie beides unterscheiden, bevor Sie handeln. Wenn Sie in Kaizo menschliche und KI-Konversationen mit derselben Scorecard bewerten, sehen Sie die Leistung beider nebeneinander.
So bauen Sie eine Scorecard für Mensch und KI-Agent
Bauen Sie sie in sechs Schritten, ausgehend von der Scorecard, die Ihr menschliches Team bereits nutzt. Die ersten drei Schritte erledigen Sie in einer Arbeitssitzung, der Rest geschieht beim Bewerten.
Schritt 1: Sortieren Sie Ihre aktuellen Kriterien in drei Gruppen
Nehmen Sie Ihre Scorecard für Menschen und markieren Sie jedes Kriterium als gemeinsam, nur für Menschen oder nicht nötig. Die meisten Teams stellen fest, dass richtige Antwort, Richtlinie und nächster Schritt gemeinsam sind, während Begrüßung und vorgegebene Formulierungen nur für Menschen gelten oder wegfallen können.
Schritt 2: Formulieren Sie die gemeinsamen Kriterien neutral
Formulieren Sie jedes gemeinsame Kriterium so um, dass es weder eine Person noch einen Bot voraussetzt und ein Prüfer auf die Zeile zeigen kann, die es erfüllt oder verfehlt.
Schritt 3: Ergänzen Sie den Block für den KI-Agenten
Ergänzen Sie die vier Bot-Kriterien aus der Vorlage: Bezug auf Ihre Inhalte, Zuständigkeit, Eskalationsauslöser und Unsicherheit. Bewerten Sie sie als erfüllt oder nicht erfüllt.
Schritt 4: Legen Sie Gewichte und Skala für den Kern fest
Legen Sie für den gemeinsamen Kern eine Skala und einen Satz Gewichte fest, die zusammen 100 ergeben, und halten Sie sie dort fest, wo beide Teams sie sehen.
Schritt 5: Kalibrieren Sie an gemischten Konversationen
Führen Sie eine Kalibrierungssitzung mit einer Mischung aus menschlichen und KI-Konversationen durch, und passen Sie die Beschreibungen der Kriterien an, bis die Prüfer sich bei beiden einig sind.
Schritt 6: Bewerten Sie alles und berichten Sie je Thema
Bewerten Sie jede Konversation, ob Mensch oder KI, mit der Scorecard, und berichten Sie den gemeinsamen Kern je Thema mit der Mix-Bereinigung. Kaizos AutoPilot bewertet jede Konversation anhand Ihrer Kriterien, sobald sie gelöst ist, bei Anrufen, Chat und E-Mail.
Sehen Sie es in einer Live-Demo. Kaizo bewertet Ihr Team und Ihre KI-Agenten mit einer Scorecard, mit den Belegen hinter jedem Score, und zeigt beide nebeneinander. Sprechen wir darüber.
Häufig gestellte Fragen
Sollte für den KI-Agenten ein höherer Standard gelten als für menschliche Agenten?
Auf dem gemeinsamen Kern gilt für beide derselbe Standard, sonst bedeutet der Vergleich nichts. Strenger sein können Sie im Block des KI-Agenten und bei den Folgen: Eine erfundene Erstattung kann für den Bot ein Auto-Fail sein, und ein einziger kritischer Fehler kann ihn ein Thema kosten, weil ein Bot denselben Fehler in vielen Konversationen wiederholt.
Wer sollte die menschlichen und die KI-Konversationen bewerten?
Derselbe Bewerter für beide, auf dem gemeinsamen Kern. Wenn Menschen die menschlichen Konversationen prüfen und ein automatisierter Bewerter den Bot, erscheinen Unterschiede zwischen den beiden Bewertern als Unterschiede zwischen den Bearbeitern. Bewerten Sie beide automatisch nach denselben Kriterien, und lassen Sie Prüfer jeden Monat eine gemischte Auswahl aus beiden kontrollieren.
Was, wenn der KI-Agent besser abschneidet als Ihr menschliches Team?
Prüfen Sie zuerst den Mix, denn der Bot bearbeitet meist leichtere Themen. Wenn er nach der Mix-Bereinigung beim selben Thema immer noch besser abschneidet, ist das eine nützliche Nachricht: Er ist vielleicht bereit für mehr von diesem Thema, und seine Antworten zeigen möglicherweise, wo Prozess oder Inhalte Ihres menschlichen Teams Arbeit brauchen.
Wie viele Kriterien sollte eine gemeinsame Scorecard haben?
Halten Sie den gemeinsamen Kern bei etwa sechs bis acht Kriterien und jeden Block bei zwei bis vier. Bei mehr bewerten Prüfer nicht mehr einheitlich, und der Vergleich wird unscharf. Wenn ein Kriterium seit Monaten nicht verfehlt wurde und keine Entscheidung auslöst, streichen Sie es oder machen Sie daraus eine Prüfung mit erfüllt oder nicht erfüllt.
Kann eine Scorecard Anrufe, Chat und E-Mail abdecken?
Ja, wenn die Kriterien das Ergebnis beschreiben und nicht den Kanal. Eine richtige Antwort, eine eingehaltene Richtlinie und ein klarer nächster Schritt bedeuten am Telefon, im Chat und in einer E-Mail dasselbe. Ergänzen Sie kanalspezifische Prüfungen nur dort, wo der Kanal verändert, wie eine gute Konversation aussieht, etwa bei der Verifizierung am Telefon.
