Übergabe-QA bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten und einem Menschen wechselt, in beide Richtungen. Bei der Übergabe vom KI-Agenten an Mitarbeiter und zurück bricht gemischter Support am häufigsten, und Scores pro Agent übersehen das, weil der Fehler zum Übergang gehört.
Kurz gesagt
- Übergaben von KI an Mensch und von Mensch an KI scheitern auf unterschiedliche Weise.
- Von KI an Mensch scheitert die Übergabe an später Eskalation, verlorenem Kontext oder einem fehlenden brauchbaren Grund.
- Von Mensch an KI scheitert die Übergabe, wenn ein ungelöster Fall zurück an die Automatisierung geht.
- Containment und Bearbeitungszeit sehen das nicht. Lesen Sie die ganze Konversation.
Warum die Übergabe eine eigene Fehlerquelle ist
Wenn Sie einen menschlichen Agent und einen KI-Agenten prüfen, bewerten Sie zwei Hälften einer Konversation, die immer seltener aus zwei Hälften besteht. In einem gemischten Modell beginnt ein Kunde vielleicht bei einem KI-Agenten (auf Englisch), wird an eine Person eskaliert und für ein Follow-up zurück an die Automatisierung geleitet, alles in einem Thread. Jeder Beteiligte kann auf seinem Abschnitt gut abschneiden, während die Konversation als Ganzes eine schlechte Erfahrung ist, denn der Schaden entstand am Übergang und gehört keinem von beiden.
Das ist der blinde Fleck. Eine Scorecard pro Agent bewertet, was jede Partei mit der Konversation gemacht hat, solange sie sie hatte. Zum Moment der Weitergabe sagt sie nichts, und genau dort bricht gemischter Support meistens. Die Übergabe muss als eigenständiger Vorgang bewertet werden.
Übergabe vom KI-Agenten an Mitarbeiter: was Sie bei der Eskalation bewerten
Das ist die vertrautere Richtung, und sie hat drei Fehlerarten, die Sie ausdrücklich bewerten sollten.
Timing: Wurde im richtigen Moment eskaliert?
Zu spät ist der häufige Fall. Ein Agent, der weitermacht, obwohl er offensichtlich feststeckt, lässt den Kunden im Kreis laufen, bevor er eine frustrierte Person übergibt. Eine zu frühe Eskalation verschwendet die Automatisierung und die Zeit des Menschen. Das Kriterium ist, ob die Eskalation an dem Punkt erfolgte, an dem der Agent keine Fortschritte mehr machte, und das sehen Sie im Transkript.
Kontext: Hat der Mensch bekommen, was er braucht?
Die schlechteste Übergabe zwingt den Kunden, von vorn anzufangen. Bewerten Sie, ob die Eskalation den Verlauf, die bisherige Diagnose und das eigentliche Anliegen des Kunden mitgegeben hat, damit der Mensch den Fall informiert statt ohne Vorwissen übernimmt. Eine Übergabe, die Kontext verliert, macht aus einer Konversation zwei.
Grund: War die Eskalation verständlich?
Eine Eskalation, die nur mit „an Mitarbeiter eskaliert“ markiert ist, sagt dem Menschen nichts. Bewerten Sie, ob der Grund der Übergabe in einer Form erfasst wurde, mit der die übernehmende Person arbeiten kann. Das ist eines der Kriterien einer Scorecard für KI-Agenten, wird aber erst sichtbar, wenn Sie über die Nahtstelle hinweg lesen.
Von Mensch an KI: die Richtung, die niemand bewertet
Die umgekehrte Übergabe ist neuer und weniger untersucht, und sie scheitert auf Arten, die leicht zu übersehen sind.
| Übergabe von Mensch an KI | So sieht es gut aus | Der Fehler, den Sie bewerten sollten |
|---|---|---|
| Rückgabe eines Falls an die Automatisierung für ein Follow-up | Die KI hat die Lösung, und der nächste Schritt ist wirklich Routine | Der Mensch gibt einen ungelösten Fall zurück, um seine Queue zu leeren |
| Delegieren einer Teilaufgabe mitten in der Konversation | Die KI kann die konkrete Aufgabe erledigen und sauber zurückgeben | Die KI kann den Faden nicht aufnehmen, und der Kunde verliert die Kontinuität |
| Automatisches Follow-up nach der Lösung | Das Follow-up passt zu dem, was tatsächlich gelöst wurde | Die Automatisierung widerspricht dem, was der Mensch gerade getan hat, oder vergisst es |
So bewerten Sie eine Übergabe in der Praxis
Die Bewertungseinheit ist die Konversation über den Übergang hinweg, nicht der Abschnitt auf einer der beiden Seiten. Das hat drei praktische Folgen.
Bewerten Sie den ganzen Thread
Bewerten Sie die Kontinuität über die Nahtstelle: Hat der Kontext überlebt, musste sich der Kunde nicht wiederholen, hat die zweite Partei dort weitergemacht, wo die erste aufgehört hat? Das ist unmöglich, wenn Ihre QA den KI-Teil und den menschlichen Teil als getrennte Datensätze betrachtet, und so speichern die meisten Tools sie.
Erfassen Sie jede Übergabe: pro Paar selten, insgesamt häufig
Zwischen zwei bestimmten Agents kommt es vielleicht nur selten zu einer Übergabe, deshalb übersieht eine Stichprobe pro Agent Übergaben fast zwangsläufig. Über den gesamten Betrieb hinweg sind sie überall. Erst wenn Sie 100 % der Konversationen bewerten (auf Englisch), werden Fehler bei der Übergabe als Muster sichtbar statt als gelegentliche Beschwerde. Bei UiPath hat Kaizo 100 % der QA automatisiert, mit 200 % ROI und einer Steigerung des Qualitätsscores um 8 %.
Sehen Sie es an Ihren eigenen Konversationen. Kaizo bewertet 100 % Ihrer Supportkonversationen und macht aus den Ergebnissen Coaching. Demo buchen.
Nutzen Sie einen Bewerter, der am Übergang keine Seite vertritt
Ein Fehler bei der Übergabe wirft eine unangenehme Frage auf: Lag es an der KI, die schlecht eskaliert hat, oder am Menschen, der ein Chaos zurückgegeben hat? Kaizo bewertet die Nahtstelle anhand der Belege, und jedes Ergebnis zeigt auf genau die Gesprächsbeiträge, an denen die Kontinuität abriss. So können Sie das Routing korrigieren, statt über die Schuld zu streiten. Den vollständigen Ablauf finden Sie unter QA für KI-Agenten und Chatbots.
Häufig gestellte Fragen
Was ist Übergabe-QA?
Übergabe-QA bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten und einem Menschen wechselt, in beide Richtungen. Sie behandelt den Übergang als eigene Bewertungseinheit, denn eine Übergabe kann scheitern (verlorener Kontext, späte Eskalation, ein ungelöster Fall, der zurückgegeben wird), auch wenn Mensch und KI auf ihren eigenen Abschnitten gut abschneiden.
Was sollten Sie bei einer Eskalation von KI an Mensch bewerten?
Drei Dinge: das Timing (wurde an dem Punkt eskaliert, an dem keine Fortschritte mehr kamen, statt zu spät oder zu früh), den Kontext (hat der Mensch den Verlauf und die Diagnose erhalten, damit der Kunde nicht von vorn anfängt) und den Grund (wurde die Eskalation in einer Form erfasst, mit der die übernehmende Person arbeiten kann).
Was geht bei einer Übergabe von Mensch an KI schief?
Die wichtigsten Fehler sind ein Mensch, der einen ungelösten Fall an die Automatisierung zurückgibt, um seine Queue zu leeren, das Delegieren an eine KI, die den Faden nicht aufnehmen kann und so die Kontinuität bricht, und automatische Follow-ups nach der Lösung, die dem widersprechen, was der Mensch gerade getan hat, oder es vergessen. Diese Richtung ist neuer und wird selten bewertet.
Warum übersehen QA-Scores pro Agent Probleme bei der Übergabe?
Weil der Fehler zwischen den Datensätzen liegt. Eine Scorecard pro Agent bewertet, was jede Partei getan hat, solange sie die Konversation hatte, nicht was am Übergang passiert ist. Um die Übergabe zu bewerten, müssen Sie den ganzen Thread über die Nahtstelle hinweg lesen. Deshalb muss die Konversation als eine Einheit gespeichert und bewertet werden, nicht als zwei.
Warum reicht eine Stichprobe für Übergaben nicht aus?
Zwischen zwei bestimmten Agents kommt es nur selten zu einer Übergabe, deshalb übersieht eine Stichprobe pro Agent Übergaben fast zwangsläufig. Über den gesamten Betrieb hinweg sind Übergaben dagegen überall. Erst wenn Sie 100 % der Konversationen bewerten, werden Fehler bei der Übergabe als Muster sichtbar statt als gelegentliche Beschwerde.
