QA für die Übergabe vom Chatbot an Mitarbeiter bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten oder Chatbot und einem Menschen wechselt, in beide Richtungen. Bei der Übergabe vom KI-Agenten an Mitarbeiter und zurück bricht gemischter Support am häufigsten, und Scores pro Agent übersehen das, weil der Fehler zum Übergang gehört. Messen Sie sie mit wenigen Übergabekennzahlen und einer Scorecard, die beide Seiten beurteilt.
Kurz gesagt
- Übergaben von KI an Mensch und von Mensch an KI scheitern auf unterschiedliche Weise.
- Von KI an Mensch scheitert die Übergabe an später Eskalation, verlorenem Kontext, einer ignorierten Bitte um eine Person oder einem fehlenden brauchbaren Grund.
- Von Mensch an KI scheitert die Übergabe, wenn ein ungelöster Fall zurück an die Automatisierung geht.
- Containment und Bearbeitungszeit sehen das nicht. Messen Sie die Übergabequote pro Intent, späte Übergaben, mitgegebenen Kontext, wiederholte Fragen und die Lösung nach der Übergabe.
- Bewerten Sie beide Seiten der Nahtstelle: die Entscheidung des Bots zur Übergabe und die Übernahme durch den Menschen.
Warum die Übergabe eine eigene Fehlerquelle ist
Wenn Sie einen menschlichen Agent und einen KI-Agenten prüfen, bewerten Sie zwei Hälften einer Konversation, die immer seltener aus zwei Hälften besteht. In einem gemischten Modell beginnt ein Kunde vielleicht bei einem KI-Agenten (auf Englisch), wird an eine Person eskaliert und für ein Follow-up zurück an die Automatisierung geleitet, alles in einem Thread. Jeder Beteiligte kann auf seinem Abschnitt gut abschneiden, während die Konversation als Ganzes eine schlechte Erfahrung ist, denn der Schaden entstand am Übergang und gehört keinem von beiden.
Das ist der blinde Fleck. Eine Scorecard pro Agent bewertet, was jede Partei mit der Konversation gemacht hat, solange sie sie hatte. Zum Moment der Weitergabe sagt sie nichts, und genau dort bricht gemischter Support meistens. Die Übergabe muss als eigenständiger Vorgang bewertet werden, und sie ist ein Schritt der umfassenderen Customer Journey QA, die den ganzen Weg eines Kunden über Bots und Menschen hinweg bewertet.
Was geht bei der Übergabe vom Chatbot an Mitarbeiter schief?
Die meisten schlechten Übergaben vom Chatbot an Mitarbeiter lassen sich auf wenige Fehler zurückführen: Der Bot eskaliert zu spät, Kontext geht verloren und der Kunde wiederholt sich, eine Bitte um einen Menschen wird ignoriert, der Kunde dreht sich zwischen Bot und Warteschlange im Kreis, die Übergabe ist kalt, oder die versprochene Person kommt nie.
Aufsichtsbehörden haben das bemerkt. Der Bericht der US-Verbraucherschutzbehörde CFPB zu Chatbots im Verbraucherfinanzbereich (Juni 2023) beschreibt „Doom Loops“, wenn ein Anliegen außerhalb dessen liegt, was der Chatbot kann, zitiert eine Beschwerde („Ich werde in eine endlose Schleife ohne Ausweg geschickt“) und warnt, dass Chatbots, die den Zugang zu menschlichem Live-Support verhindern, zu Rechtsverstößen führen können.
| Fehler | Was der Kunde erlebt | Wie es im Transkript aussieht | Kennzahl, die es erfasst |
|---|---|---|---|
| Zu späte Eskalation | Mehrere Runden derselben wenig hilfreichen Antwort, bevor eine Person auftaucht | Der Bot wiederholt dieselbe Antwort oder formuliert sie 3 Mal oder öfter um, oder der Kunde bittet zweimal um Hilfe | Quote später Übergaben |
| Verlorener Kontext | „Können Sie mir Ihre Bestellnummer nennen?“ vom Menschen, nachdem der Kunde sie dem Bot schon gegeben hat | Der Mensch fragt nach etwas, das bereits im Thread steht | Quote mitgegebenen Kontexts, Quote wiederholter Fragen |
| „Mit einem Menschen sprechen“ ignoriert | Der Bot beantwortet eine andere Frage oder bietet erneut die FAQ an | Eine ausdrückliche Bitte um eine Person ohne Übergabe in diesem Gesprächszug | Quote ignorierter Bitten um einen Menschen |
| Übergabeschleifen | In eine Warteschlange geschickt, dann zurück zum Bot, dann wieder in eine Warteschlange | Mehr als eine Übergabe zum selben Anliegen, oder der Bot übernimmt einen ungelösten Fall wieder | Quote der Übergabeschleifen |
| Kalte Übergabe | Stille, dann ein neuer Name, ohne zu wissen, warum oder wie lange es dauert | Keine Nachricht, die dem Kunden sagt, dass eine Person übernimmt, warum und wann | Quote kalter Übergaben, Zeit bis zum Menschen |
| Sackgasse | „Ich verbinde Sie mit einem Mitarbeiter“ außerhalb der Öffnungszeiten, dann nichts | Eine Übergabe ohne Antwort eines Menschen und ohne angebotene Alternative | Abbruch während der Übergabe |
Die Sackgasse ist der leise Fehler. Zendesks Leitfaden zu Eskalationsabläufen für KI-Agenten setzt vor eine Messaging-Eskalation eine Prüfung der Verfügbarkeit, mit E-Mail als Alternative außerhalb der Arbeitszeiten. Ohne diese Prüfung verspricht die Übergabe eine Person, die nie kommt.
Übergabe vom KI-Agenten an Mitarbeiter: was Sie bei der Eskalation bewerten
Wenn ein KI-Agent an eine Person eskaliert, bewerten Sie drei Dinge: das Timing (hat er übergeben, als er keine Fortschritte mehr machte), den Kontext (hat der Mensch den Verlauf und die Diagnose bekommen) und den Grund (kann der Mensch damit arbeiten). Jede Fehlerart verdient ein eigenes Kriterium.
Timing: Wurde im richtigen Moment eskaliert?
Zu spät ist der häufige Fall. Ein Agent, der weitermacht, obwohl er offensichtlich feststeckt, lässt den Kunden im Kreis laufen, bevor er eine frustrierte Person übergibt. Eine zu frühe Eskalation verschwendet die Automatisierung und die Zeit des Menschen. Das Kriterium ist, ob die Eskalation an dem Punkt erfolgte, an dem der Agent keine Fortschritte mehr machte, und das sehen Sie im Transkript.
Kontext: Hat der Mensch bekommen, was er braucht?
Die schlechteste Übergabe zwingt den Kunden, von vorn anzufangen. Bewerten Sie, ob die Eskalation den Verlauf, die bisherige Diagnose und das eigentliche Anliegen des Kunden mitgegeben hat, damit der Mensch den Fall informiert statt ohne Vorwissen übernimmt. Eine Übergabe, die Kontext verliert, macht aus einer Konversation zwei.
Grund: War die Eskalation verständlich?
Eine Eskalation, die nur mit „an Mitarbeiter eskaliert“ markiert ist, sagt dem Menschen nichts. Bewerten Sie, ob der Grund der Übergabe in einer Form erfasst wurde, mit der die übernehmende Person arbeiten kann. Das ist eines der Kriterien einer Scorecard für KI-Agenten, wird aber erst sichtbar, wenn Sie über die Nahtstelle hinweg lesen.
Wie sollten Sie die Übergabe vom Chatbot an Mitarbeiter gestalten?
Gestalten Sie die Übergabe nach acht Regeln: eine Bitte um eine Person bei der ersten Nachfrage erfüllen, bei fehlendem Fortschritt eskalieren, Themen auf der roten Liste direkt an einen Menschen geben, die Verfügbarkeit prüfen, ein Kontextpaket mitgeben, dem Kunden sagen, was als Nächstes passiert, einen ungelösten Fall nie zurückschieben und den Grund erfassen.
- Erfüllen Sie „Ich möchte mit einem Menschen sprechen“ bei der ersten Nachfrage. Intercoms Dokumentation zu Eskalationsrichtlinien nennt drei Standardauslöser für Fin: Der Kunde bittet klar um einen Menschen, starke Frustration oder Wut, und ein Kunde, der in einer sich wiederholenden Schleife feststeckt. Ihre eigenen Richtlinien und Regeln können dieses Standardverhalten übersteuern, prüfen Sie also, dass Ihre keinen davon abgeschaltet haben.
- Eskalieren Sie bei fehlendem Fortschritt. Schreiben Sie eine Regel, die Sie in einem Transkript prüfen können, etwa: dieselbe Antwort zweimal gegeben.
- Führen Sie eine rote Liste. Manche Intents gehen jedes Mal an eine Person: Reklamationen, rechtliche Beschwerden, schutzbedürftige Kunden, alles außerhalb der Aktionen, die der Bot allein ausführen darf (eine Entscheidung über die Autonomiestufe).
- Prüfen Sie die Verfügbarkeit. Bieten Sie außerhalb der Öffnungszeiten einen Rückruf, eine E-Mail oder ein Ticket an, und sagen Sie, wann ein Mensch antwortet.
- Geben Sie ein Kontextpaket mit. Mindestens: eine kurze Zusammenfassung, das Ziel des Kunden, die bereits versuchten Schritte, die verifizierte Identität und den Grund der Übergabe. Laut Microsofts Dokumentation zu Copilot Studio zur Übergabe an einen Live-Agent kann der Agent den vollständigen Gesprächsverlauf und alle relevanten Variablen weitergeben, plus eine optionale private Nachricht an den Live-Agent. Ihre QA prüft, ob es angekommen ist und nützlich war.
- Machen Sie sie warm. Sagen Sie dem Kunden, dass eine Person übernimmt, warum, und ungefähr wie lange die Wartezeit ist.
- Kein Zurückschieben. Der Bot übernimmt keine Konversation wieder, die ein Mensch nicht gelöst hat; eine zweite Übergabe zum selben Anliegen geht an eine Warteschlange mit erfahrenen Mitarbeitern.
- Erfassen Sie den Grund als Feld. „Mensch angefragt“, „außerhalb der Zuständigkeit“, „Richtlinie“, „Frustration“, „Aktion fehlgeschlagen“. Ohne dieses Feld können Sie die Übergabequote nicht nach Grund berechnen.
Wie messen Sie die Qualität der Übergabe von KI an Mensch?
Messen Sie die Qualität der Übergabe von KI an Mensch pro Intent: Übergabequote, späte Übergaben, ignorierte Bitten um einen Menschen, mitgegebenen Kontext, wiederholte Fragen nach der Übergabe, Zeit bis zum Menschen, Übergabeschleifen und Lösung nach der Übergabe. Mengenkennzahlen kommen aus Ihrem Helpdesk; Qualitätskennzahlen brauchen ein bewertetes Transkript.
Die Schwellen unten sind Startpunkte, die Sie an Ihren eigenen Daten justieren, keine Branchen-Benchmarks.
| Kennzahl | Definition | Datenquelle | Startschwelle für Alarm |
|---|---|---|---|
| Übergabequote pro Intent | Übergaben an einen Menschen ÷ KI-Konversationen, pro Intent | Übergabe-Ereignis im Helpdesk plus Intent-Tag | Bewegt sich bei einem Intent um mehr als 5 Prozentpunkte von Woche zu Woche |
| Quote später Übergaben | Übergaben, die nach dem Eskalationspunkt kamen (Kunde hat zweimal gefragt, oder der Bot hat sich 3 Mal oder öfter wiederholt) ÷ alle Übergaben | Bewertung des Transkripts | Über 10 % |
| Quote ignorierter Bitten um einen Menschen | Ausdrückliche Bitten um eine Person, auf die bei der ersten Nachfrage nicht reagiert wurde ÷ ausdrückliche Bitten | Bewertung des Transkripts | Über 2 % |
| Quote mitgegebenen Kontexts | Übergaben, bei denen Zusammenfassung, Ziel, versuchte Schritte und verifizierte Identität beim Menschen ankamen ÷ Übergaben | Übergabepaket oder Ticketfelder, im Transkript geprüft | Unter 90 % |
| Quote wiederholter Fragen nach der Übergabe | Übergaben, bei denen der Mensch nach bereits gegebenen Informationen fragte ÷ Übergaben | Bewertung des Transkripts | Über 10 % |
| Quote kalter Übergaben | Übergaben ohne Nachricht, die dem Kunden sagt, wer übernimmt und wann ÷ Übergaben | Bewertung des Transkripts | Über 5 % |
| Zeit bis zum Menschen | Zeit von der Übergabe bis zur ersten Antwort eines Menschen, als Median und 90. Perzentil | Zeitstempel im Helpdesk | 90. Perzentil über Ihrem Service Level im Chat |
| Abbruch während der Übergabe | Kunden, die vor der ersten Antwort eines Menschen gehen ÷ Übergaben | Zeitstempel im Helpdesk | Steigt 2 Wochen lang |
| Quote der Übergabeschleifen | Konversationen mit mehr als einer Übergabe zum selben Anliegen oder einer Rückkehr zum Bot, solange ungelöst ÷ Übergaben | Konversationsprotokoll plus Bewertung | Über 3 % |
| Lösung nach der Übergabe | Übergaben, die gelöst wurden, ohne Wiederholungskontakt zum selben Anliegen innerhalb von 7 Tagen ÷ Übergaben | Helpdesk plus Kontakthistorie | Fällt 2 Wochen lang |
Zwei dieser Kennzahlen trennen die Verantwortung sauber. Kam der Kontext nicht an, liegt die Korrektur beim Bot oder bei der Integration. Kam der Kontext an und der Mensch fragte trotzdem, ist die Korrektur Coaching (siehe Menschen coachen vs. KI-Agenten verbessern). Für Dashboards und Alarme lesen Sie KI-Agenten-Monitoring; für das größere Set an Kennzahlen Kennzahlen im KI-Kundenservice.
Die Übergabe-Scorecard: Kriterien für den Bot und den Menschen
Bewerten Sie eine Übergabe in zwei Blöcken: die Entscheidung des Bots (Auslöser, Timing, Bitte erfüllt, Kontextpaket, Kunde informiert, Verfügbarkeit) und die Übernahme durch den Menschen (vor der Antwort gelesen, keine erneute Frage, rechtzeitig übernommen, bis zur Lösung verantwortet). Jedes Kriterium ist bestanden oder nicht bestanden, mit einem Beleg, auf den eine zweite prüfende Person im Transkript zeigen kann. Übernehmen Sie es als Abschnitt in Ihre Scorecard, der nur für Konversationen mit Übergabe gilt.
| Seite | Kriterium | Bestanden | Beispiel für „nicht bestanden“ | Datenquelle |
|---|---|---|---|---|
| Bot | Richtiger Auslöser | Eskalierte nach einer schriftlichen Regel (Bitte, kein Fortschritt, Intent auf der roten Liste) und blieb nie beim Bot, wenn eine Regel erfüllt war | Behielt eine Reklamation von der roten Liste, oder eskalierte eine Routinefrage zum Bestellstatus, die er hätte beantworten können | Transkript plus Feld für den Übergabegrund |
| Bot | Richtiger Moment | Übergab beim ersten Punkt, an dem die Regel erfüllt war | Der Kunde bat zweimal um Hilfe und bekam dreimal denselben Artikel | Transkript |
| Bot | Bitte erfüllt | „Ich möchte mit einem Menschen sprechen“ bei der ersten Nachfrage umgesetzt | „Dabei kann ich helfen!“ und danach wieder die FAQ | Transkript |
| Bot | Kontextpaket | Zusammenfassung, Ziel, versuchte Schritte, verifizierte Identität und Grund kamen beim Menschen an | Im Ticket steht nur „an Mitarbeiter eskaliert“ | Ticketfelder oder Übergabepaket |
| Bot | Kunde informiert | Der Kunde wusste, dass eine Person übernimmt, warum und wie lange er voraussichtlich wartet | 9 Minuten Stille, dann „Hallo, wie kann ich helfen?“ | Transkript |
| Bot | Verfügbarkeit geprüft | Live-Übergabe nur, wenn jemand online ist, sonst eine Alternative mit Antwortzeit | „Ich verbinde Sie jetzt“ um 2 Uhr nachts, ohne Antwort bis zum Morgen | Transkript plus Zeitstempel |
| Mensch | Vor der Antwort gelesen | Die erste Antwort greift auf, was der Kunde schon gesagt hat | „Hallo, worum geht es denn?“ | Transkript |
| Mensch | Keine erneute Frage | Keine Frage nach Informationen, die bereits im Thread stehen | Fragt nach der Bestellnummer, die der Bot schon verifiziert hat | Transkript |
| Mensch | Rechtzeitig übernommen | Erste Antwort des Menschen innerhalb Ihres Service Levels im Chat | Der Kunde wartete über das Ziel hinaus und ging | Zeitstempel im Helpdesk |
| Mensch | Verantwortet | Gelöst oder einen klaren nächsten Schritt gesetzt, ohne den Fall ungelöst an den Bot zurückzugeben | Geschlossen mit „Den Rest kann Ihnen der Assistent beantworten“ | Transkript plus Kontakthistorie |
| Mensch | Schlechte Übergabe gemeldet | Hat die Übergabe markiert, wenn der Kontext fehlte oder falsch war | Hat eine kaputte Zusammenfassung umschifft, ohne jemandem Bescheid zu sagen | Ticket-Tag |
Zwei Bewertungsregeln halten das ehrlich. Behandeln Sie „Bitte erfüllt“ und „Verantwortet“ (kein Zurückschieben) als K.-o.-Kriterien: Ein Kunde, der um eine Person bat und keine bekam, ist eine gescheiterte Konversation, wie höflich der Bot auch war. Und ordnen Sie jedes nicht bestandene Kriterium seiner Seite zu, damit der Bot-Block an die verantwortliche Person für den KI-Agenten geht und der Mensch-Block ins Coaching. Für das eskalierte Ticket, sobald eine Person es hält, lesen Sie Eskalationsmanagement im Kundenservice.
Ein Rechenbeispiel: was Übergabekennzahlen zeigen und Stichproben übersehen
Illustration: Die Zahlen sind erfunden, um die Rechnung zu zeigen. Ein Team führt 20.000 Konversationen mit KI-Agenten im Monat; 3.000 enden in einer Übergabe, eine Übergabequote von 15 %. Es bewertet jede Übergabe mit der Scorecard oben.
- Späte Übergaben: 480 von 3.000, also 16 %, vor allem bei Erstattungen und Reklamationen zur Lieferung.
- Mitgegebener Kontext: 2.550 von 3.000, also 85 %. 450 Übergaben erreichten den Menschen ohne Zusammenfassung.
- Wiederholte Fragen: 690 Übergaben, also 23 %: 400, bei denen der Kontext nie ankam, 290, bei denen er ankam und der Mensch trotzdem fragte.
- Ignorierte Bitten: 900 Kunden baten um eine Person; 90 davon, also 10 %, wurden bei der ersten Nachfrage nicht übergeben.
- Lösung nach der Übergabe: 2.340 von 3.000, also 78 %, ohne Wiederholungskontakt innerhalb von 7 Tagen.
Die Aufteilung sagt dem Team, wo es handeln muss. Die 400 erneuten Fragen ohne Kontext sind eine Korrektur an der Integration. Die 290 mit vorhandenem Kontext sind ein Coaching-Thema. Die 90 ignorierten Bitten gehen an die verantwortliche Person für die Eskalationsregeln des Bots, diese Woche.
Vergleichen Sie das mit einer Zufallsstichprobe von 2 %: 400 Konversationen, etwa 60 mit einer Übergabe (15 %), ungefähr 10 späte Übergaben und etwa 2 ignorierte Bitten (90 von 20.000 sind 0,45 %; 0,45 % von 400 sind 1,8). Zwei Fälle lesen sich wie eine Anekdote. Neunzig, nach Intent gruppiert, lesen sich wie eine kaputte Regel.
Sehen Sie es in einer Live-Demo. Kaizo bewertet 100 % Ihrer Supportkonversationen und macht aus den Ergebnissen Coaching. Termin buchen.
Von Mensch an KI: die Richtung, die niemand bewertet
Eine Übergabe von Mensch an KI scheitert, wenn eine Person einen Fall an die Automatisierung zurückgibt, bevor er gelöst ist, eine Aufgabe delegiert, die die KI nicht aufnehmen kann, oder ein Follow-up auslöst, das dem widerspricht, was der Mensch gerade getan hat. Die umgekehrte Übergabe ist neuer, weniger untersucht und leicht zu übersehen.
| Übergabe von Mensch an KI | So sieht es gut aus | Der Fehler, den Sie bewerten sollten |
|---|---|---|
| Rückgabe eines Falls an die Automatisierung für ein Follow-up | Die KI hat die Lösung, und der nächste Schritt ist wirklich Routine | Der Mensch gibt einen ungelösten Fall zurück, um seine Queue zu leeren |
| Delegieren einer Teilaufgabe mitten in der Konversation | Die KI kann die konkrete Aufgabe erledigen und sauber zurückgeben | Die KI kann den Faden nicht aufnehmen, und der Kunde verliert die Kontinuität |
| Automatisches Follow-up nach der Lösung | Das Follow-up passt zu dem, was tatsächlich gelöst wurde | Die Automatisierung widerspricht dem, was der Mensch gerade getan hat, oder vergisst es |
Wenn KI-Agenten auch untereinander übergeben, vervielfachen sich dieselben Nahtstellen; unser Leitfaden zur KI-Agenten-Orchestrierung behandelt Übergaben von Agent zu Agent.
So bewerten Sie eine Übergabe in der Praxis
Um eine Übergabe in der Praxis zu bewerten, beurteilen Sie den ganzen Thread über den Übergang hinweg, erfassen jede Übergabe statt einer Stichprobe und ordnen jeden Fehler der Seite zu, die ihn verursacht hat.
Bewerten Sie den ganzen Thread
Bewerten Sie die Kontinuität über die Nahtstelle: Hat der Kontext überlebt, musste sich der Kunde nicht wiederholen, hat die zweite Partei dort weitergemacht, wo die erste aufgehört hat? Das ist unmöglich, wenn Ihre QA den KI-Teil und den menschlichen Teil als getrennte Datensätze betrachtet, und so speichern die meisten Tools sie.
Erfassen Sie jede Übergabe: pro Paar selten, insgesamt häufig
Zwischen zwei bestimmten Agents kommt es vielleicht nur selten zu einer Übergabe, deshalb übersieht eine Stichprobe pro Agent Übergaben fast zwangsläufig. Über den gesamten Betrieb hinweg sind sie überall. Erst wenn Sie 100 % der Konversationen bewerten (auf Englisch), werden Fehler bei der Übergabe als Muster sichtbar statt als gelegentliche Beschwerde. Bei UiPath hat Kaizo 100 % der QA automatisiert, mit 200 % ROI und einer Steigerung des Qualitätsscores um 8 %.
Ordnen Sie jeden Fehler einer Seite zu
Lag es an der KI, die schlecht eskaliert hat, oder am Menschen, der ein Chaos zurückgegeben hat? Bewerten Sie den Bot-Block und den Mensch-Block als getrennte Kriterien, und lassen Sie jedes Ergebnis auf genau die Gesprächsbeiträge zeigen, an denen die Kontinuität abriss. So korrigieren Sie die Routing-Regel, das Kontextpaket oder das Coaching-Thema. Den vollständigen Ablauf finden Sie unter QA für KI-Agenten und Chatbots.
Wann eine Bewertung der Übergabe nichts für Sie ist
Verzichten Sie auf eine eigene Übergabe-Scorecard, wenn Ihr Bot ein paar Dutzend Konversationen im Monat übergibt: Lesen Sie dann jede von Hand. Sie kommt auch zu früh, wenn der Bot keine schriftlichen Eskalationsregeln hat, denn „richtiger Auslöser“ und „richtiger Moment“ brauchen eine Regel, gegen die Sie bewerten, oder wenn die Übergabe ein Link zu einem Kontaktformular ist: Es gibt keine Nahtstelle, solange Bot und Mensch keine gemeinsame Konversation führen.
So beginnen Sie diese Woche, die Qualität der Übergabe zu messen
Beginnen Sie mit einem manuellen Durchgang: Zählen Sie die Übergaben des letzten Monats nach Intent, lesen Sie 30 davon von Anfang bis Ende, markieren Sie jede anhand der Scorecard oben und teilen Sie die erneuten Fragen nach Ursache auf. Ein paar Stunden ergeben eine Basis, bevor Sie irgendetwas automatisieren.
- Ziehen Sie die Übergaben des letzten Monats aus Ihrem Helpdesk und zählen Sie sie nach Intent.
- Lesen Sie 30 Konversationen mit Übergabe von Anfang bis Ende und markieren Sie jede anhand der Scorecard oben.
- Teilen Sie die erneuten Fragen auf in „Kontext fehlte“ und „Kontext vorhanden“. Schicken Sie die erste Liste an die verantwortliche Person für den Bot und die zweite an Ihre Teamleitungen.
- Schreiben Sie Ihre Eskalationsregeln auf und ergänzen Sie ein Feld für den Grund der Übergabe.
Wenn der manuelle Durchgang das Muster belegt, automatisieren Sie es. Kaizos QA für KI-Agenten bewertet Konversationen von KI-Agenten mit derselben Scorecard wie die Ihres Teams und prüft die Übergabe als Kriterien darauf: Hat der KI-Agent beim richtigen Auslöser eskaliert und den Kontext weitergegeben, und hat der menschliche Agent ihn übernommen? AutoPilot bewertet jede Konversation in dem Moment, in dem sie gelöst wird. Um den ganzen Weg zu bewerten, lesen Sie Customer Journey QA.
Häufig gestellte Fragen
Was ist Übergabe-QA?
Übergabe-QA bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten und einem Menschen wechselt, in beide Richtungen. Sie behandelt den Übergang als eigene Bewertungseinheit, denn eine Übergabe kann scheitern (verlorener Kontext, späte Eskalation, ein ungelöster Fall, der zurückgegeben wird), auch wenn Mensch und KI auf ihren eigenen Abschnitten gut abschneiden.
Was sollten Sie bei einer Eskalation von KI an Mensch bewerten?
Drei Dinge: das Timing (wurde an dem Punkt eskaliert, an dem keine Fortschritte mehr kamen, statt zu spät oder zu früh), den Kontext (hat der Mensch den Verlauf und die Diagnose erhalten, damit der Kunde nicht von vorn anfängt) und den Grund (wurde die Eskalation in einer Form erfasst, mit der die übernehmende Person arbeiten kann).
Was geht bei einer Übergabe von Mensch an KI schief?
Die wichtigsten Fehler sind ein Mensch, der einen ungelösten Fall an die Automatisierung zurückgibt, um seine Queue zu leeren, das Delegieren an eine KI, die den Faden nicht aufnehmen kann und so die Kontinuität bricht, und automatische Follow-ups nach der Lösung, die dem widersprechen, was der Mensch gerade getan hat, oder es vergessen. Diese Richtung ist neuer und wird selten bewertet.
Warum übersehen QA-Scores pro Agent Probleme bei der Übergabe?
Weil der Fehler zwischen den Datensätzen liegt. Eine Scorecard pro Agent bewertet, was jede Partei getan hat, solange sie die Konversation hatte, nicht was am Übergang passiert ist. Um die Übergabe zu bewerten, müssen Sie den ganzen Thread über die Nahtstelle hinweg lesen. Deshalb muss die Konversation als eine Einheit gespeichert und bewertet werden, nicht als zwei.
Was ist der Unterschied zwischen einer warmen und einer kalten Übergabe?
Bei einer warmen Übergabe erfährt der Kunde, dass eine Person übernimmt, warum und wie lange die Wartezeit ist, und der Mensch erhält eine Zusammenfassung, bevor er antwortet. Bei einer kalten Übergabe landet die Konversation in einer Warteschlange: Der Kunde wartet, ohne zu wissen, was passiert, und der Mensch fängt bei null an.
Was ist eine gute Übergabequote vom Chatbot an Mitarbeiter?
Es gibt keine einzelne gute Quote, denn sie hängt vom Intent ab: 40 % können bei Reklamationen zur Abrechnung richtig und beim Zurücksetzen von Passwörtern alarmierend sein. Verfolgen Sie die Quote pro Intent, achten Sie auf Veränderungen und beurteilen Sie sie zusammen mit späten Übergaben und der Lösung nach der Übergabe.






