Zum Inhalt springen

Best Practice

Chatbot-Übergabe an Mitarbeiter: Kennzahlen und Scorecard

So messen Sie die Übergabe vom Chatbot an Mitarbeiter: Kennzahlen mit Definitionen, eine Scorecard für die Entscheidung des Bots und die Übernahme, Regeln.

· Aktualisiert · 16 Min. Lesezeit

QA für die Übergabe vom Chatbot an Mitarbeiter bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten oder Chatbot und einem Menschen wechselt, in beide Richtungen. Bei der Übergabe vom KI-Agenten an Mitarbeiter und zurück bricht gemischter Support am häufigsten, und Scores pro Agent übersehen das, weil der Fehler zum Übergang gehört. Messen Sie sie mit wenigen Übergabekennzahlen und einer Scorecard, die beide Seiten beurteilt.

Kurz gesagt

  • Übergaben von KI an Mensch und von Mensch an KI scheitern auf unterschiedliche Weise.
  • Von KI an Mensch scheitert die Übergabe an später Eskalation, verlorenem Kontext, einer ignorierten Bitte um eine Person oder einem fehlenden brauchbaren Grund.
  • Von Mensch an KI scheitert die Übergabe, wenn ein ungelöster Fall zurück an die Automatisierung geht.
  • Containment und Bearbeitungszeit sehen das nicht. Messen Sie die Übergabequote pro Intent, späte Übergaben, mitgegebenen Kontext, wiederholte Fragen und die Lösung nach der Übergabe.
  • Bewerten Sie beide Seiten der Nahtstelle: die Entscheidung des Bots zur Übergabe und die Übernahme durch den Menschen.

Warum die Übergabe eine eigene Fehlerquelle ist

Wenn Sie einen menschlichen Agent und einen KI-Agenten prüfen, bewerten Sie zwei Hälften einer Konversation, die immer seltener aus zwei Hälften besteht. In einem gemischten Modell beginnt ein Kunde vielleicht bei einem KI-Agenten (auf Englisch), wird an eine Person eskaliert und für ein Follow-up zurück an die Automatisierung geleitet, alles in einem Thread. Jeder Beteiligte kann auf seinem Abschnitt gut abschneiden, während die Konversation als Ganzes eine schlechte Erfahrung ist, denn der Schaden entstand am Übergang und gehört keinem von beiden.

Das ist der blinde Fleck. Eine Scorecard pro Agent bewertet, was jede Partei mit der Konversation gemacht hat, solange sie sie hatte. Zum Moment der Weitergabe sagt sie nichts, und genau dort bricht gemischter Support meistens. Die Übergabe muss als eigenständiger Vorgang bewertet werden, und sie ist ein Schritt der umfassenderen Customer Journey QA, die den ganzen Weg eines Kunden über Bots und Menschen hinweg bewertet.

Was geht bei der Übergabe vom Chatbot an Mitarbeiter schief?

Die meisten schlechten Übergaben vom Chatbot an Mitarbeiter lassen sich auf wenige Fehler zurückführen: Der Bot eskaliert zu spät, Kontext geht verloren und der Kunde wiederholt sich, eine Bitte um einen Menschen wird ignoriert, der Kunde dreht sich zwischen Bot und Warteschlange im Kreis, die Übergabe ist kalt, oder die versprochene Person kommt nie.

Aufsichtsbehörden haben das bemerkt. Der Bericht der US-Verbraucherschutzbehörde CFPB zu Chatbots im Verbraucherfinanzbereich (Juni 2023) beschreibt „Doom Loops“, wenn ein Anliegen außerhalb dessen liegt, was der Chatbot kann, zitiert eine Beschwerde („Ich werde in eine endlose Schleife ohne Ausweg geschickt“) und warnt, dass Chatbots, die den Zugang zu menschlichem Live-Support verhindern, zu Rechtsverstößen führen können.

FehlerWas der Kunde erlebtWie es im Transkript aussiehtKennzahl, die es erfasst
Zu späte EskalationMehrere Runden derselben wenig hilfreichen Antwort, bevor eine Person auftauchtDer Bot wiederholt dieselbe Antwort oder formuliert sie 3 Mal oder öfter um, oder der Kunde bittet zweimal um HilfeQuote später Übergaben
Verlorener Kontext„Können Sie mir Ihre Bestellnummer nennen?“ vom Menschen, nachdem der Kunde sie dem Bot schon gegeben hatDer Mensch fragt nach etwas, das bereits im Thread stehtQuote mitgegebenen Kontexts, Quote wiederholter Fragen
„Mit einem Menschen sprechen“ ignoriertDer Bot beantwortet eine andere Frage oder bietet erneut die FAQ anEine ausdrückliche Bitte um eine Person ohne Übergabe in diesem GesprächszugQuote ignorierter Bitten um einen Menschen
ÜbergabeschleifenIn eine Warteschlange geschickt, dann zurück zum Bot, dann wieder in eine WarteschlangeMehr als eine Übergabe zum selben Anliegen, oder der Bot übernimmt einen ungelösten Fall wiederQuote der Übergabeschleifen
Kalte ÜbergabeStille, dann ein neuer Name, ohne zu wissen, warum oder wie lange es dauertKeine Nachricht, die dem Kunden sagt, dass eine Person übernimmt, warum und wannQuote kalter Übergaben, Zeit bis zum Menschen
Sackgasse„Ich verbinde Sie mit einem Mitarbeiter“ außerhalb der Öffnungszeiten, dann nichtsEine Übergabe ohne Antwort eines Menschen und ohne angebotene AlternativeAbbruch während der Übergabe

Die Sackgasse ist der leise Fehler. Zendesks Leitfaden zu Eskalationsabläufen für KI-Agenten setzt vor eine Messaging-Eskalation eine Prüfung der Verfügbarkeit, mit E-Mail als Alternative außerhalb der Arbeitszeiten. Ohne diese Prüfung verspricht die Übergabe eine Person, die nie kommt.

Übergabe vom KI-Agenten an Mitarbeiter: was Sie bei der Eskalation bewerten

Wenn ein KI-Agent an eine Person eskaliert, bewerten Sie drei Dinge: das Timing (hat er übergeben, als er keine Fortschritte mehr machte), den Kontext (hat der Mensch den Verlauf und die Diagnose bekommen) und den Grund (kann der Mensch damit arbeiten). Jede Fehlerart verdient ein eigenes Kriterium.

Timing: Wurde im richtigen Moment eskaliert?

Zu spät ist der häufige Fall. Ein Agent, der weitermacht, obwohl er offensichtlich feststeckt, lässt den Kunden im Kreis laufen, bevor er eine frustrierte Person übergibt. Eine zu frühe Eskalation verschwendet die Automatisierung und die Zeit des Menschen. Das Kriterium ist, ob die Eskalation an dem Punkt erfolgte, an dem der Agent keine Fortschritte mehr machte, und das sehen Sie im Transkript.

Kontext: Hat der Mensch bekommen, was er braucht?

Die schlechteste Übergabe zwingt den Kunden, von vorn anzufangen. Bewerten Sie, ob die Eskalation den Verlauf, die bisherige Diagnose und das eigentliche Anliegen des Kunden mitgegeben hat, damit der Mensch den Fall informiert statt ohne Vorwissen übernimmt. Eine Übergabe, die Kontext verliert, macht aus einer Konversation zwei.

Grund: War die Eskalation verständlich?

Eine Eskalation, die nur mit „an Mitarbeiter eskaliert“ markiert ist, sagt dem Menschen nichts. Bewerten Sie, ob der Grund der Übergabe in einer Form erfasst wurde, mit der die übernehmende Person arbeiten kann. Das ist eines der Kriterien einer Scorecard für KI-Agenten, wird aber erst sichtbar, wenn Sie über die Nahtstelle hinweg lesen.

Wie sollten Sie die Übergabe vom Chatbot an Mitarbeiter gestalten?

Gestalten Sie die Übergabe nach acht Regeln: eine Bitte um eine Person bei der ersten Nachfrage erfüllen, bei fehlendem Fortschritt eskalieren, Themen auf der roten Liste direkt an einen Menschen geben, die Verfügbarkeit prüfen, ein Kontextpaket mitgeben, dem Kunden sagen, was als Nächstes passiert, einen ungelösten Fall nie zurückschieben und den Grund erfassen.

  1. Erfüllen Sie „Ich möchte mit einem Menschen sprechen“ bei der ersten Nachfrage. Intercoms Dokumentation zu Eskalationsrichtlinien nennt drei Standardauslöser für Fin: Der Kunde bittet klar um einen Menschen, starke Frustration oder Wut, und ein Kunde, der in einer sich wiederholenden Schleife feststeckt. Ihre eigenen Richtlinien und Regeln können dieses Standardverhalten übersteuern, prüfen Sie also, dass Ihre keinen davon abgeschaltet haben.
  2. Eskalieren Sie bei fehlendem Fortschritt. Schreiben Sie eine Regel, die Sie in einem Transkript prüfen können, etwa: dieselbe Antwort zweimal gegeben.
  3. Führen Sie eine rote Liste. Manche Intents gehen jedes Mal an eine Person: Reklamationen, rechtliche Beschwerden, schutzbedürftige Kunden, alles außerhalb der Aktionen, die der Bot allein ausführen darf (eine Entscheidung über die Autonomiestufe).
  4. Prüfen Sie die Verfügbarkeit. Bieten Sie außerhalb der Öffnungszeiten einen Rückruf, eine E-Mail oder ein Ticket an, und sagen Sie, wann ein Mensch antwortet.
  5. Geben Sie ein Kontextpaket mit. Mindestens: eine kurze Zusammenfassung, das Ziel des Kunden, die bereits versuchten Schritte, die verifizierte Identität und den Grund der Übergabe. Laut Microsofts Dokumentation zu Copilot Studio zur Übergabe an einen Live-Agent kann der Agent den vollständigen Gesprächsverlauf und alle relevanten Variablen weitergeben, plus eine optionale private Nachricht an den Live-Agent. Ihre QA prüft, ob es angekommen ist und nützlich war.
  6. Machen Sie sie warm. Sagen Sie dem Kunden, dass eine Person übernimmt, warum, und ungefähr wie lange die Wartezeit ist.
  7. Kein Zurückschieben. Der Bot übernimmt keine Konversation wieder, die ein Mensch nicht gelöst hat; eine zweite Übergabe zum selben Anliegen geht an eine Warteschlange mit erfahrenen Mitarbeitern.
  8. Erfassen Sie den Grund als Feld. „Mensch angefragt“, „außerhalb der Zuständigkeit“, „Richtlinie“, „Frustration“, „Aktion fehlgeschlagen“. Ohne dieses Feld können Sie die Übergabequote nicht nach Grund berechnen.

Wie messen Sie die Qualität der Übergabe von KI an Mensch?

Messen Sie die Qualität der Übergabe von KI an Mensch pro Intent: Übergabequote, späte Übergaben, ignorierte Bitten um einen Menschen, mitgegebenen Kontext, wiederholte Fragen nach der Übergabe, Zeit bis zum Menschen, Übergabeschleifen und Lösung nach der Übergabe. Mengenkennzahlen kommen aus Ihrem Helpdesk; Qualitätskennzahlen brauchen ein bewertetes Transkript.

Die Schwellen unten sind Startpunkte, die Sie an Ihren eigenen Daten justieren, keine Branchen-Benchmarks.

KennzahlDefinitionDatenquelleStartschwelle für Alarm
Übergabequote pro IntentÜbergaben an einen Menschen ÷ KI-Konversationen, pro IntentÜbergabe-Ereignis im Helpdesk plus Intent-TagBewegt sich bei einem Intent um mehr als 5 Prozentpunkte von Woche zu Woche
Quote später ÜbergabenÜbergaben, die nach dem Eskalationspunkt kamen (Kunde hat zweimal gefragt, oder der Bot hat sich 3 Mal oder öfter wiederholt) ÷ alle ÜbergabenBewertung des TranskriptsÜber 10 %
Quote ignorierter Bitten um einen MenschenAusdrückliche Bitten um eine Person, auf die bei der ersten Nachfrage nicht reagiert wurde ÷ ausdrückliche BittenBewertung des TranskriptsÜber 2 %
Quote mitgegebenen KontextsÜbergaben, bei denen Zusammenfassung, Ziel, versuchte Schritte und verifizierte Identität beim Menschen ankamen ÷ ÜbergabenÜbergabepaket oder Ticketfelder, im Transkript geprüftUnter 90 %
Quote wiederholter Fragen nach der ÜbergabeÜbergaben, bei denen der Mensch nach bereits gegebenen Informationen fragte ÷ ÜbergabenBewertung des TranskriptsÜber 10 %
Quote kalter ÜbergabenÜbergaben ohne Nachricht, die dem Kunden sagt, wer übernimmt und wann ÷ ÜbergabenBewertung des TranskriptsÜber 5 %
Zeit bis zum MenschenZeit von der Übergabe bis zur ersten Antwort eines Menschen, als Median und 90. PerzentilZeitstempel im Helpdesk90. Perzentil über Ihrem Service Level im Chat
Abbruch während der ÜbergabeKunden, die vor der ersten Antwort eines Menschen gehen ÷ ÜbergabenZeitstempel im HelpdeskSteigt 2 Wochen lang
Quote der ÜbergabeschleifenKonversationen mit mehr als einer Übergabe zum selben Anliegen oder einer Rückkehr zum Bot, solange ungelöst ÷ ÜbergabenKonversationsprotokoll plus BewertungÜber 3 %
Lösung nach der ÜbergabeÜbergaben, die gelöst wurden, ohne Wiederholungskontakt zum selben Anliegen innerhalb von 7 Tagen ÷ ÜbergabenHelpdesk plus KontakthistorieFällt 2 Wochen lang

Zwei dieser Kennzahlen trennen die Verantwortung sauber. Kam der Kontext nicht an, liegt die Korrektur beim Bot oder bei der Integration. Kam der Kontext an und der Mensch fragte trotzdem, ist die Korrektur Coaching (siehe Menschen coachen vs. KI-Agenten verbessern). Für Dashboards und Alarme lesen Sie KI-Agenten-Monitoring; für das größere Set an Kennzahlen Kennzahlen im KI-Kundenservice.

Die Übergabe-Scorecard: Kriterien für den Bot und den Menschen

Bewerten Sie eine Übergabe in zwei Blöcken: die Entscheidung des Bots (Auslöser, Timing, Bitte erfüllt, Kontextpaket, Kunde informiert, Verfügbarkeit) und die Übernahme durch den Menschen (vor der Antwort gelesen, keine erneute Frage, rechtzeitig übernommen, bis zur Lösung verantwortet). Jedes Kriterium ist bestanden oder nicht bestanden, mit einem Beleg, auf den eine zweite prüfende Person im Transkript zeigen kann. Übernehmen Sie es als Abschnitt in Ihre Scorecard, der nur für Konversationen mit Übergabe gilt.

SeiteKriteriumBestandenBeispiel für „nicht bestanden“Datenquelle
BotRichtiger AuslöserEskalierte nach einer schriftlichen Regel (Bitte, kein Fortschritt, Intent auf der roten Liste) und blieb nie beim Bot, wenn eine Regel erfüllt warBehielt eine Reklamation von der roten Liste, oder eskalierte eine Routinefrage zum Bestellstatus, die er hätte beantworten könnenTranskript plus Feld für den Übergabegrund
BotRichtiger MomentÜbergab beim ersten Punkt, an dem die Regel erfüllt warDer Kunde bat zweimal um Hilfe und bekam dreimal denselben ArtikelTranskript
BotBitte erfüllt„Ich möchte mit einem Menschen sprechen“ bei der ersten Nachfrage umgesetzt„Dabei kann ich helfen!“ und danach wieder die FAQTranskript
BotKontextpaketZusammenfassung, Ziel, versuchte Schritte, verifizierte Identität und Grund kamen beim Menschen anIm Ticket steht nur „an Mitarbeiter eskaliert“Ticketfelder oder Übergabepaket
BotKunde informiertDer Kunde wusste, dass eine Person übernimmt, warum und wie lange er voraussichtlich wartet9 Minuten Stille, dann „Hallo, wie kann ich helfen?“Transkript
BotVerfügbarkeit geprüftLive-Übergabe nur, wenn jemand online ist, sonst eine Alternative mit Antwortzeit„Ich verbinde Sie jetzt“ um 2 Uhr nachts, ohne Antwort bis zum MorgenTranskript plus Zeitstempel
MenschVor der Antwort gelesenDie erste Antwort greift auf, was der Kunde schon gesagt hat„Hallo, worum geht es denn?“Transkript
MenschKeine erneute FrageKeine Frage nach Informationen, die bereits im Thread stehenFragt nach der Bestellnummer, die der Bot schon verifiziert hatTranskript
MenschRechtzeitig übernommenErste Antwort des Menschen innerhalb Ihres Service Levels im ChatDer Kunde wartete über das Ziel hinaus und gingZeitstempel im Helpdesk
MenschVerantwortetGelöst oder einen klaren nächsten Schritt gesetzt, ohne den Fall ungelöst an den Bot zurückzugebenGeschlossen mit „Den Rest kann Ihnen der Assistent beantworten“Transkript plus Kontakthistorie
MenschSchlechte Übergabe gemeldetHat die Übergabe markiert, wenn der Kontext fehlte oder falsch warHat eine kaputte Zusammenfassung umschifft, ohne jemandem Bescheid zu sagenTicket-Tag

Zwei Bewertungsregeln halten das ehrlich. Behandeln Sie „Bitte erfüllt“ und „Verantwortet“ (kein Zurückschieben) als K.-o.-Kriterien: Ein Kunde, der um eine Person bat und keine bekam, ist eine gescheiterte Konversation, wie höflich der Bot auch war. Und ordnen Sie jedes nicht bestandene Kriterium seiner Seite zu, damit der Bot-Block an die verantwortliche Person für den KI-Agenten geht und der Mensch-Block ins Coaching. Für das eskalierte Ticket, sobald eine Person es hält, lesen Sie Eskalationsmanagement im Kundenservice.

Ein Rechenbeispiel: was Übergabekennzahlen zeigen und Stichproben übersehen

Illustration: Die Zahlen sind erfunden, um die Rechnung zu zeigen. Ein Team führt 20.000 Konversationen mit KI-Agenten im Monat; 3.000 enden in einer Übergabe, eine Übergabequote von 15 %. Es bewertet jede Übergabe mit der Scorecard oben.

  • Späte Übergaben: 480 von 3.000, also 16 %, vor allem bei Erstattungen und Reklamationen zur Lieferung.
  • Mitgegebener Kontext: 2.550 von 3.000, also 85 %. 450 Übergaben erreichten den Menschen ohne Zusammenfassung.
  • Wiederholte Fragen: 690 Übergaben, also 23 %: 400, bei denen der Kontext nie ankam, 290, bei denen er ankam und der Mensch trotzdem fragte.
  • Ignorierte Bitten: 900 Kunden baten um eine Person; 90 davon, also 10 %, wurden bei der ersten Nachfrage nicht übergeben.
  • Lösung nach der Übergabe: 2.340 von 3.000, also 78 %, ohne Wiederholungskontakt innerhalb von 7 Tagen.

Die Aufteilung sagt dem Team, wo es handeln muss. Die 400 erneuten Fragen ohne Kontext sind eine Korrektur an der Integration. Die 290 mit vorhandenem Kontext sind ein Coaching-Thema. Die 90 ignorierten Bitten gehen an die verantwortliche Person für die Eskalationsregeln des Bots, diese Woche.

Vergleichen Sie das mit einer Zufallsstichprobe von 2 %: 400 Konversationen, etwa 60 mit einer Übergabe (15 %), ungefähr 10 späte Übergaben und etwa 2 ignorierte Bitten (90 von 20.000 sind 0,45 %; 0,45 % von 400 sind 1,8). Zwei Fälle lesen sich wie eine Anekdote. Neunzig, nach Intent gruppiert, lesen sich wie eine kaputte Regel.

Sehen Sie es in einer Live-Demo. Kaizo bewertet 100 % Ihrer Supportkonversationen und macht aus den Ergebnissen Coaching. Termin buchen.

Von Mensch an KI: die Richtung, die niemand bewertet

Eine Übergabe von Mensch an KI scheitert, wenn eine Person einen Fall an die Automatisierung zurückgibt, bevor er gelöst ist, eine Aufgabe delegiert, die die KI nicht aufnehmen kann, oder ein Follow-up auslöst, das dem widerspricht, was der Mensch gerade getan hat. Die umgekehrte Übergabe ist neuer, weniger untersucht und leicht zu übersehen.

Übergabe von Mensch an KISo sieht es gut ausDer Fehler, den Sie bewerten sollten
Rückgabe eines Falls an die Automatisierung für ein Follow-upDie KI hat die Lösung, und der nächste Schritt ist wirklich RoutineDer Mensch gibt einen ungelösten Fall zurück, um seine Queue zu leeren
Delegieren einer Teilaufgabe mitten in der KonversationDie KI kann die konkrete Aufgabe erledigen und sauber zurückgebenDie KI kann den Faden nicht aufnehmen, und der Kunde verliert die Kontinuität
Automatisches Follow-up nach der LösungDas Follow-up passt zu dem, was tatsächlich gelöst wurdeDie Automatisierung widerspricht dem, was der Mensch gerade getan hat, oder vergisst es

Wenn KI-Agenten auch untereinander übergeben, vervielfachen sich dieselben Nahtstellen; unser Leitfaden zur KI-Agenten-Orchestrierung behandelt Übergaben von Agent zu Agent.

So bewerten Sie eine Übergabe in der Praxis

Um eine Übergabe in der Praxis zu bewerten, beurteilen Sie den ganzen Thread über den Übergang hinweg, erfassen jede Übergabe statt einer Stichprobe und ordnen jeden Fehler der Seite zu, die ihn verursacht hat.

Bewerten Sie den ganzen Thread

Bewerten Sie die Kontinuität über die Nahtstelle: Hat der Kontext überlebt, musste sich der Kunde nicht wiederholen, hat die zweite Partei dort weitergemacht, wo die erste aufgehört hat? Das ist unmöglich, wenn Ihre QA den KI-Teil und den menschlichen Teil als getrennte Datensätze betrachtet, und so speichern die meisten Tools sie.

Erfassen Sie jede Übergabe: pro Paar selten, insgesamt häufig

Zwischen zwei bestimmten Agents kommt es vielleicht nur selten zu einer Übergabe, deshalb übersieht eine Stichprobe pro Agent Übergaben fast zwangsläufig. Über den gesamten Betrieb hinweg sind sie überall. Erst wenn Sie 100 % der Konversationen bewerten (auf Englisch), werden Fehler bei der Übergabe als Muster sichtbar statt als gelegentliche Beschwerde. Bei UiPath hat Kaizo 100 % der QA automatisiert, mit 200 % ROI und einer Steigerung des Qualitätsscores um 8 %.

Ordnen Sie jeden Fehler einer Seite zu

Lag es an der KI, die schlecht eskaliert hat, oder am Menschen, der ein Chaos zurückgegeben hat? Bewerten Sie den Bot-Block und den Mensch-Block als getrennte Kriterien, und lassen Sie jedes Ergebnis auf genau die Gesprächsbeiträge zeigen, an denen die Kontinuität abriss. So korrigieren Sie die Routing-Regel, das Kontextpaket oder das Coaching-Thema. Den vollständigen Ablauf finden Sie unter QA für KI-Agenten und Chatbots.

Wann eine Bewertung der Übergabe nichts für Sie ist

Verzichten Sie auf eine eigene Übergabe-Scorecard, wenn Ihr Bot ein paar Dutzend Konversationen im Monat übergibt: Lesen Sie dann jede von Hand. Sie kommt auch zu früh, wenn der Bot keine schriftlichen Eskalationsregeln hat, denn „richtiger Auslöser“ und „richtiger Moment“ brauchen eine Regel, gegen die Sie bewerten, oder wenn die Übergabe ein Link zu einem Kontaktformular ist: Es gibt keine Nahtstelle, solange Bot und Mensch keine gemeinsame Konversation führen.

So beginnen Sie diese Woche, die Qualität der Übergabe zu messen

Beginnen Sie mit einem manuellen Durchgang: Zählen Sie die Übergaben des letzten Monats nach Intent, lesen Sie 30 davon von Anfang bis Ende, markieren Sie jede anhand der Scorecard oben und teilen Sie die erneuten Fragen nach Ursache auf. Ein paar Stunden ergeben eine Basis, bevor Sie irgendetwas automatisieren.

  1. Ziehen Sie die Übergaben des letzten Monats aus Ihrem Helpdesk und zählen Sie sie nach Intent.
  2. Lesen Sie 30 Konversationen mit Übergabe von Anfang bis Ende und markieren Sie jede anhand der Scorecard oben.
  3. Teilen Sie die erneuten Fragen auf in „Kontext fehlte“ und „Kontext vorhanden“. Schicken Sie die erste Liste an die verantwortliche Person für den Bot und die zweite an Ihre Teamleitungen.
  4. Schreiben Sie Ihre Eskalationsregeln auf und ergänzen Sie ein Feld für den Grund der Übergabe.

Wenn der manuelle Durchgang das Muster belegt, automatisieren Sie es. Kaizos QA für KI-Agenten bewertet Konversationen von KI-Agenten mit derselben Scorecard wie die Ihres Teams und prüft die Übergabe als Kriterien darauf: Hat der KI-Agent beim richtigen Auslöser eskaliert und den Kontext weitergegeben, und hat der menschliche Agent ihn übernommen? AutoPilot bewertet jede Konversation in dem Moment, in dem sie gelöst wird. Um den ganzen Weg zu bewerten, lesen Sie Customer Journey QA.

Häufig gestellte Fragen

Was ist Übergabe-QA?

Übergabe-QA bewertet den Moment, in dem eine Konversation zwischen einem KI-Agenten und einem Menschen wechselt, in beide Richtungen. Sie behandelt den Übergang als eigene Bewertungseinheit, denn eine Übergabe kann scheitern (verlorener Kontext, späte Eskalation, ein ungelöster Fall, der zurückgegeben wird), auch wenn Mensch und KI auf ihren eigenen Abschnitten gut abschneiden.

Was sollten Sie bei einer Eskalation von KI an Mensch bewerten?

Drei Dinge: das Timing (wurde an dem Punkt eskaliert, an dem keine Fortschritte mehr kamen, statt zu spät oder zu früh), den Kontext (hat der Mensch den Verlauf und die Diagnose erhalten, damit der Kunde nicht von vorn anfängt) und den Grund (wurde die Eskalation in einer Form erfasst, mit der die übernehmende Person arbeiten kann).

Was geht bei einer Übergabe von Mensch an KI schief?

Die wichtigsten Fehler sind ein Mensch, der einen ungelösten Fall an die Automatisierung zurückgibt, um seine Queue zu leeren, das Delegieren an eine KI, die den Faden nicht aufnehmen kann und so die Kontinuität bricht, und automatische Follow-ups nach der Lösung, die dem widersprechen, was der Mensch gerade getan hat, oder es vergessen. Diese Richtung ist neuer und wird selten bewertet.

Warum übersehen QA-Scores pro Agent Probleme bei der Übergabe?

Weil der Fehler zwischen den Datensätzen liegt. Eine Scorecard pro Agent bewertet, was jede Partei getan hat, solange sie die Konversation hatte, nicht was am Übergang passiert ist. Um die Übergabe zu bewerten, müssen Sie den ganzen Thread über die Nahtstelle hinweg lesen. Deshalb muss die Konversation als eine Einheit gespeichert und bewertet werden, nicht als zwei.

Was ist der Unterschied zwischen einer warmen und einer kalten Übergabe?

Bei einer warmen Übergabe erfährt der Kunde, dass eine Person übernimmt, warum und wie lange die Wartezeit ist, und der Mensch erhält eine Zusammenfassung, bevor er antwortet. Bei einer kalten Übergabe landet die Konversation in einer Warteschlange: Der Kunde wartet, ohne zu wissen, was passiert, und der Mensch fängt bei null an.

Was ist eine gute Übergabequote vom Chatbot an Mitarbeiter?

Es gibt keine einzelne gute Quote, denn sie hängt vom Intent ab: 40 % können bei Reklamationen zur Abrechnung richtig und beim Zurücksetzen von Passwörtern alarmierend sein. Verfolgen Sie die Quote pro Intent, achten Sie auf Veränderungen und beurteilen Sie sie zusammen mit späten Übergaben und der Lösung nach der Übergabe.

Verwandte Begriffe

Auf dieser Seite

Weiterlesen

Sehen Sie das in einer Live-Demo

Wir führen Sie mit realistischen Beispielkonversationen durch Kaizo, damit Sie sehen, wie das Beispiel bewertet, erklärt und gecoacht wird.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath