Customer Journey QA für KI-Agenten, Bots und Menschen

Customer Journey QA prüft alles, was ein Kunde durchlaufen hat, bis ein Anliegen gelöst war: jeden Bot, jeden KI-Agenten, jeden Chat, jeden Anruf und jeden Kontakt mit einem Menschen zu diesem Anliegen innerhalb eines festen Zeitfensters. Statt zu fragen, ob jede einzelne Konversation gut war, fragt sie, ob die Journey mit gelöstem Problem endete, ohne Schleifen, verlorenen Kontext oder ignorierte Bitten um einen Menschen.

Kurz gesagt

• Konversations-QA bewertet einen Kontakt. Journey-QA bewertet den ganzen Weg, den ein Kunde gegangen ist, um ein Anliegen zu lösen, über Bots, KI-Agenten, Kanäle und Menschen hinweg.
• Die meisten Fehler im KI-Zeitalter liegen zwischen den Konversationen: ein ignoriertes „Ich möchte mit einem Menschen sprechen“, eine Schleife zwischen Chat und Telefon, verlorener Kontext, ein Wiederholungskontakt, ein Kunde, der stillschweigend aufgibt.
• Definieren Sie eine Journey als derselbe Kunde mit demselben Anliegen innerhalb eines festen Zeitfensters, standardmäßig 7 Tage.
• Messen Sie korrekt gelöste Journeys, Kontakte pro Journey, fehlerhafte Übergaben, verlorenen Kontext, erfüllte Bitten um einen Menschen, stillen Abbruch und die Zeit bis zur Lösung.
• Prüfen Sie ganze Journeys mit einer Journey-Scorecard, ziehen Sie die Stichprobe anhand von Risikosignalen, und geben Sie jeder gescheiterten Journey eine verantwortliche Person, die die Ursache behebt.

Was ist Customer Journey QA?

Customer Journey QA ist Qualitätssicherung, bei der die Prüfeinheit das Anliegen des Kunden ist, nicht die einzelne Konversation. Eine prüfende Person oder eine automatische Prüfung folgt einem Kunden und einem Anliegen über jeden Kontaktpunkt (Bot, KI-Agent, Chat, E-Mail, Telefon, menschlicher Agent) innerhalb eines festen Zeitfensters und beurteilt, ob die Journey das Problem richtig und ohne unnötigen Aufwand gelöst hat.

Klassische QA liest ein Ticket und bewertet den Agent, der es bearbeitet hat. Wenn KI-Agenten vorne stehen, werden aus einem Anliegen oft drei oder vier Kontakte: eine Bot-Konversation, eine Eskalation in den Chat, ein Anruf, eine Nachfass-E-Mail. Jeder Kontakt kann seine eigene Scorecard bestehen, während der Kunde drei Tage lang nicht weiterkommt.

Mit „Customer Journey“ und „KI-Agenten“ sind oft Marketing-Tools gemeint, etwa Microsofts Agent zur Journey-Erstellung, der aus einem Ziel in Alltagssprache Journeys für E-Mail, SMS und Push-Nachrichten baut. Dieser Leitfaden handelt vom Support: Er prüft die Journeys, die Kunden tatsächlich gehen, wenn sie Hilfe brauchen.

Warum übersieht die Bewertung einzelner Konversationen, wo Support im KI-Zeitalter scheitert?

Die Bewertung einzelner Konversationen übersieht die Fehler im KI-Zeitalter, weil diese Fehler zwischen den Konversationen passieren. Ein Bot, der „Ich möchte mit einem Menschen sprechen“ ignoriert, ein Chat, der den Kunden an die Hotline verweist, eine Übergabe, die die Bestellnummer verliert, oder ein Kunde, der still aufgibt: Jede einzelne Konversation sieht dabei akzeptabel aus. Erst die ganze Journey zeigt den Schaden.

Kunden rechnen damit. In einer Gartner-Umfrage unter 5.728 Kunden (Dezember 2023) gaben 64 % an, dass sie es vorziehen würden, wenn Unternehmen im Kundenservice keine KI einsetzten, und ihre größte Sorge war, dass es schwerer wird, einen Menschen zu erreichen. Gartner rät: Ein Chatbot, der das Problem nicht lösen kann, sollte an einen Agent-Chat übergeben, der „dort weitermacht, wo der Chatbot aufgehört hat“. Das ist eine Anforderung an die Journey.

Der Bericht der US-Verbraucherschutzbehörde CFPB zu Chatbots im Verbraucherfinanzbereich nennt dasselbe Muster „Doom Loops“, oft ausgelöst, wenn ein Anliegen außerhalb der begrenzten Fähigkeiten des Chatbots liegt.

Fünf Fehlermuster verursachen den größten Schaden:

In öffentlichen Supportforen beschreiben Kunden die Kanalschleife in einem Satz: Der Chat schickt sie zur Hotline, und die Hotline schickt sie zurück oder legt auf. Weder das Chat-Transkript noch der Anruf würde für sich allein bewertet durchfallen. Zu den Fehlern innerhalb einer einzelnen KI-Konversation, die Dashboards als Erfolge zählen, lesen Sie unseren Leitfaden zu stillen Fehlern von KI-Agenten.

Wie definieren Sie eine Customer Journey für die QA?

Definieren Sie eine Customer Journey als jeden Kontakt desselben Kunden zum selben Anliegen innerhalb eines festen Zeitfensters, zum Beispiel 7 Tage ab dem ersten Kontakt. Drei Regeln müssen schriftlich feststehen, bevor Sie irgendetwas prüfen: woran Sie denselben Kunden erkennen, woran Sie dasselbe Anliegen erkennen und wann eine Journey als beendet gilt.

Derselbe Kunde. Nutzen Sie die stärkste Kennung, die Sie haben: Kunden-ID oder Kontonummer, dann die verifizierte E-Mail-Adresse, dann die Telefonnummer. Zählen Sie anonyme Chats getrennt, statt zu raten.

Dasselbe Anliegen. Gleichen Sie über das Intent-Tag, die Bestell- oder Fallnummer oder ein verknüpftes Ticket ab. Wenn die Tags unzuverlässig sind, lassen Sie eine prüfende Person die Zuordnungen zuerst an einer Stichprobe bestätigen.

Das Zeitfenster. Wählen Sie es nach Art des Anliegens und halten Sie es dann fest:

Diese Zeitfenster sind unsere Startregeln, kein Branchenstandard. Tragen Sie die Tage zwischen erstem und zweitem Kontakt zum selben Anliegen auf, und setzen Sie das Fenster dort, wo die meisten echten Folgekontakte angekommen sind.

Wie eine Journey endet. Gelöst (das eigentliche Problem wurde gelöst, und innerhalb des Fensters folgte nichts mehr), abgebrochen (der Kunde hat ohne Lösung aufgehört) oder offen (später prüfen). Die First Contact Resolution (auf Englisch) nutzt dasselbe Wiederholungsfenster, fragt aber nur nach dem ersten Kontakt; Journey-QA beurteilt den ganzen Weg.

Welche Kennzahlen auf Journey-Ebene sollten Sie messen?

Messen Sie sieben Journey-Kennzahlen: den Anteil korrekt gelöster Journeys, Kontakte pro Journey, die Fehlerquote bei Übergaben, die Quote verlorenen Kontexts, erfüllte Bitten um einen Menschen, die Quote stiller Abbrüche und die Zeit bis zur Lösung. Zusammen zeigen sie, ob Kunden ihre Lösung bekommen, wie viel Aufwand es sie kostet und welche Nahtstelle am häufigsten bricht. Berichten Sie sie pro Art des Anliegens und pro Einstiegskanal.

Eine hohe Containment Rate (auf Englisch) kann eine schlechte Journey verdecken: Ein Kunde, der den Bot verlässt und die Hotline anruft, zählt trotzdem als „contained“. Die Kontakte pro Journey decken das auf. Und trennen Sie „gelöst“ von „korrekt gelöst“: Eine selbstsichere falsche Antwort sieht gelöst aus, bis der Wiederholungskontakt kommt. Wie Sie das prüfen, zeigt unser Leitfaden zum Prüfen der Lösungsquote von KI-Agenten.

Die Journey-QA-Scorecard (zum Kopieren)

Die Journey-QA-Scorecard ist ein kurzer Satz von Kriterien, die nur über eine ganze Journey hinweg Sinn ergeben. Jedes Kriterium hat eine klare Bedingung für „nicht bestanden“ und nennt die Daten, die eine prüfende Person braucht. Bewerten Sie jede Konversation wie gewohnt mit Ihrer normalen Scorecard und die Journey zusätzlich mit diesen Kriterien, damit das eine nie das andere ersetzt.

Bewertungsregel. Eine Journey fällt durch, wenn sie Kriterium 1, 2 oder 3 (die kritischen) nicht besteht. Andernfalls zählen Sie die übrigen nicht bestandenen Kriterien: 0 ist bestanden, 1 ist bestanden mit Befund, 2 oder mehr ist nicht bestanden. Erfassen Sie für jeden Fehler genau ein Ursachensegment: den Bot, einen benannten KI-Agenten, die Routing- oder Übergaberegel, einen Kanal, einen menschlichen Agent oder die Inhalte zu Richtlinien und Wissen. Diese Zuordnung macht aus einem Journey-Score eine Korrektur.

Kriterium 4 ist dieselbe Kontinuitätsprüfung, die unser Leitfaden zur Übergabe vom Chatbot an Mitarbeiter ausführlich behandelt, eine Nahtstelle nach der anderen. Für Journeys, in denen mehrere KI-Agenten einen Fall untereinander weitergeben, erklärt unser Beitrag zur KI-Agenten-Orchestrierung die Routing-Muster hinter den Kriterien 3 und 5.

Wie ziehen Sie Stichproben und prüfen ganze Journeys?

Ziehen Sie Journeys in zwei Ebenen: Prüfen Sie jede Journey, die ein Risikosignal auslöst (eine ignorierte Bitte um einen Menschen, 3 oder mehr Kontakte, 2 oder mehr Kanäle, eine Schleife oder einen Abbruch), und ergänzen Sie eine Zufallsstichprobe gewöhnlicher Journeys, um die wahre Fehlerquote zu messen. Prüfen Sie jede Journey in zeitlicher Reihenfolge auf einer Zeitachse, mit allen Kontakten nebeneinander.

Ebene 1: Journeys mit Risikosignal. Hier konzentrieren sich die Fehler, also lesen Sie alle, oder eine feste Anzahl pro Auslöser und Woche:

• Eine ausdrückliche Bitte um eine Person („Mitarbeiter“, „Mensch“, „echte Person“) in einem Transkript von Bot oder KI-Agent.
• 3 oder mehr Kontakte oder 2 oder mehr Kanalwechsel zum selben Anliegen.
• Ein Wiederholungskontakt nach einem als gelöst markierten Kontakt.
• Eine Journey, die ungelöst und ohne weiteren Kontakt endet.

Ebene 2: eine Zufallsstichprobe. Auslöser zeigen, wo Sie hinschauen sollten, nicht wie oft etwas schiefgeht. Um eine belastbare Fehlerquote zu berichten, ergänzen Sie eine Zufallsstichprobe abgeschlossener Journeys; 150 bis 400 im Monat ergeben für eine Art von Anliegen eine brauchbare Fehlermarge. Unser Beitrag zur Statistik von QA-Stichproben (auf Englisch) erklärt, warum kleinere Stichproben in die Irre führen.

So prüfen Sie eine Journey. Bauen Sie die Zeitachse nach: jeder Kontakt in zeitlicher Reihenfolge, mit Kanal und Bearbeiter (Bot, KI-Agent, Mensch, Sprachmenü). Lesen Sie den ersten und den letzten Kontakt vor der Mitte; die Lücke zwischen dem, worum der Kunde gebeten hat, und dem, womit er am Ende dastand, ist das Urteil. Gehen Sie dann jede Nahtstelle durch. Anrufe brauchen ein Transkript oder eine Zusammenfassung, damit sie auf derselben Zeitachse stehen; viele Contact Center bewerten bereits eine Stichprobe von Anrufen, und die Journey-Prüfung stellt sie neben die Chat- und Bot-Kontakte.

Die Vorlage für die Journey-Prüfung

Kopieren Sie sie in eine Tabelle oder ein Prüfformular. Ein Block pro Journey.

Ein Rechenbeispiel (Illustration, Zahlen erfunden, um die Rechnung zu zeigen)

Ein Supportteam bearbeitet 50.000 Kontakte im Monat über einen Chatbot, einen KI-Agenten in Chat und E-Mail, eine Hotline und menschliche Agents. Mit einem Zeitfenster von 7 Tagen zu Journeys verbunden, ergeben diese Kontakte 38.000 Journeys:

• 31.800 Journeys (84 %) brauchen einen Kontakt.
• 6.200 Journeys brauchen zwei oder mehr, mit zusammen 18.200 Kontakten (2,94 pro Journey).
• Kontakte pro Journey insgesamt: 50.000 / 38.000 = 1,32.

Die Konversations-QA sieht gesund aus: 91 % der geprüften Konversationen bestehen. Dann prüft die QA-Leitung eine Zufallsstichprobe von 150 Journeys mit mehreren Kontakten. 48 fallen durch (32 %):

In diesen 48 gescheiterten Journeys stecken 141 Konversationen, und 118 davon (84 %) haben die Konversations-Scorecard bestanden. Die Journeys sind gescheitert, obwohl die meisten Konversationen darin bestanden haben.

Hochgerechnet sind 32 % von 6.200 etwa 1.980 gescheiterte Journeys im Monat. Die Fehlermarge bei 95 % liegt bei etwa plus oder minus 7,5 Prozentpunkten (1,96 × √(0,32 × 0,68 / 150) = 0,075), die wahre Zahl liegt also zwischen ungefähr 1.520 und 2.450. Beide Enden lohnen eine Korrektur. Und 29 der 48 Fehler (60 %) stammen von zwei Nahtstellen, dem Übergabepaket und der Regel für Bitten um einen Menschen, also setzen dort die ersten Korrekturen an.

Sehen Sie es an Ihren eigenen Konversationen. Kaizo bewertet 100 % Ihrer Supportkonversationen, von Menschen und KI-Agenten, anhand Ihrer eigenen Scorecard und verknüpft jeden Score mit dem Beleg in der Konversation. Demo buchen.

Wer sollte die Qualität der Customer Journey verantworten?

Eine Person sollte die Qualität der Journey von Anfang bis Ende verantworten, meist die Leitung Kundenservice oder Support Operations, denn keine verantwortliche Person eines Kanals oder Agenten sieht den ganzen Weg. Diese Person hält die Journey-Kennzahlen und die wöchentliche Prüfung. Jede gescheiterte Journey geht dann an die verantwortliche Person des Segments, das sie verursacht hat.

Zwei Regeln verhindern, dass daraus ein Meeting über Schuld wird. Jede gescheiterte Journey bekommt genau ein Ursachensegment; alles andere erfassen Sie als Nebenbefund. Und die Korrektur hängt davon ab, wer gescheitert ist: Ein Mensch bekommt Coaching, ein KI-Agent eine Änderung an seinen Anweisungen, seinem Wissen oder seinen Auslösern. Lesen Sie dazu Menschen coachen vs. KI-Agenten verbessern.

Wie beheben Sie die Fehler, die Journey-QA findet?

Beheben Sie Journey-Fehler an der Nahtstelle, die sie verursacht hat, nicht in der Konversation, in der sie sichtbar wurden. Die meisten Korrekturen sind Regeländerungen: ein Eskalationsauslöser, ein Übergabepaket, eine Richtlinie, die festlegt, wann eine Bitte um einen Menschen immer erfüllt wird, oder eine gemeinsame Antwort zu einer Richtlinie über alle Kanäle. Prüfen Sie danach dieselbe Art von Journey erneut, um zu bestätigen, dass die Korrektur hält.

Testen Sie jede Änderung, bevor sie Kunden erreicht, und messen Sie sie dann im Betrieb. Unser Leitfaden zur KI-Agenten-Evaluierung behandelt beides: Testsets vor dem Launch und die Bewertung echter Konversationen danach.

Wann ist Journey-QA nichts für Sie?

Journey-QA lohnt den Aufbau nicht, wenn die meisten Anliegen in einem Kontakt gelöst werden und kein Bot oder KI-Agent vorne steht. Liegen die Kontakte pro Journey nahe 1,1, wechseln Kunden selten den Kanal und haben Sie ein paar hundert Kontakte pro Woche, dann zeigt Konversations-QA plus eine einfache Erstlösungsquote bereits, was Sie brauchen.

Sie kommt zu früh, wenn Sie Kontakte keinem Kunden zuordnen können: Sind die meisten Chats anonym und tragen Anrufe keine Kundenkennung, beheben Sie das zuerst. Lesen Sie in der Zwischenzeit jedes Transkript mit einer ausdrücklichen Bitte um einen Menschen, dafür müssen Sie nichts verknüpfen. Und Journey-QA ersetzt nie die Konversations-QA: Die eine zeigt, wo der Weg gebrochen ist, die andere, was innerhalb eines Kontakts schiefging.

So fangen Sie diese Woche an

Sie können Journey-QA diese Woche mit einer Tabelle und einer Art von Anliegen beginnen. Das Ziel der ersten Woche ist kein Dashboard. Es geht darum, die eine Nahtstelle zu finden, an der die meisten Journeys brechen, damit die erste Korrektur den Aufwand bezahlt.

1. Wählen Sie eine Art von Anliegen mit hohem Volumen, bei der ein Bot oder KI-Agent den ersten Kontakt übernimmt, etwa Bestellstatus oder Erstattungen.
2. Schreiben Sie die drei Regeln auf: welche Kennung, welches Tag oder welche Fallnummer, welches Zeitfenster.
3. Ziehen Sie 30 Journeys: 20, die ein Risikosignal auslösen, und 10 zufällige.
4. Prüfen Sie sie mit der Journey-Scorecard und der Vorlage, mit einem Ursachensegment pro Fehler.
5. Benennen Sie die verantwortliche Person der schlechtesten Nahtstelle und vereinbaren Sie eine Korrektur mit Datum.
6. Wiederholen Sie das nächste Woche mit derselben Art von Anliegen, um zu sehen, ob die Korrektur gehalten hat.

Wenn die manuelle Prüfung das Muster belegt, automatisieren Sie, was skaliert. Kaizos QA für KI-Agenten bewertet Konversationen von KI-Agenten und Menschen mit derselben Scorecard, einschließlich der Frage, ob der Agent beim richtigen Auslöser eskaliert und den Kontext weitergegeben hat, und AutoPilot bewertet jede Konversation in dem Moment, in dem sie in Zendesk oder Salesforce gelöst wird. Die Verknüpfung dieser Konversationen zu Journeys kommt aus Ihren Helpdesk-Daten: verknüpfte Tickets, Kunden-IDs und Tags für Anliegen. Für das größere Bild lesen Sie unseren Leitfaden zum agentischen Kundenservice.

Häufig gestellte Fragen

Wie viele Kontakte pro Journey sind ein guter Wert?

Es gibt keinen allgemeinen Richtwert, denn das hängt von der Art des Anliegens ab. Nutzen Sie Ihre eigene Basis pro Art von Anliegen und untersuchen Sie alles, was steigt. Als Startregel sollten einfache Fragen nahe 1,0 liegen, und alles über 1,5 verdient einen Blick auf die Journeys dahinter.

Ist Customer Journey QA dasselbe wie Customer Journey Mapping?

Nein. Journey Mapping entwirft den Weg, den Kunden gehen sollen, oft für Marketing oder Service Design. Journey-QA prüft die Wege, die Kunden tatsächlich gegangen sind, Kontakt für Kontakt, und beurteilt, ob jeder davon das Problem ohne Schleifen, verlorenen Kontext oder ignorierte Bitten um einen Menschen gelöst hat.

Lassen sich Journeys über Telefon und Chat gemeinsam prüfen?

Ja, wenn jeder Anruf ein Transkript oder eine schriftliche Zusammenfassung am selben Ort hat wie Ihre Chat- und E-Mail-Kontakte. Die Journey-Prüfung stellt den Anruf dann auf dieselbe Zeitachse wie die Bot- und Chat-Kontakte und wendet dieselben Journey-Kriterien an. Ohne Transkript oder Zusammenfassung kann eine prüfende Person den Anruf nur nach seinem Ergebnis beurteilen.

Ist Journey-QA dasselbe wie KI-Agenten-Monitoring?

Nein. Monitoring beobachtet Live-Signale für einen KI-Agenten, etwa Eskalationsquote, Fehler und Drift, und schlägt Alarm, wenn sie sich bewegen. Journey-QA prüft abgeschlossene Journeys über jeden Bot, Agenten, Kanal und Menschen hinweg und beurteilt, ob das Problem des Kunden gelöst wurde. Monitoring sagt Ihnen, dass sich etwas verändert hat; Journey-QA sagt Ihnen, was es den Kunden gekostet hat.

Wie erkennen Sie stille Abbrüche?

Suchen Sie nach Journeys, die ungelöst und ohne weiteren Kontakt endeten: eine Bot-Konversation, die mitten im Ablauf aufhörte, eine Eskalation, auf die der Kunde nie antwortete, ein Rückruf, der nie zustande kam. Manche dieser Kunden haben es anderswo gelöst, manche haben gekündigt. Prüfen Sie wöchentlich eine Stichprobe und kontrollieren Sie, wo möglich, Kündigungen oder Abwanderung in den Wochen danach.