Zum Inhalt springen

Kennzahlen

KPIs für KI-Agenten: Kennzahlen für KI im Kundenservice

Die KPIs für KI-Agenten, die Containment ersetzen: korrekte Lösungsquote, geprüfte Genauigkeit, Richtlinientreue, Übergabequalität, mit Formeln und Tabelle.

· Aktualisiert · 25 Min. Lesezeit

KPIs für KI-Agenten im Kundenservice sollten messen, ob der KI-Agent das Problem richtig gelöst hat, nicht ob ein Mensch außen vor blieb. Das zentrale Set: korrekte Lösungsquote, geprüfte Genauigkeit, Einhaltung der Richtlinien, Übergabequalität, Wiederholungskontakte innerhalb von 7 Tagen, Rate unsicherer automatischer Aktionen und Kosten pro korrekter Lösung. Containment und Deflection bleiben als Eingangsgrößen für das Volumen auf dem Dashboard.

Kennzahlen für die Servicequalität von KI messen, ob ein KI-Agent das Problem des Kunden wirklich gelöst hat: Lösungsqualität, sachliche Genauigkeit, Eskalationsqualität, Wiederholungskontakte, stille Abbrüche, Einhaltung der Richtlinien und Kosten pro gelöstem Kontakt. Containment-Rate und CSAT nach KI-Gesprächen, die beiden KI-Kennzahlen im Kundenservice, die die meisten Teams berichten, sind zugleich die irreführendsten. Bewerten Sie stattdessen jede Konversation und verknüpfen Sie jeden Score mit den Belegen, so wie es die Qualitätssicherung für KI-Agenten tut.

Kurz gesagt

  • Containment zählt einen frustrierten Abbruch als Erfolg.
  • CSAT nach KI-Gesprächen hört nie von den Kunden, die aufgegeben haben.
  • Wiederholungskontakte und stille Abbrüche zeigen, was Containment verbirgt.
  • Jeder Score sollte sich auf Belege im Transkript zurückführen lassen.
  • Die korrekte Lösungsquote sollte der zentrale KPI für KI-Agenten sein, mit den Kosten pro korrekter Lösung als Gegenstück für die Finanzseite.
  • Anbieter definieren „gelöst“ unterschiedlich, also übertragen Sie jede Anbieterzahl in Ihre eigene Definition, bevor Sie vergleichen.

Warum die beiden Standard-Kennzahlen für KI im Kundenservice in die Irre führen

Jede Supportleitung, die KI einführt, bekommt von der Geschäftsführung dieselbe Frage gestellt: Beweisen Sie, dass es funktioniert. Die beiden Zahlen, nach denen zuerst gegriffen wird, sind die Containment-Rate und der CSAT nach KI-Gesprächen, weil beide leicht abzurufen sind und beide, wenn man nicht so genau hinsieht, nach oben zeigen. Es sind aber auch die beiden Zahlen, die am wenigsten beschreiben, was Ihren Kunden tatsächlich passiert ist.

Das Problem ist strukturell und keine Frage der Feinabstimmung. Containment misst ein Routing-Ergebnis: ob ein Mensch diese Konversation angefasst hat. CSAT nach KI-Gesprächen misst eine Meinung, aber nur die Meinungen derjenigen, die eine abgeben wollten. Keine der beiden Kennzahlen betrachtet den Inhalt der Konversation, und nur dort liegt die Antwort. Das ist ein ganz anderes Problem als das, was die Standardmethode, um die Leistung von KI-Agenten zu messen, löst, und ein ganz anderes Problem als die Frage, welche der allgemeinen KPIs im Kundenservice auf Ihr Dashboard gehören. Hier geht es darum, welche Zahlen Sie stillschweigend belügen.

Hier die Kurzfassung des Arguments, Kennzahl für Kennzahl, bevor wir auf jede einzeln eingehen.

KennzahlWas sie angeblich zeigtWie sie in die Irre führtWas Sie stattdessen messen sollten
Containment- / Deflection-RateDie KI hat die Konversation erfolgreich bearbeitetZählt Abbrüche und Abwimmeln als Erfolg, weil kein Mensch beteiligt warLösungsqualität plus Rate stiller Abbrüche
CSAT nach KI-GesprächenKunden sind mit der KI zufriedenBeantwortet von einer selbst ausgewählten Minderheit, und die verärgertsten Kunden gehen einfachWiederholungskontaktrate und Lösungsqualität auf 100 % der Konversationen
Durchschnittliche Bearbeitungszeit bei KI-KonversationenDie KI ist schnellEine schnelle falsche Antwort ist schneller als eine langsame richtigeSachliche Genauigkeit und Kosten pro tatsächlich gelöstem Kontakt
EskalationsrateWeniger Eskalationen bedeuten, dass die KI zurechtkommtEskalationen zu unterdrücken ist leicht und schädlich; Zeitpunkt und Übergabe zählen mehrEskalationsqualität: richtiger Moment, vollständiger Kontext
Von der KI bearbeitetes VolumenSkalierung und ROISagt nichts darüber, was innerhalb dieses Volumens passiert istEinhaltung der Richtlinien, bewertet anhand Ihres Bewertungsschemas

Containment-Rate: die Kennzahl, die Abwimmeln belohnt

Die Containment-Rate, manchmal auch Deflection-Rate genannt, ist der Anteil der Konversationen, die endeten, ohne dass ein menschlicher Agent beteiligt wurde. Sie wurde zur Standard-Kennzahl für KI, weil sie sich direkt auf den Business Case abbilden lässt: Jede Konversation im Containment ist ein Kontakt, für dessen Bearbeitung Sie keinen Menschen bezahlt haben.

Der Fehler steckt in der Definition. Containment fragt nicht, ob der Kunde bekommen hat, weswegen er gekommen ist. Es fragt, ob jemand anderes hinzugezogen wurde. Das bedeutet, dass mehrere sehr unterschiedliche Ergebnisse alle gleich als Erfolg gezählt werden:

  • Die echte Lösung: Der Kunde hat gefragt, die KI hat richtig geantwortet, der Kunde ist zufrieden gegangen. Das ist das Ergebnis, für das die Kennzahl entwickelt wurde.
  • Der Abbruch: Der Kunde hat dreimal gefragt, eine Variante derselben nutzlosen Antwort erhalten und das Fenster geschlossen. Kein Mensch war beteiligt, also zählt es als Containment.
  • Das Abwimmeln: Die KI konnte oder wollte nicht übergeben, bot immer wieder Hilfecenter-Artikel an, und der Kunde gab auf und wandte sich stattdessen an Social Media oder die Bewertungen im App Store.
  • Der verlagerte Kontakt: Der Kunde hat den Chat geschlossen und die Hotline angerufen, eine E-Mail geschrieben oder am nächsten Tag ein neues Ticket eröffnet. Im einen Kanal im Containment, im anderen kostet er Sie trotzdem.

Drei dieser vier sind Fehlschläge, und das Abwimmeln ist sogar schlimmer, als gar nichts zu tun. Trotzdem kann eine Containment-Zahl sie nicht unterscheiden, denn die unterscheidende Information steckt in der Konversation, und Containment schaut dort nie hin.

Das ist kein Argument dafür, Containment aufzugeben. Es ist eine nützliche Eingangsgröße für Kapazität und Kosten. Es ist ein Argument dagegen, es als Qualitätskennzahl zu berichten, denn wer Containment direkt optimiert, macht es Kunden schwerer, einen Menschen zu erreichen. Genau dieses Verhalten will niemand, und jeder erkennt es, sobald er selbst Kunde ist.

Deflection hat denselben Fehler, plus die selbstsicher falsche Antwort

Die Deflection-Rate, der Anteil der Kontakte, die nie eine menschliche Queue erreichen, hat denselben blinden Fleck, und beide übersehen die falsche Antwort, die der Kunde glaubt. Ein Kunde, dem eine falsche Erstattungsfrist genannt wurde, bedankt sich und geht: im Containment, abgewendet und in den meisten Anbieterberichten gelöst. Lesen Sie dazu, wie Sie die Containment-Rate ehrlich messen.

CSAT nach KI-Gesprächen: die Kennzahl, die nie von denen hört, die gegangen sind

CSAT (auf Englisch) ist in seinem ursprünglichen Kontext eine gute Kennzahl: eine Konversation mit einem Menschen, eine vernünftige Rücklaufquote, eine stabile Gruppe von Antwortenden. An eine KI-Konversation angehängt, entwickelt er einen bestimmten und gravierenden blinden Fleck.

Selbstauswahl genau im falschen Moment

Umfrageantworten kommen von einer Minderheit der Kunden, und diese Minderheit ist nie zufällig. Wer so stark empfindet, dass er antwortet, steht meist an einem der beiden Enden der Skala. Doch der Fehlermodus der KI, der am meisten zählt, ist der Kunde, der still zu dem Schluss kommt, dass das hier nirgendwohin führt, und sich abwendet. Genau dieser Kunde füllt danach mit der geringsten Wahrscheinlichkeit eine Umfrage aus. Er ist nicht geblieben, um befragt zu werden. Er gehört zu den stillen Abbrechern, und für sie ist CSAT nach KI-Gesprächen strukturell taub.

Die Umfrage fragt nach dem Falschen

Selbst bei denen, die antworten, vermischt ein Zufriedenheitswert, ob die Antwort richtig war, ob der Ton angenehm war und ob das Ergebnis eines war, das der Kunde hören wollte. Eine KI, die charmant und selbstbewusst falsch liegt, kann gut abschneiden. Eine KI, die korrekt eine Richtlinienantwort gibt, die dem Kunden missfällt, kann schlecht abschneiden. Keines der beiden Ergebnisse sagt Ihnen, ob das System funktioniert.

Der Vergleich ist in beide Richtungen unfair

Teams vergleichen oft den CSAT der KI mit dem CSAT der menschlichen Agents und ziehen daraus Schlüsse. Diese beiden Gruppen sind nicht vergleichbar: Die KI übernimmt meist zuerst die einfachen, volumenstarken, leicht zufriedenzustellenden Kontakte und eskaliert die schwierigen. Ein schmeichelhafter KI-CSAT kann schlicht bedeuten, dass die KI die einfache Queue bekommen hat. Ein schlechter kann bedeuten, dass sie die Queue bekommen hat, bei der niemand gewinnen konnte.

Behalten Sie CSAT. Hören Sie nur auf, ihn als Beleg für Ihre KI zu behandeln. Behandeln Sie ihn als ein Signal unter mehreren, gewichtet mit dem Wissen, dass er nur von denen hört, die geblieben sind.

Welche KPIs für KI-Agenten sollten Containment als Hauptzahl ersetzen?

Sieben KPIs für KI-Agenten sollten den Bericht anführen: korrekte Lösungsquote, geprüfte Genauigkeit, Einhaltung der Richtlinien, Übergabequalität, Wiederholungskontakte innerhalb von 7 Tagen, Rate unsicherer automatischer Aktionen und Kosten pro korrekter Lösung. Jeder davon liest die Konversation oder die Systeme dahinter, also lässt sich keiner dadurch steigern, dass man den Menschen schwerer erreichbar macht.

Containment, Deflection, CSAT und Bearbeitungszeit bleiben eine Ebene darunter, als Eingangsgrößen für Kapazität und Stimmung. Die Abschnitte unten erklären jeden KPI, und die Definitionstabelle weiter unten liefert die Formeln. Die Hauptkennzahl im Detail finden Sie unter korrekte Lösungsquote.

Wie definieren Anbieter „gelöst“ unterschiedlich?

Anbieter nutzen dasselbe Wort für unterschiedliche Prüfungen. Intercom zählt einen Kunden, der geht, ohne weitere Hilfe anzufordern, Zendesk ergänzt für seine verifizierte Stufe eine Prüfung durch ein Sprachmodell, und Ada verlangt eine relevante, richtige und sichere Antwort. Keine dieser Definitionen prüft, so wie sie dokumentiert ist, Backend-Daten oder Kontakte in anderen Kanälen.

Begriff des AnbietersGilt als gelöst, wennPrüft, ob die Antwort richtig war?Was er nicht sehen kann
Intercom Fin, assumed resolutionDer Kunde „exits the conversation without requesting further assistance“, verlässt also nach der letzten Antwort von Fin die Konversation, ohne weitere Hilfe anzufordern; abgezogen, wenn der Kunde dieselbe Konversation wieder öffnet (Intercom)NeinEine falsche Antwort, die der Kunde geglaubt hat; eine Rückkehr über einen anderen Kanal
Intercom Fin, confirmed resolutionDer Kunde bestätigt, dass die Antwort geholfen hat („That helped“)Nur aus Sicht des KundenOb die Sicht des Kunden stimmte
Zendesk, contained resolutionDer KI-Agent hat die Interaktion bearbeitet, „without the customer requesting further assistance“, also ohne dass der Kunde weitere Hilfe anforderte (Zendesk)Nein; umfasst auch Konversationen, die die Verifizierung nicht bestanden habenRichtigkeit, Backend-Daten
Zendesk, verified resolutionWie contained, plus ein Sprachmodell prüft den Text der Konversation und bestätigt, dass das Anliegen gelöst wurdeAnhand des TranskripttextsOb die Aktion in Ihren Systemen stattfand; andere Kanäle
Ada, automated resolutionKein Mensch beteiligt, und die Konversation wird als relevant, richtig und sicher beurteiltJa, durch Prüfung der KonversationWiederholungskontakte nach dem Ende der Konversation

Zwei Lösungsquoten von Anbietern sind also erst vergleichbar, wenn Sie beide in eine Definition übertragen, die Ihnen gehört; der KPI-Leitfaden von Fin selbst sagt, die Definition „varies enormously across vendors“, unterscheide sich also stark zwischen Anbietern (Fin). Intercom rechnet außerdem jede Lösung durch Fin ab. Und das Zeitfenster ist kurz: Zendesk beendet eine Messaging-Konversation standardmäßig 2 Stunden nach der ersten Nachricht und eine E-Mail-Konversation 72 Stunden nach der ersten E-Mail, sodass ein Fehler, der an Tag 4 sichtbar wird, die Zahl des Anbieters nie berührt. Unsere Prüfung der Lösungsquote von KI-Agenten zeigt, wie Sie eine korrigierte Quote neben der des Anbieters berichten.

Lösungsqualität: die Ankerkennzahl

Wenn Sie Containment durch eine einzige Sache ersetzen, dann durch die Lösungsqualität: Hat diese Konversation das Problem des Kunden tatsächlich gelöst? Sie ist der Anker des gesamten Kennzahlen-Sets, weil jede andere Kennzahl hier entweder eine Eingangsgröße dafür oder eine Kontrolle davon ist.

Was sie ist. Ein Urteil anhand des Transkripts darüber, ob das eigentliche Anliegen des Kunden erledigt wurde. Nicht ob ein Ticket geschlossen wurde, nicht ob eine Antwort verschickt wurde, nicht ob der Intent erkannt wurde. Sondern ob das, was für den Kunden passieren musste, passiert ist.

Wie Sie sie messen. Als bewertetes Kriterium in Ihrem Bewertungsschema für die Qualitätssicherung, angewendet auf von KI bearbeitete Konversationen genau so wie auf von Menschen bearbeitete. Das Kriterium muss so formuliert sein, dass ein Reviewer und ein automatisierter Bewerter es gleich lesen würden: Legen Sie für jeden wichtigen Kontakttyp fest, welche Belege im Transkript als Lösung zählen. Erstattung angefragt und Erstattung bestätigt. Adresse geändert und Änderung dem Kunden bestätigt. Frage gestellt und richtige Antwort gegeben, die der Kunde zur Kenntnis nimmt.

Wie eine schlechte Zahl aussieht. Das Signal, auf das Sie achten sollten, ist kein absoluter Schwellenwert, sondern die Lücke zwischen Lösungsqualität und Containment. Wenn ein großer Anteil der Konversationen im Containment endet, aber ein viel kleinerer Anteil als gelöst bewertet wird, entspricht diese Lücke der Größe Ihres Problems, ausgedrückt in Konversationen. Es ist auch die Zahl, die es wert ist, der Geschäftsführung vorgelegt zu werden, denn sie ist die ehrliche Version der Zahl, die man ihr gezeigt hat.

Beachten Sie, dass dies bewusst strenger ist als die Erstlösungsquote (auf Englisch), die eine Lösung aus dem Ausbleiben einer Nachfrage ableitet. FCR ist ein nützlicher Näherungswert. Die Lösungsqualität liest das Transkript, statt aus Schweigen zu schließen, und Schweigen ist genau das, was ein abbrechender Kunde erzeugt.

Sachliche Genauigkeit und Halluzinationsrate

Ein KI-Agent (auf Englisch), der eine Erstattungsfrist erfindet, einen Liefertermin falsch angibt oder selbstbewusst eine Funktion beschreibt, die Sie nicht haben, ist kein Qualitätsproblem, sondern ein Haftungsproblem. Die sachliche Genauigkeit ist die Kennzahl, die das auffängt, und für sie haben die meisten Teams überhaupt keine Messung.

Was sie ist. Der Anteil der KI-Antworten, die eine sachliche Aussage enthalten, die sich anhand Ihrer Wissensdatenbank, Ihrer Richtliniendokumente oder Ihrer Bestelldaten prüfen lässt, und der Anteil dieser Aussagen, der korrekt ist. Die Halluzinationsrate ist das Gegenstück: Aussagen, die selbstbewusst getroffen werden und von keiner Quelle gestützt sind.

Wie Sie sie messen. Jede sachliche Aussage in einer Konversation wird gegen die maßgebliche Quelle geprüft. Das ist nur automatisiert und in großem Umfang praktikabel, und genau das ist eines der stärksten Argumente dafür, jede Konversation zu bewerten, statt Stichproben zu ziehen: Eine Halluzination in einer Konversation, die niemand gelesen hat, kostet genauso viel wie eine in einer, die jemand gelesen hat. Verfolgen Sie sie getrennt nach Kontakttyp, denn die Genauigkeit ist selten einheitlich. Fragen zur Abrechnung und Fragen zum Versand verhalten sich meist sehr unterschiedlich.

Wie eine schlechte Zahl aussieht. Jede Rate über null bei Aussagen mit rechtlichem, finanziellem oder sicherheitsrelevantem Gewicht ist eine schlechte Zahl, egal wie klein sie ist. Bei weniger heiklen Aussagen kommt es auf die Richtung an: Eine Halluzinationsrate, die nach einer Änderung der Wissensdatenbank oder einem Modell-Update steigt, sagt Ihnen etwas Konkretes und Dringendes über diese Änderung.

Eine Warnung: Dass ein KI-Agent von seiner eigenen Antwort überzeugt ist, ist kein Beleg dafür, dass sie stimmt. Die Genauigkeit muss anhand Ihrer Wissensdatenbank und Ihrer Richtlinien geprüft werden, mit den Belegen für jedes Urteil. Dieses Prinzip steht hinter einer sauber aufgesetzten Bewertung per LLM as a Judge (auf Englisch).

Eskalationsqualität: nicht wie oft, sondern wie gut

Die Eskalationsrate wird berichtet, als wäre niedriger besser. Das stimmt nicht. Eskalation ist eine Funktion, und eine KI, die nie eskaliert, ist keine starke KI, sondern ein gefangener Kunde. Was zählt, ist die Eskalationsqualität: ob die Übergabe im richtigen Moment stattfand und mit dem richtigen Kontext ankam.

Zeitpunkt

Die beiden Fehlermodi liegen auf beiden Seiten des richtigen Zeitpunkts. Zu frühes Eskalieren verschenkt die Automatisierung vollständig und verärgert einen Kunden, der eine einfache Frage hatte. Zu spätes Eskalieren, nach drei oder vier gescheiterten Schleifen, bedeutet, dass der Mensch einen Kunden übernimmt, der bereits verärgert ist, und eine Konversation, die neu beginnen muss. Bewerten Sie den Moment: Gab es einen erkennbaren Gesprächszug, an dem eine kompetente Übergabe hätte stattfinden sollen, und fand sie dort statt?

Kontextübergabe

Der teuerste Eskalationsfehler ist der, bei dem der menschliche Agent die Konversation öffnet und den Kunden bitten muss, alles noch einmal zu erklären. Dieses eine Verhalten macht das Wohlwollen der gesamten KI-Interaktion zunichte. Bewerten Sie, ob die Übergabe das vom Kunden genannte Anliegen enthielt, was bereits versucht wurde und welchen Konto- oder Bestellkontext die KI bereits abgerufen hatte.

Richtigkeit

War die Eskalation überhaupt die richtige Entscheidung? Eine KI, die jede mehrdeutige Nachricht eskaliert, erzeugt umsonst Arbeit für Menschen, und das zeigt sich in den Kosten pro gelöstem Kontakt statt in den Qualitäts-Scores. Beide Richtungen müssen bewertet werden, sonst verschieben Sie das Problem beim Optimieren nur von der einen auf die andere Seite.

Als einzelner KPI bewerten Sie jede Übergabe mit Bestanden oder Nicht bestanden nach richtigem Moment, vollständigem Kontext und richtiger Entscheidung; die Übergabequalität ist der Anteil, der alle drei besteht. Siehe Bewertung der Übergabe von KI an Mensch.

Wie eine schlechte Zahl aussieht. Eine sinkende Eskalationsrate zusammen mit einem sinkenden Score für die Lösungsqualität ist das deutlichste schlechte Signal in diesem gesamten Artikel. Es bedeutet, dass die KI Konversationen festhält, die sie nicht zu Ende bringen kann.

Wiederholungskontaktrate und Rate stiller Abbrüche

Diese beiden sind zusammengefasst, weil sie Ihre günstigsten Lügendetektoren sind. Beide fangen Fehlschläge auf, die Containment als Erfolge wertet, und keine von beiden verlangt, dass ein Kunde etwas ausfüllt.

Wiederholungskontaktrate nach einer KI-Konversation

Was sie ist. Der Anteil der Kunden, die sich nach einer von KI bearbeiteten Konversation innerhalb eines festgelegten Zeitfensters in einem beliebigen Kanal wegen desselben eigentlichen Anliegens erneut melden.

Wie Sie sie messen. Verknüpfen Sie Kontakte nach Kunde und nach Anliegen, nicht nach Ticket, und schauen Sie gezielt kanalübergreifend. Ein Kunde, der einen Chat abgebrochen und dann angerufen hat, ist der wichtigste Fall, den Sie erfassen müssen, und eine Sicht pro Kanal übersieht ihn komplett. Passen Sie das Zeitfenster an Ihr Produkt an: derselbe Tag bei einem Lieferproblem, eine Woche oder länger bei einem Abrechnungsstreit. Für den zentralen KPI legen Sie ein festes Fenster von 7 Tagen fest, damit die Zahl von Woche zu Woche vergleichbar ist; Zeitfenster je Thema bleiben für die Diagnose nützlich.

Wie eine schlechte Zahl aussieht. Eine Wiederholungskontaktrate, die nach KI-Bearbeitung höher ausfällt als bei vergleichbaren, von Menschen bearbeiteten Kontakten, ist ein Warnsignal, unabhängig von ihrem absoluten Wert. Sie bedeutet, dass Containment Arbeit verschoben statt beseitigt hat.

Rate stiller Abbrüche

Was sie ist. Der Anteil der KI-Konversationen, die der Kunde ohne Lösung und ohne Eskalation verlässt. Keine Umfrage, keine Beschwerde, keine Nachfrage. Diese Konversationen sehen in jeder Routing-basierten Kennzahl genauso aus wie Erfolge.

Wie Sie sie messen. Identifizieren Sie Konversationen, die mit einem Beitrag des Kunden endeten oder bei denen die letzte Nachricht der KI unbeantwortet blieb, und bewerten Sie, ob das Anliegen zu diesem Zeitpunkt gelöst war. Zufriedene Abgänge von stillen Abbrüchen zu trennen, ist ein Urteil anhand des Transkripts, und genau deshalb steht diese Kennzahl auf den meisten Dashboards nicht: Sie lässt sich nicht zählen, sie muss gelesen werden.

Wie eine schlechte Zahl aussieht. Jede Rate stiller Abbrüche, die einen nennenswerten Bruchteil Ihrer Containment-Rate ausmacht, bedeutet, dass Ihre Containment-Zahl um genau diesen Betrag aufgebläht ist. Containment ohne sie zu berichten heißt, eine Zahl zu berichten, von der Sie wissen, dass sie falsch ist.

Rate unsicherer automatischer Aktionen: der KPI für KI-Agenten, die handeln

Die Rate unsicherer automatischer Aktionen ist der Anteil der Aktionen, die ein KI-Agent selbstständig ausgeführt hat, etwa Erstattungen, Kündigungen, Gutschriften oder Kontoänderungen, die gegen eine Regel verstießen: über einem Limit, eine vorgeschriebene Prüfung übersprungen, der falsche Datensatz, eine Aktion, um die niemand gebeten hat, oder eine Aktion, die behauptet, aber im Backend nie ausgeführt wurde. Die Genauigkeit bewertet den Text, dieser KPI bewertet, was der Agent getan hat.

Wie Sie sie messen. Gleichen Sie jede ausgeführte Aktion ab, keine Stichprobe, mit den Limits der Richtlinie und der Konversation, die sie ausgelöst hat. Verfolgen Sie daneben die Override-Rate (Aktionen, die ein Mensch blockiert hat): Eine sinkende Rate unsicherer Aktionen bei steigender Override-Rate bedeutet, dass Menschen das Problem abfangen, nicht dass es verschwunden ist. Jede unsichere Aktion bei Zahlungen, Kontozugang oder personenbezogenen Daten ist ein Vorfall mit einer benannten verantwortlichen Person. Die Regeln gehören in Ihre Guardrails für KI-Agenten.

Einhaltung der Richtlinien und Kosten pro tatsächlich gelöstem Kontakt

Die letzten beiden schließen den Kreis zwischen Qualität und Business Case.

Einhaltung der Richtlinien

Was sie ist. Ob die KI die Regeln befolgt hat, die sie befolgen muss: die Identität prüfen, bevor Kontodaten offengelegt werden, Pflichthinweise geben, Rabatte außerhalb der Richtlinien ablehnen, einen schutzbedürftigen Kunden oder eine geäußerte Beschwerde korrekt behandeln und, wo es gilt, innerhalb der regulatorischen Formulierungen bleiben.

Wie Sie sie messen. Das sind binäre, anhand von Belegen prüfbare Kriterien, und damit lassen sie sich von allem auf dieser Liste am leichtesten automatisch bewerten, und es schadet am meisten, sie nur per Stichprobe zu prüfen. Führen Sie sie als Bestanden-/Nicht-bestanden-Prüfungen für jede Konversation durch und behandeln Sie jedes Nicht bestanden als Vorfall, der geprüft wird, statt als Prozentwert, der weggemittelt wird. Das ist dieselbe Logik des Bewertungsschemas, nach der Ihr menschliches Team bereits bewertet wird, und genau darum geht es: Ihr Internal Quality Score sollte auch die KI abdecken, sonst haben Sie zwei Standards und keinen Vergleich.

Wie eine schlechte Zahl aussieht. Bei Identitätsprüfung und regulierten Pflichthinweisen ist ein einziges Nicht bestanden eine schlechte Zahl. Mitteln Sie diese nicht.

Kosten pro tatsächlich gelöstem Kontakt

Was sie ist. Die Gesamtkosten der KI-Konversationen geteilt durch die Zahl der Konversationen, die tatsächlich gelöst wurden, nicht durch die Zahl der Konversationen im Containment.

Wie Sie sie messen. Nehmen Sie Ihren Score für die Lösungsqualität, wenden Sie ihn auf Ihr Containment-Volumen an und verwenden Sie die resultierende Anzahl als Nenner. Rechnen Sie die nachgelagerten Kosten ein, die die KI verursacht hat: Wiederholungskontakte, die zusätzliche Bearbeitungszeit bei Eskalationen, die ohne Kontext ankamen, und die Zeit, die Menschen mit dem Aufräumen verbringen.

Wie eine schlechte Zahl aussieht. Wenn die Kosten pro tatsächlich gelöstem Kontakt nicht spürbar besser sind als bei der vergleichbaren Bearbeitung durch Menschen, trägt sich der Einsatz nicht, ganz gleich, wie gut die Containment-Grafik aussieht. Das ist die Zahl, die ein Qualitätsargument in ein Finanzargument verwandelt, und meistens ist es dieses Argument, das Budget bekommt.

Die Definitionstabelle der KPIs für KI-Agenten (zum Kopieren)

Jeder zentrale KPI braucht eine Formel und eine Datenquelle, sonst berechnen zwei Teams ihn auf zwei Arten. Die Zielwerte sind Ausgangspunkte für ein erstes Quartal, keine Benchmarks: Ersetzen Sie sie nach vier Wochen Bewertung durch Ihren eigenen Ausgangswert.

KPIFormelDatenquelleBeispielziel (Ausgangspunkt)
Korrekte LösungsquoteKI-Konversationen mit richtiger Antwort, ausgeführter Aktion, eingehaltener Richtlinie und ohne Wiederholungskontakt innerhalb von 7 Tagen, geteilt durch alle von KI bearbeiteten KonversationenQA-Bewertung der Transkripte, Backend-Daten, KontakthistorieInnerhalb von 10 Punkten der vom Anbieter berichteten Lösungsquote, dann jedes Quartal steigern
Geprüfte GenauigkeitAls richtig bestätigte sachliche Aussagen, geteilt durch geprüfte sachliche AussagenBewertung gegen Wissensdatenbank, Richtliniendokumente und Bestelldaten98 % insgesamt; 100 % bei Aussagen zu Geld, Recht und Sicherheit
Einhaltung der RichtlinienKonversationen, die jede zutreffende Pflichtprüfung bestehen, geteilt durch Konversationen, in denen eine Prüfung zutrafBestanden-/Nicht-bestanden-Kriterien der Scorecard (Identität, Pflichthinweise, Erstattungslimits)100 % bei Identität und regulierten Pflichthinweisen; jedes Nicht bestanden wird geprüft
ÜbergabequalitätÜbergaben, die Zeitpunkt, Kontext und Richtigkeit bestehen, geteilt durch alle ÜbergabenEskalationskriterien der Scorecard plus Übergabe-Ereignisse im Helpdesk90 % der Übergaben bestehen; unter 5 % der Kunden müssen sich wiederholen
Wiederholungskontakte innerhalb von 7 TagenKunden, die innerhalb von 7 Tagen in einem beliebigen Kanal wegen desselben Anliegens zurückkommen, geteilt durch als gelöst markierte KI-KonversationenKontakthistorie, kanalübergreifend nach Kunden-ID verknüpftAuf oder unter dem Wert der von Menschen bearbeiteten Kontakte desselben Typs
Rate unsicherer automatischer AktionenVon der KI ausgeführte Aktionen, die gegen eine Regel verstießen, geteilt durch alle von der KI ausgeführten AktionenAktionsprotokolle, abgeglichen mit Richtlinienlimits und der auslösenden KonversationNull bei Zahlungen und Kontozugang; sonst unter 0,1 %, jeder Fall wird geprüft
Kosten pro korrekter LösungKI-Kosten plus die Kosten der menschlichen Nacharbeit, die sie verursacht hat, geteilt durch korrekte LösungenPlattformrechnungen, Personalkosten, KontakthistorieUnter Ihren Kosten pro korrekter Lösung durch Menschen für denselben Kontakttyp

Schlüsseln Sie jede Zeile nach Kontakttyp auf, denn ein Gesamtdurchschnitt verbirgt den einen Intent, der kaputt ist. Verwenden Sie dieselben Definitionen für Ihr menschliches Team, damit Zeilen für KI und Menschen auf einem Dashboard stehen können; wo ein KPI kein menschliches Gegenstück hat, etwa die Rate unsicherer automatischer Aktionen, zeigen Sie die nächstliegende Kontrolle (Erstattungen und Gutschriften von Agents außerhalb der Richtlinie).

Rechenbeispiel: ein Monat, zwei Hauptzahlen

Ein Beispiel mit runden Zahlen, kein Benchmark. Ein KI-Agent bearbeitet 10.000 Konversationen im Monat. Das Dashboard des Anbieters zeigt 70 % Containment (7.000 Konversationen) und 65 % Lösung (6.500).

Das Team prüft 400 der „gelösten“ Konversationen. 14 % gaben eine falsche Antwort oder behaupteten eine Aktion, die nie stattfand, und weitere 8 % kamen innerhalb von 7 Tagen wegen desselben Anliegens zurück. Bleiben 78 % korrekt.

ZahlRechnungErgebnis
Korrekte Lösungen6.500 x 78 %5.070
Korrekte Lösungsquote5.070 / 10.00050,7 % (Anbieter sagt 65 %)
Von der KI verursachte Nacharbeit6.500 x 22 %1.430
Kosten pro Lösung laut Anbieter13.000 € KI-Kosten / 6.5002,00 €
Kosten pro korrekter Lösung(13.000 € + 1.430 x 6 € menschliche Nacharbeit) / 5.0704,26 €

Derselbe Monat, dieselben Konversationen. Ein Bericht sagt, die KI löse 65 % der Kontakte für 2,00 €; der andere sagt, sie löse die Hälfte davon zu mehr als den doppelten Kosten. Bei einer Stichprobe von 400 haben die 78 % eine Fehlermarge von etwa 4 Punkten in beide Richtungen (95 % Konfidenz); die Bewertung jeder Konversation beseitigt diese Marge.

Welche Dashboards Containment-Rate, CSAT und Bearbeitungszeit zeigen

Die meisten Helpdesks und KI-Agenten-Plattformen zeigen Containment-Rate, CSAT und durchschnittliche Bearbeitungszeit bereits in ihren eingebauten Auswertungen. Was diese Dashboards selten zeigen, ist, ob jede Konversation wirklich gelöst, richtig und regelkonform war.

KennzahlWoher sie meist kommtWas sie nicht zeigen kann
Containment- oder Deflection-RateDie KI-Agenten-Plattform oder die Helpdesk-AuswertungOb dem Kunden geholfen wurde oder ob er aufgegeben hat
CSATUmfragen nach der Konversation im HelpdeskWas die Kunden erlebt haben, die nicht geantwortet haben
Durchschnittliche BearbeitungszeitHelpdesk- oder Contact-Center-ReportingOb eine schnelle Antwort auch eine richtige war
Lösungsqualität, Genauigkeit, Einhaltung der RichtlinienEine QA-Plattform, die die Transkripte bewertet(Das ist die Ebene, die den anderen drei fehlt)

In der Praxis sind es also zwei Ebenen. Behalten Sie die Betriebszahlen aus den Tools, die sie erzeugen, und ergänzen Sie eine Qualitätsebene, die jede Konversation liest, für menschliche und KI-Agenten gleichermaßen. Kaizo ist für diese zweite Ebene gebaut: Es bewertet Konversationen von KI-Agenten mit derselben Scorecard wie die Ihres Teams, sodass Sie Qualität nach Team und Woche sehen, Mensch und KI nebeneinander. Mehr zur Containment-Seite lesen Sie unter was die Containment-Rate ist und warum sie in die Irre führen kann.

Warum Kennzahlen zur KI-Servicequalität jede Konversation brauchen

Gehen Sie die Kennzahlen oben noch einmal durch, und eines gilt für jede einzelne: Sie erfordert, die Konversation zu lesen. Die Lösungsqualität ist ein Urteil über das Transkript. Die Halluzinationsrate ist eine Prüfung von Aussagen gegen Quellen. Die Eskalationsqualität ist eine Beurteilung eines bestimmten Gesprächszugs. Ein stiller Abbruch ist das Fehlen eines Signals, das heißt, er lässt sich nur finden, indem man sich Konversationen ansieht, in denen nichts passiert ist.

Das hat zwei Konsequenzen, die die meisten Messprogramme noch nicht verinnerlicht haben.

Stichproben funktionieren hier nicht

Die klassische Qualitätssicherung prüft einen kleinen Prozentsatz der Konversationen, und für ein menschliches Team bekannter Größe ist das ein vertretbarer statistischer Kompromiss. Für KI ist es aus zwei Gründen nicht vertretbar. Erstens sind KI-Fehler systematisch statt verteilt: Ein schlechter Wissensartikel oder ein Grenzfall in einer Richtlinie erzeugt jedes Mal denselben Fehler, wenn er getroffen wird, also erfasst eine Stichprobe entweder den ganzen Cluster oder verfehlt ihn ganz. Zweitens bearbeitet KI weit mehr Volumen, also ist dieselbe kleine Stichprobe ein kleineres Fenster auf einen größeren Betrieb. Jede Konversation zu bewerten (auf Englisch) ist die Voraussetzung und nicht der Zweck: Es beseitigt den Auswahlfehler, der die anderen Zahlen bedeutungslos macht. Es geht nicht darum, jemanden zu überwachen, sondern darum, nicht eine Stichprobenregel entscheiden zu lassen, was Ihre Kennzahlen aussagen.

Sie sollten einen Score nicht auf Treu und Glauben hinnehmen müssen

Bestehen Sie darauf, dass jeder Score auf die genauen Belege im Transkript verweist, die ihn erzeugt haben, dass jeder Score angefochten und von einem Menschen entschieden werden kann und dass sich der Bewerter an einer Reihe von Konversationen testen lässt, die Ihre eigenen Reviewer bewertet haben, sodass Sie die Übereinstimmungsrate Kriterium für Kriterium sehen, bevor Sie irgendetwas nach oben berichten. Einen Score, den Sie zurückverfolgen können, können Sie anfechten. Ein Score, den Sie nicht zurückverfolgen können, ist eine Marketingaussage mit angehängter Zahl.

Kaizo bewertet KI-Agenten und Ihr menschliches Team anhand eines Bewertungsschemas, das Sie festlegen, wobei jeder Score auf das Transkript zurückgeführt wird und sich an Ihrem eigenen Referenzsatz testen lässt. Kaizo wendet dieses Schema auf alle Ihre Konversationen an statt auf einen ausgewählten Ausschnitt. Praktisch bedeutet das, dass Qualitätssicherung für KI-Agenten und Qualitätssicherung für Menschen keine zwei getrennten Programme mehr sind, die zwei nicht vergleichbare Zahlenreihen liefern.

So messen Sie die Leistung von KI im Kundenservice

Messen Sie die Leistung von KI im Kundenservice in fünf Schritten: Lösung je Kontaktart definieren, jede KI-Konversation mit einer Scorecard bewerten, stille Signale ergänzen, mit dem menschlichen Team vergleichen und die Lücke berichten.

  1. Definieren Sie Lösung je Kontaktart. Halten Sie fest, welche Belege im Transkript für Ihre wichtigsten Kontaktgründe als gelöst gelten: Erstattung bestätigt, Adressänderung geprüft, richtige Antwort bestätigt.
  2. Bewerten Sie jede KI-Konversation mit einer Scorecard. Nutzen Sie dieselben Kriterien wie für Ihr menschliches Team, plus die für Bots: sachliche Genauigkeit, Treue zur Richtlinie, im Rahmen bleiben und im richtigen Moment eskalieren.
  3. Ergänzen Sie die stillen Signale. Verfolgen Sie Wiederholungskontakte über alle Kanäle und stille Abbrüche, denn beides taucht weder in der Containment-Rate noch im CSAT auf.
  4. Vergleichen Sie mit Ihrem menschlichen Team. Stellen Sie die Qualität von KI und Menschen nach Kontaktart in dasselbe Diagramm, damit Sie nicht die einfache Queue mit der schwierigen vergleichen.
  5. Berichten Sie die Lücke. Zeigen Sie der Geschäftsführung die Containment-Rate neben der Lösungsqualität und die Kosten pro wirklich gelöstem Kontakt neben den Kosten pro gehaltenem Kontakt.

Testen Sie die Bewertung selbst, bevor Sie sie berichten: Lassen Sie sie über Konversationen laufen, die Ihre Reviewer bereits bewertet haben, und prüfen Sie die Übereinstimmung je Kriterium. Unser Leitfaden, wie Sie die Leistung von KI-Agenten messen, beschreibt die Methode ausführlicher.

Wann ist dieses KPI-Set nicht das Richtige für Sie?

Wenn Ihr KI-Agent einige hundert Konversationen im Monat bearbeitet, nur FAQs beantwortet und keine Aktionen ausführt, sind sieben KPIs Overhead: Lesen Sie wöchentlich eine Stichprobe und verfolgen Sie die Wiederholungskontakte.

Ohne schriftliche Scorecard schreiben Sie zuerst eine (Scorecard für KI-Agenten). Eine KI, die nur Antworten entwirft, die eine Person sendet, ist Agent Assist, dann gelten die KPIs für das menschliche Team. Zum Start bewerten Sie 100 zufällige „gelöste“ Konversationen aus dem letzten Monat nach richtiger Antwort, ausgeführter Aktion, eingehaltener Richtlinie und Wiederholungskontakt innerhalb von 7 Tagen und berichten das Ergebnis neben der Quote des Anbieters (Marge etwa 10 Punkte). Schwellenwerte für Warnungen finden Sie unter Monitoring von KI-Agenten.

Messen Sie, was Ihre KI-Agenten tatsächlich getan haben

Sehen Sie in einer Live-Demo mit realistischen Beispieldaten, wie die Lösungsqualität neben der Containment-Rate steht, bewertet nach einem Bewertungsschema wie Ihrem. Jeder Score führt auf die Belege im Transkript zurück, und bei Ihrer eigenen Einführung gleichen Sie ihn mit Konversationen ab, die Ihre Reviewer bereits bewertet haben.

Sprechen wir QA für KI-Agenten ansehen Kaizo Insights ansehen

Häufig gestellte Fragen

Welches sind die wichtigsten Kennzahlen für KI im Kundenservice?

Korrekte Lösungsquote, geprüfte Genauigkeit, Einhaltung der Richtlinien, Übergabequalität, Wiederholungskontakte innerhalb von 7 Tagen, Rate unsicherer automatischer Aktionen und Kosten pro korrekter Lösung, mit der Rate stiller Abbrüche als Diagnosegröße. Diese beschreiben, was in der Konversation und in Ihren Systemen tatsächlich passiert ist. Containment-Rate und CSAT nach KI-Gesprächen, die beiden am häufigsten berichteten, beschreiben stattdessen Routing und eine selbst ausgewählte Meinung, und deshalb führen sie in die Irre.

Was ist der Unterschied zwischen Lösungsquote, Deflection und Containment?

Containment ist der Anteil der Konversationen, die ohne einen Menschen endeten. Deflection ist der Anteil der Kontakte, die nie eine menschliche Queue erreichten. Die Lösungsquote ist die eigene Prüfung des Anbieters, von „der Kunde ging, ohne weitere Hilfe anzufordern“ bis zu einer automatisierten Prüfung des Transkripts. Keine davon prüft Backend-Daten oder andere Kanäle, und deshalb steht die korrekte Lösungsquote über ihnen.

Was ist die Containment-Rate und warum führt sie in die Irre?

Die Containment-Rate, auch Deflection-Rate genannt, ist der Anteil der Konversationen, die eine KI bearbeitet hat, ohne dass ein Mensch beteiligt wurde. Sie führt in die Irre, weil sie misst, ob jemand anderes hinzugezogen wurde, nicht ob dem Kunden geholfen wurde. Ein Kunde, der dreimal gefragt hat, nicht weiterkam und das Fenster frustriert geschlossen hat, zählt als Containment, ebenso wie ein Kunde, der aufgegeben und stattdessen angerufen hat.

Wie messen Sie den CSAT für KI-Agenten und Chatbots?

Behandeln Sie den CSAT als ein Signal unter mehreren, nicht als Urteil. CSAT nach KI-Gesprächen wird von einer kleinen, selbst ausgewählten Gruppe beantwortet, und die Kunden, bei denen Ihre KI am stärksten versagt hat, bleiben am seltensten, um eine Umfrage zu beantworten. Außerdem vermischt er Richtigkeit mit Tonfall, sodass eine selbstbewusst falsche KI gut abschneiden kann. Vergleichen Sie ihn mit Messgrößen, die auf dem Transkript beruhen, statt ihn für sich allein als Beleg zu behandeln.

Wie messen Sie, ob ein KI-Agent ein Anliegen tatsächlich gelöst hat?

Bewerten Sie die Lösung als Kriterium in Ihrem QA-Bewertungsschema, angewendet auf das Transkript statt abgeleitet aus dem Ticketstatus. Legen Sie pro Kontakttyp fest, welche Belege in der Konversation als Lösung zählen: die bestätigte Erstattung, die dem Kunden bestätigte Änderung, die zur Kenntnis genommene richtige Antwort. Vergleichen Sie diesen gelösten Anteil dann mit Ihrer Containment-Rate. Die Lücke zwischen beiden ist die Größe des Problems.

Was ist die Rate stiller Abbrüche?

Es ist der Anteil der KI-Konversationen, die ein Kunde ohne Lösung und ohne Eskalation verlässt: keine Beschwerde, keine Umfrage, keine Nachfrage. Diese Konversationen sind für jede Routing-basierte Kennzahl unsichtbar, weil kein Mensch beteiligt war, und so blähen sie das Containment auf. Um sie zu finden, müssen Sie Konversationen lesen, die mit einem Beitrag des Kunden endeten, und beurteilen, ob das Anliegen tatsächlich erledigt war.

Welche Lösungsquote kann KI im Kundensupport erreichen?

Es gibt keinen verlässlichen Branchenwert, weil Anbieter unter demselben Namen Verschiedenes berichten: Viele zählen eine Konversation ohne menschliche Übergabe schon als gelöst. Entscheidend ist der Anteil der KI-Konversationen, den eine Prüfung des Transkripts für Ihre Kontaktarten als wirklich gelöst bewertet. Messen Sie diesen Wert zuerst und vergleichen Sie ihn dann mit der Containment-Rate; die Lücke zeigt, wie weit die Schlagzeilenzahl die echte übertreibt.

Weiterlesen

Auf dieser Seite

Weiterlesen

Sehen Sie das in einer Live-Demo

Wir führen Sie mit realistischen Beispielkonversationen durch Kaizo, damit Sie sehen, wie das Beispiel bewertet, erklärt und gecoacht wird.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath