KI-Agenten-Evaluierung im Support: Methoden und Kennzahlen

Mit der KI-Agenten-Evaluierung weist ein Supportteam nach, dass sein KI-Agent richtige, erlaubte und hilfreiche Antworten gibt. Sie hat zwei Phasen: Evals vor dem Launch, bei denen Sie Testkonversationen gegen schriftliche Erfolgskriterien laufen lassen, und die Evaluierung im Betrieb, bei der Sie echte Kundenkonversationen anhand einer Scorecard bewerten. Sie brauchen beides, einen kalibrierten Judge und eine benannte verantwortliche Person.

Kurz gesagt

• Evals vor dem Launch sagen Ihnen, ob eine Änderung sicher ausgeliefert werden kann; die Evaluierung im Betrieb sagt Ihnen, was der KI-Agent tatsächlich mit Kunden gemacht hat.
• Messen Sie richtige Lösung, Einhaltung der Richtlinien, Richtigkeit der Aktionen, Qualität der Eskalation und Ton; behandeln Sie Containment als Kontext, nie als Qualitätsscore.
• Nutzen Sie einen LLM-Judge für das Volumen und menschliche Reviewer für die Kalibrierung und für Fälle mit hohem Risiko, und prüfen Sie ihre Übereinstimmung Kriterium für Kriterium.
• Kleine Stichproben übersehen seltene, aber teure Fehler: Bei 40.000 Konversationen im Monat zeigt eine Stichprobe von 1 % mit 45 % Wahrscheinlichkeit keinen einzigen Fall eines Fehlers, der 80 Kunden trifft.
• Geben Sie jeder Kennzahl eine verantwortliche Person, eine Schwelle und einen Rhythmus; die Framework-Tabelle unten ist ein Ausgangspunkt zum Kopieren.

Dieser Leitfaden richtet sich an die Support-Leitung, die für den Agenten geradesteht, sobald er mit Kunden spricht, nicht an die Entwickler, die ihn bauen. Die Grundlagen finden Sie in unserem Leitfaden zur Qualitätssicherung für KI-Agenten; wenn Sie noch entscheiden, wie weit Sie automatisieren, beginnen Sie mit dem agentischen Kundenservice.

Was ist KI-Agenten-Evaluierung im Kundenservice?

KI-Agenten-Evaluierung im Kundenservice ist der wiederholbare Prozess, die Konversationen eines KI-Agenten gegen schriftliche Erfolgskriterien zu prüfen: War die Antwort richtig, war sie laut Richtlinie erlaubt, ist die zugesagte Aktion wirklich passiert, hat der Agent übergeben, wenn er sollte, und stimmte der Ton? Sie läuft vor dem Launch auf Testfällen und danach auf echten Konversationen.

Ihr KI-Team wird diese Begriffe aus Entwicklerleitfäden verwenden:

Für den Support zählt die letzte Zeile am meisten. Ein Transkript, in dem der Agent sagt „Ihre Erstattung ist unterwegs“, ist nicht dasselbe wie eine Erstattung im System. Praktiker, die Support-Agenten betreiben, beschreiben genau diesen Fehler: Der Agent meldet eine Aktion als erledigt, obwohl der API-Aufruf dahinter fehlgeschlagen ist.

Was bedeutet Anthropics „Demystifying evals for AI agents“ für Supportteams?

Anthropics Engineering-Beitrag Demystifying evals for AI agents ist der Leitfaden, nach dem die meisten namentlich suchen. Für Supportteams lässt er sich auf fünf Punkte verdichten: klein mit echten Fehlern anfangen, Ergebnisse statt nur Worte prüfen, Konsistenz messen, beide Seiten jeder Entscheidung testen und weiter Transkripte lesen.

1. Beginnen Sie mit 20 bis 50 echten Fehlern. Der Beitrag nennt 20 bis 50 einfache Tasks aus echten Fehlern „einen guten Anfang“ und führt die Support-Queue als Quelle an. Ihr QA-Team hat sie bereits.
2. Bewerten Sie das Ergebnis, nicht die Erzählung. Das Erstattungsbeispiel des Beitrags kombiniert eine Zustandsprüfung (Ticket gelöst, Erstattung verarbeitet), Prüfungen der Aktionen des Agenten (Identität verifiziert, Erstattung innerhalb der Grenzen) und eine LLM-Rubrik für Empathie und Klarheit.
3. Messen Sie Konsistenz mit pass^k, der Wahrscheinlichkeit, dass alle k Durchläufe eines Tasks erfolgreich sind. Laut dem Beitrag ist das „besonders wichtig bei Agenten mit Kundenkontakt, bei denen Nutzer jedes Mal verlässliches Verhalten erwarten“. Ein Agent, der einen Task in 75 % der Fälle besteht, besteht alle 3 Durchläufe nur in etwa 42 % der Fälle.
4. Testen Sie beide Richtungen. Prüfen Sie, wann der Agent handeln soll und wann nicht. Ein Testset voller „soll erstatten“-Fälle erzeugt einen Agenten, der zu oft erstattet.
5. Lesen Sie die Transkripte. „Ob Ihre Grader gut funktionieren, wissen Sie erst, wenn Sie die Transkripte und Bewertungen aus vielen Durchläufen lesen.“

Der Beitrag nennt Monitoring im Betrieb außerdem reaktiv: Kunden stoßen vor Ihnen auf das Problem. Supportteams brauchen beide Phasen.

Evals vor dem Launch oder Evaluierung im Betrieb: Was ist der Unterschied?

Evals vor dem Launch lassen Ihren KI-Agenten auf Testkonversationen laufen, bevor eine Änderung live geht, um einen schlechten Prompt, ein schlechtes Modell oder ein fehlerhaftes Wissens-Update zu stoppen. Die Evaluierung im Betrieb bewertet die echten Konversationen Ihrer Kunden, damit Sie Fehler finden, an die Ihr Testset nie gedacht hat. Vor dem Launch ist sie ein Tor; im Betrieb die laufende Qualitätsprüfung.

Die beiden Phasen speisen sich gegenseitig: Jeder im Betrieb gefundene Fehler wird ein neuer Testfall. Simulation, bei der ein zweites Modell den Kunden spielt, gehört zur Phase vor dem Launch; Benchmarks wie τ-bench nutzen sie für Supportaufgaben aus Einzelhandel und Luftfahrt.

Wie schreiben Sie Evals für einen KI-Agenten?

Um Evals für einen KI-Agenten zu schreiben, sammeln Sie 20 bis 50 echte Konversationen, in denen der Agent oder Ihr Team danebenlag, schreiben für jede auf, wie ein richtiges Ergebnis aussieht, ergänzen Fälle, in denen Ablehnen oder Eskalieren richtig ist, geben jedem Kriterium einen eigenen Grader und lassen jeden Fall vor jeder Änderung mehrmals laufen.

Das Supportteam legt den Inhalt fest; die KI-Seite setzt ihn technisch um:

1. Holen Sie die Fälle aus der QA. Gescheiterte oder eskalierte Konversationen der letzten 90 Tage, nach Intent gruppiert.
2. Schreiben Sie das erwartete Ergebnis in einem Satz auf. „Lehnt die Erstattung ab, nennt die 30-Tage-Richtlinie, bietet ein Guthaben an, eskaliert nicht.“
3. Ergänzen Sie die Gegenfälle. Zu jedem „soll ablehnen“-Fall einen „soll ausführen“-Fall; zu jedem „soll eskalieren“-Fall einen, bei dem Eskalation falsch wäre.
4. Trennen Sie die Kriterien. Richtigkeit, Richtlinie, Aktion, Eskalation und Ton bekommen jeweils eine eigene Prüfung; Anthropics Beitrag empfiehlt einen Judge pro Dimension der Rubrik.
5. Prüfen Sie das System, nicht den Satz. Wo der Agent eine Aktion ausführt, liest der Grader den Datensatz im Bestellsystem oder Helpdesk, nicht die Behauptung des Agenten.
6. Lassen Sie jeden Fall 3 bis 5 Mal laufen und werten Sie ihn nur als bestanden, wenn alle Durchläufe bestehen. Das ist pass^k in der Praxis.
7. Führen Sie zwei Sets. Ein Regressionsset, das nahezu zu 100 % bestehen sollte, und ein schwierigeres Capability-Set für die Intents, die Sie als Nächstes automatisieren wollen.

Die Minimalversion, wie Praktiker sie beschreiben: ein paar Dutzend echte Tickets, die schiefgegangen sind, und die bei jeder Prompt-Änderung erneut durchlaufen. Unser Leitfaden KI-Agenten testen behandelt Testdesign, Regressionsläufe und Simulation im Detail.

Welche Kennzahlen zählen bei der KI-Agenten-Evaluierung im Kundenservice?

Die Kennzahlen, die bei der KI-Agenten-Evaluierung im Kundenservice zählen, sind richtige Lösung, Richtigkeit der Antwort, Einhaltung der Richtlinien, Richtigkeit der Aktionen, Qualität der Eskalation und Ton, gestützt durch erneute Kontakte und Kundenfeedback. Containment und Deflection sagen nur, dass der Kunde keinen Menschen erreicht hat. Sie gehören in die Kontextspalte, nicht in den Qualitätsscore.

Kombinieren Sie die Containment-Rate mit einer Lösungsprüfung, lesen Sie, wie Sie die Leistung von KI-Agenten messen und KI und Menschen fair vergleichen, und legen Sie die Kriterien in einer Scorecard für KI-Agenten fest.

LLM as a Judge oder menschliche Prüfung: Wie kalibrieren Sie beides?

Nutzen Sie einen LLM-Judge, um jede Konversation zu bewerten, und menschliche Reviewer, um ihn zu kalibrieren und die Fälle mit hohem Risiko zu übernehmen. Zum Kalibrieren bewerten zwei Reviewer und der Judge dieselben 100 bis 200 Konversationen unabhängig voneinander. Messen Sie dann die Übereinstimmung für jedes Kriterium einzeln und schärfen Sie die Formulierung überall dort, wo Judge und Menschen sich uneinig sind.

LLM as a Judge bedeutet, dass ein Sprachmodell eine Konversation anhand Ihrer schriftlichen Kriterien bewertet (unsere Definition, auf Englisch). Die Studie Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena ergab, dass GPT-4 über 80 % Übereinstimmung mit menschlichen Präferenzen erreichte, also das Niveau, auf dem Menschen untereinander übereinstimmen. Sie nennt auch die Schwachstellen des Judges: Positions-, Ausführlichkeits- und Selbstbevorzugungs-Bias sowie begrenztes logisches Schließen.

Eine Kalibrierroutine, die sich bewährt:

• Unabhängig bewerten. Zwei Reviewer und der Judge bewerten dasselbe Set getrennt. Die Reviewer einigen sich zuerst und vergleichen dann mit dem Judge.
• Pro Kriterium messen. Eine Gesamtübereinstimmung von 90 % kann ein Tonkriterium bei 70 % verbergen. Bei Bestanden-oder-nicht-Kriterien verfolgen Sie den Recall: Wie viele der echten Richtlinienverstöße hat der Judge erkannt?
• Dem Judge „unbekannt“ erlauben. Anthropics Beitrag empfiehlt, dem Judge einen Ausweg zu geben, um erfundene Bewertungen zu reduzieren. Leiten Sie „unbekannt“ an einen Menschen weiter.
• Nach jeder Änderung neu kalibrieren, an der Scorecard, am Modell des Judges oder am Zuständigkeitsbereich des Agenten, und mindestens monatlich.

Unser einwöchiges Protokoll, um KI-QA-Bewertungen zu validieren (auf Englisch) macht daraus einen Plan Tag für Tag mit Schwellen für die Übereinstimmung.

Wie viele Konversationen müssen Sie evaluieren?

Für Evals vor dem Launch reichen zum Start 20 bis 50 echte Fehlerfälle, die mit jedem weiteren automatisierten Intent auf einige Hundert wachsen. Für die Evaluierung eines KI-Agenten im Betrieb bewerten Sie möglichst jede Konversation, denn die teuersten Fehler sind selten, und seltene Fehler verstecken sich in Stichproben. Halten Sie die doppelte Bewertung durch Menschen bei 100 bis 200 Konversationen im Monat.

Illustration (keine Kundendaten). Ein KI-Agent bearbeitet 40.000 Konversationen im Monat. Das QA-Team prüft eine Stichprobe von 1 %: 400 Konversationen.

Die Wahrscheinlichkeit, keinen Fall zu sehen, ist (1 minus Rate) hoch 400. Selbst zwei gefundene Erstattungsfehler sehen wie Rauschen aus; die Bewertung aller 40.000 Konversationen zeigt 200 und 80 Fälle, nach Intent gruppiert.

Drei Faustregeln:

• Fehlermarge. Eine Quote richtiger Lösungen von 90 %, gemessen an 400 Konversationen, ist auf etwa ±3 Punkte genau (95 % Konfidenz). Ein Rückgang auf 88 % liegt also im Rauschen. Bei 40.000 Konversationen beträgt die Marge etwa ±0,3 Punkte.
• Null Fehler heißt nicht null Risiko. Wenn Sie in n Konversationen keinen Fehler sehen, kann die wahre Rate trotzdem bei bis zu etwa 3 geteilt durch n liegen: Um eine Rate unter 1 % zu zeigen, brauchen Sie etwa 300 fehlerfreie Konversationen, für unter 0,1 % etwa 3.000.
• Kalibriersets sind absichtlich klein. 200 doppelt bewertete Konversationen mit 85 % Übereinstimmung legen diese Übereinstimmung auf etwa ±5 Punkte fest: genug, um ein schlecht formuliertes Kriterium zu finden, nicht genug, um Reviewer zu ranken.

Die Mathematik dahinter erklärt unser Beitrag zur Statistik von QA-Stichproben (auf Englisch).

Das Framework für die KI-Agenten-Evaluierung (Tabelle zum Kopieren)

Dieses Framework listet für einen KI-Agenten im Kundenservice auf, was Sie evaluieren, mit welcher Methode und Kennzahl, mit welcher Beispielschwelle, wer verantwortlich ist und in welchem Rhythmus. Die Schwellen sind Beispiele zum Diskutieren, keine Branchenbenchmarks: Leiten Sie Ihre aus Ihrem eigenen Ausgangswert ab und aus dem, was Sie ein einzelner Fehler kostet.

Warum die Konsistenzschwelle streng ist: Ein Task, der 98 % der Einzeldurchläufe besteht, besteht alle 5 Durchläufe in etwa 90 % der Fälle, einer mit 95 % nur in etwa 77 %. Kunden bekommen den Durchlauf, der gerade passiert.

Wer sollte die KI-Agenten-Evaluierung verantworten?

Die KI-Agenten-Evaluierung braucht drei Verantwortliche: Die verantwortliche Person für KI oder Automatisierung führt die Evals vor dem Launch durch und korrigiert Prompts und Tools, die QA-Leitung führt die Bewertung im Betrieb und die Kalibrierung des Judges durch, und die CX-Leitung setzt Schwellen und entscheidet, ob der Agent ausgebaut, gehalten oder eingeschränkt wird. Verantwortliche für Wissen und Richtlinien korrigieren die Inhalte, auf die die Scores zeigen.

Der häufigste Fehler ist eine Evaluierung, die nur das Team verantwortet, das den Agenten baut: Wer baut, misst, was er ändern kann, während die Support-Leitung sehen muss, was Kunden bekommen haben. Legen Sie die Zahlen aus dem Betrieb in die Hand einer Person aus dem Support; die Framework-Tabelle oben nennt eine verantwortliche Person pro Kennzahl. Die Evaluierung ist ein Teil eines umfassenderen Aufsichtsmodells, das unser Leitfaden zur KI-Agenten-Governance beschreibt.

Welche Tools nutzen Supportteams für die KI-Agenten-Evaluierung?

Supportteams nutzen vier Arten von Tools für die KI-Agenten-Evaluierung: Eval- und Observability-Plattformen für Entwickler für Tests vor dem Launch und Traces, Simulationstools, die den Kunden spielen, die Analysen der Agentenplattform selbst und Plattformen für Konversations-QA, die echte Konversationen anhand einer Scorecard bewerten. Die meisten Enterprise-Teams landen bei einem Tool pro Phase.

Kaizo steht in der letzten Zeile. AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard, und jeder Score ist mit den Belegen in der Konversation verknüpft. Sie testen die Bewertung an den historischen Bewertungen Ihres Teams, bevor sie live geht, und Reviewer behalten die Konversationen, die Urteilsvermögen brauchen. Unsere Seite zur Qualitätssicherung für KI-Agenten zeigt, wie das in Zendesk und Salesforce funktioniert.

Sehen Sie es an Ihren eigenen Konversationen. Kaizo bewertet 100 % Ihrer Supportkonversationen und macht aus den Ergebnissen Coaching. Termin buchen.

Wann diese Tiefe der Evaluierung nicht zu Ihnen passt

Wenn Ihr KI-Agent ein paar Dutzend Konversationen pro Woche bearbeitet, lassen Sie Framework, Judge und Tool weg: Lesen Sie eine Stunde pro Woche jedes Transkript selbst, anhand einer kurzen Checkliste (richtig, erlaubt, richtige Übergabe, richtiger Ton). Starten Sie das volle Programm, wenn das Volumen mehr ist, als eine Person lesen kann, oder wenn der Agent beginnt, Aktionen wie Erstattungen oder Kontoänderungen auszuführen.

Wenn Sie eine Testsuite für Entwickler in Ihrer Release-Pipeline brauchen, ist das ein anderes Tool; Kaizos QA-Plattform bewertet Konversationen nach ihrem Ende und kann daneben laufen.

So starten Sie diese Woche mit der KI-Agenten-Evaluierung

Sie können diese Woche mit der KI-Agenten-Evaluierung beginnen, ohne etwas zu kaufen. In fünf Tagen kann ein Supportteam drei Intents auswählen, 30 echte Fehler sammeln, fünf Ja-oder-Nein-Kriterien schreiben, 100 aktuelle Konversationen als Ausgangswert bewerten und Verantwortliche und Schwellen festlegen. Alles andere im Framework wächst daraus.

1. Montag: Wählen Sie den Intent mit dem höchsten Volumen, den riskantesten (meist Erstattungen oder Kontoänderungen) und den, über den sich Kunden am meisten beschweren.
2. Dienstag: Holen Sie pro Intent 10 schlechte Konversationen aus QA, Beschwerden und Eskalationen; schreiben Sie für jede das richtige Ergebnis in einem Satz auf.
3. Mittwoch: Schreiben Sie fünf Kriterien (richtige Antwort, Richtlinie, Aktion stimmt mit dem System überein, Eskalation, Ton), jeweils als Ja-oder-Nein-Frage mit dem Beleg, der sie beweist.
4. Donnerstag: Zwei Reviewer bewerten unabhängig voneinander 100 aktuelle Konversationen. Das ist Ihr Ausgangswert und Ihr erstes Kalibrierset.
5. Freitag: Füllen Sie die Framework-Tabelle mit Ihren Namen, Ausgangswerten und einem Termin für die erste monatliche Prüfung aus.

Geben Sie die 30 Fehler als erstes Regressionsset an Ihr KI-Team: Nichts wird ausgeliefert, bevor es besteht.

Häufig gestellte Fragen

Was ist eine gute Genauigkeitsrate für einen KI-Agenten im Kundenservice?

Es gibt keine allgemeingültige Zahl; sie hängt davon ab, was eine falsche Antwort kostet. Als Beispielschwelle: Streben Sie 98 % oder mehr Konversationen ohne sachlichen Fehler und keine kritischen Richtlinienverstöße in Ihrem Regressionsset an. Leiten Sie die Live-Schwelle aus Ihrem eigenen Ausgangswert ab und untersuchen Sie jeden Rückgang ab 3 Punkten.

Wie oft sollten Sie die Evals für KI-Agenten erneut ausführen?

Führen Sie das Regressionsset vor jeder Änderung an Prompt, Modell, Tool oder Wissen erneut aus, denn jede davon kann etwas brechen, das funktioniert hat. Bewerten Sie Konversationen im Betrieb laufend, prüfen Sie die Zahlen wöchentlich und kalibrieren Sie den Judge monatlich und nach Änderungen an der Scorecard.

Sollten KI-Agenten mit derselben Scorecard bewertet werden wie menschliche Agents?

Nutzen Sie gemeinsame Kriterien, wo sie für beide gelten, etwa eine richtige Antwort und den richtigen Ton, damit die Ergebnisse vergleichbar bleiben. Ergänzen Sie dann Kriterien, die nur ein KI-Agent braucht: Verankerung in Ihren Inhalten, Richtigkeit der Aktionen, Zuständigkeitsbereich und Auslöser für Eskalationen. Ein Maßstab mit KI-spezifischen Prüfungen funktioniert besser als zwei unverbundene Scorecards.

Was ist der Unterschied zwischen pass@k und pass^k?

pass@k ist die Wahrscheinlichkeit, dass mindestens einer von k Durchläufen erfolgreich ist. Das passt zu Tools, bei denen eine gute Antwort genügt. pass^k ist die Wahrscheinlichkeit, dass alle k Durchläufe erfolgreich sind. Der Kundenservice braucht pass^k, denn jeder Kunde bekommt einen Durchlauf und erwartet jedes Mal die richtige Antwort.

Ist KI-Agenten-Evaluierung dasselbe wie KI-Agenten-Monitoring?

Nein. Monitoring beobachtet Live-Volumen, Fehler und Alarme, damit Sie ein Problem schnell bemerken. Evaluierung beurteilt, ob jede Antwort richtig, erlaubt und gut bearbeitet war, vor dem Launch an Testfällen und danach an echten Konversationen. Die Evaluierung im Betrieb speist das Monitoring, und jeder gefundene Fehler wird ein neuer Testfall.