Lösungsquote von KI-Agenten: So prüfen Sie Lösungen

Die Lösungsquote eines KI-Agenten zählt die Konversationen, die der Anbieter als gelöst markiert: keine Übergabe, kein Folgekontakt innerhalb eines Zeitfensters. Sie prüft nicht, ob die Antwort richtig war, die Aktion ausgeführt wurde oder der Kunde wegblieb. Für eine Prüfung ziehen Sie eine Stichprobe „gelöster“ Konversationen, beurteilen jede anhand schriftlicher Kriterien und Backend-Daten und berichten eine korrigierte Quote neben der des Anbieters.

Kurz gesagt

• Eine „Lösung“ beim Anbieter bedeutet meist, dass der Kunde nicht um weitere Hilfe gebeten hat, bevor ein Timer ablief; eine selbstsichere falsche Antwort und ein Kunde, der aufgegeben hat, bestehen beide diesen Test.
• Vier Fehler verstecken sich in gelösten Konversationen: eine falsche Antwort, die der Kunde akzeptiert hat, ein Kunde, der aufgegeben hat, ein Kunde, der über einen anderen Kanal zurückkam, und eine Aktion, die der Agent behauptet, aber nie ausgeführt hat.
• Eine korrekte Lösung braucht vier Mal ja: richtige Antwort, von der Richtlinie gedeckt, Aktion im führenden System ausgeführt und kein Wiederholungskontakt zum selben Anliegen innerhalb von 7 Tagen.
• Eine Zufallsstichprobe von etwa 400 gelösten Konversationen im Monat ergibt eine korrigierte Quote auf ungefähr 5 Prozentpunkte genau, und das reicht, um sie neben der Zahl des Anbieters zu berichten.
• Berichten Sie beide Zahlen, die Verteilung der Fehler und die Kosten pro korrekter Lösung, und geben Sie jede Fehlerart an eine verantwortliche Person.

Dieser Leitfaden gehört zu unserem Hub zur KI-Agenten-Evaluierung, geschrieben für die Leitung Kundenservice oder die KI-Leitung, die die Ergebnisse des KI-Agenten abzeichnet. Wenn Sie zuerst die Grundlagen der Kennzahl brauchen, die meist neben der Lösungsquote steht, beginnen Sie mit der Containment Rate (auf Englisch).

Was bedeutet „gelöst“ bei der Lösungsquote eines KI-Agenten?

In den meisten Anbieterberichten bedeutet „gelöst“, dass der KI-Agent geantwortet hat und der Kunde nicht um weitere Hilfe oder um einen Menschen gebeten hat, bevor die Konversation abgelaufen ist. Manche Anbieter ergänzen eine Modellprüfung des Transkripts. Keine dieser Definitionen schaut, so wie sie dokumentiert ist, auf Backend-Daten oder darauf, ob der Kunde Sie über einen anderen Kanal erneut kontaktiert.

Die Definitionen sind öffentlich, und es lohnt sich, sie Wort für Wort zu lesen, bevor Sie einem Dashboard vertrauen:

Daraus folgen zwei Dinge. Erstens ist „gelöst“ eine Abrechnungs- und Berichtsdefinition, die der Anbieter festlegt, oft gekoppelt an das, was Sie zahlen. Zweitens bewegt sich die Definition: Intercom berichtet inzwischen „Outcomes“ neben Lösungen und schreibt, dass „Erfolg“ nicht mehr binär sei (Intercom-Blog, März 2026), und Zendesk hat am 18. Mai 2026 Lösungsstufen eingeführt (frühere Definition bei Zendesk). Eine Prüfung gibt Ihnen eine Definition, die Ihnen gehört.

Was ist der Unterschied zwischen gelöst und korrekt gelöst?

Eine gelöste Konversation endete ohne Übergabe oder Folgekontakt. Eine korrekt gelöste Konversation hat außerdem die richtige Antwort gegeben, die richtige Aktion ausgeführt, die Richtlinie eingehalten und verhindert, dass der Kunde mit demselben Anliegen zurückkommt. Die Lücke zwischen beiden ist Ihre echte Automatisierungsquote, und auf dem Dashboard des Anbieters ist sie meist unsichtbar.

Der Anbieter fragt: Endete die Konversation ruhig? Ihre Prüfung fragt: Ist das Problem verschwunden? Die zweite Frage braucht Belege von außerhalb des Transkripts. Unser Beitrag zu stillen Fehlern von KI-Agenten behandelt die größere Familie von Fehlern, die keine Fehlermeldung auslösen, und warum KI-Gespräche scheitern die Ursachen dahinter.

Welche Fehler verstecken sich in gelösten Konversationen?

Vier Fehlerarten gehen als Lösungen durch: eine falsche Antwort, die der Kunde akzeptiert hat, ein Kunde, der aufgegeben hat, ein Kunde, der über einen anderen Kanal zurückkam, und eine Aktion, die der Agent behauptet, aber nicht ausgeführt hat. Jede sieht im Transkript wie eine ruhige, erfolgreiche Konversation aus, und jede braucht eine andere Prüfung, um sie zu finden.

Die letzte Art ist die teuerste, wenn man sie übersieht, und keine Prüfung, die nur das Transkript liest, ob durch Menschen oder ein LLM, kann sie finden. Guardrails für KI-Agenten bei Aktionen verringern, wie oft das passiert; die Prüfung zeigt Ihnen, ob sie wirken.

Wie gestalten Sie die Stichprobe für eine Prüfung der Lösungen?

Ziehen Sie eine Zufallsstichprobe von etwa 400 Konversationen, die der Anbieter in einem Monat als gelöst markiert hat, geschichtet nach Intent, mit zusätzlichen Konversationen aus Intents mit hohem Risiko wie Erstattungen, Kündigungen und Kontoänderungen. Verbergen Sie den Status des Anbieters vor den Prüfenden, und lassen Sie 10 % doppelt bewerten, um die Übereinstimmung zu messen.

1. Legen Sie Zeitraum und Grundgesamtheit fest. Ein Kalendermonat, jede Konversation mit dem Anbieterstatus „gelöst“.
2. Ziehen Sie zufällig innerhalb jedes Intents, im Verhältnis zum Volumen. Von Hand ausgesuchte „interessante“ Konversationen drücken die Quote verzerrt nach unten.
3. Ziehen Sie Intents mit hohem Risiko überproportional. Ergänzen Sie mindestens 50 Konversationen aus Intents, bei denen der Agent eine Aktion ausführt oder es um Geld geht; gewichten Sie sie für die Gesamtquote wieder auf ihren echten Anteil zurück.
4. Bemessen Sie den Umfang nach der Entscheidung. 400 Konversationen ergeben bei 95 % Konfidenz eine Fehlermarge von etwa ±5 Prozentpunkten (siehe die Konfidenzintervalle für einen Anteil im NIST-Handbuch für technische Statistik). 100 pro Intent ergeben etwa ±10 Prozentpunkte: genug, um einen kaputten Intent zu erkennen. Die Rechnung steht in unserem Leitfaden zur Statistik von QA-Stichproben (auf Englisch).
5. Prüfen Sie blind. Zeigen Sie das Transkript und die Backend-Daten, nicht das Label des Anbieters.
6. Messen Sie die Übereinstimmung. Eine zweite prüfende Person bewertet 40 der 400. Weichen die Urteile häufiger als 1 Mal von 10 ab, korrigieren Sie die Kriterien, bevor Sie berichten.
7. Warten Sie das Fenster ab. Ziehen Sie die Stichprobe frühestens 7 Tage nach Monatsende.

Was sind die Kriterien für eine „korrekte“ Lösung?

Eine Konversation ist nur dann eine korrekte Lösung, wenn vier Prüfungen alle bestanden sind: Die Antwort war richtig und vollständig, sie blieb innerhalb der Richtlinie, jede vom Agenten zugesagte Aktion ist im führenden System sichtbar, und der Kunde hat Sie innerhalb von 7 Tagen nicht erneut zum selben Anliegen kontaktiert. Eine nicht bestandene Prüfung macht das Urteil zu „nicht korrekt“.

Schreiben Sie die Kriterien vor der ersten Prüfung auf, mit einem Beispiel für „bestanden“ und „nicht bestanden“ zu jedem:

Führen Sie ein fünftes Urteil, „nicht beurteilbar“, für Konversationen, bei denen ein Datensatz fehlt oder der Kunde anonym ist. Lassen Sie sie aus der Quote heraus und berichten Sie, wie viele es waren; überschreiten sie 5 % der Stichprobe, bringen Sie die Daten vor der nächsten Prüfung in Ordnung. Die richtige Antwort hängt davon ab, dass Ihre Richtlinien aufgeschrieben und aktuell sind; darum geht es in Richtlinien für KI-Agenten verwalten.

Wie prüfen Sie Backend-Daten für behauptete Aktionen?

Listen Sie jede Aktion auf, die der Agent in der Konversation genannt hat, und schlagen Sie jede in dem System nach, dem sie gehört: die Erstattung in der Abrechnung, die Kündigung im Abonnementsystem, die Adresse im Bestelldatensatz. Das eigene Tool-Protokoll des Agenten reicht nicht, denn ein Tool-Aufruf kann Erfolg melden, während das führende System nichts zeigt.

Ein praktischer Ablauf für jede Konversation in der Stichprobe:

1. Behauptungen herausziehen. Markieren Sie jeden Satz, in dem der Agent sagt, er habe etwas getan: „Ich habe erstattet“, „Ihr Tarif ist gekündigt“, „Ich habe Ihre Adresse aktualisiert“.
2. Über Kennungen verknüpfen. Nutzen Sie Kunden-ID, Bestellnummer oder E-Mail-Adresse aus der Konversation, um den Datensatz zu finden.
3. Vier Felder vergleichen. Ist es passiert, beim richtigen Artikel, mit dem richtigen Betrag, vor oder kurz nach dem Ende der Konversation?
4. Abweichungen genau notieren. „Erstattung von 40 US-Dollar zugesagt, 0 US-Dollar in der Abrechnung“ lässt sich beheben; „Aktion fehlgeschlagen“ nicht.

Kein Zugriff auf das führende System? Bitten Sie die verantwortliche Person um einen Export mit Lesezugriff, gefiltert auf die 400 Kunden-IDs der Stichprobe.

Wie messen Sie Wiederholungskontakte nach einer KI-Lösung?

Zählen Sie einen Wiederholungskontakt, wenn derselbe Kunde Sie innerhalb von 7 Tagen nach dem Ende der KI-Konversation erneut zum selben Anliegen erreicht, in irgendeinem Kanal. Gleichen Sie über eine Kundenkennung in Chat, E-Mail, Telefon und Social Media ab, und lesen Sie dann den Folgekontakt, um zu bestätigen, dass es dasselbe Anliegen ist und kein neues.

Warum 7 Tage: Die Fenster der Anbieter sind kurz und an einen Kanal gebunden. Zendesk beendet eine Messaging-Konversation standardmäßig 2 Stunden nach der ersten Nachricht und eine E-Mail-Konversation nach 72 Stunden; Intercom zieht eine Lösung nur ab, wenn der Kunde in dieselbe Konversation zurückkehrt. Viele Fehler zeigen sich später: die Erstattung, die nicht in 3 bis 5 Werktagen ankommt, die zweite Abbuchung beim nächsten Abrechnungslauf. Sieben Tage erfassen die meisten davon; bei Abrechnungs-Intents verlängern Sie das Fenster bis zum nächsten Rechnungsdatum.

Ist die Kontakthistorie über mehrere Tools verteilt, beginnen Sie mit den Kennungen, die Sie haben (Konto-ID, E-Mail-Adresse), und vermerken Sie im Bericht, dass einige Wiederholungen fehlen werden. Einem Kunden über Kanäle hinweg zu folgen, ist der Kern der Customer Journey QA.

Das Arbeitsblatt für die Prüfung der Lösungen (zum Kopieren)

Das Arbeitsblatt unten hat eine Zeile pro Konversation der Stichprobe. Füllen Sie die vier Prüfungen aus, und lassen Sie dann die Urteilsregel entscheiden; Prüfende wählen das Urteil nicht nach Gefühl. Die Zeilen illustrieren, wie jede Fehlerart ausgefüllt aussieht, es sind keine Kundendaten.

Urteilsregel. Korrekt = Antwort richtig (ja), Aktion ausgeführt (ja oder keine Aktion nötig), kein Wiederholungskontakt und von der Richtlinie gedeckt. Jedes „Nein“ = nicht korrekt. Jeder fehlende Beleg = nicht beurteilbar. Treffen zwei Fehler zu, erfassen Sie den, den der Kunde zuerst gespürt hat.

Ergänzen Sie eine Spalte „Zulässig?“, wenn Ihr Agent Ausnahmen gewähren kann, und halten Sie jede Belegnotiz so konkret, dass sie sich in zwei Minuten prüfen lässt.

Rechenbeispiel: Lösungsquote laut Anbieter vs. geprüfte Lösungsquote

In dieser Illustration meldet ein Anbieter eine Lösungsquote von 68 % bei 10.000 Konversationen. Eine Prüfung von 400 gelösten Konversationen findet 69 % der beurteilbaren korrekt gelöst, die korrigierte Lösungsquote liegt also bei etwa 47 %, mit einer Spanne von ungefähr 44 % bis 50 % bei 95 % Konfidenz.

Illustration (keine Kundendaten). Ein KI-Agent bearbeitet im Oktober 10.000 Konversationen. Der Anbieter markiert 6.800 als gelöst: eine Lösungsquote von 68 %. Das Team prüft eine Zufallsstichprobe von 400 gelösten Konversationen mit dem Arbeitsblatt oben.

Die Rechnung, Schritt für Schritt:

1. Beurteilbare Konversationen: 400 minus 12 = 388.
2. Geprüfter Anteil korrekt: 268 / 388 = 69,1 %.
3. Fehlermarge: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 Prozentpunkte, der korrekte Anteil liegt also zwischen etwa 64,5 % und 73,7 %.
4. Korrigierte gelöste Konversationen: 6.800 x 69,1 % = etwa 4.700.
5. Korrigierte Lösungsquote: 4.700 / 10.000 = 47,0 %, mit einer Spanne von etwa 43,8 % bis 50,1 %.
6. Kosten pro korrekter Lösung: Bei einem illustrativen Preis von 1,00 US-Dollar pro abgerechneter Lösung kosten 6.800 abgerechnete Lösungen 6.800 US-Dollar. Geteilt durch 4.700 korrekte Lösungen kostet jede etwa 1,45 US-Dollar, nicht 1,00 US-Dollar.

Lesen Sie die Verteilung der Fehler als To-do-Liste: Falsche Antworten gehen an die verantwortliche Person für Wissen und Prompts, Abbrüche an die Gestaltung der Eskalation, und die 12 behaupteten Aktionen kommen zuerst, denn jede davon ist ein Kunde, dem etwas Falsches über sein Geld oder sein Konto gesagt wurde.

Wie berichten Sie eine korrigierte Lösungsquote neben der Zahl des Anbieters?

Zeigen Sie die Lösungsquote des Anbieters und Ihre geprüfte Quote jeden Monat nebeneinander, mit den Definitionen, dem Stichprobenumfang, der Fehlermarge und der Verteilung der Fehler darunter. Ersetzen Sie die Zahl des Anbieters nicht: Die Lücke zwischen beiden ist der Befund, und ihr Verlauf zeigt Ihnen, ob Korrekturen wirken.

Ein Monatsbericht auf einer Bildschirmseite:

Halten Sie die Definitionen stabil, zeigen Sie die Spanne, damit eine Bewegung um 2 Prozentpunkte innerhalb des Rauschens keine Debatte auslöst, und stellen Sie die korrigierte Quote dorthin, wo die Führung schon die Zahl des Anbieters sieht. Sie gehört auch in Ihr größeres Set an Kennzahlen, wenn Sie die Leistung von KI-Agenten messen, und in die Wochenansicht, die das KI-Agenten-Monitoring beschreibt.

Wann ist eine vollständige Prüfung der Lösungen nichts für Sie?

Eine formale Prüfung ist zu viel, wenn Ihr KI-Agent ein paar hundert Konversationen im Monat bearbeitet: Lesen Sie dann alle, statt eine Stichprobe zu ziehen. Sie ist auch weniger wichtig, wenn der Agent nur Informationsfragen ohne Aktionen und mit wenig Geld im Spiel beantwortet; dort können eine leichtere Prüfung der Richtigkeit und eine Zählung der Wiederholungskontakte reichen.

Sie ersetzt auch nicht die Bewertung jeder Konversation. Eine Stichprobe von 400 Konversationen sagt Ihnen die Quote; einen Fehler, der 1 von 500 Kunden trifft, zeigt sie selten. Wenn Sie diese Fälle einzeln finden müssen, brauchen Sie vollständige Abdeckung, und unser Hub zur Evaluierung von KI-Agenten im Betrieb erklärt das mit der Rechnung zum Stichprobenumfang.

So starten Sie diese Woche eine Prüfung der Lösungen

Sie können die erste Prüfung in einer Woche durchführen, mit einer Tabelle, einer prüfenden Person und Lesezugriff auf zwei Systeme. Das Ziel der ersten Woche ist keine perfekte Zahl, sondern eine erste korrigierte Quote und eine Liste der Fehler dahinter.

1. Montag: Schreiben Sie die Definition der Lösung Ihres Anbieters auf und Ihre vier Prüfungen mit je einem Beispiel für „bestanden“ und „nicht bestanden“.
2. Dienstag: Exportieren Sie die gelösten Konversationen des letzten Monats, schichten Sie nach Intent und ziehen Sie 400 zufällig.
3. Mittwoch: Fordern Sie Exporte mit Lesezugriff aus der Abrechnung oder dem Bestellsystem an, dazu die Kontakthistorie für die Kunden-IDs der Stichprobe.
4. Donnerstag und Freitag: Füllen Sie das Arbeitsblatt aus; lassen Sie 40 Konversationen doppelt bewerten und vergleichen Sie die Urteile.
5. Nächster Montag: Berechnen Sie die korrigierte Quote und die Kosten pro korrekter Lösung, und geben Sie jede Fehlerart an eine verantwortliche Person.

Wenn die Prüfung zeigt, wo Lösungen brechen, ist der nächste Schritt, diese Fehler in jeder Konversation zu finden, nicht nur in einer monatlichen Stichprobe. Kaizos AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard, und jeder Score ist mit dem Beleg in der Konversation verknüpft; unsere Seite zur QA für KI-Agenten zeigt, wie das funktioniert. Sehen Sie es an den Konversationen Ihres eigenen KI-Agenten. Demo buchen.

Häufig gestellte Fragen

Ist die Lösungsquote dasselbe wie die Containment Rate?

Nein. Die Containment Rate zählt Konversationen, die ohne Übergabe an einen Menschen endeten. Die Lösungsquote, wie Anbieter sie definieren, ergänzt meist die Bedingung, dass der Kunde innerhalb eines Zeitfensters nicht um weitere Hilfe gebeten hat. Keine von beiden prüft, ob die Antwort richtig war, deshalb brauchen beide eine Prüfung daneben.

Was ist eine gute Lösungsquote für einen KI-Agenten?

Es gibt keinen verlässlichen Richtwert, denn Anbieter definieren Lösung unterschiedlich und ändern ihre Definitionen im Lauf der Zeit. Vergleichen Sie stattdessen Ihre eigene korrigierte Lösungsquote von Monat zu Monat. Eine niedrigere Quote laut Anbieter mit kleiner Lücke zur geprüften Quote ist gesünder als eine hohe Quote, die sich bei der Prüfung halbiert.

Kann eine LLM-Prüfung eine Prüfung der Lösungen durch Menschen ersetzen?

Sie kann mehr Konversationen abdecken, und manche Anbieter nutzen bereits eine, um Lösungen zu verifizieren. Aber eine Prüfung, die nur den Text der Konversation liest, sieht keine Backend-Daten und keine späteren Kontakte in anderen Kanälen. Kalibrieren Sie jeden LLM-Bewerter gegen Urteile von Menschen, und behalten Sie die Prüfungen von Backend-Daten und Wiederholungskontakten in der Prüfung.

Wie oft sollten Sie die Lösungen eines KI-Agenten prüfen?

Monatlich ist ein guter Standard, mit einer zusätzlichen Prüfung nach jeder Änderung an Prompts, Wissen, Aktionen oder Zuständigkeit des Agenten. Ziehen Sie die Stichprobe frühestens 7 Tage nach Monatsende, damit jede Konversation ihr volles Fenster für Wiederholungskontakte hat. Intents mit hohem Risiko können eine wöchentliche Prüfung rechtfertigen.

Sollten Sie für angenommene Lösungen zahlen, die Ihre Prüfung nicht bestehen?

Das hängt von Ihrem Vertrag ab, und genau deshalb zählt die Prüfung bei der Verlängerung. Ihre korrigierte Quote und Ihre Kosten pro korrekter Lösung liefern Belege für das Gespräch mit dem Anbieter. Fragen Sie, wie die Definition des Anbieters mit Rückkehr über andere Kanäle und mit Aktionen umgeht, die nie stattgefunden haben.

Wer sollte die Prüfung der Lösungen verantworten?

Das Team, das für die Ergebnisse beim Kunden geradesteht, meist CX-Qualität oder Support Operations. Die verantwortliche Person hält die Definitionen stabil und leitet jede Fehlerart an die Stelle weiter, die sie beheben kann: Wissen, Entwicklung oder die Gestaltung der Eskalation.