Die korrekte Lösungsquote ist der Anteil der Konversationen, die ein KI-Agent (oder ein menschlicher Agent) bearbeitet hat und die gelöst endeten, mit der richtigen Antwort, der richtigen ausgeführten Aktion und eingehaltener Richtlinie, ohne Wiederholungskontakt zum selben Anliegen innerhalb von 7 Tagen. Die Formel lautet: korrekte Lösungen geteilt durch bearbeitete Konversationen, mal 100, geschätzt aus einer geprüften Zufallsstichprobe.
Kurz gesagt
- Korrekte Lösungsquote = korrekte Lösungen / bearbeitete Konversationen x 100, wobei „korrekt“ bedeutet, dass vier Prüfungen bestanden sind: richtige Antwort, von der Richtlinie gedeckt, Aktion im führenden System ausgeführt, kein Wiederholungskontakt innerhalb von 7 Tagen.
- Sie schätzen die Quote aus einer geprüften Zufallsstichprobe, berichten Sie sie also mit einer Fehlermarge bei 95 %: 1,96 x √(p x (1 − p) / n).
- Etwa 385 beurteilte Konversationen ergeben eine Marge von rund ±5 Prozentpunkten; etwa 97 pro Intent ergeben rund ±10 Prozentpunkte, genug, um einen kaputten Intent zu finden.
- Die Quote ist strenger als Containment, Deflection, Erstlösungsquote (FCR) und die Lösungsquote des Anbieters, denn keine davon prüft, ob die Antwort richtig war oder die Aktion stattgefunden hat.
- Teilen Sie die Kosten des KI-Agenten durch die korrekten Lösungen, nicht durch die abgerechneten, um die Kosten pro korrekter Lösung zu erhalten.
Diese Seite definiert die Kennzahl und gibt Ihnen den Rechner. Die Methode, mit der Sie jede Konversation beurteilen (blinde Prüfung, Abgleich mit Backend-Daten, Urteilsregel), steht in unserem Leitfaden zur Prüfung der Lösungsquote von KI-Agenten, und beide gehören zu unserem Hub zur KI-Agenten-Evaluierung.
Was ist die korrekte Lösungsquote?
Die korrekte Lösungsquote ist der Prozentsatz der Konversationen im Zuständigkeitsbereich, die ein Agent, ob KI oder Mensch, ohne Übergabe abgeschlossen hat und die vier Prüfungen bestehen: Die Antwort war richtig und vollständig, sie blieb innerhalb der Richtlinie, jede zugesagte Aktion ist im führenden System sichtbar, und der Kunde kam innerhalb von 7 Tagen in keinem Kanal zum selben Anliegen zurück.
Jeder Teil der Definition hat eine Aufgabe:
| Teil | Regel | Warum er da ist |
|---|---|---|
| Bearbeitet | Jede Konversation, die im Zeitraum beim Agenten ankam, abzüglich Spam, Tests und Chats, die nur aus einer Begrüßung bestehen | Legt den Nenner fest, sodass sich die Quote nicht durch das Ausschließen schwieriger Konversationen erhöhen lässt |
| Gelöst | Der Agent hat die Konversation ohne Übergabe an einen Menschen abgeschlossen | Eine korrekte Übergabe ist ein gutes Ergebnis, aber keine Lösung durch diesen Agenten; erfassen Sie sie separat |
| Richtige Antwort | Entspricht der Richtlinie, dem Preis oder dem Verfahren, das am Datum der Konversation galt | Findet selbstsichere falsche Antworten, die der Kunde akzeptiert hat |
| Zulässig | Keine Ausnahme und keine Zusage außerhalb der schriftlich festgelegten Zuständigkeit des Agenten | Findet Antworten, die „hilfsbereit“ waren, aber gegen die Richtlinie verstießen |
| Aktion ausgeführt | Erstattung, Kündigung oder Änderung steht im führenden System, mit richtigem Betrag und Artikel | Findet Aktionen, die der Agent behauptet, aber nie ausgeführt hat |
| Kein Wiederholungskontakt | Kein Kontakt desselben Kunden zum selben Anliegen innerhalb von 7 Tagen, in keinem Kanal | Findet Kunden, die aufgegeben haben oder anderswo zurückkamen |
Eine nicht bestandene Prüfung macht die Konversation zu „nicht korrekt“. Eine Konversation, bei der ein Datensatz fehlt, ist „nicht beurteilbar“ und fällt aus der Stichprobe heraus, nach derselben Urteilsregel, die die Prüfung der Lösungen verwendet.
Wie lautet die Formel für die korrekte Lösungsquote?
Die Formel lautet: korrekte Lösungsquote = (korrekte Lösungen / bearbeitete Konversationen) x 100. Da Sie nicht jede Konversation von Hand beurteilen können, schätzen Sie die Quote aus einer Stichprobe: korrekter Anteil der beurteilten Stichprobe mal 100. Deckt die Stichprobe nur Konversationen ab, die der Anbieter als gelöst markiert hat, multiplizieren Sie diesen Anteil mit dem gelösten Anteil laut Anbieter.
Je nachdem, woraus Sie die Stichprobe ziehen, gibt es zwei Wege zur Schätzung:
- Stichprobe aus allen bearbeiteten Konversationen (direkte Methode). Ziehen Sie zufällig aus allem, was der Agent bearbeitet hat, Eskalationen eingeschlossen. Korrekte Lösungsquote = korrekt / beurteilt. Eskalierte Konversationen zählen einfach als „nicht korrekt“.
- Stichprobe nur aus den vom Anbieter als gelöst markierten Konversationen (zweistufige Methode). So geht die Prüfung der Lösungen vor. Korrekte Lösungsquote = gelöster Anteil laut Anbieter x korrekter Anteil der geprüften gelösten Stichprobe. Beispiel: 62 % gelöst x 70 % korrekt = 43,4 %.
Die zweistufige Methode ist günstiger, wenn Sie Lösungen bereits prüfen, setzt aber voraus, dass keine als ungelöst markierte Konversation in Wahrheit eine korrekte Lösung war. Der Rechner unten nutzt die direkte Methode.
Wie schätzen Sie die korrekte Lösungsquote aus einer geprüften Stichprobe?
Beurteilen Sie eine Zufallsstichprobe, berechnen Sie den korrekten Anteil p und ergänzen Sie eine Fehlermarge bei 95 % von 1,96 x √(p x (1 − p) / n), wobei n die Zahl der beurteilten Konversationen ist. Mit p = 0,48 und n = 385 beträgt die Marge etwa ±5 Prozentpunkte, die wahre Quote liegt also zwischen rund 43 % und 53 %.
Das ist das am häufigsten verwendete Intervall für einen Anteil, wie das NIST-Handbuch für technische Statistik festhält. Dieselbe Seite bevorzugt das Wilson-Intervall, weil die einfache Formel unmögliche Grenzen liefern kann (eine Untergrenze unter 0 %), das Wilson-Intervall dagegen nicht. Nutzen Sie Wilson für jeden Intent mit weniger als etwa 50 beurteilten Konversationen oder mit einer Quote nahe 0 % oder 100 %.
Um die Stichprobe vor dem Start zu bemessen, nutzen Sie n = 1,96² x 0,25 / E², wobei E die gewünschte Marge ist und 0,25 der ungünstigste Fall (p = 0,5). Die Formeln sind für deutschsprachiges Excel geschrieben (Semikolon als Trennzeichen, Komma als Dezimalzeichen):
| Benötigte Marge (E) | Beurteilte Konversationen (n) | Tabellenformel |
|---|---|---|
| ±10 Prozentpunkte | 97 | =AUFRUNDEN(1,96^2*0,25/0,1^2;0) |
| ±5 Prozentpunkte | 385 | =AUFRUNDEN(1,96^2*0,25/0,05^2;0) |
| ±3 Prozentpunkte | 1.068 | =AUFRUNDEN(1,96^2*0,25/0,03^2;0) |
Rechnen Sie 3 % bis 5 % für „nicht beurteilbar“ hinzu. Unsere Seite zur Statistik von QA-Stichproben (auf Englisch) erklärt, warum die Marge mit der Quadratwurzel des Stichprobenumfangs schrumpft und nicht proportional dazu.
Der Rechner für die korrekte Lösungsquote (zum Kopieren in eine Tabelle)
Der Rechner hat eine Zeile pro Intent, sodass Sie riskante Intents überproportional ziehen und trotzdem eine ehrliche Gesamtquote erhalten. Setzen Sie die Spaltenbuchstaben unten in Zeile 1, die Intents ab Zeile 2, und kopieren Sie die Formeln nach unten. Die Zahlen sind eine Illustration, keine Kundendaten.
Spalten und Formeln (gezeigt für Zeile 2; Zeile 6 ist die Summe):
| Spalte | Feld | Formel (Zeile 2) |
|---|---|---|
| A | Intent | eingetippt |
| B | Bearbeitete Konversationen (N) | eingetippt, aus dem vollständigen Log des Agenten |
| C | Zufällig gezogen (n) | eingetippt |
| D | Nicht beurteilbar | eingetippt, aus der Prüfung |
| E | Korrekte Lösungen in der Stichprobe | eingetippt, aus der Prüfung |
| F | Beurteilt | =C2-D2 |
| G | Korrekter Anteil (p) | =E2/F2 |
| H | Marge, 95 % | =1,96*WURZEL(G2*(1-G2)/F2) (in Excel auch =KONFIDENZ.NORM(0,05;WURZEL(G2*(1-G2));F2)) |
| I | Untergrenze | =MAX(0;G2-H2) |
| J | Obergrenze | =MIN(1;G2+H2) |
| K | Geschätzte korrekte Lösungen | =B2*G2 |
| L | Varianzanteil | =(B2/$B$6)^2*G2*(1-G2)/F2 |
| Summenzeile 6 | Korrekte Lösungsquote | =SUMME(K2:K5)/B6, Marge =1,96*WURZEL(SUMME(L2:L5)) |
In englischsprachigem Excel heißen die Funktionen ROUNDUP, SQRT, CONFIDENCE.NORM und SUM, mit Komma als Trennzeichen und Punkt als Dezimalzeichen. Die Abkürzung in Spalte H funktioniert, weil CONFIDENCE.NORM (deutsch KONFIDENZ.NORM) die Marge für ein gegebenes Alpha, eine Standardabweichung und einen Stichprobenumfang liefert. Spalte L gewichtet jeden Intent mit seinem Anteil am Volumen; dadurch stimmt die Gesamtmarge, wenn Sie überproportional ziehen.
Rechenbeispiel (Illustration). Ein KI-Agent bearbeitet im Oktober 20.000 Konversationen. Der Anbieter meldet eine Lösungsquote von 62 %. Das Team zieht 440 Konversationen aus vier Intents, Kündigungen überproportional, und beurteilt jede mit den vier Prüfungen.
| Intent | Bearbeitet (N) | Gezogen | Nicht beurteilbar | Korrekt | Korrekter Anteil | Marge | Spanne | Geschätzt korrekt |
|---|---|---|---|---|---|---|---|---|
| Bestellstatus | 9.000 | 120 | 2 | 73 | 61,9 % | ±8,8 | 53,1 % bis 70,6 % | 5.568 |
| Rücksendungen und Erstattungen | 5.000 | 120 | 4 | 46 | 39,7 % | ±8,9 | 30,8 % bis 48,6 % | 1.983 |
| Tarif kündigen | 2.000 | 100 | 3 | 29 | 29,9 % | ±9,1 | 20,8 % bis 39,0 % | 598 |
| Frage zur Abrechnung | 4.000 | 100 | 1 | 35 | 35,4 % | ±9,4 | 25,9 % bis 44,8 % | 1.414 |
| Summe | 20.000 | 440 | 10 | 183 | 9.563 |
Das Ergebnis, Schritt für Schritt:
- Korrekte Lösungsquote gesamt: 9.563 / 20.000 = 47,8 %.
- Gesamtmarge: 1,96 x √(Summe von Spalte L) = ±5,0 Prozentpunkte, also 42,8 % bis 52,8 %.
- Lücke zur Zahl des Anbieters: 62 % gemeldet vs. 47,8 % korrekt, eine Lücke von etwa 14 Prozentpunkten.
- Warum nicht 183 / 430? Die ungewichteten 42,6 % würden Kündigungen überzählen, die mit 5 % ihres Volumens gezogen wurden, während der Bestellstatus mit 1,3 % gezogen wurde. Die Gewichtung mit N behebt das.
Die Zeilen je Intent sind die To-do-Liste: Kündigungen und Fragen zur Abrechnung scheitern am häufigsten, also bekommen sie die ersten Korrekturen oder gehen zurück an Menschen, bis sie besser werden.
Wie unterscheidet sich die korrekte Lösungsquote von Containment, Deflection, FCR und Lösungsquote?
Containment, Deflection, Erstlösungsquote und die Lösungsquote des Anbieters zählen alle Konversationen, die auf eine bestimmte Art endeten. Die korrekte Lösungsquote zählt Konversationen, die gut endeten: Als einzige der fünf verlangt sie, dass die Antwort richtig war, die Aktion ausgeführt wurde und das Anliegen 7 Tage lang gelöst blieb.
| Kennzahl | Zählt | Prüft Richtigkeit? | Fenster für Wiederholungskontakte | Wer sie definiert |
|---|---|---|---|---|
| Containment Rate (auf Englisch) | Konversationen, die ohne Menschen endeten | Nein | Keines | Sie oder der Anbieter |
| Deflection Rate | Anfragen, die nie eine menschliche Queue erreichten | Nein | Keines | Je nach Team verschieden; siehe warum die Deflection Rate schlechte Konversationen verbirgt |
| Erstlösungsquote (FCR, auf Englisch) | Anliegen, die in der ersten Interaktion gelöst wurden | Oft per Umfrage, nicht per Datensatz | Von Ihnen festgelegt | Sie |
| Lösungsquote des Anbieters | Konversationen, die der Anbieter als gelöst markiert | Manchmal, durch Lesen des Transkripts | Kurz und an einen Kanal gebunden | Der Anbieter |
| Korrekte Lösungsquote | Gelöst, richtig, zulässig, Aktion ausgeführt, keine Wiederholung | Ja, gegen Richtlinie und Backend-Daten | 7 Tage, jeder Kanal | Sie |
Die Definitionen der Anbieter unterscheiden sich. Intercom zählt eine „assumed resolution“, wenn der Kunde die Konversation „verlässt, ohne um weitere Unterstützung zu bitten“, und zieht sie nur ab, wenn der Kunde in dieselbe Konversation zurückkehrt (Intercom). Zendesk trennt „contained“ von „verified“ Lösungen, bei denen ein Sprachmodell das Transkript prüft (Zendesk). Ada zählt Lösungen, die eine LLM-Prüfung als relevant, richtig und sicher beurteilt (Ada). Keine dieser Definitionen sucht, so wie sie dokumentiert ist, nach Wiederholungskontakten in anderen Kanälen, und eine Prüfung, die nur das Transkript liest, kann nicht bestätigen, dass eine Erstattung oder Kündigung tatsächlich verbucht wurde. Deshalb brauchen Sie eine Zahl, die Sie selbst definieren.
Die FCR ist der nächste Verwandte: Die korrekte Lösungsquote ist FCR mit ausdrücklichen Prüfungen für Richtigkeit und Aktion, sodass sie für einen KI-Agenten und einen Menschen gleich funktioniert.
Warum sollten Sie die korrekte Lösungsquote nach Intent aufschlüsseln?
Schlüsseln Sie nach Intent auf, weil eine Mischquote verbirgt, wo der Agent scheitert, und weil der Intent-Mix die Gesamtzahl bestimmt. Ein Agent, der in diesem Monat mehr einfache Fragen zum Bestellstatus bekommt, zeigt eine höhere Quote, ohne besser geworden zu sein. Quoten je Intent zeigen echte Veränderung und sagen Ihnen, welche Intents Sie korrigieren, ausweiten oder zurücknehmen sollten.
Drei Regeln halten den Vergleich fair:
- Vergleichen Sie Gleiches mit Gleichem. Wenn Sie Monate, Anbieter oder ein menschliches Team mit dem KI-Agenten vergleichen, vergleichen Sie Intent für Intent oder gewichten Sie beide auf denselben Intent-Mix um.
- Bemessen Sie jeden Intent für eine Entscheidung. Etwa 97 beurteilte Konversationen pro Intent ergeben ±10 Prozentpunkte: genug, um zu sehen, dass Kündigungen mit 30 % kaputt sind, nicht genug, um eine Bewegung um 3 Prozentpunkte zu sehen.
- Beobachten Sie riskante Intents zuerst. Intents, bei denen der Agent Geld bewegt oder ein Konto ändert, verdienen eine größere Stichprobe, denn eine falsche Aktion kostet dort mehr als eine falsche Antwort zu Lieferzeiten.
Welche Intents der Agent überhaupt übernehmen sollte, behandelt der Beitrag Welche Anliegen Sie zuerst automatisieren sollten.
Wie berechnen Sie die Kosten pro korrekter Lösung?
Kosten pro korrekter Lösung = Gesamtkosten für den Betrieb des KI-Agenten im Zeitraum / geschätzte korrekte Lösungen. Nehmen Sie alles, was Sie für den Betrieb zahlen (Rechnung des Anbieters, Plattformgebühren, interne Zeit für Wissenspflege und QA), und teilen Sie durch die korrekten Lösungen, nicht durch die Lösungen, die der Anbieter Ihnen in Rechnung gestellt hat.
Fortsetzung der Illustration, mit einem illustrativen Preis von 0,99 US-Dollar pro abgerechneter Lösung:
| Zeile | Formel | Wert |
|---|---|---|
| Abgerechnete Lösungen | 20.000 x 62 % | 12.400 |
| Rechnung des Anbieters | 12.400 x 0,99 US-Dollar | 12.276 US-Dollar |
| Interne Betriebskosten (illustrativ) | Wissenspflege, QA-Zeit | 3.000 US-Dollar |
| Gesamtkosten | Summe | 15.276 US-Dollar |
| Kosten pro abgerechneter Lösung | 15.276 US-Dollar / 12.400 | 1,23 US-Dollar |
| Kosten pro korrekter Lösung | 15.276 US-Dollar / 9.563 | 1,60 US-Dollar (Spanne 1,45 bis 1,78 US-Dollar) |
Für die Spanne teilen Sie durch die untere und die obere Schätzung der korrekten Lösungen (8.565 und 10.560). Für ein vollständigeres Bild rechnen Sie die menschlichen Kosten der Wiederholungskontakte hinzu, die falsche Lösungen verursachen, und berechnen Sie dieselbe Zahl für Ihr menschliches Team (Vollkosten der aufgewendeten Stunden / korrekte Lösungen), bevor Sie entscheiden, was Sie automatisieren. Unser größeres Set an KI-Kennzahlen im Kundenservice zeigt, wo diese Zahl neben der Qualität der Eskalation und stillen Abbrüchen steht.
Wann lohnt sich die korrekte Lösungsquote nicht?
Verzichten Sie auf die Stichprobe, wenn der Agent ein paar hundert Konversationen im Monat bearbeitet: Beurteilen Sie dann alle und berechnen Sie die genaue Quote. Die Kennzahl ist auch weniger wichtig für einen Agenten, der nur einfache Informationsfragen ohne Aktionen beantwortet; dort können eine Zählung der Wiederholungskontakte und eine leichte Prüfung der Richtigkeit reichen.
Sie ist auch kein Weg, einzelne Fehler zu finden. Eine Stichprobe von 440 liefert die Quote auf etwa 5 Prozentpunkte genau, zeigt aber selten einen Fehler, der 1 von 500 Kunden trifft; dafür muss jede Konversation bewertet werden.
So messen Sie die korrekte Lösungsquote ab dieser Woche
Sie brauchen eine Tabelle, ein oder zwei prüfende Personen und Lesezugriff auf Ihr Bestell- oder Abrechnungssystem. Die erste Woche liefert eine erste Quote mit Marge und eine Liste der Intents, die Sie korrigieren müssen; die Definitionen zählen mehr als die Nachkommastellen.
- Tag 1: Schreiben Sie die vier Prüfungen mit je einem Beispiel für „bestanden“ und „nicht bestanden“ auf, dazu die 7-Tage-Regel.
- Tag 2: Exportieren Sie die bearbeiteten Konversationen des letzten Monats mit Intent-Labels und ziehen Sie je Intent eine Zufallsstichprobe nach der Tabelle zum Stichprobenumfang oben.
- Tag 3 und 4: Beurteilen Sie jede Konversation, gleichen Sie behauptete Aktionen mit den Backend-Daten ab und suchen Sie in jedem Kanal nach Wiederholungskontakten.
- Tag 5: Tragen Sie die Zahlen in den Rechner ein, lesen Sie die Quoten je Intent und berechnen Sie die Kosten pro korrekter Lösung.
Sobald Sie wissen, welche Intents scheitern, ist der nächste Schritt, diese Fehler in jeder Konversation zu finden statt in einer monatlichen Stichprobe. Kaizos AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard, und jeder Score ist mit dem Beleg in der Konversation verknüpft; unsere Seite zur QA für KI-Agenten zeigt, wie das funktioniert, oder buchen Sie eine Demo, um es an den Konversationen Ihres eigenen KI-Agenten zu sehen.
Häufig gestellte Fragen
Was ist eine gute korrekte Lösungsquote?
Es gibt keinen veröffentlichten Richtwert, denn kaum jemand definiert die Kennzahl bisher gleich. Verfolgen Sie Ihre eigene Quote je Intent von Monat zu Monat und beobachten Sie die Lücke zur Lösungsquote des Anbieters. Eine schrumpfende Lücke bedeutet, dass Korrekturen wirken; eine stabil hohe Quote des Anbieters bei fallender korrekter Quote bedeutet, dass sich das Dashboard von der Realität entfernt.
Können Sie die korrekte Lösungsquote auch für menschliche Agents nutzen?
Ja. Die vier Prüfungen gelten für jede Konversation, und die Formel ist dieselbe. Bei Menschen bedeutet „gelöst“, dass der Agent die Konversation ohne Weiterleitung abgeschlossen hat. Vergleichen Sie Menschen und den KI-Agenten Intent für Intent, nie anhand von Mischquoten, denn beide bearbeiten meist einen sehr unterschiedlichen Mix.
Warum ein Fenster von 7 Tagen für Wiederholungskontakte?
Die Fenster der Anbieter sind kurz und meist auf dieselbe Konversation beschränkt, während viele Fehler sich später zeigen: eine Erstattung, die nie ankommt, eine zweite Abbuchung beim nächsten Abrechnungslauf. Sieben Tage erfassen die meisten davon. Bei Abrechnungs-Intents verlängern Sie das Fenster bis zum nächsten Rechnungsdatum.
Kann ein LLM als Bewerter die korrekte Lösungsquote berechnen?
Ein LLM als Bewerter kann die Prüfungen von Antwort und Richtlinie in großem Umfang bewerten, wenn Sie es gegen Urteile von Menschen kalibrieren. Backend-Daten oder Kontakte in anderen Kanälen sieht es durch das Lesen des Transkripts allein nicht. Verknüpfen Sie es also mit Bestelldaten und Kontakthistorie, bevor Sie eine Konversation als korrekt werten.
Zählen „nicht beurteilbare“ Konversationen gegen die Quote?
Nein. Lassen Sie sie aus der Zahl der beurteilten Konversationen heraus, berichten Sie, wie viele es waren, und bringen Sie die fehlenden Daten in Ordnung, wenn sie etwa 5 % der Stichprobe überschreiten. Häufen sie sich in einem Intent, ist die Quote dieses Intents weniger verlässlich, als ihre Marge vermuten lässt.
