Fin AI Agent: Qualität der Konversationen prüfen

Um die Qualität des Fin AI Agent zu prüfen, lesen und bewerten Sie eine geplante Stichprobe von Fin-Konversationen anhand Ihrer eigenen Scorecard und nutzen dabei die Belege, die Intercom Ihnen bereits gibt: den Answer Debugger, die Quellen, die Fin gefunden hat, Bewertungen und Eskalationsprotokolle. Die Lösungsquote von Fin sagt Ihnen, dass der Kunde gegangen ist, ohne um weitere Hilfe zu bitten. Sie sagt Ihnen nicht, dass die Antwort richtig war.

Kurz gesagt

• Intercom zählt eine Lösung durch Fin, wenn der Kunde bestätigt, dass die Antwort geholfen hat, oder geht, ohne um weitere Hilfe zu bitten; eine Lösung ist also ein Abrechnungsereignis, kein Qualitätsurteil.
• Der CX Score von Fin ist für Konversationen mit mindestens zwei Antworten des Kunden und zwei Antworten eines Agents oder Bots gebaut, daher bekommen viele Fin-Konversationen mit nur einer Frage keine Bewertung.
• Ziehen Sie die Stichprobe in zwei Teilen: eine Zufallsstichprobe gelöster Konversationen, um die Lösungsquote zu korrigieren, und gezielte Prüfungen riskanter Themen, Eskalationen und schlechter Bewertungen.
• Prüfen Sie jede Konversation anhand einer festen Checkliste: Richtigkeit der Antwort gegenüber der Quelle, korrekte Lösung, abgeschlossene Procedure, Übergabe, Schleifen, Ton und Richtlinie.
• Jeder Fehler endet als eine Änderung in Fin (Inhalt, Zielgruppe, Guidance, Procedure oder Eskalationsregel), getestet in einer Vorschau oder einem Eval, bevor sie live geht.

Dies ist die Fin-Version unseres allgemeinen Leitfadens zur Qualitätssicherung von KI-Agenten, und sie folgt denselben Schritten wie unser Leitfaden zur Qualitätssicherung von Zendesk-KI-Agenten. Wenn Sie noch entscheiden, wie Sie den Agenten vor dem Start messen, beginnen Sie mit der KI-Agenten-Evaluierung, die Evals vor dem Start von der Bewertung laufender Konversationen trennt.

Was sagt das eigene Reporting von Fin über die Qualität?

Das Reporting von Fin zeigt Ihnen Volumen, Abdeckung und Stimmung: an wie vielen Konversationen Fin beteiligt war, wie viele Fin gelöst hat, wie Kunden sie bewertet haben und welche Themen das Volumen treiben. Es sagt Ihnen nicht, Konversation für Konversation, ob eine Antwort richtig, von der Richtlinie gedeckt oder vollständig war. Dafür brauchen Sie eine Prüfung gegen einen schriftlichen Standard.

So beschreibt das Hilfecenter von Intercom am 13. November 2026, was jede Funktion einer QA-Leitung gibt (Menünamen in der englischen Oberfläche):

Zwei Details zählen für die QA. Erstens bewertet der CX Score eine Konversation nur, wenn sie geschlossen ist, über Chat oder E-Mail lief, vom Kunden gestartet wurde und mindestens zwei Antworten des Kunden und zwei Antworten eines Agents oder Chatbots hat. Intercom schreibt, die Kriterien seien erweitert worden, sodass einige kurze Konversationen mit klarem Signal nun bewertet werden können. Ein Kunde, der eine Frage stellt, eine Antwort bekommt und geht, bleibt aber oft unbewertet, und genau diese Konversationen zählen als angenommene Lösungen.

Zweitens hat Intercom geändert, wie das Dashboard zählt. Seit Juli 2026 (Einführung vom 1. bis 8. Juli) zählen Konversationen, in denen Fin aktiv war, aber keine Gelegenheit zu antworten hatte („Fin Constrained“), nicht mehr als Beteiligung von Fin. Die Lösungsquoten stiegen deshalb und die Beteiligungsquoten sanken, ohne dass sich die Qualität oder die Zahl der Lösungen verändert hätte. Wenn Sie Monate über den Juli 2026 hinweg vergleichen, vermerken Sie den Bruch in der Zeitreihe.

Wie zählt Fin eine Lösung, und warum ist das kein Qualitätsscore?

Intercom zählt eine Lösung, wenn der Kunde nach der letzten Antwort von Fin entweder bestätigt, dass die Antwort geholfen hat (eine bestätigte Lösung), oder geht, ohne um weitere Hilfe zu bitten (eine angenommene Lösung). Sie wird als Ergebnis abgerechnet. Keiner der beiden Wege prüft, ob die Antwort richtig war; ein Kunde, der aufgegeben hat, zählt also genauso wie ein Kunde, dem geholfen wurde.

Aus Intercoms Artikel zu den Ergebnissen von Fin, abgerufen am 13. November 2026:

• Eine Lösung wird nur gezählt, wenn Fin tatsächlich eine Antwort gibt, und Sie zahlen für ein Ergebnis pro Konversation.
• Lösungen, Übergaben aus Procedures und einige andere Ergebnisse kosten für Fin über Chat und E-Mail laut Preisliste je 0,99 US-Dollar.
• Kommt der Kunde in dieselbe Konversation zurück, um mehr Hilfe zu bekommen, auch in einem späteren Abrechnungszeitraum, wird die Lösung abgezogen.
• Fragt der Kunde ausdrücklich nach einem Menschen oder eskaliert Fin über sein Standardverhalten, etwa weil es Frust erkennt, ist das kein Ergebnis und wird nicht abgerechnet.

Die Definition deckt einen Kunden ab, der in dieselbe Konversation zurückkommt. Sie deckt keinen Kunden ab, der zum selben Problem eine neue Konversation öffnet, anruft oder kündigt. Genau diese Fälle muss eine QA-Prüfung finden.

Deshalb stellt eine Prüfung eine zweite Zahl neben die von Fin: den Anteil der gelösten Konversationen, die tatsächlich korrekt waren. Unser Leitfaden zur Prüfung der Lösungsquote von KI-Agenten erklärt den Abgleich mit Backend-Daten und das Fenster für Wiederholungskontakte, und unsere Seite zur korrekten Lösungsquote erklärt, wie Sie die korrigierte Zahl definieren und berichten.

Wie ziehen Sie eine Stichprobe von Fin-Konversationen für die Prüfung?

Ziehen Sie die Stichprobe von Fin-Konversationen in zwei Teilen. Eine Zufallsstichprobe gelöster Konversationen liefert Ihnen eine ehrliche Quote korrekter Lösungen. Gezielte Prüfungen riskanter Themen, Eskalationen, negativer Bewertungen und wieder geöffneter Konversationen finden die Fehler, die am meisten kosten. Halten Sie beide getrennt: Gezielte Prüfungen sind zu Problemen hin verzerrt und dürfen daher nicht in die Quote einfließen.

Ein Stichprobenplan für ein mittelgroßes Team könnte so aussehen (eine Illustration, mit für das Beispiel gewählten Zahlen):

Rechenbeispiel (Illustration). Fin ist an 6.000 Konversationen pro Woche beteiligt, und das Dashboard zeigt eine Lösungsquote von 65 %, also 3.900 Lösungen. Ihre prüfenden Personen stellen fest, dass 9 der 60 zufällig gezogenen gelösten Konversationen falsch oder unvollständig waren: 15 %. Die korrigierte Quote beträgt 65 % x 0,85 = etwa 55 %. Bei 60 Konversationen liegt die Marge auf diese 15 % bei etwa plus oder minus 9 Prozentpunkten (1,96 x die Quadratwurzel aus 0,15 x 0,85 / 60). Behandeln Sie eine Woche also als Signal und den Verlauf über vier Wochen als die Zahl. Bei etwa 5 Minuten pro Prüfung dauern 120 Prüfungen 10 Stunden pro Woche, oder je 5 Stunden für zwei prüfende Personen.

Für eine engere Marge vergrößern Sie die Zufallsstichprobe, nicht die gezielten Stränge. Unser Leitfaden zur Statistik von QA-Stichproben (auf Englisch) zeigt, wie der Stichprobenumfang die Marge verändert.

Mit dem Pro-Add-on können die Monitors von Intercom das Ziehen für Sie übernehmen: Intercom beschreibt sie als Prüfung „einer Zufallsstichprobe für die Basisqualität“ oder „eines gezielten Sets auf Basis von Signalen mit höherem Risiko oder höherer Wirkung“. Ohne Pro bauen Sie dieselben Stränge mit gespeicherten Filtern in der Inbox und einer Tabelle.

Was sollten Sie in einer Fin-Konversation prüfen?

Prüfen Sie, ob die Antwort von Fin Ihren Quellinhalten und Ihrer Richtlinie entsprach, ob die Lösung echt war, ob eine Procedure abgeschlossen wurde, ob die Übergabe zum richtigen Zeitpunkt mit Kontext kam und ob Fin sich im Kreis drehte oder Ihre Tonregeln verletzte. Schreiben Sie jede Prüfung als Bestehensregel, die eine prüfende Person in unter einer Minute anwenden kann, mit einem benannten Ort, an dem der Beleg zu finden ist.

Die Fin-QA-Checkliste

Kopieren Sie sie in Ihre Scorecard oder Tabelle. Die Spalte „Wo“ geht davon aus, dass Fin in der Inbox von Intercom selbst läuft.

Markieren Sie die Kriterien 1, 5 und 9 als kritisch, sodass ein einziger Fehler die ganze Konversation durchfallen lässt. Die Scorecards von Intercom unterstützen das direkt: Ein als „Critical“ markiertes Kriterium setzt die ganze Prüfung auf 0 %, wenn es nicht bestanden ist.

Kriterium 8 verdient eine eigene Zeile, weil Fin-Teams davon berichten. Intercom schreibt, Fin eskaliere standardmäßig, wenn ein Kunde „in einer sich wiederholenden Schleife feststeckt“, doch in einem Thread der Intercom-Community schrieb ein Admin: „Mit meiner Guidance gegen Wiederholungen läuft etwas schief.“ Das ist der Bericht eines Teams, aber genau die Art Fehler, die nur eine Prüfung des Transkripts zeigt.

Für die Kriterien zur Übergabe (6 und 7) enthält unser Leitfaden zur Übergabe vom KI-Agenten an Mitarbeitende die Kennzahlen und eine Scorecard für die Entscheidung des Bots und die Übernahme durch den Menschen.

Wie bewerten Sie Fin-Konversationen anhand Ihrer Scorecard?

Bewerten Sie Fin-Konversationen mit derselben Scorecard-Struktur, die Sie für Menschen nutzen, plus die Fin-spezifischen Prüfungen oben, und halten Sie für jedes nicht bestandene Kriterium den Beleg fest. Sie können das in den Scorecards von Intercom mit dem Pro-Add-on tun, in einer Tabelle oder in einem QA-Tool, das mit dem Helpdesk verbunden ist, in dem die Konversationen liegen. Was Sie auch nutzen: Testen Sie die Bewertung zuerst gegen Ihre eigenen prüfenden Personen.

Drei Wege, es umzusetzen:

1. Monitors und Scorecards von Intercom (Pro-Add-on). Sie wählen je Kriterium, ob die KI oder ein Mensch bewertet. Mit aktivierter automatischer Prüfung markiert Intercom eine Konversation als bestanden, wenn jedes von der KI bewertete Kriterium erfüllt ist, und schickt Fehler und Grenzfälle an einen Menschen. Die Hilfeseite von Intercom führt Workflows zur Kalibrierung als geplant, noch nicht verfügbar; kalibrieren Sie also von Hand.
2. Eine Tabelle. Eine Zeile pro Konversation, eine Spalte pro Punkt der Checkliste, dazu Ursache und Korrektur. Das reicht bis zu einigen hundert Prüfungen pro Woche.
3. Ein QA-Tool in Ihrem Helpdesk. Fin läuft auch auf anderen Helpdesks: fin.ai schreibt, dass Fin mit Salesforce, Zendesk und anderen funktioniert. Arbeitet Ihr Team in Zendesk oder Salesforce, kann ein dort angebundenes QA-Tool diese Konversationen bewerten.

Bevor Sie einem KI-Score vertrauen, lassen Sie zwei prüfende Personen dieselben 30 bis 50 Konversationen bewerten, klären Sie Abweichungen und vergleichen Sie dann die Urteile der KI Kriterium für Kriterium mit ihren. Unser Leitfaden zur Validierung von KI-Bewertungen in der QA (auf Englisch) führt durch diesen Test.

Wie spielen Sie QA-Befunde an Fin zurück?

Machen Sie aus jedem nicht bestandenen Kriterium eine Änderung in dem Teil von Fin, der den Fehler verursacht hat: im Inhalt, in der Zielgruppensteuerung, in der Guidance, in einer Procedure oder in einer Eskalationsregel. Gruppieren Sie Fehler nach Ursache, bevor Sie etwas korrigieren, testen Sie jede Änderung in einer Vorschau oder einem Eval, bevor sie live geht, und bewerten Sie das betroffene Thema in der Folgewoche neu.

Testen Sie dann, bevor Sie veröffentlichen. Intercoms Vergleich seiner Testwerkzeuge nennt vier:

• Previews: ein manuelles Testpanel über alle Trainingsbereiche von Fin, ohne Begrenzung.
• Batch Tests: bis zu 50 Fragen auf einmal, von einem Menschen bewertet; die Bewertungen trainieren Fin nicht. Neue Workspaces ab dem 5. November 2026 bekommen stattdessen Evals.
• Evals: automatisierte End-to-End-Tests der gesamten Konfiguration von Fin, bis zu 50 Simulationen pro Eval, aus einem monatlichen Kontingent.
• Procedure Simulations: automatisierte Tests einer einzelnen Procedure, ohne Ausgabe an Kunden.

Eine Warnung aus der Dokumentation von Intercom zu Procedures: Die Vorschau einer Procedure, die bereits live ist, kann Nachrichten an echte Kunden senden; nutzen Sie für live laufende Procedures also eine Simulation. Behalten Sie Ihre gescheiterten Konversationen als Testfälle: Jede Korrektur sollte die Konversation bestehen, die den Fehler aufgedeckt hat.

Wie sieht eine wöchentliche Fin-QA-Routine aus?

Eine wöchentliche Fin-QA-Routine hat fünf feste Termine: montags die Stichprobe ziehen, bis Mittwoch bewerten, donnerstags Fehler nach Ursache gruppieren, freitags Korrekturen ausliefern und testen, und die Korrekturen der Vorwoche an den Scores dieser Woche prüfen. Benennen Sie eine verantwortliche Person für die Inhalte und eine für Guidance und Procedures, sonst bleiben Korrekturen zwischen den Teams hängen.

Wo kommt Kaizo ins Spiel?

Kaizo ist QA und Governance-Aufsicht für Supportteams, in denen Menschen und KI-Agenten sich die Arbeit teilen. Die live verfügbaren Integrationen sind Zendesk und Salesforce: AutoPilot bewertet jede gelöste Konversation in diesen Helpdesks anhand Ihrer eigenen Scorecard und fügt einen Kommentar hinzu, der jeden Score erklärt. Wenn Fin auf einem dieser Helpdesks läuft, prüfen Sie, welche Fin-Konversationen in den Datensätzen Ihres Helpdesks ankommen, bevor Sie einen QA-Prozess darauf aufbauen.

Sehen Sie es an Ihren eigenen Konversationen. Kaizo bewertet 100 % Ihrer Supportkonversationen in Zendesk und Salesforce und macht aus den Befunden Coaching. Demo buchen.

Wann das nichts für Sie ist

Ein formales QA-Programm für Fin ist zu viel, wenn Fin ein paar Dutzend Konversationen pro Woche bearbeitet: Lesen Sie dann alle selbst, mit der Checkliste, in einer Stunde. Es ist auch zu früh, wenn Ihr Hilfecenter durchgehend veraltet ist. Bringen Sie zuerst die Inhalte in Ordnung, sonst meldet jede Prüfung dieselbe Ursache. Beantwortet Fin nur Fragen mit geringem Risiko, etwa zu Öffnungszeiten, reicht eine monatliche Stichprobe von 20 Konversationen.

So starten Sie diese Woche

1. Listen Sie Ihre fünf riskantesten Fin-Themen auf und die Richtlinienseite hinter jedem.
2. Kopieren Sie die Checkliste oben in eine Tabelle oder eine Scorecard in Intercom und markieren Sie die Kriterien 1, 5 und 9 als kritisch.
3. Ziehen Sie 30 zufällige gelöste Fin-Konversationen und 20 aus Ihren riskantesten Themen.
4. Bewerten Sie sie mit zwei prüfenden Personen und vergleichen Sie, wo Sie sich uneinig sind.
5. Korrigieren Sie die häufigste Ursache, die Sie finden, testen Sie die Korrektur in einer Vorschau oder einem Eval und bewerten Sie dieses Thema in der nächsten Woche neu.

Häufig gestellte Fragen

Hat Intercom eine eigene QA für Fin-Konversationen?

Ja, mit dem Pro-Add-on. Monitors wählen aus, welche Konversationen geprüft werden, Scorecards legen fest, wie sie bewertet werden, und jedes Kriterium kann von der KI oder von einem Menschen bewertet werden. Die Hilfeseite von Intercom führt Workflows zur Kalibrierung als geplant; testen Sie die KI-Scores also gegen Ihre eigenen prüfenden Personen.

Ist die Lösungsquote von Fin eine verlässliche Qualitätskennzahl?

Nein. Sie zählt Konversationen, in denen der Kunde bestätigt hat, dass die Antwort geholfen hat, oder gegangen ist, ohne um weitere Hilfe zu bitten; ein Kunde, der aufgegeben hat, zählt also als gelöst. Berichten Sie sie neben einer korrigierten Quote aus einer Zufallsstichprobe gelöster Konversationen, die Sie geprüft haben.

Trainieren die Bewertungen aus Batch Tests Fin?

Nein. Intercom schreibt, dass die Bewertungen aus Batch Tests nur der Prüfung durch Menschen und der Ursachenanalyse dienen. Workspaces, die ab dem 5. November 2026 angelegt werden, bekommen keine Batch Tests und nutzen stattdessen Evals.

Kann der CX Score eine QA-Prüfung ersetzen?

Nicht allein. Seine Zulassungsregeln drehen sich um Konversationen mit mindestens zwei Antworten des Kunden und zwei Antworten eines Agents oder Chatbots, daher werden viele kurze Fin-Konversationen nicht bewertet. Außerdem bewertet er, wie sich der Kunde gefühlt hat, nicht, ob die Antwort Ihrer Richtlinie entsprach.

Wer wird bewertet, wenn Fin und eine Kollegin oder ein Kollege dieselbe Konversation bearbeiten?

Das hängt davon ab, wo der CSAT-Schritt in Ihrem Workflow steht. Intercom schreibt, dass eine Umfrage nach dem Eskalationspunkt verschickt wird, ob Fin, ein Teammitglied oder beide beteiligt waren. In den Tarifen Advanced und Expert zeigen die Bewertungsdaten, welche Art von Agent bewertet wurde.