Fehleranalyse bei KI-Agenten: Halluzination oder Lücke?

Fehleranalyse bei KI-Agenten heißt, jede gescheiterte KI-Konversation nach ihrer Ursache einzuordnen, bevor jemand sie behebt. Die meisten Fehler, die als „Halluzinationen“ bezeichnet werden, sind etwas anderes: ein fehlender Artikel, eine veraltete oder mehrdeutige Richtlinie, ein Fehler beim Abruf der Inhalte, ein kaputtes Tool oder eine schlechte Übergabe. Jede Ursache hat eine andere verantwortliche Person und eine andere Korrektur, also entscheidet die Einordnung darüber, ob die Korrektur wirkt.

Kurz gesagt

• „Halluzination“ beschreibt ein Symptom (eine selbstsichere falsche Antwort), keine Ursache. Behandeln Sie sie als letzte Erklärung, nicht als erste.
• Zehn Ursachen decken fast jede gescheiterte KI-Konversation im Kundenservice ab, von Wissenslücken bis zu Missverständnissen auf Kundenseite.
• Eine Frage klärt die meisten Fälle: Gab es eine freigegebene Quelle, die das beantwortete, und hat der Agent sie genutzt?
• Ursachen im Inhalt gehen an die Verantwortlichen für Wissen oder Richtlinien, Ursachen in Tools an die Entwicklung, und nur Fehler im Schlussfolgern an das Team, das den KI-Agenten einstellt.
• Verfolgen Sie die Verteilung nach Ursache pro 1.000 Konversationen jede Woche. Anteile allein führen in die Irre, denn eine Ursache kann als Anteil wachsen, während sie in absoluten Zahlen schrumpft.

Warum nennen Teams jeden Fehler eines KI-Agenten eine Halluzination?

Teams nennen jeden Fehler eine Halluzination, weil das Transkript nur die Ausgabe zeigt: eine falsche Antwort, selbstsicher vorgetragen. Die Ursache liegt davor, im Inhalt, in der Richtlinie, beim Abruf, in einem Tool oder in den Regeln für die Übergabe. Ohne einen Schritt, der die Ursache einordnet, gewinnt das bekannteste Wort, und die Korrektur landet im Prompt.

Das Wort hat eine genaue Bedeutung. Das Risikoprofil des NIST für generative KI definiert Konfabulation, „umgangssprachlich auch Halluzinationen genannt“, als Systeme, die „fehlerhafte oder falsche Inhalte erzeugen und selbstsicher präsentieren“ (NIST AI 600-1, Abschnitt 2.2). Das deckt ab, dass das Modell etwas erfindet. Es deckt keinen Agenten ab, der getreu einen veralteten Artikel zu Erstattungen wiederholt, oder einen, der einer Richtlinie folgt, die nie jemand aufgeschrieben hat.

Der Unterschied zählt, weil die falsche Einordnung die Arbeit zum falschen Team schickt. Eine Prompt-Änderung kann keinen Artikel reparieren, den es nicht gibt. Als das Unternehmen für Support-Software Pylon rund 200 Tickets einordnete, die sein KI-Agent in einer Woche in der eigenen Queue eskaliert hatte, machten Wissenslücken „mehr als die Hälfte der Eskalationen“ aus, und Funktionswünsche 15 % (Pylon, September 2026). Das sind die Daten eines einzigen Unternehmens, kein Benchmark, aber keine der beiden Ursachen ist ein Problem des Modells.

Dieser Leitfaden gehört zu unserem Hub zu Richtlinien für KI-Agenten, der zeigt, wie Richtlinien geschrieben, verantwortet und versioniert werden. Hier geht es um den Schritt vor der Korrektur: die Ursache richtig zu benennen.

Was sind die zehn Gründe, warum KI-Gespräche scheitern?

KI-Gespräche im Kundenservice scheitern aus zehn Hauptgründen: Wissenslücke, veraltetes oder widersprüchliches Wissen, fehlende oder mehrdeutige Richtlinie, Fehler beim Abruf, Fehler im Schlussfolgern oder Halluzination, Fehler bei Aktion oder Tool, Fehler bei der Übergabe, Fehler bei der Zuständigkeit, Produktfehler oder Funktionswunsch und ein Problem auf Kundenseite. Jeder hinterlässt eine andere Spur im Transkript.

Die Tabelle unten ist die Taxonomie zum Kopieren. Nutzen Sie sie als Auswahlliste in Ihrem Prüfformular, eine Ursache pro nicht bestandenem Kriterium.

Markieren Sie das nicht bestandene Kriterium, nicht die ganze Konversation, denn eine Konversation kann aus zwei Ursachen scheitern. Die Ursachen 6 und 7 verstecken sich oft in den Zahlen zur Containment Rate; unser Leitfaden zu den stillen Fehlern von KI-Agenten zeigt, wie Sie sie sichtbar machen. Für menschliche Agenten steht die entsprechende Unterscheidung in unserem Leitfaden zu Fehler des Agenten oder Fehler im Prozess (auf Englisch).

Wie unterscheiden Sie eine Halluzination von einer fehlenden Richtlinie?

Sie unterscheiden eine Halluzination von einer fehlenden Richtlinie, indem Sie die Quelle prüfen. Hat eine freigegebene, aktuelle Quelle die Frage beantwortet und der Agent ist davon abgewichen, ist es eine Halluzination oder ein Fehler im Schlussfolgern. Hat keine Quelle den Fall abgedeckt, oder existiert die Regel nur in den Köpfen erfahrener Agenten, ist es eine fehlende Richtlinie, und keine Änderung am Modell wird sie beheben.

Die vier Paare, die am häufigsten verwechselt werden:

• Halluzination oder fehlende Richtlinie. Der Test lautet: „Hätte ein neuer menschlicher Agent, der nur Ihre schriftlichen Quellen liest, richtig antworten können?“ Wenn nicht, hatte der KI-Agent nichts, dem er treu sein konnte.
• Halluzination oder veraltetes Wissen. Steht die falsche Tatsache Wort für Wort in einem Artikel, hat der Agent seine Arbeit gemacht. Der Artikel ist der Fehler.
• Halluzination oder Fehler beim Abruf. Existiert der richtige Artikel, aber die Antwort passt zu einem benachbarten Thema, hat der Agent getreu von der falschen Seite geantwortet. Retrieval-Augmented Generation, die Methode, die viele KI-Agenten im Kundenservice nutzen, kombiniert ein Modell mit einer Suche über Ihre Inhalte (Lewis et al., 2020), sodass der Suchschritt für sich allein scheitern kann.
• Halluzinierte Aktion oder Fehler im Tool. „Ihre Erstattung ist unterwegs“ ohne Erstattung im System heißt entweder, dass der Agent eine Aktion behauptet, die er nie ausgeführt hat, oder dass ein Tool-Aufruf still fehlgeschlagen ist. Das Tool-Protokoll sagt Ihnen, was zutrifft. Unser Leitfaden, wie Sie die Lösungsquote von KI-Agenten prüfen, zeigt, wie Sie behauptete Aktionen mit den Einträgen im Backend abgleichen.

Unser Leitfaden zum Erkennen von KI-Halluzinationen beschreibt die Routine für echte Halluzinationen, sobald Sie sie herausgefiltert haben. Diese Seite ist der Filter, der entscheidet, welche echt sind.

Der Entscheidungsbaum für die Triage: zehn Fragen in fester Reihenfolge

Am schnellsten ordnen Sie eine gescheiterte KI-Konversation ein, indem Sie eine feste Liste von Fragen in fester Reihenfolge beantworten und beim ersten „Ja“ oder „Nein“ aufhören, das eine Ursache benennt. Die Reihenfolge zählt: Sie schließt Ursachen bei Kunde, Produkt und System aus, bevor sie den Inhalt beschuldigt, und den Inhalt, bevor sie das Modell beschuldigt.

Kopieren Sie das in Ihr Prüfformular. Beantworten Sie es für jeweils ein nicht bestandenes Kriterium.

1. Hätte ein Mensch aus dem, was der Kunde schrieb, verstanden, was er wollte? Nein: Kundenseite (Ursache 10). Ja: weiter.
2. War die Anfrage überhaupt eine, die der KI-Agent bearbeiten sollte? Nein, und er hat sie trotzdem bearbeitet: Fehler bei der Zuständigkeit (Ursache 8). Ja: weiter.
3. War das eigentliche Problem ein Defekt, oder etwas, das das Produkt nicht kann? Ja: Produktfehler oder Funktionswunsch (Ursache 9). Nein: weiter.
4. Musste der Agent eine Aktion ausführen oder prüfen (Abfrage, Erstattung, Kündigung, Aktualisierung), und ist dieser Aufruf fehlgeschlagen, hat er die Zeit überschritten oder wurde er abgelehnt? Ja: Fehler bei Aktion oder Tool (Ursache 6). Nein: weiter.
5. Hätte die Konversation an einen Menschen gehen sollen, zu einem anderen Zeitpunkt oder mit besserem Kontext? Ja: Fehler bei der Übergabe (Ursache 7). Nein: weiter.
6. Beantwortet eine freigegebene Quelle diese Frage? Nein, und die Regel ist allen klar: Wissenslücke (Ursache 1). Nein, und die Regel hängt davon ab, wen man fragt: fehlende oder mehrdeutige Richtlinie (Ursache 3). Ja: weiter.
7. Ist diese Quelle aktuell und die einzige Quelle zum Thema? Nein: veraltetes oder widersprüchliches Wissen (Ursache 2). Ja: weiter.
8. Hat der Agent diese Quelle für diese Antwort genutzt? Nein: Fehler beim Abruf (Ursache 4). Ja: weiter.
9. Stimmt die Antwort mit der Quelle überein? Nein: Fehler im Schlussfolgern oder Halluzination (Ursache 5). Ja: weiter.
10. Ist das Kriterium selbst richtig? Ist der Agent einer aktuellen, freigegebenen Quelle getreu gefolgt und trotzdem durchgefallen, ist vielleicht das Kriterium der Scorecard falsch. Schicken Sie es zur Kalibrierung an die QA-Leitung, statt eine Ursache zu erzwingen.

Frage 10 ist das Sicherheitsventil: Eine Taxonomie, die nicht sagen kann „unser Kriterium war falsch“, beschuldigt, wer übrig bleibt. Zählen Sie, wie oft Sie Frage 9 erreichen. Es ist der einzige Weg, der bei „Halluzination“ endet.

Wer behebt welche Ursache, und wie leiten Sie sie weiter?

Jede Ursache hat eine verantwortliche Person, und die ergibt sich daraus, wo die Korrektur passieren muss: Inhalte gehen an die Verantwortlichen für Wissen oder Richtlinien, Systeme an die Entwicklung, das Produkt an das Produktteam, und nur Anweisungen und Schlussfolgern an die verantwortliche Person für die KI. Leiten Sie die Konversation mit den Belegen weiter, nie nur eine Zahl.

Benennen Sie jede verantwortliche Stelle als Person, nicht als Team. Eine Weiterleitungsnotiz braucht vier Dinge: die Ursache, zwei oder drei Beispielkonversationen mit markierten fehlerhaften Zeilen, den betroffenen Intent mit seinem wöchentlichen Volumen und das Datum, an dem Sie neu bewerten. Ohne die Beispiele streitet das empfangende Team über die Einordnung, statt den Fehler zu beheben.

Einen KI-Agenten zu korrigieren ist kein Coaching einer Person: Die Korrektur muss die Inhalte oder die Konfiguration ändern, die der Agent liest. Unser Beitrag zu Coaching für Menschen und Korrekturen für KI-Agenten behandelt diese Unterscheidung. Bei den Ursachen 6 und 8 ist die richtige Korrektur manchmal eine Grenze, keine bessere Antwort. OWASP nennt „übermäßige Funktionalität“, „übermäßige Berechtigungen“ und „übermäßige Autonomie“ als Grundursachen schädlicher Aktionen von Agenten (OWASP LLM06). Dort setzen unsere Leitfäden zu Guardrails für KI-Agenten und zu den Autonomiestufen von KI-Agenten an.

Wie führen Sie eine wöchentliche Triage für KI-Fehler durch?

Führen Sie die Triage für KI-Fehler als wöchentlichen Termin von 45 bis 60 Minuten durch: die gescheiterten Konversationen holen, nach Intent gruppieren, die größten Cluster mit dem Entscheidungsbaum einordnen, jede Ursache mit Beispielen an die verantwortliche Person leiten und prüfen, ob die Korrekturen der letzten Woche halten. Ordnen Sie Cluster ein, nicht einzelne Konversationen, damit der Termin mit dem Volumen mitwächst.

Eine Routine, die funktioniert:

1. Montag: die Fehler holen. Nehmen Sie jede KI-Konversation, die letzte Woche ein kritisches Kriterium nicht bestanden hat (Richtigkeit, Richtlinie, Aktion, Eskalation). Wenn Sie nur eine Stichprobe bewerten, ergänzen Sie jede Konversation mit einer Wiedereröffnung, einer Beschwerde oder einem erneuten Kontakt innerhalb von 7 Tagen.
2. Nach Intent gruppieren. Erstattungen, Adressänderungen, Login-Probleme. Beginnen Sie mit den fünf Intents mit den meisten Fehlern.
3. Drei bis fünf Konversationen pro Cluster einordnen. Gehen Sie die zehn Fragen durch. Stimmen sie überein, markieren Sie den Cluster. Gehen sie auseinander, sind es zwei Probleme: Teilen Sie den Cluster.
4. Weiterleiten. Ein Ticket pro Ursache und Intent, an eine benannte verantwortliche Person, mit den Beispielen und einem Datum für die Neubewertung.
5. Die letzte Woche prüfen. Vergleichen Sie für jede ausgelieferte Korrektur die Zahl der Fehler in diesem Intent vorher und nachher. Eine Korrektur, die die Zahl nicht bewegt hat, war die falsche Korrektur oder die falsche Ursache.
6. Protokollieren. Eine Zeile pro Cluster: Woche, Intent, Ursache, Anzahl, verantwortliche Person, Korrektur, Ergebnis. Dieses Protokoll ist Ihre Fehlerverteilung über die Zeit.

Die QA-Leitung führt den Termin mit der verantwortlichen Person für die KI, der für Wissen und einer Leitung aus Support Operations durch. Richtlinien, Entwicklung und Produkt kommen nur dazu, wenn ihr Punkt auf der Liste steht. Fehler bei der Übergabe zeigen sich oft erst über mehrere Konversationen hinweg, und dort hilft Customer Journey QA.

Wie messen Sie die Verteilung der KI-Fehler über die Zeit?

Messen Sie die Fehlerverteilung als Fehler pro 1.000 KI-Konversationen, aufgeteilt nach Ursache, jede Woche, neben dem Anteil jeder Ursache. Zahlen pro 1.000 zeigen, ob eine Ursache schrumpft. Anteile zeigen, wo die verbleibende Arbeit liegt. Lesen Sie beides, denn wenn Sie eine Ursache beheben, wirken die anderen als Anteil größer, selbst wenn sich nichts geändert hat.

Pylon hat das in den eigenen Daten gesehen: Als die Wissenslücken zurückgingen, stiegen die Fehlermeldungen „von 8,5 % der Eskalationen auf 19 %“ (Pylon). Ein steigender Anteil bedeutet für sich genommen nicht mehr Fehler: Die anderen Stücke sind kleiner geworden.

Ein Rechenbeispiel (Illustration, die Zahlen sind erfunden, um die Rechnung zu zeigen)

Nehmen Sie einen KI-Agenten, der 12.000 Konversationen pro Woche bearbeitet. In Woche 1 bestehen 480 ein kritisches Kriterium nicht: 40 pro 1.000. Das Team behebt über vier Wochen die größten Cluster zu Wissen und Richtlinien. In Woche 5 ist das Volumen gleich, und 290 bestehen nicht: 24,2 pro 1.000.

Drei Dinge lassen sich daraus ablesen. Die drei Ursachen im Inhalt fielen von 260 auf 95 Fehler, von 54,2 % auf 32,8 % der Verteilung. Halluzinationen stiegen von 7,3 % auf 11,4 % der Fehler, während ihre Zahl von 35 auf 33 fiel: Eine Führungskraft, die nur Anteile liest, würde schließen, dass das Modell schlechter geworden ist. Und Fehler bei Tools haben sich kaum bewegt (40 auf 38), was zeigt, dass die Entwicklung ihre Korrektur noch nicht ausgeliefert hat.

Die Kennzahlen für das Dashboard:

• Fehler pro 1.000 KI-Konversationen, gesamt und nach Ursache.
• Anteil nach Ursache, um zu entscheiden, wohin die Arbeit der nächsten Woche geht.
• Wiederauftreten: Fehler in einem Intent und einer Ursache, die als behoben markiert waren. Über null nach zwei Wochen heißt, dass die Korrektur nicht gehalten hat.
• Zeit bis zur Korrektur pro verantwortlicher Person, vom weitergeleiteten Ticket bis zur Neubewertung.
• Quote nicht eingeordneter Fehler: Fehler, die niemand zuordnen konnte. Steigt sie über einen kleinen Anteil, brauchen die Taxonomie oder die Kriterien Arbeit.

Wann ist diese Taxonomie nicht für Sie?

Eine Taxonomie mit zehn Ursachen ist nicht oder noch nicht für Sie, wenn Ihr KI-Agent einige Hundert Fragen im Monat aus einem kleinen Hilfecenter beantwortet und keine Aktionen ausführt. Dann reichen drei Kategorien: Inhalt (Ursachen 1 bis 3), KI-Agent (4, 5, 8, 10) und alles andere. Wechseln Sie zur vollständigen Liste, wenn Verantwortliche außerhalb des Supports anfangen, die Arbeit zu bekommen.

Zeichen, dass drei Kategorien nicht mehr reichen: Der Agent führt Aktionen in anderen Systemen aus, Sie haben mehr als einen KI-Agenten oder eine Plattform, die Kunden antwortet, Richtlinien ändern sich mehr als einmal im Quartal, oder zwei Teams streiten jede Woche darüber, wessen Problem ein Fehler ist. Scheitert derselbe Intent nach Korrekturen immer wieder, führen Sie für diesen einen Cluster eine gründlichere Ursachenanalyse durch, statt Kategorien hinzuzufügen.

Wo Kaizo ins Bild passt

Kaizo ist QA und Governance-Aufsicht für Supportteams, in denen Menschen und KI-Agenten die Arbeit teilen. Kaizo deckt die Seite der Belege in der Fehleranalyse ab: Konversationen bewerten, Grundursachen sichtbar machen und nach einer Korrektur neu bewerten. Es schreibt weder Ihre Artikel noch Ihre Richtlinien.

AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard, und bei der Qualitätssicherung für KI-Agenten ergänzen Sie die Kriterien, an denen ein KI-Agent scheitert, und verbinden Ihre Wissensdatenbank, damit gegen Ihre Inhalte bewertet wird. Jeder Score ist mit den Belegen im Transkript verknüpft. Insights macht aus diesen Scores Grundursachen (den kaputten Prozess, die Reibung im Produkt, die fehlende Fähigkeit), und das liefert der wöchentlichen Triage ihre ersten Cluster und Beispiele.

Sehen Sie es an Ihren eigenen Konversationen. Buchen Sie eine Demo und bringen Sie einen Intent mit, den Ihr Team für ein Halluzinationsproblem hält.

So starten Sie diese Woche

Beginnen Sie mit den schlechtesten KI-Konversationen der letzten Woche, nicht mit einem neuen Tool. Nehmen Sie die zehn Ursachen in Ihr Prüfformular auf, ordnen Sie eine kleine Menge mit dem Entscheidungsbaum ein, benennen Sie eine verantwortliche Person pro Ursache und beheben Sie zuerst den größten Cluster im Inhalt.

1. Fügen Sie die Tabelle mit den zehn Ursachen als Pflicht-Auswahlliste für jedes nicht bestandene Kriterium in Ihr Prüfformular ein.
2. Nehmen Sie die 30 schlechtesten KI-Konversationen der letzten Woche und gehen Sie bei jeder die zehn Fragen durch. Zählen Sie, wie viele bei Frage 9 ankommen.
3. Benennen Sie eine verantwortliche Person pro Ursache, als Menschen, und einigen Sie sich auf das Format der Weiterleitungsnotiz.
4. Legen Sie einen wiederkehrenden Triage-Termin von 45 Minuten an und beginnen Sie das Protokoll mit den Clustern dieser Woche.
5. Wählen Sie den größten Cluster im Inhalt und beheben Sie ihn zuerst. Bewerten Sie den Intent nächste Woche neu. Die Seite der Richtlinien in diesem Kreislauf steht in unserem Leitfaden zu Richtlinien für KI-Agenten.

Häufig gestellte Fragen

Ist jede falsche Antwort eines KI-Agenten eine Halluzination?

Nein. Eine Halluzination ist ein Inhalt, den das Modell erzeugt und der weder von seinen Quellen noch von der Konversation gestützt wird. Eine falsche Antwort, die aus einem veralteten Artikel kopiert wurde, oder eine Vermutung zu einem Fall, den keine Richtlinie abdeckt, ist ein Fehler im Inhalt. Der Test lautet, ob es eine richtige, freigegebene Quelle gab und der Agent davon abgewichen ist.

Verhindert es Halluzinationen, einen KI-Agenten auf die eigenen Inhalte zu stützen?

Grounding verringert erfundene Antworten, beseitigt sie aber nicht, und es schafft neue Fehlerquellen. Der Agent kann den falschen Artikel abrufen, einen veralteten zitieren oder trotzdem vom richtigen abweichen. Deshalb haben Abruf und veraltetes Wissen in der Taxonomie eigene Ursachen, getrennt von der Halluzination.

Wer sollte die Fehleranalyse für KI-Agenten verantworten?

Meist verantwortet die QA-Leitung die Einordnung und die wöchentliche Triage, weil die Scorecard und die Prüfbelege bei der QA liegen. Die Korrekturen gehören den Verantwortlichen der jeweiligen Ursache: Wissen, Richtlinien, KI-Konfiguration, Entwicklung, Support Operations und Produkt. Eine einzige Person, die die Einordnung verantwortet, hält die Markierungen von Woche zu Woche einheitlich.

Wie viele gescheiterte KI-Konversationen sollten Sie pro Woche einordnen?

Ordnen Sie Cluster ein, nicht jede Konversation. Drei bis fünf Konversationen pro Cluster, über die fünf Intents mit den meisten Fehlern, sind 15 bis 25 gelesene Konversationen pro Woche und decken meist den Großteil der Fehler ab. Lesen Sie in einem Cluster mehr, wenn die Konversationen bei der Ursache auseinandergehen.

Sollten Funktionswünsche als Fehler des KI-Agenten zählen?

Zählen Sie sie, aber berichten Sie sie getrennt von den eigenen Fehlern des Agenten. Ein Funktionswunsch lässt den Kunden im Stich, nicht den Agenten, und keine Änderung an Inhalt oder Prompt behebt ihn. Sie zu zählen zeigt dem Produktteam, wie oft Kunden fragen, und verhindert, dass sie die Fehlerquote des KI-Agenten aufblähen.