KI-Halluzinationen erkennen Sie, indem Sie jede Antwort des Bots an Ihren eigenen Inhalten und Richtlinien prüfen, nicht indem Sie auf Beschwerden warten. Bewerten Sie jede Konversation des KI-Agenten nach Kriterien für Quellenbezug und Richtlinien, lesen Sie zuerst die Geldthemen und führen Sie jede bestätigte Halluzination auf den Artikel oder die Regel dahinter zurück. So bekommt der zweite Kunde nie dieselbe falsche Antwort.
Kurz gesagt
- Eine Halluzination eines KI-Agenten ist eine selbstsichere Antwort, die Ihre Inhalte nicht stützen: eine erfundene Richtlinie, eine falsche Zahl, eine Aktion, die der Bot nie ausgeführt hat.
- Die falsche Antwort zur Erstattung ist die gefährlichste, weil Kunden danach handeln und das Unternehmen dafür verantwortlich bleibt.
- Stichproben übersehen Halluzinationen: In einem Rechenbeispiel zeigt eine Stichprobe von 2 % mit einer Wahrscheinlichkeit von 23 % keine einzige von 72 falschen Antworten zu Erstattungen.
- Eine Routine in sechs Schritten findet sie: riskante Aussagen auflisten, prüfbare Kriterien schreiben, an Ihren Inhalten bewerten, alles bewerten, nach Schweregrad sortieren, an der Quelle beheben.
- QA nach der Konversation kann die erste falsche Antwort nicht verhindern. Sie verhindert die nächsten hundert, und dort liegen die Kosten.
Wenn Ihre KI-Agenten mit Kunden sprechen, zeigt unsere Seite zur Qualitätssicherung für KI-Agenten, wie Kaizo jede Konversation eines KI-Agenten anhand Ihrer eigenen Kriterien bewertet, einschließlich Prüfungen auf erfundene Fakten und erfundene Richtlinien. Dieser Leitfaden beschreibt die Methode, egal welches Tool Sie verwenden.
Was ist eine Halluzination eines KI-Agenten im Kundenservice?
Eine Halluzination eines KI-Agenten ist eine Antwort, die sicher klingt, aber falsch ist oder von Ihren Inhalten nicht gestützt wird. Im Support ist das meist eine Richtlinie, ein Preis, ein Versprechen oder ein Fakt, nach dem der Kunde dann handelt.
Das NIST Generative AI Profile (Juli 2024) nennt das Konfabulation: „the production of confidently stated but erroneous or false content (known colloquially as ‘hallucinations’ or ‘fabrications’) by which users may be misled or deceived.“ Gemeint sind also selbstsicher vorgebrachte, aber fehlerhafte oder falsche Inhalte, durch die Nutzer irregeführt oder getäuscht werden können. Der letzte Teil zählt im Support am meisten. Ein Kunde kann eine selbstsichere falsche Antwort nicht von einer selbstsicheren richtigen unterscheiden.
Im Kundenservice gibt es sechs Typen von Halluzinationen. Jeder braucht eine andere Prüfung:
| Typ | Beispiel | So prüfen Sie es |
|---|---|---|
| Erfundene Richtlinie | „Sie können die Erstattung innerhalb von 60 Tagen beantragen“, obwohl die Richtlinie 30 nennt | Mit dem Richtlinienartikel vergleichen, den der Bot hätte nutzen sollen |
| Falsche Zahl | Ein alter Preis, eine falsche Gebühr, eine falsche Lieferzeit | Jede Zahl in der Antwort mit der Quelle vergleichen |
| Erfundene Aktion | „Ich habe Ihre Erstattung veranlasst“, obwohl der Bot keine Erstattungen veranlassen kann | Die Aussage mit den Aktionen vergleichen, die der Bot ausführen darf |
| Erfundene Ausnahme | Eine erlassene Gebühr oder verlängerte Frist, die niemand genehmigt hat | Mit der Liste der Ausnahmen abgleichen, die nur ein Mensch gewähren darf |
| Falscher Produktfakt | Eine Funktion, ein Tariflimit oder eine Kompatibilitätsaussage, die nicht stimmt | Mit der Produktdokumentation vergleichen |
| Erfundene Quelle | Ein Hilfeartikel, Formular oder Link, den es nicht gibt | Den Link öffnen oder das Help Center nach dem Titel durchsuchen |
Eine Halluzination ist eine Art stiller Fehler, also ein Fehler, den ein Dashboard als Erfolg zählt. Unsere Typologie stiller Fehler von KI-Agenten behandelt die anderen, etwa verpasste Eskalationen und falsche Lösungen.
Warum ist die falsche Antwort zur Erstattung die gefährlichste?
Die falsche Antwort zur Erstattung ist die gefährlichste, weil der Kunde danach handelt und Ihr Unternehmen für das verantwortlich bleibt, was sein Bot gesagt hat. Aus einem Supportfehler werden Kosten, eine Beschwerde oder eine rechtliche Forderung.
Der bekannteste Fall ist Moffatt v. Air Canada (Februar 2024). Der Chatbot auf der Website der Airline sagte einem Kunden, ein Trauerfalltarif könne nach der Reise beantragt werden. Die Richtlinie der Airline erlaubte das nicht, und der eigene Link des Chatbots führte zu einer Seite, die genau das sagte.
Das Civil Resolution Tribunal von British Columbia wies das Argument zurück, der Chatbot sei für sein eigenes Handeln verantwortlich. Es stellte fest, Air Canada „did not take reasonable care to ensure its chatbot was accurate“, und verurteilte die Airline zur Zahlung von 812,02 kanadischen Dollar. Für eine Konversation ist das ein kleiner Betrag. Dieselbe Antwort, wiederholt an jeden Kunden, der dieselbe Frage stellt, ist es nicht.
Bei Geldthemen wirken Halluzinationen außerdem am ehesten hilfreich. Ein Bot, der eine großzügige Erstattungsfrist erfindet, erzeugt einen zufriedenen Kunden, eine gelöste Konversation und eine gute Zufriedenheitsbewertung, bis zu dem Moment, in dem die Erstattung abgelehnt wird.
Warum übersehen Stichproben Halluzinationen von KI-Agenten?
Stichproben übersehen Halluzinationen, weil eine Halluzination zu einem Thema über alle Konversationen hinweg selten ist, sich innerhalb dieses Themas aber wiederholt. Eine kleine Zufallsstichprobe erfasst zu wenige Konversationen zum Thema, um das Muster zu zeigen.
Hier ein Rechenbeispiel mit Zahlen, die wir gewählt haben, um die Rechnung zu zeigen, keine Kundendaten:
| Schritt | Anzahl |
|---|---|
| Konversationen des KI-Agenten in einem Monat | 40.000 |
| Konversationen zu Erstattungen (6 %) | 2.400 |
| Antworten zu Erstattungen mit einer erfundenen Bedingung (3 % der Erstattungskonversationen) | 72 |
| Zufällige QA-Stichprobe (2 % aller Konversationen) | 800 |
| Erwartete Erstattungskonversationen in dieser Stichprobe | 48 |
| Erwartete falsche Antworten zu Erstattungen in dieser Stichprobe | 1,44 |
| Wahrscheinlichkeit, dass die Stichprobe keine davon enthält | 23 % |
| Wahrscheinlichkeit, dass sie keine oder eine enthält | 58 % |
Die beiden Wahrscheinlichkeiten stammen aus der Binomialverteilung: 0,97 hoch 48 ergibt 0,232, und zusammen mit der Wahrscheinlichkeit für genau eine ergibt sich 0,576. In mehr als der Hälfte der Monate sehen Ihre Prüfer also höchstens eine falsche Antwort zu Erstattungen. Eine einzelne wirkt wie ein Ausreißer, also korrigiert niemand den Artikel dahinter.
Bewerten Sie jede Konversation, dann sehen Sie alle 72, gebündelt zu einem Thema, noch in derselben Woche. Deshalb ist unser Leitfaden dazu, wie Sie 100 % der Konversationen bewerten (auf Englisch), für Bots wichtiger als für Menschen: Die Fehler eines Menschen verteilen sich, die eines Bots wiederholen sich.
So erkennen Sie KI-Halluzinationen: eine Routine in sechs Schritten
KI-Halluzinationen erkennen Sie in sechs Schritten: riskante Aussagen auflisten, prüfbare Kriterien schreiben, an Ihren eigenen Inhalten bewerten, jede Konversation bewerten, nach Schweregrad sortieren und jede an ihrer Quelle beheben. Die Schritte 1 bis 3 richten Sie einmal ein.
Schritt 1: Listen Sie die Aussagen auf, die Geld kosten, wenn sie falsch sind
Beginnen Sie mit den Themen, bei denen der Kunde nach der Antwort handelt: Erstattungen, Kündigungen, Gebühren, Preise, Liefertermine, Berechtigungen und Kontoänderungen. Notieren Sie für jedes Thema die Aussagen, die der Bot trifft, etwa „Erstattungsfrist“, „Kündigungsgebühr“ oder „welche Tarife X enthalten“. Diese Liste wird zum Schwerpunkt Ihrer Scorecard und zu Ihrer ersten Prüfwarteschlange.
Schritt 2: Schreiben Sie Kriterien, die ein Prüfer am Transkript prüfen kann
Ein Kriterium wie „die Antwort ist korrekt“ ist zu vage, um zweimal gleich bewertet zu werden. Formulieren Sie es so, dass ein Prüfer oder ein automatisierter Bewerter auf die Zeile zeigen kann, die es erfüllt oder verfehlt:
| Kriterium | Erfüllt, wenn | Verfehlt, wenn |
|---|---|---|
| Bezug auf unsere Inhalte | Jeder Fakt in der Antwort steht in einem Hilfeartikel oder einer Richtlinie, die wir veröffentlichen | Die Antwort enthält einen Fakt, eine Zahl oder eine Bedingung, die unsere Inhalte nicht nennen |
| Grenzen der Richtlinie | Erstattungen, Gutschriften und Ausnahmen bleiben innerhalb der schriftlichen Richtlinie | Der Bot bietet oder verspricht etwas, das die Richtlinie nicht erlaubt |
| Behauptete Aktionen | Der Bot sagt nur, dass er getan hat, was er tatsächlich tun kann | Der Bot sagt, er habe etwas veranlasst, gekündigt oder geändert, was er nicht kann |
| Unsicherheit | Der Bot sagt, dass er es nicht weiß, oder übergibt, wenn die Inhalte keine Antwort haben | Der Bot füllt die Lücke mit einer Vermutung |
Unser Leitfaden, wie Sie ein QA-Bewertungsraster schreiben, das eine KI bewerten kann (auf Englisch), zeigt, wie Sie den Rest der Scorecard genauso formulieren.
Schritt 3: Bewerten Sie an Ihren eigenen Inhalten
Eine Prüfung des Quellenbezugs ist nur so gut wie die Inhalte, an denen sie prüft. Verbinden Sie den Bewerter mit denselben Help-Center- und Richtlinienartikeln, aus denen der Bot antwortet, damit „von unseren Inhalten nicht gestützt“ eine präzise Bedeutung hat.
In Kaizo schreiben Sie die Kriterien in Ihren eigenen Worten und verbinden Ihre Wissensdatenbank, sodass die KI jede Antwort an Ihren Inhalten beurteilt.
Schritt 4: Bewerten Sie jede Konversation des KI-Agenten
Bewerten Sie alle, denn das Rechenbeispiel oben zeigt, was eine Stichprobe verbirgt. Kaizos AutoPilot bewertet jede Konversation anhand Ihrer Kriterien, sobald sie gelöst ist, und fügt einen Kommentar hinzu, der den Score erklärt. Sie können festlegen, welche Warteschlangen, Kanäle oder Teams bewertet werden, damit die Geldthemen vom ersten Tag an abgedeckt sind.
Schritt 5: Sortieren Sie nach Schweregrad, nicht nach Datum
Nicht jede Halluzination braucht dieselbe Reaktion. Eine Regel für Schweregrade hält das Team bei denen, die Geld kosten:
| Schweregrad | Wie es aussieht | Reaktion |
|---|---|---|
| Kritisch | Erfundene Erstattung, erlassene Gebühr, rechtliche oder sicherheitsrelevante Aussage, ein Versprechen, das das Unternehmen einlösen oder zurückziehen muss | Am selben Tag: betroffene Kunden kontaktieren, das Thema vom Bot abziehen oder eine Übergabe erzwingen, bis es behoben ist |
| Hoch | Falsche Zahl oder Bedingung bei einem Geldthema, erfundene Aktion | Innerhalb von 2 Arbeitstagen: Quellartikel korrigieren, das Thema neu bewerten |
| Mittel | Falscher Produktfakt ohne Kostenfolge, erfundener Link | In die wöchentliche Liste der Inhaltskorrekturen |
| Niedrig | Harmloses Detail, etwa ein falsches Beispiel zu Öffnungszeiten eines Geschäfts | Gesammelt mit der monatlichen Inhaltsprüfung |
Schritt 6: Führen Sie jede Halluzination auf ihre Quelle zurück und bewerten Sie neu
Die meisten Halluzinationen entstehen durch etwas, das Sie beheben können: einen veralteten Hilfeartikel, zwei Artikel, die sich widersprechen, eine Bedingung, die unten auf einer Seite versteckt ist, oder ein Thema ganz ohne Artikel.
Beheben Sie die Quelle und bewerten Sie das Thema in der folgenden Woche neu, um zu bestätigen, dass die Korrektur hält. Kaizos Ursachenanalyse bündelt die Fehler hinter einem Einbruch, sodass aus zehn schlechten Antworten aus einem Artikel eine Korrektur wird.
Welche Signale deuten auf eine Halluzination hin?
Das Verhalten des Kunden nach der Konversation ist das günstigste Signal für eine Halluzination: erneute Kontakte, Widersprüche und Korrekturen durch menschliche Agenten. Nutzen Sie diese Signale, um zu entscheiden, welche Konversationen Sie zuerst lesen.
- Der Kunde meldet sich innerhalb von 7 Tagen zum selben Thema wieder, oft über einen anderen Kanal.
- Der Kunde zitiert den Bot gegenüber einem menschlichen Agenten: „Ihr Assistent hat mir gesagt“.
- Ein menschlicher Agent zieht etwas zurück oder korrigiert etwas, das der Bot versprochen hat.
- Auf eine Bot-Konversation zu einem Thema folgt eine Anfrage nach Erstattung, Gutschrift oder Ausnahme.
- Die Antwort des Bots enthält eine Zahl, ein Datum oder einen Link, die im Quellartikel nicht vorkommen.
- Der Kunde widerspricht („das steht so nicht auf Ihrer Website“), und der Bot wiederholt sich.
Jedes Signal ist zugleich ein Kriterium für die Scorecard oder ein Filter. Besonders die Signale rund um die Übergabe gehören auf die Scorecard, wie unser Leitfaden zur Bewertung der Übergabe zwischen Mensch und KI erklärt.
Was QA nach der Konversation nicht leisten kann
QA nach der Konversation kann die erste falsche Antwort nicht verhindern, weil sie Konversationen erst nach ihrem Ende bewertet. Sie verhindert, dass dieselbe falsche Antwort die nächsten Kunden erreicht, und findet heraus, wer sie bereits bekommen hat.
Kaizo bewertet Konversationen nach ihrem Ende, im Helpdesk, in dem sie liegen. Kaizo überwacht den Bot nicht live und blockiert keine Antwort, bevor sie gesendet wird.
Schutzmechanismen, die laufen, während der Bot antwortet, und Tests vor dem Start, etwa Regressionstests für Prompts in einer Entwicklungspipeline, gehören zu dem Team, das den Agenten baut. Das sind andere Phasen, und sie laufen parallel zur QA.
Was die Bewertung nach der Konversation ergänzt, ist der Teil, den die anderen Phasen nicht sehen: was der Bot echten Kunden tatsächlich gesagt hat, in jeder Konversation, mit dem Transkript hinter jedem Befund. Genau diese Belege brauchen Sie auch, um die Kunden zu kontaktieren, die eine falsche Antwort bekommen haben, bevor sie es selbst merken.
So beginnen Sie diesen Monat, Halluzinationen zu erkennen
Beginnen Sie mit einem Geldthema, vier Kriterien und jeder Konversation zu diesem Thema über zwei Wochen. Das reicht, um die erste Quelle zum Beheben zu finden und Ihre Halluzinationsrate zu messen.
- Wählen Sie das Thema, bei dem eine falsche Antwort am meisten kostet, meist Erstattungen oder Kündigungen.
- Nehmen Sie die vier Kriterien aus Schritt 2 in die Scorecard des Bots auf.
- Bewerten Sie zwei Wochen lang jede Konversation des KI-Agenten zu diesem Thema.
- Zählen Sie die Konversationen, die ein Kriterium für Quellenbezug oder Richtlinien verfehlen, und teilen Sie durch alle Konversationen zum Thema. Das ist Ihre Halluzinationsrate für dieses Thema.
- Beheben Sie die wichtigste Quelle, bewerten Sie eine Woche lang neu und vergleichen Sie.
Sehen Sie es in einer Live-Demo. Kaizo bewertet jede Konversation eines KI-Agenten an Ihren eigenen Inhalten und Kriterien und verknüpft jedes verfehlte Kriterium mit der Zeile, an der es gescheitert ist. Sprechen wir darüber.
Häufig gestellte Fragen
Kann man einen KI-Chatbot vollständig vom Halluzinieren abhalten?
Keine heutige Methode garantiert das. Den Bot auf Ihre Inhalte zu stützen, seine Themen zu begrenzen und eine Übergabe zu erzwingen, wenn ihm eine Antwort fehlt, verringert Halluzinationen. Garantieren können Sie, dass Sie sie finden: Bewerten Sie jede Konversation an Ihren Inhalten, damit eine falsche Antwort in den ersten Konversationen auffällt, in denen sie vorkommt, und nicht erst nach einer Beschwerde.
Verhindert eine Wissensdatenbank, dass ein KI-Agent Dinge erfindet?
Sie verringert das Problem, beseitigt es aber nicht. Ein Bot, der aus Ihrer Wissensdatenbank antwortet, kann trotzdem zwei Artikel falsch kombinieren, einen veralteten nutzen oder eine Lücke füllen, wo es keinen Artikel gibt. Deshalb vergleicht die Prüfung des Quellenbezugs jede Antwort mit der Quelle, und deshalb ist ein veralteter oder fehlender Artikel die häufigste Ursache.
Wie messen Sie die Halluzinationsrate eines KI-Agenten?
Zählen Sie die Konversationen, die ein Kriterium für Quellenbezug oder Richtlinien verfehlen, und teilen Sie durch alle bewerteten Konversationen, je Thema. Messen Sie je Thema statt insgesamt, denn eine niedrige Gesamtrate kann eine hohe Rate bei Erstattungen verbergen. Verfolgen Sie sie wöchentlich, solange Sie Quellen korrigieren, und monatlich, sobald sie stabil ist.
Wer ist verantwortlich, wenn ein Chatbot einem Kunden falsche Informationen gibt?
Im Fall Air Canada war es das Unternehmen. Im Februar 2024 entschied ein Tribunal in British Columbia, dass die Airline für alle Informationen auf ihrer Website verantwortlich ist, auch für die Antworten ihres Chatbots, und verurteilte sie zur Zahlung von 812,02 kanadischen Dollar. Das ist eine einzelne Entscheidung über eine geringfügige Forderung in einer Provinz, keine allgemeine Regel, also prüfen Sie das Recht dort, wo Sie tätig sind.
Wie schnell sollten Sie eine Halluzination beheben, wenn Sie sie gefunden haben?
Beheben Sie sie nach Schweregrad. Ziehen Sie ein kritisches Thema noch am selben Tag vom Bot ab oder erzwingen Sie eine Übergabe, und kontaktieren Sie die Kunden, die die falsche Antwort bekommen haben. Korrigieren Sie Quellartikel mit hohem Schweregrad innerhalb von zwei Arbeitstagen und bewerten Sie das Thema danach eine Woche lang neu, um zu bestätigen, dass die Korrektur hält. Niedrigere Schweregrade kommen in die wöchentliche Liste der Inhaltskorrekturen.
