Je spoort AI-hallucinaties van je AI-agent op door elk antwoord van de bot te toetsen aan je eigen content en beleid, niet door te wachten op klachten. Scoor elk gesprek van de AI-agent op onderbouwing en beleid, lees eerst de onderwerpen waarin geld omgaat en herleid elke bevestigde hallucinatie tot het artikel of de regel erachter, zodat de tweede klant nooit hetzelfde foute antwoord krijgt.
In het kort
- Een hallucinatie van een AI-agent is een zelfverzekerd antwoord dat je content niet onderbouwt: een verzonnen beleid, een fout getal, een actie die de bot nooit heeft uitgevoerd.
- Het foute antwoord over een terugbetaling is het gevaarlijkste, omdat klanten ernaar handelen en het bedrijf er verantwoordelijk voor blijft.
- Steekproeven missen hallucinaties: in een rekenvoorbeeld heeft een steekproef van 2% een kans van 23% dat ze geen enkele van 72 foute antwoorden over terugbetalingen bevat.
- Een routine in zes stappen vangt ze: maak een lijst van risicovolle beweringen, schrijf controleerbare criteria, scoor tegen je content, scoor alles, sorteer op ernst en los het op bij de bron.
- QA na het gesprek kan het eerste foute antwoord niet tegenhouden. Wel de volgende honderd, en daar zitten de kosten.
Zet je AI-agents in voor klanten, dan laat onze pagina over kwaliteitscontrole voor AI-agents zien hoe Kaizo elk gesprek van een AI-agent scoort tegen je eigen criteria, met controles op verzonnen feiten en verzonnen beleid. Deze gids is de methode, welke tool je ook gebruikt.
Wat is een AI-hallucinatie in de klantenservice?
Een AI-hallucinatie is een antwoord dat zeker klinkt maar onjuist is of niet wordt onderbouwd door je content. In support gaat het meestal om een beleid, prijs, belofte of feit waarnaar de klant vervolgens handelt.
Het NIST Generative AI Profile (juli 2024) noemt dit confabulatie: “the production of confidently stated but erroneous or false content (known colloquially as ‘hallucinations’ or ‘fabrications’) by which users may be misled or deceived.” Het gaat dus om zelfverzekerd gebrachte maar onjuiste inhoud waardoor gebruikers misleid kunnen worden. Dat laatste weegt in support het zwaarst. Een klant kan een zelfverzekerd fout antwoord niet onderscheiden van een zelfverzekerd juist antwoord.
In de klantenservice vallen hallucinaties in zes soorten. Elke soort vraagt om een andere controle:
| Soort | Voorbeeld | Hoe je het controleert |
|---|---|---|
| Verzonnen beleid | “Je kunt de terugbetaling binnen 60 dagen aanvragen” terwijl het beleid 30 zegt | Vergelijk met het beleidsartikel dat de bot had moeten gebruiken |
| Fout getal | Een oude prijs, verkeerde kosten, een verkeerde levertijd | Vergelijk elk getal in het antwoord met de bron |
| Verzonnen actie | “Ik heb je terugbetaling verwerkt” terwijl de bot geen terugbetalingen kan verwerken | Vergelijk de bewering met de acties die de bot mag uitvoeren |
| Verzonnen uitzondering | Kwijtgescholden kosten of een verlengde termijn die niemand heeft goedgekeurd | Controleer tegen de lijst met uitzonderingen die alleen een mens mag toekennen |
| Fout productfeit | Een functie, limiet van een abonnement of compatibiliteit die niet klopt | Vergelijk met de productdocumentatie |
| Verzonnen bron | Een helpartikel, formulier of link die niet bestaat | Open de link of zoek de titel in het helpcentrum |
Een hallucinatie is één soort stille fout: een fout die een dashboard als succes telt. Ons overzicht van stille fouten van AI-agents behandelt de andere, zoals gemiste escalaties en valse oplossingen.
Waarom is het foute antwoord over een terugbetaling het gevaarlijkste?
Het foute antwoord over een terugbetaling is het gevaarlijkste omdat de klant ernaar handelt en je bedrijf verantwoordelijk blijft voor wat de bot zei. Het maakt van een supportfout een kostenpost, een klacht of een juridische claim.
Het bekendste geval is Moffatt v. Air Canada (februari 2024). De chatbot op de website van de luchtvaartmaatschappij vertelde een klant dat hij na zijn reis nog een rouwtarief kon aanvragen. Het beleid van de maatschappij stond dat niet toe, en de link die de chatbot zelf gaf, verwees naar een pagina waar dat ook stond.
Het Civil Resolution Tribunal van British Columbia verwierp het argument dat de chatbot verantwoordelijk was voor zijn eigen handelen. Het oordeelde dat Air Canada niet redelijk zorgvuldig had nagegaan of zijn chatbot juist was, en veroordeelde de maatschappij tot betaling van 812,02 Canadese dollar. Voor één gesprek is dat een klein bedrag. Hetzelfde antwoord aan elke klant die dezelfde vraag stelde, is dat niet.
Bij geldonderwerpen lijken hallucinaties ook het vaakst behulpzaam. Een bot die een royale termijn voor terugbetaling verzint, levert een tevreden klant, een opgelost gesprek en een goede tevredenheidsscore op, tot het moment waarop de terugbetaling wordt geweigerd.
Waarom missen steekproeven hallucinaties van AI-agents?
Steekproeven missen hallucinaties van AI-agents omdat een hallucinatie over één onderwerp zeldzaam is over alle gesprekken, maar zich binnen dat onderwerp herhaalt. Een kleine willekeurige steekproef bevat te weinig gesprekken over het onderwerp om het patroon te tonen.
Hier is een rekenvoorbeeld met getallen die we hebben gekozen om de rekensom te laten zien, geen data van een klant:
| Stap | Aantal |
|---|---|
| Gesprekken van de AI-agent in een maand | 40.000 |
| Gesprekken over terugbetalingen (6%) | 2.400 |
| Antwoorden over terugbetalingen met een verzonnen voorwaarde (3% van die gesprekken) | 72 |
| Willekeurige QA-steekproef (2% van alle gesprekken) | 800 |
| Verwachte gesprekken over terugbetalingen in die steekproef | 48 |
| Verwachte foute antwoorden over terugbetalingen in die steekproef | 1,44 |
| Kans dat de steekproef er geen enkele bevat | 23% |
| Kans dat ze er geen of één bevat | 58% |
Beide kansen komen uit de binomiale verdeling: 0,97 tot de macht 48 is 0,232, en wie daar de kans op precies één bij optelt, komt op 0,576. In meer dan de helft van de maanden zien je reviewers dus hooguit één fout antwoord over terugbetalingen. Eén lijkt op een uitschieter, dus niemand past het artikel erachter aan.
Scoor je elk gesprek, dan zie je ze alle 72, gegroepeerd op één onderwerp, binnen de week. Daarom telt onze gids over het scoren van 100% van de gesprekken (in het Engels) zwaarder voor bots dan voor mensen: de fouten van een mens liggen verspreid, die van een bot herhalen zich.
AI-hallucinaties opsporen: een routine in zes stappen
Spoor AI-hallucinaties op in zes stappen: maak een lijst van risicovolle beweringen, schrijf controleerbare criteria, scoor tegen je eigen content, scoor elk gesprek, sorteer op ernst en los elke fout op bij de bron. Stap 1 tot 3 richt je één keer in.
Stap 1: maak een lijst van beweringen die geld kosten als ze fout zijn
Begin met de onderwerpen waarin de klant naar het antwoord handelt: terugbetalingen, opzeggingen, kosten, prijzen, leverdata, rechten en accountwijzigingen. Schrijf per onderwerp de beweringen op die de bot doet, zoals “termijn voor terugbetaling”, “opzegkosten” of “welke abonnementen X bevatten”. Die lijst wordt de focus van je scorecard en je eerste beoordelingswachtrij.
Stap 2: schrijf criteria die een reviewer in het transcript kan controleren
Een criterium als “het antwoord is juist” is te vaag om twee keer op dezelfde manier te scoren. Formuleer het zo dat een reviewer, of een geautomatiseerde beoordelaar, de regel kan aanwijzen die slaagt of zakt:
| Criterium | Voldoet als | Voldoet niet als |
|---|---|---|
| Onderbouwd met onze content | Elk feit in het antwoord staat in een helpartikel of beleid dat we publiceren | Het antwoord bevat een feit, getal of voorwaarde die onze content niet noemt |
| Grenzen van het beleid | Terugbetalingen, tegoeden en uitzonderingen blijven binnen het geschreven beleid | De bot biedt of belooft iets wat het beleid niet toestaat |
| Geclaimde acties | De bot zegt alleen dat hij deed wat hij echt kan | De bot zegt dat hij iets heeft verwerkt, opgezegd of gewijzigd wat hij niet kan |
| Onzekerheid | De bot zegt dat hij het niet weet, of draagt over, als de content geen antwoord heeft | De bot vult het gat met een gok |
Onze gids over een QA-rubric schrijven die een AI kan scoren (in het Engels) laat zien hoe je de rest van de scorecard op dezelfde manier formuleert.
Stap 3: scoor tegen je eigen content
Een controle op onderbouwing is maar zo goed als de content waartegen ze controleert. Koppel de beoordelaar aan hetzelfde helpcentrum en dezelfde beleidsartikelen waaruit de bot antwoordt, zodat “niet onderbouwd door onze content” een precieze betekenis heeft.
In Kaizo schrijf je de criteria in je eigen woorden en koppel je je kennisbank, zodat de AI elk antwoord beoordeelt tegen jouw content.
Stap 4: scoor elk gesprek van de AI-agent
Scoor ze allemaal, want het rekenvoorbeeld hierboven laat zien wat een steekproef verbergt. AutoPilot van Kaizo scoort elk gesprek tegen jouw criteria zodra het is afgehandeld en zet er een opmerking bij die de score uitlegt. Je bepaalt welke wachtrijen, kanalen of teams worden gescoord, zodat de geldonderwerpen vanaf dag één zijn gedekt.
Stap 5: sorteer op ernst, niet op datum
Niet elke hallucinatie vraagt om dezelfde reactie. Een regel voor de ernst houdt het team bij de fouten die geld kosten:
| Ernst | Hoe het eruitziet | Reactie |
|---|---|---|
| Kritiek | Verzonnen terugbetaling, kwijtgescholden kosten, juridische of veiligheidsclaim, een belofte die het bedrijf moet nakomen of intrekken | Dezelfde dag: neem contact op met de betrokken klanten, haal het onderwerp bij de bot weg of dwing een overdracht af tot het is opgelost |
| Hoog | Fout getal of foute voorwaarde bij een geldonderwerp, verzonnen actie | Binnen 2 werkdagen: pas het bronartikel aan, scoor het onderwerp opnieuw |
| Middel | Fout productfeit zonder kosten, verzonnen link | In de wekelijkse lijst met contentcorrecties |
| Laag | Onschuldig detail, zoals een fout voorbeeld van openingstijden van een winkel | Bundelen met de maandelijkse contentreview |
Stap 6: herleid elke hallucinatie tot de bron en scoor opnieuw
De meeste hallucinaties komen voort uit iets wat je kunt oplossen: een verouderd helpartikel, twee artikelen die elkaar tegenspreken, een voorwaarde onderaan een pagina of een onderwerp zonder artikel.
Los de bron op en scoor dat onderwerp de week erna opnieuw om te bevestigen dat de correctie standhoudt. De grondoorzaakanalyse van Kaizo groepeert de fouten achter een dip, zodat tien slechte antwoorden uit één artikel één correctie worden.
Welke signalen wijzen op een hallucinatie?
Het gedrag van de klant na het gesprek is het goedkoopste signaal van een hallucinatie: herhaalde contacten, betwistingen en correcties door medewerkers. Gebruik die signalen om te kiezen welke gesprekken je eerst leest.
- De klant komt binnen 7 dagen terug over hetzelfde onderwerp, vaak via een ander kanaal.
- De klant citeert de bot tegenover een medewerker: “jullie assistent zei dat”.
- Een medewerker trekt iets in of corrigeert iets wat de bot heeft beloofd.
- Op een botgesprek over dat onderwerp volgt een verzoek om een terugbetaling, tegoed of uitzondering.
- Het antwoord van de bot bevat een getal, datum of link die niet in het bronartikel staat.
- De klant protesteert (“dat staat niet op jullie website”) en de bot herhaalt zichzelf.
Elk signaal is ook een criterium op de scorecard of een filter. Vooral de signalen rond de overdracht horen op de scorecard, zoals onze gids over het scoren van de overdracht uitlegt.
Wat QA na het gesprek niet kan
QA na het gesprek kan het eerste foute antwoord niet tegenhouden, omdat ze gesprekken scoort nadat ze zijn afgelopen. Ze voorkomt wel dat hetzelfde foute antwoord de volgende klanten bereikt, en ze vindt wie het al heeft gekregen.
Kaizo scoort gesprekken nadat ze zijn afgelopen, in de helpdesk waar ze staan. Kaizo volgt de bot niet live en blokkeert geen antwoord voordat het wordt verstuurd.
Guardrails die draaien terwijl de bot antwoordt, en tests voor de lancering, zoals regressietests op prompts in een ontwikkelpipeline, horen bij het team dat de agent bouwt. Dat zijn andere fasen, en ze lopen naast QA.
Wat scoring na het gesprek toevoegt, is het deel dat de andere fasen niet zien: wat de bot echte klanten werkelijk heeft verteld, in elk gesprek, met het transcript achter elke bevinding. Dat is ook het bewijs dat je nodig hebt om de klanten met een fout antwoord te benaderen voordat ze er zelf achter komen.
Zo begin je deze maand met het opsporen van hallucinaties
Begin met één geldonderwerp, vier criteria en elk gesprek over dat onderwerp gedurende twee weken. Dat is genoeg om je eerste bron te vinden die je moet aanpassen en om je hallucinatiepercentage te meten.
- Kies het onderwerp waarin een fout antwoord het meest kost, meestal terugbetalingen of opzeggingen.
- Voeg de vier criteria uit stap 2 toe aan de scorecard van de bot.
- Scoor twee weken lang elk gesprek van de AI-agent over dat onderwerp.
- Tel de gesprekken die zakken op een criterium voor onderbouwing of beleid en deel dat door alle gesprekken over het onderwerp. Dat is je hallucinatiepercentage voor dat onderwerp.
- Pas de belangrijkste bron aan, scoor een week opnieuw en vergelijk.
Bekijk het in een live demo. Kaizo scoort elk gesprek van een AI-agent tegen je eigen content en criteria, en koppelt elk criterium waarop het antwoord zakt aan de regel die zakte. Plan een gesprek.
Veelgestelde vragen
Kun je voorkomen dat een AI-chatbot ooit hallucineert?
Geen enkele huidige methode garandeert dat. De bot onderbouwen met je content, zijn onderwerpen beperken en een overdracht afdwingen als hij geen antwoord heeft, verminderen hallucinaties allemaal. Wat je wel kunt garanderen, is dat je ze vindt: scoor elk gesprek tegen je content, zodat een fout antwoord wordt opgemerkt in de eerste gesprekken waarin het opduikt, niet pas na een klacht.
Voorkomt een kennisbank dat een AI-agent dingen verzint?
Een kennisbank verkleint het probleem, maar neemt het niet weg. Een bot die uit je kennisbank antwoordt, kan nog steeds twee artikelen verkeerd combineren, een verouderd artikel gebruiken of een gat vullen waar geen artikel bestaat. Daarom vergelijkt de controle op onderbouwing elk antwoord met de bron, en daarom is een verouderd of ontbrekend artikel de meest voorkomende grondoorzaak.
Hoe meet je het hallucinatiepercentage van een AI-agent?
Tel de gesprekken die zakken op een criterium voor onderbouwing of beleid en deel dat door alle gescoorde gesprekken, per onderwerp. Meet per onderwerp en niet over het geheel, want een laag totaalpercentage kan een hoog percentage bij terugbetalingen verbergen. Volg het wekelijks zolang je bronnen aanpast, en maandelijks zodra het stabiel is.
Wie is verantwoordelijk als een chatbot een klant verkeerde informatie geeft?
In de zaak van Air Canada was dat het bedrijf. In februari 2024 oordeelde een tribunaal in British Columbia dat de luchtvaartmaatschappij verantwoordelijk was voor alle informatie op haar website, ook de antwoorden van haar chatbot, en veroordeelde het haar tot betaling van 812,02 Canadese dollar. Dat is één uitspraak over een kleine vordering in één provincie, geen algemene regel, dus ga na wat het recht zegt waar je actief bent.
Hoe snel moet je een hallucinatie oplossen als je die vindt?
Los het op naar ernst. Haal een kritiek onderwerp dezelfde dag bij de bot weg of dwing een overdracht af, en neem contact op met de klanten die het foute antwoord kregen. Pas bronartikelen met een hoge ernst binnen twee werkdagen aan en scoor het onderwerp daarna een week opnieuw om te bevestigen dat de correctie standhoudt. Lagere ernst kan op de wekelijkse lijst met contentcorrecties.
