Le allucinazioni degli agenti AI si scoprono verificando ogni risposta del bot rispetto ai suoi contenuti e alle sue policy, non aspettando i reclami. Valuti ogni conversazione dell’agente AI su criteri di aderenza ai contenuti e di policy, legga per primi gli argomenti che toccano il denaro e riconduca ogni allucinazione confermata all’articolo o alla regola che la origina, così il secondo cliente non riceverà mai la stessa risposta sbagliata.
In sintesi
- Un’allucinazione di un agente AI è una risposta sicura di sé che i suoi contenuti non supportano: una policy inventata, un numero sbagliato, un’azione che il bot non ha mai compiuto.
- La risposta sbagliata su un rimborso è quella da temere, perché il cliente agisce di conseguenza e l’azienda ne resta responsabile.
- I campioni non vedono le allucinazioni: in un esempio pratico, un campione del 2% ha il 23% di probabilità di non mostrare nessuna di 72 risposte sbagliate sui rimborsi.
- Una routine in sei passi le intercetta: elencare le affermazioni a rischio, scrivere criteri verificabili, valutare rispetto ai propri contenuti, valutare tutto, smistare per gravità, correggere alla fonte.
- Il QA dopo la conversazione non può fermare la prima risposta sbagliata. Ferma le cento successive, ed è lì che sta il costo.
Se ha agenti AI che parlano con i clienti, la nostra pagina sul controllo qualità degli agenti AI mostra come Kaizo valuta ogni conversazione dell’agente AI rispetto ai suoi criteri, comprese le verifiche su fatti e policy inventati. Questa guida è il metodo, qualunque strumento usi.
Che cos’è un’allucinazione di un agente AI nel servizio clienti?
Un’allucinazione di un agente AI è una risposta che sembra certa ma è falsa o non è supportata dai suoi contenuti. Nell’assistenza prende di solito la forma di una policy, un prezzo, una promessa o un fatto su cui il cliente poi agisce.
Il NIST Generative AI Profile (luglio 2024) la chiama confabulazione: “the production of confidently stated but erroneous or false content (known colloquially as ‘hallucinations’ or ‘fabrications’) by which users may be misled or deceived”, cioè la produzione di contenuti errati o falsi presentati con sicurezza, che possono trarre in inganno gli utenti. Nell’assistenza conta soprattutto l’ultima parte. Un cliente non sa distinguere una risposta sbagliata data con sicurezza da una giusta data con la stessa sicurezza.
Nel servizio clienti le allucinazioni rientrano in sei tipi. Ognuno richiede una verifica diversa:
| Tipo | Esempio | Come verificarlo |
|---|---|---|
| Policy inventata | “Può chiedere il rimborso entro 60 giorni” quando la policy dice 30 | Confrontare con l’articolo sulla policy che il bot avrebbe dovuto usare |
| Numero sbagliato | Un prezzo vecchio, una commissione sbagliata, un tempo di consegna errato | Confrontare ogni numero della risposta con la fonte |
| Azione inventata | “Ho elaborato il suo rimborso” quando il bot non può elaborare rimborsi | Confrontare l’affermazione con le azioni che il bot è autorizzato a compiere |
| Eccezione inventata | Una commissione annullata o una scadenza prorogata che nessuno ha approvato | Verificare l’elenco delle eccezioni che solo una persona può concedere |
| Fatto di prodotto sbagliato | Una funzione, un limite del piano o una compatibilità che non è vera | Confrontare con la documentazione del prodotto |
| Fonte inventata | Un articolo di assistenza, un modulo o un link che non esiste | Aprire il link o cercare il titolo nel centro assistenza |
Un’allucinazione è un tipo di errore silenzioso, uno di quegli errori che una dashboard conta come successi. La nostra classificazione degli errori silenziosi degli agenti AI copre gli altri, come le escalation mancate e le false risoluzioni.
Perché la risposta sbagliata su un rimborso è quella da temere?
È quella da temere perché il cliente agisce di conseguenza, e la sua azienda resta responsabile di ciò che il bot ha detto. Trasforma un errore di assistenza in un costo, un reclamo o una causa legale.
Il caso più noto è Moffatt v. Air Canada (febbraio 2024). Il chatbot del sito della compagnia aerea aveva detto a un cliente che una tariffa per lutto si poteva chiedere dopo il viaggio. La policy della compagnia non lo consentiva, e il link fornito dallo stesso chatbot portava a una pagina che lo diceva.
Il Civil Resolution Tribunal della Columbia Britannica ha respinto la tesi secondo cui il chatbot era responsabile delle proprie azioni. Ha stabilito che Air Canada “did not take reasonable care to ensure its chatbot was accurate”, ossia non aveva fatto il ragionevole per garantire che il chatbot fosse accurato, e l’ha condannata a pagare 812,02 dollari canadesi. Per una conversazione è una cifra modesta. La stessa risposta ripetuta a ogni cliente che fa la stessa domanda non lo è.
Gli argomenti legati al denaro sono anche quelli in cui le allucinazioni sembrano più utili. Un bot che inventa un termine di rimborso generoso produce un cliente contento, una conversazione risolta e un buon punteggio di soddisfazione, fino al momento in cui il rimborso viene rifiutato.
Perché i campioni non vedono le allucinazioni degli agenti AI?
Perché un’allucinazione su un argomento è rara sul totale delle conversazioni ma si ripete all’interno di quell’argomento. Un piccolo campione casuale vede troppo poche conversazioni su quell’argomento per mostrare lo schema.
Ecco un esempio pratico con numeri che abbiamo scelto per mostrare il calcolo, non dati di un cliente:
| Passaggio | Numero |
|---|---|
| Conversazioni dell’agente AI in un mese | 40.000 |
| Conversazioni sui rimborsi (6%) | 2.400 |
| Risposte sui rimborsi con una condizione inventata (3% delle conversazioni sui rimborsi) | 72 |
| Campione casuale di QA (2% di tutte le conversazioni) | 800 |
| Conversazioni sui rimborsi attese nel campione | 48 |
| Risposte sbagliate sui rimborsi attese nel campione | 1,44 |
| Probabilità che il campione non ne contenga nessuna | 23% |
| Probabilità che ne contenga nessuna o una | 58% |
Le due probabilità vengono dalla distribuzione binomiale: 0,97 elevato alla 48 fa 0,232, e aggiungendo la probabilità di esattamente una si arriva a 0,576. Quindi in più della metà dei mesi i suoi revisori vedono al massimo una risposta sbagliata sui rimborsi. Una sola sembra un caso isolato, e nessuno corregge l’articolo che la origina.
Valutando ogni conversazione le vede tutte e 72, raggruppate su un unico argomento, entro la settimana. Per questo la nostra guida su come valutare il 100% delle conversazioni (in inglese) conta più per i bot che per le persone: gli errori di una persona sono sparsi, quelli di un bot si ripetono.
Come scoprire le allucinazioni degli agenti AI: una routine in sei passi
Le allucinazioni degli agenti AI si scoprono in sei passi: elencare le affermazioni a rischio, scrivere criteri verificabili, valutare rispetto ai propri contenuti, valutare ogni conversazione, smistare per gravità e correggere ognuna alla fonte. I passi da 1 a 3 si impostano una volta sola.
Passo 1: elencare le affermazioni che costano denaro se sbagliate
Parta dagli argomenti in cui il cliente agisce in base alla risposta: rimborsi, cancellazioni, commissioni, prezzi, date di consegna, requisiti di idoneità e modifiche all’account. Per ogni argomento annoti le affermazioni che il bot fa, come “termine di rimborso”, “penale di cancellazione” o “quali piani includono X”. Questo elenco diventa il fulcro della sua scheda di valutazione e la sua prima coda di revisione.
Passo 2: scrivere criteri che un revisore può verificare sulla trascrizione
Un criterio come “la risposta è accurata” è troppo vago per essere valutato due volte allo stesso modo. Lo scriva in modo che un revisore, o un valutatore automatico, possa indicare la riga che lo supera o non lo supera:
| Criterio | Superato quando | Non superato quando |
|---|---|---|
| Aderenza ai nostri contenuti | Ogni fatto della risposta compare in un articolo di assistenza o in una policy che pubblichiamo | La risposta contiene un fatto, un numero o una condizione che i nostri contenuti non riportano |
| Limiti di policy | Rimborsi, crediti ed eccezioni restano entro la policy scritta | Il bot offre o promette qualcosa che la policy non consente |
| Azioni dichiarate | Il bot dice di aver fatto solo ciò che può fare davvero | Il bot dice di aver elaborato, cancellato o modificato qualcosa che non può |
| Incertezza | Il bot dice di non sapere, o passa la conversazione, quando i contenuti non hanno una risposta | Il bot colma la lacuna con un’ipotesi |
La nostra guida su come scrivere una rubrica di QA che un’AI può valutare (in inglese) mostra come formulare allo stesso modo il resto della scheda di valutazione.
Passo 3: valutare rispetto ai propri contenuti
Una verifica di aderenza vale quanto i contenuti su cui si basa. Colleghi il valutatore agli stessi articoli del centro assistenza e alle stesse policy da cui risponde il bot, così “non supportato dai nostri contenuti” ha un significato preciso.
In Kaizo scrive i criteri con parole sue e collega la sua knowledge base, così l’AI giudica ogni risposta rispetto ai suoi contenuti.
Passo 4: valutare ogni conversazione dell’agente AI
Le valuti tutte, perché l’esempio pratico qui sopra mostra che cosa nasconde un campione. AutoPilot di Kaizo valuta ogni conversazione rispetto ai suoi criteri quando viene risolta e allega un commento che spiega il punteggio. Può definire quali code, canali o team valutare, così gli argomenti legati al denaro sono coperti dal primo giorno.
Passo 5: smistare per gravità, non per data
Non tutte le allucinazioni richiedono la stessa risposta. Una regola di gravità tiene il team concentrato su quelle che costano denaro:
| Gravità | Come si presenta | Risposta |
|---|---|---|
| Critica | Rimborso inventato, commissione annullata, affermazione legale o di sicurezza, una promessa che l’azienda deve onorare o ritirare | In giornata: contattare i clienti coinvolti, togliere l’argomento al bot o forzare il passaggio a un operatore fino alla correzione |
| Alta | Numero o condizione sbagliati su un argomento legato al denaro, azione inventata | Entro 2 giorni lavorativi: correggere l’articolo di origine, rivalutare l’argomento |
| Media | Fatto di prodotto sbagliato senza costi, link inventato | Nell’elenco settimanale delle correzioni ai contenuti |
| Bassa | Dettaglio innocuo, come un esempio sbagliato di orari di un negozio | Insieme alla revisione mensile dei contenuti |
Passo 6: ricondurre ogni allucinazione alla sua fonte e rivalutare
La maggior parte delle allucinazioni nasce da qualcosa che si può correggere: un articolo di assistenza superato, due articoli che si contraddicono, una condizione sepolta in fondo a una pagina o un argomento senza alcun articolo.
Corregga la fonte, poi rivaluti quell’argomento nella settimana successiva per confermare che la correzione tiene. L’analisi della causa radice di Kaizo raggruppa gli errori dietro un calo, così dieci risposte sbagliate da un unico articolo diventano una sola correzione.
Quali segnali indicano un’allucinazione?
Il comportamento del cliente dopo la conversazione è il segnale di allucinazione più economico: contatti ripetuti, contestazioni e rettifiche da parte degli operatori. Usi questi segnali per scegliere quali conversazioni leggere per prime.
- Il cliente torna entro 7 giorni sullo stesso argomento, spesso su un altro canale.
- Il cliente cita il bot a un operatore: “il vostro assistente mi ha detto”.
- Un operatore ritira o corregge qualcosa che il bot aveva promesso.
- Una richiesta di rimborso, credito o eccezione segue una conversazione del bot su quell’argomento.
- La risposta del bot contiene un numero, una data o un link che non compare nell’articolo di origine.
- Il cliente obietta (“non è quello che dice il vostro sito”) e il bot ripete la stessa risposta.
Ogni segnale è anche un criterio della scheda di valutazione o un filtro. I segnali legati al passaggio di consegne, in particolare, vanno nella scheda di valutazione, come spiega la nostra guida sulla valutazione del passaggio tra AI e operatore umano.
Che cosa non può fare il QA dopo la conversazione
Il QA dopo la conversazione non può fermare la prima risposta sbagliata, perché valuta le conversazioni una volta concluse. Impedisce che la stessa risposta sbagliata raggiunga i clienti successivi e trova chi l’ha già ricevuta.
Kaizo valuta le conversazioni dopo la loro conclusione, nell’helpdesk in cui si trovano. Non monitora il bot in tempo reale e non blocca una risposta prima che venga inviata.
I guardrail che agiscono mentre il bot risponde e i test prima del lancio, come i test di regressione dei prompt in una pipeline di sviluppo, spettano al team che costruisce l’agente. Sono fasi diverse e procedono in parallelo al QA.
Ciò che la valutazione dopo la conversazione aggiunge è la parte che le altre fasi non vedono: che cosa il bot ha detto davvero ai clienti reali, in ogni conversazione, con la trascrizione dietro ogni riscontro. È anche la prova che le serve per contattare i clienti che hanno ricevuto una risposta sbagliata prima che se ne accorgano da soli.
Come iniziare a scoprire le allucinazioni questo mese
Parta da un argomento legato al denaro, quattro criteri e ogni conversazione su quell’argomento per due settimane. Basta per trovare la prima fonte da correggere e misurare il suo tasso di allucinazioni.
- Scelga l’argomento in cui una risposta sbagliata costa di più, di solito rimborsi o cancellazioni.
- Aggiunga alla scheda di valutazione del bot i quattro criteri del passo 2.
- Valuti ogni conversazione dell’agente AI su quell’argomento per due settimane.
- Conti le conversazioni che non superano un criterio di aderenza o di policy e le divida per tutte le conversazioni sull’argomento. È il suo tasso di allucinazioni per quell’argomento.
- Corregga la fonte principale, rivaluti per una settimana e confronti.
Lo veda in una demo dal vivo. Kaizo valuta ogni conversazione dell’agente AI rispetto ai suoi contenuti e ai suoi criteri, e collega ogni criterio non superato alla riga che lo ha fatto fallire. Parliamone.
Domande frequenti
Si può impedire del tutto a un chatbot AI di avere allucinazioni?
Nessun metodo attuale lo garantisce. Basare il bot sui suoi contenuti, limitarne gli argomenti e forzare il passaggio a un operatore quando manca una risposta riducono tutti le allucinazioni. Quello che può garantire è di trovarle: valuti ogni conversazione rispetto ai suoi contenuti, così una risposta sbagliata viene intercettata nelle prime conversazioni in cui compare, non dopo un reclamo.
Una knowledge base impedisce a un agente AI di inventare?
Riduce il problema ma non lo elimina. Un bot che risponde dalla sua knowledge base può comunque combinare male due articoli, usarne uno superato o colmare una lacuna dove non esiste alcun articolo. Per questo la verifica di aderenza confronta ogni risposta con la fonte, e per questo un articolo superato o mancante è la causa radice più comune.
Come si misura il tasso di allucinazioni di un agente AI?
Conti le conversazioni che non superano un criterio di aderenza o di policy e le divida per tutte le conversazioni valutate, per argomento. Misuri per argomento e non sul totale, perché un tasso complessivo basso può nascondere un tasso alto sui rimborsi. Lo segua ogni settimana mentre corregge le fonti, poi ogni mese quando si è stabilizzato.
Chi è responsabile quando un chatbot dà a un cliente informazioni sbagliate?
Nel caso Air Canada lo era l’azienda. Nel febbraio 2024 un tribunale della Columbia Britannica ha stabilito che la compagnia aerea era responsabile di tutte le informazioni presenti sul suo sito, comprese le risposte del chatbot, e l’ha condannata a pagare 812,02 dollari canadesi. È una sola decisione su una controversia di modesta entità in una sola provincia, non una regola generale, quindi verifichi la legge del paese in cui opera.
Quanto in fretta va corretta un’allucinazione una volta trovata?
In base alla gravità. Tolga al bot un argomento critico o forzi il passaggio a un operatore in giornata, e contatti i clienti che hanno ricevuto la risposta sbagliata. Corregga gli articoli di origine ad alta gravità entro due giorni lavorativi, poi rivaluti l’argomento per una settimana per confermare che la correzione tiene. Le gravità minori possono finire nell’elenco settimanale delle correzioni ai contenuti.
