Responsabilità del chatbot AI: chi risponde dell'agente AI?

Nella maggior parte dei casi sì: l’azienda che mette un agente AI davanti ai clienti risponde di ciò che quell’agente dice loro. Nel caso Moffatt contro Air Canada, un tribunale canadese ha ritenuto la compagnia aerea responsabile della risposta sbagliata del suo chatbot, esattamente come lo sarebbe stata per una pagina web sbagliata. Un disclaimer non sposta questa responsabilità sul bot o sul suo fornitore.

Questo articolo spiega casi, regole e controlli pratici per chi guida l’assistenza. Sono informazioni generali, non consulenza legale: per il suo mercato e i suoi contratti, si rivolga a un legale.

In breve

• La responsabilità del chatbot AI parte da una regola antica: un’azienda risponde delle informazioni che dà ai clienti, qualunque sia il canale o il sistema che le fornisce.
• Nel caso Moffatt contro Air Canada (2024), il tribunale ha definito “un’argomentazione notevole” l’idea che un chatbot sia responsabile delle proprie azioni e ha condannato la compagnia a pagare.
• Un disclaimer del tipo “l’AI può commettere errori” non è uno scudo: le norme sulle clausole abusive, quelle sulla responsabilità da prodotto e le autorità di vigilanza ne limitano la portata.
• Quando un cliente contesta una promessa dell’AI, è in posizione più forte chi ha la trascrizione, la versione della policy e la versione dell’agente in vigore quel giorno.
• La regola operativa più sicura è onorare, correggere e rivedere: mantenere le promesse ragionevoli, contattare tutti quelli che hanno ricevuto la stessa risposta sbagliata e correggere la causa prima della conversazione successiva.

Un’azienda è responsabile di ciò che il suo chatbot AI dice ai clienti?

Sì, nel caso deciso che tutti citano. Nel caso Moffatt contro Air Canada, il Civil Resolution Tribunal della Columbia Britannica ha trattato il chatbot come parte del sito web della compagnia aerea e l’ha ritenuta responsabile per dichiarazione negligente ingannevole (negligent misrepresentation) quando un cliente si è fidato della sua risposta sbagliata.

I fatti sono semplici (decisione 2024 BCCRT 149, in inglese, emessa il 14 febbraio 2024). Nel novembre 2022, dopo un lutto in famiglia, un cliente ha chiesto al chatbot del sito di Air Canada informazioni sulle tariffe per lutto. Il chatbot ha risposto che poteva prenotare subito e chiedere la tariffa ridotta entro 90 giorni dall’emissione del biglietto, anche dopo il viaggio. La pagina sulle tariffe per lutto a cui rimandava diceva il contrario. Un rappresentante di Air Canada ha poi ammesso in un’email che il chatbot aveva usato “parole fuorvianti” (paragrafo 22).

Il tribunale ha esaminato la domanda alla luce dei cinque elementi della dichiarazione negligente ingannevole (paragrafo 25). Ognuno corrisponde a una conversazione di assistenza:

Air Canada ha sostenuto di non poter essere ritenuta responsabile del proprio chatbot. Il tribunale ha risposto: “Dovrebbe essere ovvio per Air Canada che è responsabile di tutte le informazioni presenti sul suo sito web. Non fa differenza che le informazioni provengano da una pagina statica o da un chatbot” (paragrafo 27). La condanna è stata di 812,02 dollari canadesi, inclusi interessi e spese (paragrafo 44).

Il caso va letto nelle giuste proporzioni. È una decisione su una controversia di modesto valore in una sola provincia canadese, non vincola alcun giudice altrove e non ha esaminato se il fornitore del chatbot dovesse qualcosa alla compagnia aerea. Il suo valore sta nel ragionamento, che applica le regole ordinarie con cui ogni azienda convive già. Per il modello operativo che ci sta intorno, parta dalla guida alla governance degli agenti AI.

Chi è responsabile quando l’AI sbaglia: l’azienda, il fornitore o l’AI?

Verso il cliente, nella maggior parte dei casi è responsabile l’azienda che impiega l’agente AI, perché l’agente parla a suo nome. L’AI in sé non è una persona giuridica. La quota del fornitore dipende soprattutto dal contratto e, nell’UE, dalle norme sulla responsabilità da prodotto, che coprono lesioni personali, danni a beni e perdita di dati, non una risposta sbagliata su un rimborso.

Tre livelli decidono chi paga:

1. Lei e il cliente. Diritto dei consumatori, contratto e regole sulle dichiarazioni ingannevoli si applicano a ciò che dicono i suoi canali. Il cliente non ha bisogno di sapere quale fornitore ha costruito il modello.
2. Lei e il fornitore. Garanzie, manleve e massimali di responsabilità nel contratto con il fornitore decidono se può recuperare una perdita. Molti contratti dei fornitori limitano o escludono la responsabilità per l’accuratezza degli output, quindi li legga prima del lancio, non dopo un incidente.
3. Il livello europeo della responsabilità da prodotto. La nuova direttiva sulla responsabilità per danno da prodotti difettosi, (UE) 2024/2853, stabilisce che il software è un prodotto (articolo 4, punto 1), che funzioni su un dispositivo, nel cloud o come servizio (considerando 13). Si applica ai prodotti immessi sul mercato o messi in servizio dopo il 9 dicembre 2026 (articolo 2, paragrafo 1), la stessa data entro cui gli Stati membri devono recepirla (articolo 22, paragrafo 1).

Per l’assistenza la direttiva conta meno di quanto suggeriscano i titoli. Copre morte, lesioni personali compresi i danni alla salute psicologica, danni a beni e distruzione o corruzione di dati non usati a fini professionali (articolo 6). Il considerando 24 chiarisce che la perdita puramente economica non fa scattare da sola la responsabilità prevista dalla direttiva. Una promessa sbagliata su un rimborso o una commissione è una perdita puramente economica, quindi resta nel campo del diritto dei consumatori e dei contratti. Dove la direttiva si applica, la responsabilità verso il danneggiato non può essere limitata o esclusa da una clausola contrattuale (articolo 15).

Qui conta la differenza tra chatbot e agente AI. Un chatbot che si limita a rispondere fa solo dichiarazioni. Un agente che emette rimborsi, annulla ordini o modifica account crea anche transazioni, quindi un errore non è più solo una risposta fuorviante: è un’azione eseguita dai suoi sistemi. Per questo le azioni che un agente può compiere da solo vanno definite in una matrice dei livelli di autonomia, non solo nel prompt.

Un disclaimer del tipo “l’AI può commettere errori” protegge l’azienda?

Non molto, e non da solo. Un disclaimer può aiutare i clienti a valutare una risposta e supporta gli obblighi di trasparenza, ma non rende accurata una risposta fuorviante. Giudici e autorità guardano a ciò che è stato detto al cliente e se era ragionevole fidarsene, e il diritto dei consumatori limita le clausole che spostano questo rischio sul cliente.

Quattro limiti ricorrono di continuo:

• L’affidamento ragionevole sopravvive a un link. La risposta del chatbot di Air Canada rimandava alla pagina corretta della policy. Il tribunale si è comunque chiesto perché i clienti “dovrebbero verificare le informazioni trovate in una parte del sito web in un’altra parte” (paragrafo 28).
• Le clausole vanno dimostrate e devono essere eque. Air Canada ha richiamato la propria tariffa ma non ne ha depositato il testo pertinente, quindi “non ha dimostrato una difesa contrattuale” (paragrafo 31). Nel Regno Unito una clausola abusiva in un contratto con il consumatore “non è vincolante per il consumatore” (Consumer Rights Act 2015, sezione 62, in inglese).
• Alcune responsabilità non si possono escludere affatto. Secondo la direttiva europea sulla responsabilità da prodotto, una clausola contrattuale non può limitare o escludere la responsabilità verso il danneggiato (articolo 15).
• Le autorità guardano oltre le etichette. Quando la FTC ha annunciato la sua operazione Operation AI Comply il 25 settembre 2024, l’allora presidente Lina Khan ha dichiarato che “non esiste alcuna esenzione per l’AI dalle leggi in vigore”.

Un disclaimer che dice ai clienti che stanno parlando con un’AI è un’altra cosa, e nell’UE ora è obbligatorio. Lo mantenga, e lo mantenga onesto. Solo, non lo consideri il presidio che la tiene al riparo dai problemi. Il presidio è un agente che non fa la promessa sbagliata.

Che cosa si aspettano le regole di USA, UE e Regno Unito dagli agenti AI nell’assistenza clienti?

Tutte e tre si aspettano lo stesso comportamento di fondo: dire la verità ai clienti, non ingannarli e restare responsabili dei sistemi che parlano con loro. L’UE aggiunge un obbligo esplicito di dichiarare l’AI, la FCA britannica applica il suo Consumer Duty alle società finanziarie che usano l’AI, e le autorità statunitensi applicano le leggi esistenti a tutela dei consumatori alle affermazioni sull’AI e ai malfunzionamenti dei chatbot.

Le aspettative britanniche sono le più concrete per i team di assistenza delle società regolamentate. Nel suo AI Update di aprile 2024 (in inglese), la FCA ha scritto che i chatbot AI possono aiutare i clienti a capire i prodotti, ma “le imprese dovrebbero considerare i propri obblighi ai sensi del Consumer Duty” (paragrafo 3.25). Richiama le regole sulla comprensione da parte dei consumatori relative al soddisfacimento delle loro esigenze informative (paragrafo 3.36) e afferma che in banche, assicurazioni e imprese soggette al regime enhanced SM&CR qualsiasi uso dell’AI in un’area di business rientra nelle responsabilità di un Senior Manager (paragrafo 3.40). In pratica: un responsabile nominativo per ogni agente, dati sugli esiti delle sue conversazioni e una traccia che il consiglio di amministrazione li ha esaminati.

Il documento del CFPB precisa di non essere un’interpretazione di alcuna norma. Per il dettaglio europeo, comprese classi di rischio e scadenze, veda la guida all’AI Act nel servizio clienti.

Quali impegni può prendere un agente AI con i clienti?

Un agente AI può spiegare la policy con le parole del testo approvato, confermare fatti che un sistema ha appena restituito e impegnarsi su un esito solo quando uno strumento lo ha eseguito entro i suoi limiti. Non dovrebbe mai concedere eccezioni, promettere risarcimenti, dare consulenza legale o finanziaria, né indicare una data o un importo che non ha ricevuto da un sistema.

La tabella funziona perché trasforma “essere accurati” in regole che un revisore può verificare su una trascrizione. L’insieme completo dei limiti, con valori per azione, è nella guida ai guardrail per gli agenti AI, e i tipi di risposte inventate da cercare sono in come individuare le allucinazioni degli agenti AI.

Quali prove servono quando un cliente contesta una promessa dell’AI?

Deve poter mostrare che cosa ha detto l’agente, parola per parola e con data e ora, quale policy e quali contenuti avrebbe dovuto usare quel giorno, quale versione dell’agente era attiva, che cosa ha fatto davvero ogni strumento e come è stata verificata la conversazione. Senza questa documentazione, lo screenshot del cliente è l’unica prova, e di solito vince.

La decisione su Air Canada mostra quanto costa un fascicolo vuoto. Il cliente ha depositato uno screenshot della risposta del chatbot. La compagnia aerea “non ha fornito alcuna informazione sulla natura del suo chatbot” (paragrafo 14), non ha depositato la tariffa su cui si basava (paragrafo 31) e non ha offerto prove della vera tariffa per lutto, quindi il tribunale ha tratto una conclusione sfavorevole e ha usato la cifra del cliente (paragrafo 36).

Conservi queste sette registrazioni per ogni conversazione dell’agente AI, per il periodo indicato dai suoi team reclami e legale:

1. La trascrizione completa, non modificata, con data, ora e canale.
2. La versione dell’agente: modello, prompt o istruzioni e configurazione in vigore.
3. La versione dei contenuti: quali articoli di aiuto e testi di policy l’agente poteva usare quel giorno.
4. Chiamate agli strumenti e risultati: che cosa l’agente ha chiesto a un sistema di fare, e che cosa il sistema ha restituito.
5. La dichiarazione sull’AI che il cliente ha visto, e se gli è stato offerto il passaggio a una persona.
6. La registrazione della revisione: punteggio, revisore o controllo automatico, ed eventuali segnalazioni.
7. Il registro delle correzioni: che cosa è cambiato dopo una segnalazione, quando e chi lo ha approvato.

La registrazione più difficile da ricostruire a posteriori è il legame tra date e versioni: “quale finestra di reso ha applicato l’agente il 3 marzo?” La metta per iscritto a ogni rilascio. La gestione delle policy degli agenti AI spiega come mantenere allineate le versioni delle policy e i contenuti dell’agente.

Come gestire una promessa sbagliata del suo agente AI?

Onorare, correggere, rivedere. Onori la promessa quando il cliente vi ha fatto ragionevole affidamento e il costo è proporzionato. La corregga con tutti gli altri clienti che hanno ricevuto la stessa risposta, prima che agiscano. Riveda la causa e confermi la correzione sulle nuove conversazioni. Contestare una singola richiesta di piccolo importo di solito costa più di quanto si risparmi.

Onorare. Fissi in anticipo una regola scritta, di cui sono responsabili il Head of CX e l’ufficio legale: per esempio, onorare qualsiasi promessa dell’agente AI sotto un certo importo quando il cliente ha agito di conseguenza, e inviare quelle più alte a un approvatore nominativo entro un giorno lavorativo. Air Canada aveva offerto un buono da 200 dollari, che il cliente non ha accettato, e il tribunale si è rifiutato di detrarlo (paragrafo 41). Un gesto commerciale non è una transazione se il cliente non lo accetta.

Correggere. Cerchi o valuti ogni conversazione sullo stesso tema da quando è iniziato l’errore, elenchi i clienti che hanno ricevuto la risposta sbagliata e contatti quelli che non hanno ancora agito. L’audit del tasso di risoluzione degli agenti AI spiega come verificare se le conversazioni “risolte” lo erano davvero.

Rivedere. Trovi la causa (un articolo non aggiornato, una regola mancante, una modifica al prompt), la corregga, rifaccia i test, poi controlli le conversazioni successive su quel tema per confermare che la correzione regge.

Un esempio pratico mostra perché il passo della correzione conviene. I numeri sono un’illustrazione, non dati di un’azienda reale.

• Un agente AI gestisce 300 conversazioni di disdetta al giorno. Un aggiornamento dei contenuti indica per errore una finestra di 60 giorni per il rimborso completo; la policy prevede 30 giorni.
• L’errore dura 12 giorni: 3.600 conversazioni di disdetta. Nel 15% dei casi il cliente si trova tra il 31° e il 60° giorno e l’agente dice che il rimborso completo è ancora possibile: 540 clienti.
• Se il 40% di loro agisce prima che qualcuno se ne accorga, arrivano 216 richieste di rimborso. Con una media di 90 €, onorarle costa 19.440 €.
• Gli altri 324 clienti non hanno ancora agito. Contattarli il giorno in cui si scopre l’errore, con la policy corretta e delle scuse, blocca gran parte del costo restante e impedisce loro di fare ragionevole affidamento sulla risposta sbagliata.

Un campione casuale del 2% avrebbe rivisto circa 72 di quelle 3.600 conversazioni, e circa 11 conterrebbero l’errore. Può bastare a individuare il problema. Non può darle l’elenco dei 540 nomi, ed è l’elenco che serve per correggere.

La checklist dei rischi di responsabilità degli agenti AI

Usi la checklist qui sotto per esaminare un agente AI prima del lancio e poi ogni trimestre. Ogni riga indica un rischio, un esempio nell’assistenza, il presidio che lo previene e la prova che dovrebbe poter produrre se un cliente, un auditor o un’autorità la chiede. Elimini le righe che non riguardano il suo agente e assegni un responsabile a ogni riga.

Le righe 1, 2, 3, 11 e 12 sono quelle da cui parte la maggior parte della responsabilità nell’assistenza: una risposta sbagliata sul denaro, ripetuta, senza documentazione che la spieghi.

Quando questa checklist non fa per lei

Se il suo agente AI risponde solo a partire da articoli di aiuto pubblici, non compie azioni e passa alle persone ogni domanda su denaro, account o reclami, le righe 1, 4, 5 e 11 coprono la maggior parte della sua esposizione. Aggiunga le altre il giorno in cui l’agente riceve uno strumento di rimborso, credito o disdetta, o inizia a servire un prodotto regolamentato.

La checklist non sostituisce nemmeno la revisione legale. Diritto dei consumatori, norme finanziarie e autorità di settore cambiano da paese a paese, e un legale che conosce il suo mercato dovrebbe leggere la sua dichiarazione sull’AI, le sue condizioni e il contratto con il fornitore.

Dove si inserisce Kaizo

Kaizo verifica ogni conversazione di assistenza, umana o AI, rispetto alla sua rubrica di valutazione e le mostra che cosa correggere. Copre le prove per le righe 2 e 12: AutoPilot valuta ogni conversazione risolta con la sua scheda di valutazione, e ogni punteggio rimanda alle righe della conversazione. Scopra come funziona il controllo qualità per gli agenti AI, oppure prenoti una demo per vederlo sulle sue conversazioni.

Come iniziare questa settimana

Può iniziare questa settimana senza un nuovo strumento: cinque passi mostrano dove il suo agente AI può creare responsabilità oggi e quali documenti non saprebbe produrre se domani un cliente contestasse una risposta.

1. Estragga 50 conversazioni della settimana scorsa su rimborsi, commissioni, disdette e reclami, e segni ogni dichiarazione che è un impegno.
2. Verifichi ogni impegno con la tabella spiegare, confermare, impegnarsi, eccezione e consulenza qui sopra.
3. Faccia un test di recupero: scelga una conversazione di un mese fa e provi a produrre trascrizione, versione dell’agente e versione della policy entro un’ora.
4. Scriva la regola per onorare le promesse: l’importo fino al quale una promessa sbagliata dell’AI viene onorata senza discussione, e chi approva oltre quella soglia.
5. Copi le 14 righe, assegni a ciascuna un responsabile e porti le lacune alla prossima revisione di governance degli agenti AI.

Domande frequenti

Che cosa significa responsabilità nell’intelligenza artificiale?

Responsabilità nell’AI significa che una persona o un’organizzazione nominata risponde di ciò che fa un sistema di AI, sa spiegarlo e deve rimediare quando sbaglia. Nell’assistenza clienti è l’azienda che impiega l’agente, con un responsabile per ogni agente, la documentazione di ciò che ha detto e fatto e un processo per correggere gli errori.

Gli agenti AI sono trattati diversamente dai chatbot ai fini della responsabilità?

Il principio è lo stesso: l’azienda risponde di entrambi. Cambia l’esposizione. Un chatbot che si limita a rispondere fa dichiarazioni su cui un cliente può fare affidamento. Un agente AI che rimborsa, disdice o modifica account compie anche azioni, quindi un errore può spostare direttamente denaro o dati. Per questo le azioni richiedono limiti applicati negli strumenti stessi.

Possiamo recuperare dal fornitore il costo di un errore dell’agente AI?

Solo se il contratto lo consente. Esamini garanzie, manleve e massimale di responsabilità del fornitore prima del lancio, perché molte condizioni limitano la responsabilità per l’accuratezza degli output. Nell’UE la nuova direttiva sulla responsabilità da prodotto aggiunge azioni di responsabilità oggettiva contro i fabbricanti di software difettoso per lesioni, danni a beni e ai dati, non per una risposta sbagliata su un rimborso.

Rivedere le conversazioni AI riduce la nostra responsabilità?

La revisione non trasferisce la responsabilità, ma cambia due cose. Trova presto le risposte sbagliate, così meno clienti vi fanno affidamento. E produce la prova di una ragionevole diligenza: nel caso Air Canada, la mancanza di diligenza nel garantire che il chatbot fosse accurato ha contribuito alla decisione contro la compagnia aerea.

Dobbiamo dire ai clienti che stanno parlando con un’AI?

Nell’UE sì: dal 2 agosto 2026 le persone devono esserne informate fin dalla prima interazione, salvo che sia evidente. Altrove è una buona pratica, e sostiene gli obblighi di correttezza che le autorità dei consumatori e finanziarie già applicano. Una dichiarazione informa il cliente. Non giustifica una risposta sbagliata.