Tasso di risoluzione degli agenti AI: come verificarlo

Il tasso di risoluzione di un agente AI conta le conversazioni che il fornitore segna come risolte: nessun passaggio a un operatore, nessun follow-up entro una finestra di tempo. Non verifica che la risposta fosse giusta, che l’azione sia stata eseguita o che il cliente non sia tornato. Per verificarlo, campioni le conversazioni “risolte”, giudichi ciascuna rispetto a criteri scritti e ai dati dei sistemi gestionali, e riporti un tasso corretto accanto a quello del fornitore.

In breve

• Per un fornitore una “risoluzione” di solito significa che il cliente non ha chiesto altro aiuto prima che scadesse un timer; una risposta sbagliata ma sicura e un cliente che ha rinunciato superano entrambi questo test.
• Quattro errori si nascondono nelle conversazioni risolte: una risposta sbagliata che il cliente ha accettato, un cliente che ha rinunciato, un cliente che è tornato su un altro canale e un’azione che l’agente ha dichiarato ma non ha mai completato.
• Una risoluzione corretta richiede quattro sì: risposta giusta, consentita dalla policy, azione eseguita nel sistema di riferimento e nessun ricontatto sullo stesso problema entro 7 giorni.
• Un campione casuale di circa 400 conversazioni risolte al mese dà un tasso corretto con un margine di circa 5 punti, sufficiente per riportarlo accanto al numero del fornitore.
• Riporti entrambi i numeri, la composizione degli errori e il costo per risoluzione corretta, e assegni ogni tipo di errore a un responsabile.

Questa guida fa parte della nostra guida principale sulla valutazione degli agenti AI, scritta per l’Head of CX o il responsabile AI che approva i risultati dell’agente AI. Se prima le servono le basi della metrica che di solito sta accanto al tasso di risoluzione, parta dal tasso di contenimento (in inglese).

Che cosa significa “risolto” nel tasso di risoluzione di un agente AI?

Nella maggior parte dei report dei fornitori, “risolto” significa che l’agente AI ha risposto e che il cliente non ha chiesto altro aiuto, né un operatore, prima che la conversazione scadesse. Alcuni fornitori aggiungono un controllo della trascrizione con un modello. Nessuna di queste definizioni, così come è documentata, guarda i dati dei sistemi gestionali o il cliente che vi ricontatta su un altro canale.

Le definizioni sono pubbliche, e vale la pena leggerle parola per parola prima di fidarsi di una dashboard:

Ne seguono due cose. Primo, “risolto” è una definizione di fatturazione e di reporting stabilita dal fornitore, spesso legata a ciò che lei paga. Secondo, la definizione cambia: Intercom ora riporta gli “outcomes” accanto alle risoluzioni e scrive che il “successo” ha smesso di essere binario (blog di Intercom, marzo 2026, in inglese), e Zendesk ha introdotto i livelli di risoluzione il 18 maggio 2026 (definizione precedente di Zendesk, in inglese). Un audit le dà una definizione che le appartiene.

Qual è la differenza tra risolto e risolto correttamente?

Una conversazione risolta si è chiusa senza un passaggio a un operatore né un follow-up. Una conversazione risolta correttamente ha anche dato la risposta giusta, completato l’azione giusta, rispettato la policy ed evitato che il cliente tornasse sullo stesso problema. La distanza tra le due è il suo vero tasso di automazione, e di solito è invisibile nella dashboard del fornitore.

Il fornitore si chiede: la conversazione si è chiusa senza rumore? Il suo audit si chiede: il problema è sparito? La seconda domanda richiede prove che stanno fuori dalla trascrizione. Il nostro articolo sugli errori silenziosi degli agenti AI tratta la famiglia più ampia di errori che non generano alcun allarme, e perché le conversazioni con l’AI falliscono ne tratta le cause.

Quali errori si nascondono nelle conversazioni risolte?

Quattro tipi di errore passano per risoluzioni: una risposta sbagliata che il cliente ha accettato, un cliente che ha rinunciato, un cliente che è tornato su un altro canale e un’azione che l’agente ha dichiarato ma non ha completato. Ognuno sembra, nella trascrizione, una conversazione tranquilla e riuscita, e ognuno richiede un controllo diverso per essere trovato.

L’ultimo tipo è il più costoso da non vedere, e nessuna revisione basata solo sulla trascrizione, umana o con LLM, può intercettarlo. I guardrail per agenti AI sulle azioni riducono la frequenza con cui succede; l’audit le dice se funzionano.

Come si progetta il campione di un audit delle risoluzioni?

Estragga un campione casuale di circa 400 conversazioni che il fornitore ha segnato come risolte in un mese, stratificato per intento, con conversazioni in più dagli intenti ad alto rischio come rimborsi, disdette e modifiche dell’account. Nasconda lo stato assegnato dal fornitore ai revisori e faccia valutare due volte il 10% per misurare la concordanza.

1. Fissi il periodo e la popolazione. Un mese di calendario, tutte le conversazioni con lo stato “risolta” del fornitore.
2. Estragga a caso dentro ogni intento, in proporzione al volume. Le conversazioni “interessanti” scelte a mano spingono il tasso verso il basso.
3. Sovracampioni gli intenti ad alto rischio. Aggiunga almeno 50 conversazioni dagli intenti in cui l’agente compie un’azione o tocca denaro; per il tasso complessivo le riporti al loro peso reale.
4. Dimensioni il campione sulla decisione. 400 conversazioni danno un margine di circa ±5 punti con un livello di confidenza del 95% (veda gli intervalli di confidenza per una proporzione nel manuale di statistica per l’ingegneria del NIST, in inglese). 100 per intento danno circa ±10 punti: abbastanza per individuare un intento che non funziona. I calcoli sono nella nostra guida alla statistica del campionamento QA (in inglese).
5. Renda il revisore cieco. Mostri la trascrizione e i dati dei sistemi, non l’etichetta del fornitore.
6. Misuri la concordanza. Un secondo revisore valuta 40 delle 400 conversazioni. Se i verdetti divergono più di 1 volta su 10, sistemi i criteri prima di riportare i risultati.
7. Aspetti che la finestra si chiuda. Estragga il campione almeno 7 giorni dopo la fine del mese.

Quali sono i criteri per una risoluzione “corretta”?

Una conversazione è una risoluzione corretta solo quando quattro controlli passano tutti: la risposta era giusta e completa, ha rispettato la policy, ogni azione promessa dall’agente è visibile nel sistema di riferimento e il cliente non vi ha ricontattato sullo stesso problema entro 7 giorni. Un solo controllo fallito rende il verdetto “non corretta”.

Metta per iscritto i criteri prima della prima revisione, con un esempio di superamento e uno di errore per ciascuno:

Tenga un quinto verdetto, “non giudicabile”, per le conversazioni in cui manca un dato o il cliente è anonimo. Le escluda dal tasso e riporti quante erano; se superano il 5% del campione, sistemi i dati prima dell’audit successivo. La risposta giusta dipende da policy scritte e aggiornate, che sono il tema della gestione delle policy degli agenti AI.

Come si controllano nei sistemi le azioni dichiarate?

Elenchi ogni azione che l’agente ha dichiarato nella conversazione, poi cerchi ciascuna nel sistema che ne è responsabile: il rimborso nella fatturazione, la disdetta nel sistema degli abbonamenti, l’indirizzo nella scheda dell’ordine. Il log degli strumenti dell’agente non basta, perché una chiamata a uno strumento può segnalare un successo mentre il sistema di riferimento non mostra nulla.

Una sequenza pratica per ogni conversazione campionata:

1. Estragga le dichiarazioni. Evidenzi ogni frase in cui l’agente dice di aver fatto qualcosa: “ho effettuato il rimborso”, “il suo piano è disdetto”, “ho aggiornato il suo indirizzo”.
2. Abbini gli identificativi. Usi l’ID cliente, il numero d’ordine o l’email presenti nella conversazione per trovare il record.
3. Confronti quattro campi. È successo, sull’articolo giusto, per l’importo giusto, prima o subito dopo la fine della conversazione?
4. Annoti le discrepanze con precisione. “Rimborso di 40 USD promesso, 0 USD in fatturazione” si può correggere; “azione fallita” no.

Non ha accesso al sistema di riferimento? Chieda al suo responsabile un’esportazione in sola lettura filtrata sui 400 ID cliente del campione.

Come si misurano i ricontatti dopo una risoluzione dell’AI?

Conti un ricontatto quando lo stesso cliente vi raggiunge di nuovo sullo stesso problema, su qualsiasi canale, entro 7 giorni dalla fine della conversazione con l’AI. Abbini un identificativo del cliente tra chat, email, telefono e social, poi legga il follow-up per confermare che si tratta dello stesso problema e non di uno nuovo.

Perché 7 giorni: le finestre dei fornitori sono brevi e legate al canale. Zendesk chiude per impostazione predefinita una conversazione di messaggistica 2 ore dopo il primo messaggio e una conversazione via email dopo 72 ore; Intercom sottrae una risoluzione solo quando il cliente torna nella stessa conversazione. Molti errori emergono più tardi: il rimborso che non arriva entro 3 a 5 giorni lavorativi, il secondo addebito al ciclo di fatturazione successivo. Sette giorni ne intercettano la maggior parte; per gli intenti di fatturazione, estenda la finestra fino alla data della fattura successiva.

Se lo storico dei contatti è diviso tra più strumenti, parta dagli identificativi che ha (ID account, indirizzo email) e annoti nel report che alcuni ricontatti sfuggiranno. Seguire un cliente tra i canali è il cuore del QA della customer journey.

Il foglio di lavoro dell’audit delle risoluzioni (da copiare)

Il foglio di lavoro qui sotto ha una riga per ogni conversazione campionata. Compili i quattro controlli, poi lasci decidere la regola del verdetto; i revisori non scelgono il verdetto a sensazione. Le righe sono un’illustrazione di come appare ogni tipo di errore una volta compilato, non dati di clienti.

Regola del verdetto. Corretta = risposta corretta (sì), azione eseguita (sì o nessuna azione necessaria), nessun ricontatto e consentita dalla policy. Qualsiasi “no” = non corretta. Qualsiasi prova mancante = non giudicabile. Quando si applicano due errori, registri quello che il cliente ha subito per primo.

Aggiunga una colonna “Consentita?” se il suo agente può concedere eccezioni, e tenga ogni nota sulle prove abbastanza precisa da poterla verificare in due minuti.

Esempio pratico: tasso di risoluzione del fornitore e tasso verificato

In questa illustrazione, un fornitore riporta un tasso di risoluzione del 68% su 10.000 conversazioni. Un audit di 400 conversazioni risolte trova risolte correttamente il 69% di quelle giudicabili, quindi il tasso di risoluzione corretto è circa del 47%, con un intervallo al 95% che va all’incirca dal 44% al 50%.

Illustrazione (non dati di clienti). Un agente AI gestisce 10.000 conversazioni a ottobre. Il fornitore ne segna 6.800 come risolte: un tasso di risoluzione del 68%. Il team verifica un campione casuale di 400 conversazioni risolte con il foglio di lavoro qui sopra.

Il calcolo, passo per passo:

1. Conversazioni giudicabili: 400 meno 12 = 388.
2. Quota corretta verificata: 268 / 388 = 69,1%.
3. Margine di errore: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 punti, quindi la quota corretta sta tra circa il 64,5% e il 73,7%.
4. Conversazioni risolte corrette: 6.800 x 69,1% = circa 4.700.
5. Tasso di risoluzione corretto: 4.700 / 10.000 = 47,0%, con un intervallo che va da circa il 43,8% al 50,1%.
6. Costo per risoluzione corretta: con un prezzo illustrativo di 1,00 USD per risoluzione fatturata, 6.800 risoluzioni fatturate costano 6.800 USD. Divise per 4.700 risoluzioni corrette, ciascuna costa circa 1,45 USD, non 1,00 USD.

Legga la composizione degli errori come una lista di cose da fare: le risposte sbagliate vanno al responsabile della knowledge base e dei prompt, le rinunce alla progettazione delle escalation, e le 12 azioni dichiarate vengono prima di tutto, perché ognuna è un cliente a cui è stato detto qualcosa di falso sul suo denaro o sul suo account.

Come si riporta un tasso di risoluzione corretto accanto al numero del fornitore?

Mostri ogni mese, uno accanto all’altro, il tasso di risoluzione del fornitore e il suo tasso verificato, con sotto le definizioni, la dimensione del campione, il margine di errore e la composizione degli errori. Non sostituisca il numero del fornitore: la distanza tra i due è il risultato, e il suo andamento le dice se le correzioni funzionano.

Un report mensile in una schermata:

Tenga stabili le definizioni, mostri l’intervallo così che una variazione di 2 punti dentro il rumore non apra una discussione, e metta il tasso corretto dove la direzione vede già il numero del fornitore. Appartiene anche al suo insieme più ampio di metriche delle prestazioni degli agenti AI e alla vista settimanale descritta nel monitoraggio degli agenti AI.

Quando un audit completo delle risoluzioni non fa per lei?

Un audit formale è eccessivo quando il suo agente AI gestisce qualche centinaio di conversazioni al mese: le legga tutte invece di campionarle. Conta anche meno quando l’agente risponde solo a domande informative, senza azioni e con poco denaro in gioco; lì possono bastare un controllo più leggero dell’accuratezza e un conteggio dei ricontatti.

Non sostituisce nemmeno la valutazione di ogni conversazione. Un campione di 400 conversazioni le dice il tasso; raramente le mostrerà un errore che colpisce 1 cliente su 500. Se deve trovarli uno per uno, le serve una copertura completa, che la nostra guida su come valutare gli agenti AI in produzione spiega con i calcoli sulla dimensione del campione.

Come iniziare un audit delle risoluzioni questa settimana

Può fare il primo audit in una settimana con un foglio di calcolo, un revisore e l’accesso in sola lettura a due sistemi. L’obiettivo della prima settimana non è un numero perfetto, ma un primo tasso corretto e l’elenco degli errori che ci stanno dietro.

1. Lunedì: metta per iscritto la definizione di risoluzione del suo fornitore e i suoi quattro controlli, con un esempio di superamento e uno di errore ciascuno.
2. Martedì: esporti le conversazioni risolte del mese scorso, le stratifichi per intento ed estragga 400 conversazioni a caso.
3. Mercoledì: chieda esportazioni in sola lettura dalla fatturazione o dal sistema ordini, e lo storico dei contatti per gli ID cliente campionati.
4. Giovedì e venerdì: compili il foglio di lavoro; faccia valutare due volte 40 conversazioni e confronti i verdetti.
5. Lunedì successivo: calcoli il tasso corretto e il costo per risoluzione corretta, e assegni ogni tipo di errore a un responsabile.

Quando l’audit mostra dove le risoluzioni si rompono, il passo successivo è intercettare quegli errori su ogni conversazione, non solo in un campione mensile. AutoPilot di Kaizo valuta ogni conversazione risolta con la sua scheda di valutazione, e ogni punteggio rimanda alle prove nella conversazione; la nostra pagina sul controllo qualità degli agenti AI mostra come funziona. Lo veda sulle conversazioni del suo agente AI. Prenoti una demo.

Domande frequenti

Il tasso di risoluzione è la stessa cosa del tasso di contenimento?

No. Il tasso di contenimento conta le conversazioni che si sono chiuse senza un passaggio a un operatore. Il tasso di risoluzione, come lo definiscono i fornitori, di solito aggiunge la condizione che il cliente non abbia chiesto altro aiuto entro una finestra di tempo. Nessuno dei due verifica che la risposta fosse corretta, ed è per questo che entrambi hanno bisogno di un audit accanto.

Qual è un buon tasso di risoluzione per un agente AI?

Non esiste un benchmark affidabile, perché i fornitori definiscono la risoluzione in modi diversi e cambiano le definizioni nel tempo. Confronti invece il suo tasso di risoluzione corretto mese per mese. Un tasso del fornitore più basso con poca distanza dal tasso verificato è più sano di un tasso alto che si dimezza all’audit.

Un controllo con LLM può sostituire un audit delle risoluzioni fatto da persone?

Può coprire più conversazioni, e alcuni fornitori ne usano già uno per verificare le risoluzioni. Ma un controllo che legge solo il testo della conversazione non può vedere i dati dei sistemi gestionali né i contatti successivi su altri canali. Calibri qualsiasi giudice LLM rispetto ai verdetti umani e mantenga nell’audit i controlli sui sistemi e sui ricontatti.

Ogni quanto vanno verificate le risoluzioni di un agente AI?

Una volta al mese è una buona impostazione predefinita, con un audit in più dopo ogni modifica ai prompt, alla knowledge base, alle azioni o al perimetro dell’agente. Estragga il campione almeno 7 giorni dopo la fine del mese, così che ogni conversazione abbia la sua finestra di ricontatto completa. Gli intenti ad alto rischio possono giustificare un controllo settimanale.

Bisogna pagare le risoluzioni presunte che non superano il suo audit?

Dipende dal suo contratto, ed è per questo che l’audit conta al momento del rinnovo. Il suo tasso corretto e il costo per risoluzione corretta le danno prove per la discussione con il fornitore. Chieda come la definizione del fornitore tratta i ritorni su altri canali e le azioni mai avvenute.

Chi deve essere responsabile dell’audit delle risoluzioni?

Il team che risponde degli esiti per i clienti, di solito la qualità CX o le support operations. Il responsabile tiene stabili le definizioni e assegna ogni tipo di errore a chi può correggerlo: knowledge base, ingegneria o progettazione delle escalation.