Il tasso di risoluzione corretta è la quota di conversazioni gestite da un agente AI (o da un operatore) che si sono chiuse risolte, con la risposta giusta, l’azione giusta completata e la policy rispettata, e senza alcun ricontatto sullo stesso problema entro 7 giorni. La formula è risoluzioni corrette diviso conversazioni gestite, per 100, stimata su un campione casuale verificato.
In breve
- Tasso di risoluzione corretta = risoluzioni corrette / conversazioni gestite x 100, dove “corretta” significa che superano quattro controlli: risposta giusta, consentita dalla policy, azione eseguita nel sistema di riferimento, nessun ricontatto entro 7 giorni.
- Lo si stima su un campione casuale verificato, quindi va riportato con un margine di errore al 95%: 1,96 x √(p x (1 − p) / n).
- Circa 385 conversazioni giudicate danno un margine di circa ±5 punti; circa 97 per intento danno circa ±10 punti, abbastanza per individuare un intento che non funziona.
- È più severo del tasso di contenimento, del tasso di deflessione, della first contact resolution e del tasso di risoluzione del fornitore, perché nessuno di questi verifica se la risposta era giusta o se l’azione è avvenuta.
- Divida il costo dell’agente AI per le risoluzioni corrette, non per quelle fatturate, per ottenere il costo per risoluzione corretta.
Questa pagina definisce la metrica e le dà il calcolatore. Il metodo per giudicare ogni conversazione (revisione cieca, controlli nei sistemi, regola del verdetto) è nella nostra guida all’audit del tasso di risoluzione degli agenti AI, ed entrambe fanno parte della nostra guida principale sulla valutazione degli agenti AI.
Che cos’è il tasso di risoluzione corretta?
Il tasso di risoluzione corretta è la percentuale di conversazioni nel perimetro che un agente, AI o umano, ha chiuso senza passarle a un operatore e che superano quattro controlli: la risposta era giusta e completa, è rimasta nei limiti della policy, ogni azione promessa è visibile nel sistema di riferimento e il cliente non è tornato sullo stesso problema, su alcun canale, entro 7 giorni.
Ogni parte della definizione ha una funzione:
| Parte | Regola | Perché c’è |
|---|---|---|
| Gestita | Ogni conversazione entrata nell’agente nel periodo, esclusi spam, test e chat con il solo saluto | Fissa il denominatore, così il tasso non si può alzare escludendo le conversazioni difficili |
| Risolta | L’agente l’ha chiusa senza passarla a un operatore | Un passaggio corretto a un operatore è un buon esito, ma non è una risoluzione di questo agente; va seguito a parte |
| Risposta giusta | Corrisponde alla policy, al prezzo o alla procedura in vigore nella data della conversazione | Intercetta le risposte sbagliate ma sicure che il cliente ha accettato |
| Consentita | Nessuna eccezione o promessa fuori dal perimetro scritto dell’agente | Intercetta le risposte “utili” ma contrarie alla policy |
| Azione eseguita | Rimborso, disdetta o aggiornamento presente nel sistema di riferimento, con importo e articolo giusti | Intercetta le azioni che l’agente ha dichiarato ma non ha mai completato |
| Nessun ricontatto | Nessun contatto dello stesso cliente sullo stesso problema entro 7 giorni, su qualsiasi canale | Intercetta i clienti che hanno rinunciato o sono tornati altrove |
Un solo controllo fallito rende la conversazione “non corretta”. Una conversazione in cui manca un dato è “non giudicabile” ed esce dal campione: è la stessa regola del verdetto usata nell’audit delle risoluzioni.
Qual è la formula del tasso di risoluzione corretta?
La formula è: tasso di risoluzione corretta = (risoluzioni corrette / conversazioni gestite) x 100. Poiché non si può giudicare a mano ogni conversazione, lo si stima su un campione: quota corretta del campione giudicato per 100. Se il campione copre solo le conversazioni che il fornitore segna come risolte, moltiplichi quella quota per la quota di risolte del fornitore.
Due modi per stimarlo, a seconda di che cosa campiona:
- Campionare tutte le conversazioni gestite (metodo diretto). Estragga a caso tra tutto ciò che l’agente ha gestito, escalation comprese. Tasso di risoluzione corretta = corrette / giudicate. Le conversazioni passate a un operatore contano semplicemente come “non corrette”.
- Campionare solo le conversazioni risolte secondo il fornitore (metodo in due fasi). È ciò che fa l’audit delle risoluzioni. Tasso di risoluzione corretta = quota di risolte del fornitore x quota corretta del campione di risolte verificato. Esempio: 62% di risolte x 70% di corrette = 43,4%.
Il metodo in due fasi costa meno se verifica già le risoluzioni, ma presuppone che nessuna conversazione segnata come non risolta fosse in realtà una risoluzione corretta. Il calcolatore qui sotto usa il metodo diretto.
Come si stima il tasso di risoluzione corretta da un campione verificato?
Giudichi un campione casuale, calcoli la quota corretta p, poi aggiunga un margine di errore al 95% pari a 1,96 x √(p x (1 − p) / n), dove n è il numero di conversazioni giudicate. Con p = 0,48 e n = 385, il margine è di circa ±5 punti, quindi il tasso reale sta tra circa il 43% e il 53%.
È l’intervallo per una proporzione usato più spesso, come nota il manuale di statistica per l’ingegneria del NIST (in inglese). La stessa pagina preferisce l’intervallo di Wilson, perché la formula semplice può produrre limiti impossibili (un limite inferiore sotto lo 0%) mentre quella di Wilson no. Usi Wilson per ogni intento con meno di circa 50 conversazioni giudicate o con un tasso vicino allo 0% o al 100%.
Per dimensionare il campione prima di iniziare, usi n = 1,96² x 0,25 / E², dove E è il margine che vuole e 0,25 è il caso peggiore (p = 0,5):
| Margine che le serve (E) | Conversazioni giudicate (n) | Formula per il foglio di calcolo |
|---|---|---|
| ±10 punti | 97 | =ROUNDUP(1.96^2*0.25/0.10^2,0) |
| ±5 punti | 385 | =ROUNDUP(1.96^2*0.25/0.05^2,0) |
| ±3 punti | 1.068 | =ROUNDUP(1.96^2*0.25/0.03^2,0) |
Aggiunga dal 3% al 5% per i verdetti “non giudicabile”. Le formule sono scritte per Excel in inglese; in Excel in italiano le funzioni si chiamano ARROTONDA.ECCESSO, RADQ, SOMMA e CONFIDENZA.NORM, con il punto e virgola come separatore e la virgola come separatore decimale. La nostra pagina sulla statistica del campionamento QA (in inglese) spiega perché il margine si riduce con la radice quadrata del campione, non in proporzione a esso.
Il calcolatore del tasso di risoluzione corretta (da copiare in un foglio di calcolo)
Il calcolatore ha una riga per intento, così può sovracampionare gli intenti a rischio e ottenere comunque un tasso complessivo onesto. Metta le lettere di colonna qui sotto nella riga 1, gli intenti dalla riga 2, e copi le formule verso il basso. I numeri sono un’illustrazione, non dati di clienti.
Colonne e formule (è mostrata la riga 2; la riga 6 è il totale):
| Colonna | Campo | Formula (riga 2) |
|---|---|---|
| A | Intento | inserito a mano |
| B | Conversazioni gestite (N) | inserito a mano, dal log completo dell’agente |
| C | Campionate a caso (n) | inserito a mano |
| D | Non giudicabili | inserito a mano, dall’audit |
| E | Risoluzioni corrette nel campione | inserito a mano, dall’audit |
| F | Giudicate | =C2-D2 |
| G | Quota corretta (p) | =E2/F2 |
| H | Margine, 95% | =1.96*SQRT(G2*(1-G2)/F2) (in Excel anche =CONFIDENCE.NORM(0.05,SQRT(G2*(1-G2)),F2)) |
| I | Limite inferiore | =MAX(0,G2-H2) |
| J | Limite superiore | =MIN(1,G2+H2) |
| K | Risoluzioni corrette stimate | =B2*G2 |
| L | Quota di varianza | =(B2/$B$6)^2*G2*(1-G2)/F2 |
| Riga totale 6 | Tasso di risoluzione corretta | =SUM(K2:K5)/B6, margine =1.96*SQRT(SUM(L2:L5)) |
La scorciatoia di Excel nella colonna H funziona perché CONFIDENCE.NORM (in inglese; in Excel in italiano CONFIDENZA.NORM) restituisce il margine per un dato alfa, una deviazione standard e una dimensione del campione. La colonna L pesa ogni intento per la sua quota di volume, ed è questo che rende corretto il margine complessivo quando si sovracampiona.
Esempio pratico (illustrazione). Un agente AI gestisce 20.000 conversazioni a ottobre. Il fornitore riporta un tasso di risoluzione del 62%. Il team campiona 440 conversazioni su quattro intenti, sovracampionando le disdette, e giudica ciascuna con i quattro controlli.
| Intento | Gestite (N) | Campionate | Non giudicabili | Corrette | Quota corretta | Margine | Intervallo | Corrette stimate |
|---|---|---|---|---|---|---|---|---|
| Stato dell’ordine | 9.000 | 120 | 2 | 73 | 61,9% | ±8,8 | dal 53,1% al 70,6% | 5.568 |
| Resi e rimborsi | 5.000 | 120 | 4 | 46 | 39,7% | ±8,9 | dal 30,8% al 48,6% | 1.983 |
| Disdetta del piano | 2.000 | 100 | 3 | 29 | 29,9% | ±9,1 | dal 20,8% al 39,0% | 598 |
| Domanda sulla fattura | 4.000 | 100 | 1 | 35 | 35,4% | ±9,4 | dal 25,9% al 44,8% | 1.414 |
| Totale | 20.000 | 440 | 10 | 183 | 9.563 |
Il risultato, passo per passo:
- Tasso di risoluzione corretta complessivo: 9.563 / 20.000 = 47,8%.
- Margine complessivo: 1,96 x √(somma della colonna L) = ±5,0 punti, quindi dal 42,8% al 52,8%.
- Distanza dal numero del fornitore: 62% riportato contro 47,8% corretto, una distanza di circa 14 punti.
- Perché non 183 / 430? Quel 42,6% non ponderato conterebbe troppo le disdette, campionate al 5% del loro volume mentre lo stato dell’ordine è stato campionato all’1,3%. La ponderazione per N lo corregge.
Le righe per intento sono la lista delle cose da fare: disdette e domande sulla fattura falliscono di più, quindi ricevono le prime correzioni, oppure tornano agli operatori finché non migliorano.
In che cosa il tasso di risoluzione corretta è diverso da contenimento, deflessione, FCR e tasso di risoluzione?
Tasso di contenimento, tasso di deflessione, first contact resolution e tasso di risoluzione del fornitore contano tutti le conversazioni che si sono chiuse in un certo modo. Il tasso di risoluzione corretta conta le conversazioni che si sono chiuse bene: è l’unico dei cinque che richiede che la risposta sia giusta, l’azione eseguita e il problema ancora risolto dopo 7 giorni.
| Metrica | Che cosa conta | Verifica la correttezza? | Finestra di ricontatto | Chi la definisce |
|---|---|---|---|---|
| Tasso di contenimento (in inglese) | Conversazioni chiuse senza un operatore | No | Nessuna | Lei o il fornitore |
| Tasso di deflessione | Richieste che non sono mai arrivate a una coda di operatori | No | Nessuna | Varia da team a team; veda perché il tasso di deflessione nasconde le conversazioni andate male |
| First contact resolution (FCR) (in inglese) | Problemi risolti alla prima interazione | Spesso con un sondaggio, non con i dati dei sistemi | Fissata da lei | Lei |
| Tasso di risoluzione del fornitore | Conversazioni che il fornitore segna come risolte | A volte, leggendo la trascrizione | Breve e legata al canale | Il fornitore |
| Tasso di risoluzione corretta | Risolta, giusta, consentita, azione eseguita, nessun ricontatto | Sì, rispetto alla policy e ai dati dei sistemi | 7 giorni, qualsiasi canale | Lei |
Le definizioni dei fornitori sono diverse. Intercom conta una “assumed resolution” (risoluzione presunta) quando il cliente esce “senza chiedere ulteriore assistenza” e la sottrae solo se il cliente torna nella stessa conversazione (Intercom, in inglese). Zendesk distingue le risoluzioni “contained” (contenute) da quelle “verified” (verificate), in cui un modello linguistico rilegge la trascrizione (Zendesk, in inglese). Ada conta le risoluzioni giudicate pertinenti, accurate e sicure da una revisione con LLM (Ada, in inglese). Nessuna di queste, così come è documentata, cerca i ricontatti su altri canali, e una revisione della sola trascrizione non può confermare che un rimborso o una disdetta siano stati davvero registrati: per questo le serve un numero che definisce lei.
La FCR è la metrica più vicina: il tasso di risoluzione corretta è la FCR con i controlli di correttezza e di azione resi espliciti, quindi funziona allo stesso modo per un agente AI e per una persona.
Perché segmentare il tasso di risoluzione corretta per intento?
Segmenti per intento perché un unico tasso aggregato nasconde dove l’agente sbaglia, e perché il mix di intenti decide il numero principale. Un agente che questo mese riceve più domande semplici sullo stato dell’ordine mostrerà un tasso più alto senza essere migliorato. I tassi per intento mostrano il cambiamento reale e le dicono quali intenti correggere, estendere o riportare agli operatori.
Tre regole mantengono equo il confronto:
- Confronti cose omogenee. Quando confronta mesi, fornitori o un team di operatori con l’agente AI, confronti intento per intento, oppure ripesi entrambi sullo stesso mix di intenti.
- Dimensioni ogni intento per una decisione. Circa 97 conversazioni giudicate per intento danno ±10 punti: abbastanza per vedere che le disdette al 30% non funzionano, non abbastanza per vedere uno spostamento di 3 punti.
- Guardi prima gli intenti a rischio. Gli intenti in cui l’agente muove denaro o modifica un account meritano un campione più ampio, perché lì un’azione sbagliata costa più di una risposta sbagliata sui tempi di consegna.
Scegliere quali intenti affidare all’agente fin dall’inizio è il tema di quali richieste automatizzare per prime.
Come si calcola il costo per risoluzione corretta?
Costo per risoluzione corretta = costo totale di gestione dell’agente AI nel periodo / risoluzioni corrette stimate. Includa tutto ciò che paga per farlo funzionare (fattura del fornitore, canoni di piattaforma, tempo interno per la manutenzione della knowledge base e per il QA) e divida per le risoluzioni corrette, non per le risoluzioni che il fornitore le ha fatturato.
Proseguendo l’illustrazione, con un prezzo illustrativo di 0,99 USD per risoluzione fatturata:
| Voce | Formula | Valore |
|---|---|---|
| Risoluzioni fatturate | 20.000 x 62% | 12.400 |
| Fattura del fornitore | 12.400 x 0,99 USD | 12.276 USD |
| Costo interno di gestione (illustrativo) | manutenzione della knowledge base, tempo del QA | 3.000 USD |
| Costo totale | somma | 15.276 USD |
| Costo per risoluzione fatturata | 15.276 USD / 12.400 | 1,23 USD |
| Costo per risoluzione corretta | 15.276 USD / 9.563 | 1,60 USD (da 1,45 USD a 1,78 USD) |
L’intervallo divide per la stima inferiore e superiore delle risoluzioni corrette (8.565 e 10.560). Per un quadro più completo, aggiunga il costo umano dei ricontatti generati dalle false risoluzioni, e calcoli la stessa cifra per il suo team di operatori (costo pieno delle ore impiegate / risoluzioni corrette) prima di decidere che cosa automatizzare. Il nostro insieme più ampio di metriche dell’IA nel customer care mostra dove si colloca questa cifra accanto alla qualità delle escalation e agli abbandoni silenziosi.
Quando il tasso di risoluzione corretta non vale lo sforzo?
Salti il campionamento quando l’agente gestisce qualche centinaio di conversazioni al mese: le giudichi tutte e calcoli il tasso esatto. La metrica conta anche meno per un agente che risponde solo a semplici domande informative senza azioni; lì possono bastare un conteggio dei ricontatti e un controllo leggero dell’accuratezza.
Non è nemmeno un modo per trovare i singoli errori. Un campione di 440 dà il tasso con un margine di circa 5 punti, ma raramente farà emergere un errore che colpisce 1 cliente su 500; per trovarli serve la valutazione di ogni conversazione.
Come iniziare a misurare il tasso di risoluzione corretta questa settimana
Le servono un foglio di calcolo, uno o due revisori e l’accesso in sola lettura al sistema ordini o di fatturazione. La prima settimana le dà un primo tasso con il suo margine e un elenco degli intenti da correggere; le definizioni contano più dei decimali.
- Giorno 1: metta per iscritto i quattro controlli, con un esempio di superamento e uno di errore ciascuno, e la regola dei 7 giorni.
- Giorno 2: esporti le conversazioni gestite il mese scorso con l’etichetta di intento ed estragga un campione casuale per intento usando la tabella delle dimensioni qui sopra.
- Giorni 3 e 4: giudichi ogni conversazione, controlli le azioni dichiarate nei dati dei sistemi e cerchi i ricontatti su ogni canale.
- Giorno 5: incolli i conteggi nel calcolatore, legga i tassi per intento e calcoli il costo per risoluzione corretta.
Quando sa quali intenti falliscono, il passo successivo è intercettare quegli errori su ogni conversazione invece che in un campione mensile. AutoPilot di Kaizo valuta ogni conversazione risolta con la sua scheda di valutazione, e ogni punteggio rimanda alle prove nella conversazione; la nostra pagina sul controllo qualità degli agenti AI mostra come funziona, oppure prenoti una demo per vederlo sulle conversazioni del suo agente AI.
Domande frequenti
Qual è un buon tasso di risoluzione corretta?
Non esiste un benchmark pubblicato, perché quasi nessuno definisce ancora la metrica allo stesso modo. Segua il suo tasso per intento mese per mese e osservi la distanza dal tasso di risoluzione del fornitore. Una distanza che si riduce significa che le correzioni funzionano; un tasso del fornitore stabile e alto con un tasso corretto in calo significa che la dashboard si sta allontanando dalla realtà.
Il tasso di risoluzione corretta si può usare per gli operatori?
Sì. I quattro controlli valgono per qualsiasi conversazione e la formula è la stessa. Per le persone, “risolta” significa che l’operatore ha chiuso la conversazione senza trasferirla. Confronti operatori e agente AI intento per intento, mai sui tassi aggregati, perché di solito gestiscono mix molto diversi.
Perché una finestra di ricontatto di 7 giorni?
Le finestre dei fornitori sono brevi e di solito limitate alla stessa conversazione, mentre molti errori emergono più tardi: un rimborso che non arriva mai, un secondo addebito al ciclo di fatturazione successivo. Sette giorni ne intercettano la maggior parte. Per gli intenti di fatturazione, estenda la finestra fino alla data della fattura successiva.
Un giudice LLM può calcolare il tasso di risoluzione corretta?
Un giudice LLM può valutare su larga scala i controlli sulla risposta e sulla policy, se lo calibra rispetto ai verdetti umani. Leggendo solo la trascrizione non può vedere i dati dei sistemi né i contatti su altri canali, quindi lo combini con i dati degli ordini e lo storico dei contatti prima di considerare corretta una conversazione.
Le conversazioni “non giudicabili” abbassano il tasso?
No. Le escluda dal conteggio delle giudicate, riporti quante erano e sistemi i dati mancanti se superano circa il 5% del campione. Se si concentrano in un solo intento, il tasso di quell’intento è meno affidabile di quanto suggerisca il suo margine.
