I KPI degli agenti AI nel customer care devono misurare se l’agente AI ha risolto il problema correttamente, non se una persona è rimasta fuori dalla conversazione. L’insieme di riferimento: tasso di risoluzione corretta, accuratezza verificata, rispetto delle policy, qualità del passaggio a una persona, ricontatto entro 7 giorni, tasso di azioni automatiche non sicure e costo per risoluzione corretta. Contenimento e deflessione restano nella dashboard come dati di volume.
Le metriche di qualità del servizio AI misurano se un agente AI ha davvero risolto il problema del cliente: qualità della risoluzione, accuratezza fattuale, qualità dell’escalation, ricontatti, abbandoni silenziosi, rispetto delle policy e costo per contatto risolto. Tra le metriche AI nel customer care, il tasso di contenimento e il CSAT post-AI sono le due che la maggior parte dei team riporta, e anche le più fuorvianti. Valuti invece ogni conversazione, con ogni punteggio collegato alle prove, come fa il controllo qualità degli agenti AI.
In sintesi
- Il contenimento conta un abbandono frustrato come un successo.
- Il CSAT post-AI non sente mai i clienti che hanno rinunciato.
- I ricontatti e gli abbandoni silenziosi rivelano ciò che il contenimento nasconde.
- Ogni punteggio deve essere riconducibile alle prove nella trascrizione.
- Il tasso di risoluzione corretta deve essere il KPI principale degli agenti AI, con il costo per risoluzione corretta come suo gemello finanziario.
- I fornitori definiscono “risolto” in modi diversi, quindi riscriva ogni numero del fornitore nella sua definizione prima di confrontarli.
Perché le due metriche AI più usate nel customer care ingannano
Ogni responsabile dell’assistenza clienti che introduce l’AI riceve dal board la stessa domanda: dimostri che funziona. I due numeri a cui si ricorre per primi sono il tasso di contenimento e il CSAT post-AI, perché sono facili da estrarre e, con un po’ di indulgenza, mostrano entrambi una curva in crescita. Sono anche i due numeri che hanno meno probabilità di descrivere ciò che è davvero successo ai suoi clienti.
Il problema è strutturale, non una questione di messa a punto. Il contenimento misura un esito di instradamento: una persona ha toccato questa conversazione oppure no. Il CSAT post-AI misura un’opinione, ma solo quella di chi ha scelto di darla. Nessuno dei due guarda alla sostanza della conversazione, che è l’unico posto in cui si trova la risposta. È un problema molto diverso da quello risolto dal metodo standard per misurare le prestazioni degli agenti AI, e molto diverso dalla scelta di quali KPI del customer care mettere nella sua dashboard. Qui si tratta di capire quali numeri le stanno mentendo senza che nessuno se ne accorga.
Ecco la versione breve del ragionamento, metrica per metrica, prima di entrare nel dettaglio di ciascuna.
| Metrica | Che cosa dichiara di mostrare | Come inganna | Che cosa misurare invece |
|---|---|---|---|
| Tasso di contenimento / deflessione | L’AI ha gestito la conversazione con successo | Conta l’abbandono e il muro di gomma come un successo, perché nessuna persona è intervenuta | Qualità della risoluzione più tasso di abbandono silenzioso |
| CSAT post-AI | I clienti sono soddisfatti dell’AI | Risponde una minoranza autoselezionata, e i clienti più arrabbiati semplicemente se ne vanno | Tasso di ricontatto e qualità della risoluzione sul 100% delle conversazioni |
| Tempo medio di gestione delle conversazioni AI | L’AI è veloce | Una risposta sbagliata e veloce è più rapida di una corretta e lenta | Accuratezza fattuale e costo per contatto realmente risolto |
| Tasso di escalation | Meno escalation significa che l’AI se la cava | Sopprimere le escalation è facile e dannoso; contano di più il momento e il passaggio di consegne | Qualità dell’escalation: momento giusto, contesto completo |
| Volume gestito dall’AI | Scala e ROI | Non dice nulla di ciò che è successo dentro quel volume | Rispetto delle policy, valutato con i suoi criteri |
Tasso di contenimento: la metrica che premia il muro di gomma
Il tasso di contenimento, a volte chiamato tasso di deflessione, è la quota di conversazioni che si è chiusa senza l’intervento di un operatore. È diventato la metrica AI predefinita perché si collega direttamente al business case: ogni conversazione contenuta è un contatto per cui non ha dovuto pagare una persona.
Il difetto sta nella definizione. Il contenimento non chiede se il cliente ha ottenuto ciò per cui era venuto. Chiede se è stato coinvolto qualcun altro. Questo significa che esiti molto diversi vengono contati tutti allo stesso modo, come un successo:
- La vera risoluzione: il cliente ha chiesto, l’AI ha risposto correttamente, il cliente se n’è andato soddisfatto. È l’esito che la metrica doveva misurare.
- L’abbandono: il cliente ha chiesto tre volte, ha ricevuto una variante della stessa risposta inutile e ha chiuso la finestra. Nessuna persona è intervenuta, quindi conta come contenuta.
- Il muro di gomma: l’AI non poteva o non voleva passare la conversazione, ha continuato a proporre articoli del centro assistenza, e il cliente ha rinunciato ed è andato sui social o nella sezione recensioni dell’app store.
- Il contatto spostato: il cliente ha chiuso la chat e ha chiamato il numero di assistenza, oppure ha scritto un’email, oppure ha aperto un nuovo ticket il giorno dopo. Contenuto in un canale, ma ancora un costo in un altro.
Tre di questi quattro sono fallimenti, e il muro di gomma è attivamente peggio che non fare nulla. Eppure un numero di contenimento non riesce a distinguerli, perché l’informazione che li distingue è dentro la conversazione, e il contenimento non ci guarda mai.
Questo non è un invito ad abbandonare il contenimento. È un input utile per capacità e costi. È un argomento contro il riportarlo come metrica di qualità, perché ottimizzare direttamente il contenimento significa rendere più difficile per il cliente raggiungere una persona, cioè proprio il comportamento che nessuno vuole e che tutti riconoscono quando sono loro i clienti.
La deflessione ha lo stesso difetto, più la risposta sbagliata data con sicurezza
Il tasso di deflessione, la quota di contatti che non raggiunge mai una coda di operatori, ha lo stesso punto cieco, ed entrambi non vedono la risposta sbagliata a cui il cliente crede. Un cliente a cui viene indicato il termine di rimborso sbagliato ringrazia e se ne va: contenuto, deflesso e, nella maggior parte dei report dei fornitori, risolto. Veda come misurare il contenimento in modo onesto.
CSAT post-AI: la metrica che non sente mai chi se ne è andato
Il CSAT (in inglese) è una buona metrica nel suo contesto naturale: una conversazione con una persona, un tasso di risposta ragionevole, una popolazione stabile che risponde. Applicato a una conversazione con l’AI sviluppa un punto cieco specifico e serio.
Autoselezione nel momento peggiore
Le risposte ai sondaggi arrivano da una minoranza di clienti, e quella minoranza non è mai casuale. Chi ha provato qualcosa di abbastanza forte da rispondere tende a stare ai due estremi. Ma il fallimento dell’AI che conta di più, il cliente che conclude in silenzio che non si arriverà da nessuna parte e si disimpegna, è proprio il cliente che ha meno probabilità di compilare un sondaggio dopo. Non è rimasto per essere intervistato. Sono i rinunciatari silenziosi, e il CSAT post-AI è strutturalmente sordo nei loro confronti.
Il sondaggio chiede la cosa sbagliata
Anche tra chi risponde, un punteggio di soddisfazione mescola la correttezza della risposta, la gradevolezza del tono e il fatto che l’esito fosse quello che il cliente voleva sentirsi dire. Un’AI affabile e sicura di sé ma sbagliata può ottenere un buon punteggio. Un’AI che comunica correttamente una regola che al cliente non piace può ottenerne uno basso. Nessuno dei due risultati le dice se il sistema funziona.
Il confronto è ingiusto in entrambe le direzioni
I team confrontano spesso il CSAT dell’AI con quello degli operatori e ne traggono conclusioni. Le due popolazioni non sono confrontabili: di solito l’AI prende per prima i contatti semplici, ad alto volume e facili da soddisfare, e passa in escalation quelli difficili. Un CSAT dell’AI lusinghiero può voler dire semplicemente che all’AI è stata data la coda facile. Uno scarso può voler dire che le è stata affidata la coda che nessuno avrebbe potuto vincere.
Tenga il CSAT. Smetta solo di trattarlo come una prova sulla sua AI. Lo consideri un segnale tra tanti, pesato sapendo che sente solo chi è rimasto.
Quali KPI degli agenti AI devono sostituire il contenimento come numero principale?
Sette KPI degli agenti AI devono aprire il report: tasso di risoluzione corretta, accuratezza verificata, rispetto delle policy, qualità del passaggio a una persona, ricontatto entro 7 giorni, tasso di azioni automatiche non sicure e costo per risoluzione corretta. Ognuno legge la conversazione o i sistemi che ci stanno dietro, quindi nessuno si può alzare rendendo più difficile raggiungere una persona.
Contenimento, deflessione, CSAT e tempo di gestione restano un livello sotto, come dati di capacità e di sentiment. Le sezioni seguenti spiegano ogni KPI, e la tabella delle definizioni più sotto riporta le formule. Per approfondire la metrica principale, veda il tasso di risoluzione corretta.
Come definiscono “risolto” i diversi fornitori?
I fornitori usano la stessa parola per verifiche diverse. Intercom conta un cliente che se ne va senza chiedere altro aiuto, Zendesk aggiunge la revisione di un modello linguistico per il suo livello verificato, e Ada richiede una risposta pertinente, accurata e sicura. Nessuna di queste definizioni, così come è documentata, controlla i dati nei sistemi di backend o i contatti su altri canali.
| Termine del fornitore | Conta come risolto quando | Verifica che la risposta fosse corretta? | Che cosa non può vedere |
|---|---|---|---|
| Intercom Fin, risoluzione presunta | Il cliente “exits the conversation without requesting further assistance”, cioè esce dalla conversazione senza chiedere altro aiuto dopo l’ultima risposta di Fin; viene sottratta se il cliente riapre la stessa conversazione (Intercom, in inglese) | No | Una risposta sbagliata a cui il cliente ha creduto; un ritorno su un altro canale |
| Intercom Fin, risoluzione confermata | Il cliente conferma che la risposta lo ha aiutato (“That helped”) | Solo dal punto di vista del cliente | Se il cliente aveva ragione |
| Zendesk, risoluzione contenuta | L’agente AI ha gestito l’interazione “without the customer requesting further assistance”, senza che il cliente chiedesse altro aiuto (Zendesk, in inglese) | No; comprende anche le conversazioni che non hanno superato la verifica | Correttezza, dati di backend |
| Zendesk, risoluzione verificata | Come la contenuta, più un modello linguistico che rilegge il testo della conversazione e conferma che la richiesta è stata risolta | Dal testo della trascrizione | Se l’azione è avvenuta davvero nei suoi sistemi; altri canali |
| Ada, risoluzione automatizzata | Nessuna persona coinvolta, e la conversazione è giudicata pertinente, accurata e sicura | Sì, con una revisione della conversazione | Il ricontatto dopo la fine della conversazione |
Quindi due tassi di risoluzione dei fornitori non sono confrontabili finché non li riscrive entrambi in un’unica definizione sua; la stessa guida ai KPI di Fin dice che la definizione “varies enormously across vendors”, cioè varia enormemente da un fornitore all’altro (Fin, in inglese). Intercom fattura inoltre ogni risoluzione di Fin. E la finestra è breve: Zendesk chiude per impostazione predefinita una conversazione di messaggistica 2 ore dopo il primo messaggio e una conversazione via email 72 ore dopo la prima email, quindi un fallimento che emerge al quarto giorno non tocca mai il numero del fornitore. Il nostro audit del tasso di risoluzione degli agenti AI mostra come riportare un tasso corretto accanto a quello del fornitore.
Qualità della risoluzione: la metrica di riferimento
Se deve sostituire il contenimento con una sola cosa, la sostituisca con la qualità della risoluzione: questa conversazione ha davvero risolto il problema del cliente? È il perno dell’intero insieme, perché ogni altra metrica qui è un suo input oppure una sua verifica.
Che cos’è. Un giudizio, espresso sulla trascrizione, sul fatto che il problema di fondo del cliente sia stato affrontato. Non se un ticket è stato chiuso, non se è stata inviata una risposta, non se l’intento è stato riconosciuto. Se ciò che il cliente aveva bisogno che accadesse, è accaduto.
Come misurarla. Come criterio valutato nei suoi criteri di valutazione della qualità, applicato alle conversazioni gestite dall’AI esattamente come a quelle gestite dagli operatori. Il criterio va scritto in modo che un valutatore e un sistema di valutazione automatica lo leggano allo stesso modo: indichi quali prove nella trascrizione contano come risoluzione per ogni tipo principale di contatto. Rimborso richiesto e rimborso confermato. Indirizzo modificato e modifica confermata al cliente. Domanda posta e risposta corretta fornita, con il cliente che ne prende atto.
Come riconoscere un valore critico. Il segnale da osservare non è una soglia assoluta, è il divario tra qualità della risoluzione e contenimento. Se una grande quota di conversazioni risulta contenuta ma una quota molto più piccola viene valutata come risolta, quel divario è la dimensione del suo problema, espressa in conversazioni. È anche il numero che vale la pena mostrare al board, perché è la versione onesta di quello che gli è stato mostrato.
Si noti che questo è volutamente più severo della risoluzione al primo contatto (in inglese), che deduce la risoluzione dall’assenza di un ricontatto. L’FCR è un’approssimazione utile. La qualità della risoluzione legge la trascrizione invece di dedurre qualcosa dal silenzio, e il silenzio è esattamente ciò che produce un cliente che abbandona.
Accuratezza fattuale e tasso di allucinazione
Un agente AI (in inglese) che inventa una finestra di rimborso, indica tempi di consegna sbagliati o descrive con sicurezza una funzionalità che la sua azienda non offre non è un problema di qualità, è un problema di responsabilità. L’accuratezza fattuale è la metrica che lo intercetta, ed è quella che la maggior parte dei team non misura affatto.
Che cos’è. La quota di risposte dell’AI che contiene un’affermazione fattuale verificabile rispetto alla sua knowledge base, ai documenti di policy o ai dati degli ordini, e la quota di quelle affermazioni che è corretta. Il tasso di allucinazione è l’inverso: affermazioni fatte con sicurezza e non supportate da alcuna fonte.
Come misurarla. Ogni affermazione fattuale in una conversazione viene verificata rispetto alla fonte di riferimento. È praticabile solo in modo automatico, sui volumi, e questo è uno degli argomenti più forti per valutare ogni conversazione invece di lavorare a campione: un’allucinazione in una conversazione che nessuno ha letto costa esattamente quanto una in una conversazione che qualcuno ha letto. La monitori separatamente per tipo di contatto, perché l’accuratezza è raramente uniforme. Le domande sulla fatturazione e quelle sulle spedizioni di solito si comportano in modo molto diverso.
Come riconoscere un valore critico. Qualsiasi tasso diverso da zero su affermazioni con un peso legale, finanziario o di sicurezza è un valore critico, per quanto piccolo. Sulle affermazioni a rischio più basso conta la direzione: un tasso di allucinazione che sale dopo una modifica della knowledge base o un aggiornamento del modello le sta dicendo qualcosa di specifico e urgente su quella modifica.
Un’avvertenza: la sicurezza di un agente AI nella propria risposta non prova che la risposta fosse vera. L’accuratezza va verificata rispetto alla sua knowledge base e alle sue policy, mostrando le prove di ogni verdetto, che è il principio alla base di una buona valutazione con un LLM come giudice (in inglese).
Qualità dell’escalation: non quanto spesso, ma quanto bene
Il tasso di escalation viene riportato come se più basso fosse meglio. Non è così. L’escalation è una funzione, e un’AI che non passa mai in escalation non è un’AI forte, è un cliente intrappolato. Conta la qualità dell’escalation: se il passaggio di consegne è avvenuto al momento giusto ed è arrivato con il contesto giusto.
Il momento
I due modi di fallire stanno ai due lati di quello corretto. Un’escalation troppo precoce spreca del tutto l’automazione e irrita un cliente che aveva una domanda semplice. Un’escalation troppo tardiva, dopo tre o quattro giri a vuoto, significa che l’operatore eredita un cliente già arrabbiato e una conversazione da ricominciare. Valuti il momento: c’era un turno identificabile in cui sarebbe dovuto avvenire un passaggio competente, ed è avvenuto lì?
Il passaggio del contesto
Il fallimento di escalation più costoso è quello in cui l’operatore apre la conversazione e deve chiedere al cliente di spiegare tutto da capo. Quel solo comportamento cancella la buona volontà dell’intera interazione con l’AI. Valuti se il passaggio ha portato con sé il problema dichiarato dal cliente, ciò che è già stato tentato e tutto il contesto di account o di ordine che l’AI aveva già recuperato.
La correttezza
L’escalation era davvero la scelta giusta? Un’AI che passa in escalation ogni messaggio ambiguo genera lavoro per gli operatori senza motivo, e questo emerge nel costo per contatto risolto più che nei punteggi di qualità. Vanno valutate entrambe le direzioni, altrimenti ottimizzerà l’una fino a trasformarla nell’altra.
Come KPI unico, valuti ogni passaggio come superato o non superato su momento giusto, contesto completo e scelta giusta; la qualità del passaggio è la quota che li supera tutti e tre. Veda come valutare il passaggio dall’AI all’operatore.
Come riconoscere un valore critico. Un tasso di escalation in calo insieme a un punteggio di qualità della risoluzione in calo è il segnale negativo più chiaro di tutto questo articolo. Significa che l’AI sta trattenendo conversazioni che non è in grado di concludere.
Tasso di ricontatto e tasso di abbandono silenzioso
Queste due metriche sono raggruppate perché sono i suoi rilevatori di bugie più economici. Entrambe intercettano fallimenti che il contenimento registra come successi, e nessuna delle due richiede al cliente di compilare qualcosa.
Tasso di ricontatto dopo una conversazione con l’AI
Che cos’è. La quota di clienti che torna entro una finestra definita, su qualsiasi canale, per lo stesso problema di fondo dopo una conversazione gestita dall’AI.
Come misurarlo. Colleghi i contatti per cliente e per problema, non per ticket, e guardi in modo specifico tra i canali. Un cliente che ha abbandonato una chat e poi ha telefonato è in assoluto il caso più importante da intercettare, e una vista per singolo canale lo perde completamente. Imposti la finestra in base al suo prodotto: lo stesso giorno per un problema di consegna, una settimana o più per una contestazione di fatturazione. Per il KPI principale fissi un’unica finestra di 7 giorni, così il numero è confrontabile di settimana in settimana; le finestre per argomento restano utili per la diagnosi.
Come riconoscere un valore critico. Un tasso di ricontatto che sale dopo la gestione da parte dell’AI rispetto ai contatti equivalenti gestiti dagli operatori è un campanello d’allarme, qualunque sia il suo valore assoluto. Significa che il contenimento ha spostato il lavoro invece di eliminarlo.
Tasso di abbandono silenzioso
Che cos’è. La quota di conversazioni con l’AI da cui il cliente esce senza risoluzione e senza escalation. Nessun sondaggio, nessun reclamo, nessun ricontatto. Queste conversazioni sono identiche ai successi in ogni metrica basata sull’instradamento.
Come misurarlo. Individui le conversazioni che si sono chiuse su un turno del cliente, o con l’ultimo messaggio dell’AI rimasto senza risposta, e valuti se a quel punto il problema era stato risolto. Distinguere le uscite soddisfatte dalle rinunce silenziose è un giudizio sulla trascrizione, ed è proprio per questo che questa metrica non esiste nella maggior parte delle dashboard: non si può contare, va letta.
Come riconoscere un valore critico. Qualsiasi tasso di abbandono silenzioso che sia una frazione significativa del suo tasso di contenimento significa che il suo numero di contenimento è gonfiato esattamente di quella misura. Riportare il contenimento senza di esso significa riportare un numero che sa essere sbagliato.
Tasso di azioni automatiche non sicure: il KPI per gli agenti AI che compiono azioni
Il tasso di azioni automatiche non sicure è la quota di azioni compiute da un agente AI in autonomia, come rimborsi, cancellazioni, crediti o modifiche all’account, che ha violato una regola: oltre un limite, un controllo obbligatorio saltato, il record sbagliato, un’azione che nessuno aveva chiesto, o un’azione dichiarata ma mai eseguita nel backend. L’accuratezza valuta il testo; questo KPI valuta ciò che l’agente ha fatto.
Come misurarlo. Riconcili ogni azione eseguita, non un campione, con i limiti della policy e con la conversazione che l’ha avviata. Accanto, segua il tasso di intervento (le azioni bloccate da una persona): un tasso di azioni non sicure in calo con un tasso di intervento in crescita significa che sono le persone a intercettare il problema, non che il problema è sparito. Ogni azione non sicura su pagamenti, accesso all’account o dati personali è un incidente con un responsabile con un nome. Le regole vanno nei suoi guardrail per gli agenti AI.
Rispetto delle policy e costo per contatto realmente risolto
Le ultime due chiudono il cerchio tra qualità e business case.
Rispetto delle policy
Che cos’è. Se l’AI ha seguito le regole che è tenuta a seguire: verificare l’identità prima di rivelare dati dell’account, fornire le informative obbligatorie, rifiutare sconti fuori policy, gestire correttamente un cliente vulnerabile o la segnalazione di un reclamo, restare nel linguaggio regolamentare dove si applica.
Come misurarlo. Sono criteri binari, verificabili con prove, il che li rende la cosa più facile di questo elenco da valutare in automatico e la più dannosa da valutare a campione. Li applichi come controlli superato o non superato su ogni conversazione, e tratti ogni mancato superamento come un incidente da esaminare, non come una percentuale da diluire nella media. È la stessa logica dei criteri con cui viene già valutato il suo team di operatori, ed è proprio questo il punto: il suo punteggio di qualità interno deve coprire anche l’AI, altrimenti ha due standard e nessun confronto.
Come riconoscere un valore critico. Sulla verifica dell’identità e sulle informative regolamentari, un solo mancato superamento è già un valore critico. Non ne faccia la media.
Costo per contatto realmente risolto
Che cos’è. Il costo totale delle conversazioni con l’AI diviso per il numero di conversazioni realmente risolte, non per quello delle conversazioni contenute.
Come misurarlo. Prenda il suo punteggio di qualità della risoluzione, lo applichi al volume contenuto e usi il conteggio risultante come denominatore. Includa il costo a valle generato dall’AI: i ricontatti, il tempo di gestione in più sulle escalation arrivate senza contesto e il tempo degli operatori speso a rimediare.
Come riconoscere un valore critico. Se il costo per contatto realmente risolto non è nettamente migliore dell’equivalente gestito dagli operatori, l’implementazione non si sta ripagando, per quanto bello sembri il grafico del contenimento. È il numero che trasforma un argomento di qualità in un argomento finanziario, che di solito è quello che ottiene il budget.
La tabella delle definizioni dei KPI degli agenti AI (da copiare)
Ogni KPI principale ha bisogno di una formula e di una fonte dati, altrimenti due team lo calcoleranno in due modi diversi. Gli obiettivi sono punti di partenza per un primo trimestre, non benchmark: li sostituisca con la sua base di riferimento dopo quattro settimane di valutazione.
| KPI | Formula | Fonte dati | Obiettivo di esempio (punto di partenza) |
|---|---|---|---|
| Tasso di risoluzione corretta | Conversazioni AI con risposta giusta, azione eseguita, policy rispettata e nessun ricontatto entro 7 giorni, divise per tutte le conversazioni gestite dall’AI | Valutazione QA delle trascrizioni, dati di backend, storico dei contatti | Entro 10 punti dal tasso di risoluzione riportato dal fornitore, poi alzarlo ogni trimestre |
| Accuratezza verificata | Affermazioni fattuali confermate corrette, divise per le affermazioni fattuali verificate | Valutazione rispetto a knowledge base, documenti di policy e dati degli ordini | 98% nel complesso; 100% sulle affermazioni su denaro, aspetti legali e sicurezza |
| Rispetto delle policy | Conversazioni che superano ogni controllo obbligatorio applicabile, divise per le conversazioni in cui si applicava un controllo | Criteri superato o non superato della scheda (identità, informative, limiti di rimborso) | 100% su identità e informative regolamentari; ogni mancato superamento esaminato |
| Qualità del passaggio | Passaggi che superano momento, contesto e correttezza, divisi per tutti i passaggi | Criteri di escalation della scheda più gli eventi di passaggio nell’helpdesk | 90% dei passaggi superati; meno del 5% dei clienti costretto a ripetersi |
| Ricontatto entro 7 giorni | Clienti tornati per lo stesso problema su qualsiasi canale entro 7 giorni, divisi per le conversazioni AI segnate come risolte | Storico dei contatti collegato per ID cliente tra i canali | Pari o inferiore al tasso degli operatori per lo stesso tipo di contatto |
| Tasso di azioni automatiche non sicure | Azioni eseguite dall’AI che hanno violato una regola, divise per tutte le azioni eseguite dall’AI | Log delle azioni riconciliati con i limiti della policy e con la conversazione di origine | Zero su pagamenti e accesso all’account; sotto lo 0,1% altrove, ogni caso esaminato |
| Costo per risoluzione corretta | Costo dell’AI più il costo dei seguiti gestiti da persone che ha causato, diviso per le risoluzioni corrette | Fatture della piattaforma, costo del personale, storico dei contatti | Sotto il suo costo per risoluzione corretta da parte di un operatore per lo stesso tipo di contatto |
Suddivida ogni riga per tipo di contatto, perché una media complessiva nasconde l’unico intento che non funziona. Usi le stesse definizioni per il suo team di operatori, così le righe dell’AI e delle persone possono stare nella stessa dashboard; dove un KPI non ha un gemello umano, come il tasso di azioni automatiche non sicure, mostri il controllo più vicino (rimborsi e crediti fuori policy concessi dagli operatori).
Esempio pratico: un mese, due numeri principali
Un’illustrazione con numeri tondi, non un benchmark. Un agente AI gestisce 10.000 conversazioni in un mese. La dashboard del fornitore mostra il 70% di contenimento (7.000 conversazioni) e il 65% di risoluzione (6.500).
Il team verifica 400 delle conversazioni “risolte”. Il 14% ha dato una risposta sbagliata o dichiarato un’azione mai avvenuta, e un altro 8% è tornato per lo stesso problema entro 7 giorni. Resta il 78% corretto.
| Numero | Calcolo | Risultato |
|---|---|---|
| Risoluzioni corrette | 6.500 x 78% | 5.070 |
| Tasso di risoluzione corretta | 5.070 / 10.000 | 50,7% (il fornitore dice 65%) |
| Seguiti causati dall’AI | 6.500 x 22% | 1.430 |
| Costo per risoluzione del fornitore | 13.000 $ di costo AI / 6.500 | 2,00 $ |
| Costo per risoluzione corretta | (13.000 $ + 1.430 x 6 $ di seguito gestito da una persona) / 5.070 | 4,26 $ |
Stesso mese, stesse conversazioni. Un report dice che l’AI risolve il 65% dei contatti a 2,00 $; l’altro dice che ne risolve la metà a più del doppio del costo. Con un campione di 400, il 78% ha un margine di circa 4 punti in più o in meno (confidenza al 95%); valutare ogni conversazione elimina quel margine.
Quali dashboard mostrano tasso di contenimento, CSAT e tempo di gestione
La maggior parte degli helpdesk e delle piattaforme di agenti AI mostra già tasso di contenimento, CSAT e tempo medio di gestione nelle analisi integrate. Quello che queste dashboard mostrano di rado è se ogni conversazione è stata davvero risolta, corretta e conforme.
| Metrica | Da dove arriva di solito | Che cosa non può dirle |
|---|---|---|
| Tasso di contenimento o di deflection | La piattaforma dell’agente AI o le analisi dell’helpdesk | Se il cliente è stato aiutato o ha rinunciato |
| CSAT | I sondaggi di fine conversazione nell’helpdesk | Che cosa hanno vissuto i clienti che non hanno risposto |
| Tempo medio di gestione | Il reporting dell’helpdesk o del contact center | Se una risposta veloce era anche giusta |
| Qualità della risoluzione, accuratezza, rispetto delle policy | Una piattaforma di QA che valuta le trascrizioni | (È lo strato che manca alle altre tre) |
In pratica gli strati sono due. Tenga i numeri operativi degli strumenti che li producono e aggiunga uno strato di qualità che legge ogni conversazione, sia degli operatori sia degli agenti AI. Kaizo è pensato per questo secondo strato: valuta le conversazioni degli agenti AI con la stessa scheda di valutazione del suo team, così vede la qualità per team e per settimana, persone e AI affiancate. Per approfondire il contenimento, veda che cos’è il tasso di contenimento e perché può ingannare.
Perché le metriche di qualità dell’AI richiedono ogni conversazione
Ripercorra le metriche viste sopra e una cosa vale per ognuna, senza eccezioni: richiede di leggere la conversazione. La qualità della risoluzione è un giudizio sulla trascrizione. Il tasso di allucinazione è una verifica delle affermazioni rispetto alle fonti. La qualità dell’escalation è la valutazione di un turno specifico. L’abbandono silenzioso è l’assenza di un segnale, quindi si trova solo guardando le conversazioni in cui non è successo nulla.
Questo ha due conseguenze che la maggior parte dei programmi di misurazione non ha ancora assimilato.
Il campionamento qui non funziona
Il controllo qualità tradizionale esamina una piccola percentuale di conversazioni, e per un team di operatori di dimensione nota è un compromesso statistico difendibile. Non lo è per l’AI, per due motivi. Primo, i fallimenti dell’AI sono sistematici e non distribuiti: un articolo della knowledge base sbagliato o un caso limite di una policy produce lo stesso fallimento ogni volta che viene toccato, quindi un campione o intercetta l’intero gruppo o lo perde del tutto. Secondo, l’AI gestisce molto più volume, quindi lo stesso piccolo campione è una finestra più piccola su un’operazione più grande. Valutare ogni conversazione (in inglese) è la condizione preliminare, non l’obiettivo: elimina il bias di selezione che rende prive di senso le altre metriche. Non si tratta di sorvegliare qualcuno, si tratta di non lasciare che una regola di campionamento decida che cosa dicono le sue metriche.
Non dovrebbe dover accettare un punteggio sulla fiducia
Pretenda che ogni punteggio rimandi alla prova esatta nella trascrizione che l’ha prodotto, che ogni punteggio possa essere contestato e deciso da una persona, e che il sistema di valutazione possa essere eseguito su un insieme di conversazioni già valutate dai suoi revisori, così da vedere il tasso di concordanza criterio per criterio prima di riportare qualcosa ai vertici. Un punteggio che si può ricostruire è un punteggio che si può contestare. Un punteggio che non si può ricostruire è una promessa di marketing con un numero allegato.
Kaizo valuta gli agenti AI e il suo team di operatori con un unico insieme di criteri definito da lei, con ogni punteggio ricondotto alla trascrizione e verificabile sul suo insieme di riferimento. Applica quei criteri a tutte le sue conversazioni invece che a una porzione scelta. In pratica, significa che il controllo qualità degli agenti AI e quello degli operatori smettono di essere due programmi separati che producono due serie di numeri non confrontabili.
Come misurare le prestazioni dell’AI nell’assistenza clienti
Misuri le prestazioni dell’AI nell’assistenza clienti in cinque passaggi: definire la risoluzione per tipo di contatto, valutare ogni conversazione AI con una scheda, aggiungere i segnali silenziosi, confrontare con il team di operatori e riportare il divario.
- Definisca la risoluzione per tipo di contatto. Scriva quali prove nella trascrizione valgono come risolto per i principali motivi di contatto: rimborso confermato, cambio di indirizzo verificato, risposta corretta riconosciuta.
- Valuti ogni conversazione AI con un’unica scheda. Usi gli stessi criteri del team di operatori, più quelli specifici per i bot: accuratezza fattuale, fedeltà alla policy, restare nel perimetro ed escalation al momento giusto.
- Aggiunga i segnali silenziosi. Segua i ricontatti tra canali e gli abbandoni silenziosi, perché nessuno dei due compare nel contenimento o nel CSAT.
- Confronti con il team di operatori. Metta la qualità dell’AI e quella delle persone sullo stesso grafico, per tipo di contatto, per non confrontare la coda facile con quella difficile.
- Riporti il divario. Mostri al management il contenimento accanto alla qualità della risoluzione, e il costo per contatto davvero risolto accanto al costo per contatto contenuto.
Testi la valutazione stessa prima di riportarla: la applichi a conversazioni già valutate dai revisori e controlli l’accordo per criterio. La nostra guida su come misurare le prestazioni degli agenti AI spiega il metodo nel dettaglio.
Quando questo insieme di KPI non fa per lei?
Se il suo agente AI gestisce qualche centinaio di conversazioni al mese, risponde solo alle FAQ e non compie azioni, sette KPI sono un sovraccarico: legga un campione settimanale e segua i ricontatti.
Senza una scheda di valutazione scritta, ne scriva prima una (scheda di valutazione per agenti AI). Un’AI che si limita a preparare bozze di risposta che una persona invia è agent assist, quindi si applicano i KPI del team di operatori. Per iniziare, valuti 100 conversazioni “risolte” scelte a caso del mese scorso su risposta giusta, azione eseguita, policy rispettata e ricontatto entro 7 giorni, e riporti il risultato accanto al tasso del fornitore (margine di circa 10 punti). Per le soglie di allerta, veda il monitoraggio degli agenti AI.
Misuri che cosa hanno fatto davvero i suoi agenti AI
Veda in una demo dal vivo, con dati di esempio realistici, come la qualità della risoluzione si colloca accanto al contenimento, valutata con criteri come i suoi. Ogni punteggio rimanda alle prove nella trascrizione e, nel suo avvio, lo verifica su conversazioni già valutate dai suoi revisori.
Parliamone Scopra il controllo qualità degli agenti AI Scopri Kaizo Insights
Domande frequenti
Quali sono le metriche AI più importanti nel customer care?
Tasso di risoluzione corretta, accuratezza verificata, rispetto delle policy, qualità del passaggio a una persona, ricontatto entro 7 giorni, tasso di azioni automatiche non sicure e costo per risoluzione corretta, con il tasso di abbandono silenzioso come metrica diagnostica. Descrivono ciò che è davvero successo nella conversazione e nei suoi sistemi. Il tasso di contenimento e il CSAT post-AI, le due più riportate, descrivono invece l’instradamento e un’opinione autoselezionata, ed è per questo che ingannano.
Che differenza c’è tra tasso di risoluzione, deflessione e contenimento?
Il contenimento è la quota di conversazioni chiuse senza una persona. La deflessione è la quota di contatti che non ha mai raggiunto una coda di operatori. Il tasso di risoluzione è la verifica propria del fornitore, da “il cliente se n’è andato senza chiedere altro aiuto” a una revisione automatica della trascrizione. Nessuno dei tre controlla i dati di backend o gli altri canali, ed è per questo che il tasso di risoluzione corretta sta sopra di loro.
Che cos’è il tasso di contenimento e perché è fuorviante?
Il tasso di contenimento, chiamato anche tasso di deflessione, è la quota di conversazioni gestite da un’AI senza l’intervento di una persona. È fuorviante perché misura se è stato coinvolto qualcun altro, non se il cliente è stato aiutato. Un cliente che ha chiesto tre volte, non è arrivato da nessuna parte e ha chiuso la finestra frustrato conta come contenuto, e così anche un cliente che ha rinunciato e ha telefonato.
Come misurare il CSAT di agenti AI e chatbot?
Tratti il CSAT come un segnale tra tanti, non come il verdetto. Al CSAT post-AI risponde un piccolo gruppo autoselezionato, e i clienti con cui la sua AI ha fallito di più sono quelli che hanno meno probabilità di restare a rispondere a un sondaggio. Inoltre mescola correttezza e tono, quindi un’AI sicura di sé ma sbagliata può ottenere un buon punteggio. Lo confronti con misure basate sulla trascrizione invece di trattarlo come una prova a sé.
Come si misura se un agente AI ha davvero risolto un problema?
Valuti la risoluzione come criterio nei suoi criteri di valutazione della qualità, applicato alla trascrizione invece che dedotto dallo stato del ticket. Definisca, per tipo di contatto, quali prove nella conversazione contano come risoluzione: il rimborso confermato, la modifica confermata al cliente, la risposta corretta di cui il cliente prende atto. Poi confronti quella quota di conversazioni risolte con il suo tasso di contenimento. Il divario tra le due è la dimensione del problema.
Che cos’è il tasso di abbandono silenzioso?
È la quota di conversazioni con l’AI da cui un cliente esce senza risoluzione e senza escalation: nessun reclamo, nessun sondaggio, nessun ricontatto. Queste conversazioni sono invisibili a ogni metrica basata sull’instradamento perché nessuna persona è intervenuta, quindi gonfiano il contenimento. Trovarle significa leggere le conversazioni che si sono chiuse su un turno del cliente e giudicare se il problema era stato davvero affrontato.
Quale tasso di risoluzione può raggiungere l’AI nell’assistenza clienti?
Non esiste un riferimento di settore affidabile, perché i fornitori chiamano con lo stesso nome cose diverse: molti contano come risolta qualsiasi conversazione contenuta. Il tasso che conta è la quota di conversazioni AI che una revisione della trascrizione giudica davvero risolte per i suoi tipi di contatto. Lo misuri per primo e poi lo confronti con il contenimento: la differenza mostra quanto il numero di facciata gonfia quello reale.






