Il tasso di deflessione conta i contatti che non sono mai arrivati a un operatore, quindi misura il volume, mai la qualità. Una risposta giusta, un cliente che ha rinunciato e una risposta sbagliata data con sicurezza sembrano identici, e la maggior parte dei programmi di controllo qualità non rivede mai quelle conversazioni.
In sintesi
- La risposta sbagliata data con sicurezza è quella che costa di più, perché non arriva mai a un’escalation.
- La maggior parte dei benchmark pubblicati viene da fornitori valutati proprio con questa metrica.
- Il ricontatto entro sette giorni è il controllo più economico, e il dato è già nel suo helpdesk.
- Se lascia fuori dalla revisione i ticket deviati, perde l’intero carico di lavoro del suo bot.
Che cosa misura davvero il tasso di deflessione?
Il tasso di deflessione è la quota di contatti in entrata chiusi senza che un operatore umano li toccasse. La formula abituale è contatti deviati diviso contatti totali, dove deviato significa che il self-service o un agente AI ha gestito il contatto dall’inizio alla fine.
Rilegga questa definizione, perché l’intero problema sta lì dentro. Il numeratore è definito da qualcosa che non è successo. Una persona non è intervenuta. Nulla nella misura chiede se il problema del cliente è stato risolto.
Ecco perché la metrica si comporta in modo così strano sotto pressione. Renda più difficile uscire dal suo centro assistenza e la deflessione sale. Nasconda il modulo di contatto dietro tre clic e la deflessione sale. Lasci che il bot risponda con sicurezza invece di passare la mano quando non è certo e la deflessione sale. In ogni caso il numero migliora e l’esperienza del cliente peggiora, che è il segno di una metrica che misura l’oggetto sbagliato.
Nulla di tutto questo la rende un numero inutile. La deflessione è un’ottima misura di capacità, e la capacità è qualcosa di reale da gestire. Smette di essere utile nel momento in cui qualcuno la legge come misura di qualità, cosa che nella maggior parte delle organizzazioni succede più o meno alla seconda settimana.
Da ricordare
Il tasso di deflessione è una metrica di volume travestita da metrica di qualità. Le dice quanto lavoro ha assorbito il suo bot. Non può dirle se quel lavoro è stato fatto.
Perché quattro esiti diversi sembrano identici nei dati?
Un ticket deviato ha almeno quattro finali possibili, e il suo reporting li comprime tutti e quattro in un’unica riga. È la cosa più importante da capire su questa metrica, ed è il motivo per cui due team con lo stesso tasso di deflessione possono trovarsi in guai di entità completamente diversa.
Scorra la tabella qui sotto pensando al suo prodotto. La maggior parte dei team riesce a citare un esempio reale di tutti e quattro i casi in pochi minuti, e questo è già di per sé il risultato.
| Che cosa è successo davvero | Che cosa ha vissuto il cliente | Come appare nei dati di deflessione | Dove emerge invece |
|---|---|---|---|
| Risolto davvero | Ha avuto la risposta giusta ed è andato avanti | Deviato | Da nessuna parte. È il caso per cui sta pagando |
| Abbandonato | Ha rinunciato e non è tornato | Deviato, record identico | Churn, un mancato rinnovo silenzioso, un ordine perso |
| Reindirizzato dal cliente | Ha lasciato la chat e ha telefonato, scritto un’email o un post pubblico | Deviato, e il secondo contatto spesso conta come un nuovo ticket | Tasso di ricontatto e il suo stesso volume in entrata |
| Sbagliato con sicurezza | Ha ricevuto una risposta chiara ma errata, e ha agito di conseguenza | Deviato, e spesso con segnali superficiali positivi | Un rimborso, un reclamo, un incidente di conformità, settimane dopo |
Deflessione, contenimento e risoluzione non sono lo stesso numero
Nel materiale dei fornitori questi tre termini vengono usati come sinonimi, ma significano cose davvero diverse. Vale la pena chiarirli prima di qualsiasi discussione sugli obiettivi.
- Deflessione chiede se il contatto è arrivato a una persona. Si misura all’ingresso ed è la più lasca delle tre.
- Contenimento chiede se la conversazione è rimasta dentro il canale automatizzato. Una conversazione contenuta può comunque finire male; è solo finita male dentro il bot.
- Risoluzione chiede se il problema del cliente è sparito. È l’unica delle tre che riguarda il cliente, e l’unica che non si può misurare senza chiederglielo o leggere la conversazione.
Il divario tra contenimento e risoluzione è dove stanno i soldi. Un team che riporta il 70% di contenimento e presume il 70% di risoluzione fa un salto non verificato, e l’ampiezza di quel salto resta ignota finché qualcuno non la misura. Di solito nessuno l’ha fatto, perché misurarla significa leggere conversazioni invece di aprire una dashboard.
Quando un fornitore riporta la risoluzione, verifichi se il sistema si sta valutando da solo. Un agente AI che decide da sé se ha risolto qualcosa non è una prova, è un’autovalutazione, e il NIST AI Risk Management Framework tratta la misurazione indipendente delle prestazioni di un sistema AI come una funzione distinta proprio perché le prestazioni autodichiarate non sono una misura. La stessa logica vale per l’accuratezza del controllo qualità con l’AI nella direzione opposta: qualsiasi valutatore, umano o modello, ha bisogno che la sua accuratezza sia stabilita da qualcosa di esterno.
Attenzione
Se il suo agente AI riporta il proprio tasso di risoluzione, quel dato è un’autovalutazione e va indicato come tale in ogni presentazione in cui compare. Diventa una prova quando qualcosa di indipendente dall’agente ne verifica un campione.
Perché la risposta sbagliata data con sicurezza è quella che costa di più?
Un agente AI che sbaglia con sicurezza chiude il ticket. Un agente AI che sbaglia onestamente apre un’escalation. Questa sola asimmetria decide quali errori le arrivano all’orecchio.
Ogni escalation è visibile. Finisce in una coda, una persona la legge e, se è abbastanza grave, qualcuno lo dice. Il percorso dell’escalation si segnala da solo. Intanto la conversazione in cui il bot ha inventato una finestra per i resi, o ha citato un prezzo che non esiste da due anni, o ha rassicurato qualcuno che i suoi dati erano stati cancellati quando non lo erano, viene segnata come risolta ed esce dall’azienda.
Così l’insieme di errori di cui sente parlare in modo naturale è sistematicamente quello sbagliato. Viene a sapere dei quasi errori del bot prudente e resta all’oscuro degli errori veri del bot sicuro di sé. Sono gli errori silenziosi, e il nome è preciso: non sono rari, sono silenziosi.
C’è un effetto di secondo ordine che vale la pena nominare. Poiché le escalation sono visibili e la deflessione viene premiata, la pressione su qualsiasi implementazione AI va in una sola direzione, cioè fare meno escalation. I team tarano il bot perché risponda con sicurezza. Un bot tarato per passare la mano quando non è certo mostrerà un tasso di deflessione peggiore e un’esperienza cliente migliore, e se la deflessione è il numero sulla dashboard, quel compromesso viene risolto nel verso sbagliato. Come viene progettato e rivisto il passaggio all’operatore umano conta più del tasso da una parte o dall’altra.
Consiglio
Ordini le conversazioni deviate in base a quanto suona sicuro l’ultimo messaggio del bot, non in base alla loro lunghezza. Messaggi di chiusura brevi, certi e senza riserve su domande non banali sono dove si concentrano le risposte sbagliate.
Come verificare il suo tasso di deflessione?
Questa è la parte che nessuno pubblica. Richiede circa mezza giornata e può fare il primo giro questa settimana senza strumenti nuovi.
Passo 1. Costruisca la base di campionamento che finora ha escluso
Estragga tutte le conversazioni dell’ultimo mese completo chiuse senza l’intervento di una persona. Non quelle in escalation, non un campione generico di tutti i ticket: proprio la popolazione deviata. La maggior parte dei programmi di controllo qualità le filtra per impostazione predefinita, perché la coda di revisione è stata costruita attorno agli operatori e queste conversazioni non hanno un operatore associato. Quel filtro è il punto cieco.
Passo 2. Stratifichi prima di campionare
Non prenda un campione casuale semplice. Divida prima la base in tre gruppi, perché il tasso di errore di partenza è molto diverso tra loro:
- Deviate, nessun contatto successivo. I successi apparenti, e il gruppo che ha più probabilità di contenere le risposte sbagliate date con sicurezza.
- Deviate, poi ricontattate entro sette giorni. Il gruppo più produttivo, con ampio margine. Parta da qui se ha solo un’ora.
- Deviate su un tema che riguarda denaro, identità o un impegno di policy. La conseguenza più alta per singolo errore, ed è lì che si trova l’esposizione sulla protezione dei dati.
Da venti a trenta conversazioni per gruppo bastano per una prima lettura. Non sta ancora producendo un tasso statisticamente difendibile, sta stabilendo se un problema esiste e che forma ha. Se in seguito vuole un numero difendibile, la logica di dimensionamento è la stessa di qualsiasi altro campionamento per il controllo qualità.
Passo 3. Valuti con criteri scritti per un bot, non per una persona
La sua scheda di valutazione attuale qui non funziona. Metà della scheda misura cose che un bot non può fare male e non misura quelle in cui sbaglia. Usi invece una scorecard per agenti AI e valuti solo ciò che un lettore può verificare dalla trascrizione. Quattro criteri portano la maggior parte del segnale:
- Accuratezza dei fatti. Ogni affermazione su policy, prezzo, tempi o diritti era corretta? È il criterio che conta, e quello che la sua vecchia scheda quasi certamente omette.
- Completezza. Il cliente ha avuto tutto ciò che gli serviva, o una risposta parziale che chiude il ticket e garantisce un secondo contatto?
- Giudizio sull’escalation. Doveva passare a una persona, ed è successo?
- Incertezza dichiarata. Quando il bot non sapeva, lo ha detto, o ha prodotto qualcosa di plausibile?
Passo 4. Calcoli il numero che conta
Il suo dato reale è la quota di conversazioni deviate risolte in modo corretto e completo. Si aspetti che sia sensibilmente sotto il tasso di deflessione che riporta, la prima volta che lo misura. Quel divario è il vero risultato, e in una discussione con il management vale più di quanto il tasso di deflessione abbia mai valso, perché è riconducibile a conversazioni specifiche che chiunque può aprire e leggere.
Lo ripeta ogni mese, con la stessa stratificazione, e avrà un trend. A quel punto smette di essere un audit e diventa controllo qualità per i suoi agenti AI.
Quali numeri devono stare accanto al tasso di deflessione?
Non elimini il tasso di deflessione. Lo circondi, così che non possa essere letto da solo. Quattro indicatori complementari fanno la maggior parte del lavoro, e ognuno si ricava da dati che ha già.
- Ricontatto entro sette giorni da una deflessione. Il controllo con il miglior rapporto tra valore e sforzo che esista. È oggettivo, non richiede sondaggi, e un cliente che torna è la dichiarazione più chiara possibile che la prima risposta non è andata a segno.
- Qualità delle escalation, non tasso di escalation. Quando il bot ha passato la mano, era la scelta giusta ed è arrivato con il contesto? Il tasso da solo è ambiguo, perché un’implementazione buona e una cattiva possono produrre lo stesso valore. La qualità nella gestione delle escalation è la versione leggibile.
- Insoddisfazione specifica sulle conversazioni deviate. La isoli invece di lasciarla confluire nella media complessiva, dove un piccolo volume di interazioni automatizzate pessime sparisce. Il segnale di insoddisfazione qui è più utile della soddisfazione, perché la popolazione deviata risponde ai sondaggi ancora meno di quella generale.
- Tasso di risoluzione verificato. Il risultato dell’audit descritto sopra. È il numero da portare al management, e l’unico della lista che richiede che qualcuno abbia letto una conversazione.
Leggere a mano la popolazione deviata è il punto di partenza, ed è anche il punto in cui ci si blocca, perché il volume è grande e il tasso di errore di partenza è abbastanza basso che una revisione manuale su un campione del 3% non lo farà emergere in modo affidabile. L’Auto QA di Kaizo valuta le conversazioni gestite dall’AI e quelle gestite dagli operatori con gli stessi criteri, il che rende onesto il confronto, e mantiene il ragionamento collegato a ogni conversazione, così che una risposta segnalata possa essere verificata invece che presa sulla fiducia. È la copertura del 100% che fa emergere tendenze che un campionamento del 3% non potrebbe mai mostrare, applicata alla popolazione che non è mai entrata nel campione.
Se vuole il quadro più ampio di metriche attorno a questo tema, misurare le prestazioni degli agenti AI copre il livello operativo, e le metriche AI per il customer care coprono ciò che va messo in una dashboard.
Perché diffidare di ogni benchmark pubblicato su questa metrica?
Guardi chi pubblica i benchmark sulla deflessione. Cerchi il termine e i risultati sono dominati da aziende che vendono l’agente AI il cui valore si esprime in deflessione. Non è una cospirazione, è un incentivo, e vale la pena nominarlo perché condiziona ogni numero che troverà.
Tre motivi concreti per cui un benchmark pubblicato non è trasferibile alla sua realtà:
- Il denominatore non è definito. Include le visualizzazioni delle pagine del centro assistenza? Le chat aperte e chiuse in quattro secondi? I contatti sui canali che il bot non copre? Sposti il denominatore e può spostare la deflessione di venti punti senza cambiare nulla di reale.
- Il mix di contatti domina il risultato. Un team che riceve reset di password e richieste sullo stato degli ordini supererà in deflessione un team che gestisce contestazioni di fatturazione, con un margine che non dice nulla sulla qualità di nessuna delle due implementazioni. Confrontare mix diversi non ha senso.
- Nessuno pubblica i propri insuccessi. I benchmark provengono da implementazioni disposte a essere citate, che per costruzione sono una popolazione filtrata.
Il confronto utile non è con un dato di settore, è con sé stessi. Il suo tasso di risoluzione verificato di questo mese contro quello del mese scorso, sullo stesso mix di contatti e con gli stessi criteri, le dice qualcosa di vero. Un benchmark di settore le dice qualcosa di citabile.
Domande frequenti
Qual è un buon tasso di deflessione?
Non esiste una risposta trasferibile, e qualsiasi cifra presentata come tale va trattata con sospetto. La deflessione dipende quasi interamente dal mix di contatti e da come è definito il denominatore, quindi un team che gestisce lo stato degli ordini mostrerà un tasso molto più alto di un team che gestisce contestazioni di fatturazione, senza alcuna differenza di qualità. Il confronto che ha senso è il suo tasso di risoluzione verificato mese su mese, con un mix di contatti stabile.
Qual è la differenza tra tasso di deflessione e tasso di contenimento?
La deflessione chiede se un contatto è arrivato a una persona. Il contenimento chiede se la conversazione è rimasta dentro il canale automatizzato. Nessuno dei due chiede se il problema del cliente è stato risolto, cioè la risoluzione, e la risoluzione non si può misurare senza chiederlo al cliente o leggere la conversazione. Una conversazione contenuta può comunque essere finita male.
Come capiamo se il nostro agente AI dà risposte sbagliate?
Legga un campione stratificato delle conversazioni che ha chiuso senza escalation, cioè la popolazione che la maggior parte dei programmi di controllo qualità esclude. Parta dalle conversazioni deviate in cui il cliente ha ricontattato l’assistenza entro sette giorni, perché il tasso di errore in quel gruppo è molto più alto che nella popolazione generale. Le valuti su accuratezza dei fatti e completezza, non sul tono.
Un tasso di deflessione alto significa che i nostri clienti sono soddisfatti?
No, e può significare il contrario. La deflessione conta l’assenza di una persona, quindi un cliente che ha rinunciato, è passato a un altro canale o ha accettato una risposta sbagliata data con sicurezza produce lo stesso record di uno che è stato davvero aiutato. Rendere più difficile raggiungere una persona alza la deflessione e abbassa la soddisfazione, ed è per questo che la metrica va letta insieme al tasso di ricontatto.
Dobbiamo includere le conversazioni gestite dall’AI nel programma di controllo qualità?
Sì, e oggi la maggior parte dei programmi non lo fa, perché le code di revisione sono state costruite attorno agli operatori e queste conversazioni non hanno un operatore associato. Se i ticket deviati sono esclusi dal suo campione, la sua visibilità sulla qualità ha un buco grande esattamente quanto il carico di lavoro del suo bot. Le valuti con criteri scritti per un sistema di risposta automatico invece di riutilizzare la scheda di valutazione degli operatori.
Termini correlati
- Your AI agent is closing tickets. Who is checking it?
- Gli errori silenziosi degli agenti AI
- What containment rate does and does not tell you
- La scorecard per agenti AI
- Controllo qualità di agenti AI e chatbot
- Il passaggio dall’AI all’operatore umano
Scopra che cosa le ha davvero dato il suo tasso di deflessione
Porti un mese di conversazioni chiuse in autonomia dal suo agente AI. Le valuteremo con gli stessi criteri dei ticket gestiti dagli operatori e le mostreremo il divario tra ciò che è stato deviato e ciò che è stato davvero risolto.
