Quando punteggio qualità e CSAT non concordano, nessuno dei due ha ragione finché lei non verifica che entrambi i numeri descrivano le stesse conversazioni, perché di solito non è così. Se le descrivono, uno scarto che persiste significa che la sua scheda di valutazione misura il rispetto del processo invece del risultato.
In breve
- QA basso con CSAT alto spesso significa che l’operatore ha derogato al processo per aiutare.
- Lo tratti come un’indicazione sulle policy, non come un tema di coaching.
- Escalation, ricontatti e rimborsi fanno da spareggio, perché sono comportamenti.
- Un punteggio qualità che non è mai in disaccordo con il CSAT è ridondante.
I due numeri descrivono davvero le stesse conversazioni?
Lo verifichi prima di diagnosticare qualsiasi cosa, perché è la spiegazione più comune e quasi nessuno la controlla.
Consideri come viene prodotto davvero ciascun numero. Il CSAT arriva dai clienti che hanno ricevuto un sondaggio e hanno scelto di rispondere, di solito una piccola frazione dei contatti. Il suo punteggio qualità arriva dalle conversazioni selezionate da un revisore, di solito circa il 3% del volume. Sono due processi di selezione indipendenti che girano nello stesso mese, e l’intersezione tra i due è spesso quasi vuota.
Quindi, quando i due non concordano, la prima ipotesi onesta non è che uno dei due sia sbagliato. È che ha misurato conversazioni diverse e sta trattando la differenza come una contraddizione.
Il test dei cinque minuti. Estragga le conversazioni che hanno ricevuto una risposta CSAT il mese scorso. Estragga le conversazioni che sono state revisionate. Conti la sovrapposizione. Se è a una cifra, al momento non ha un confronto, e nessuna analisi costruita sopra quei due numeri ne produrrà uno. La soluzione è revisionare deliberatamente un insieme di conversazioni che hanno una risposta CSAT associata, il che rende il confronto possibile per la prima volta.
C’è un secondo problema di selezione sovrapposto al primo. La risposta ai sondaggi non è casuale: chi risponde differisce sistematicamente da chi non risponde, ed è per questo che il bias di mancata risposta è trattato come un problema metodologico centrale e non come una questione di arrotondamento. Il lavoro di Pew Research su cosa significano tassi di risposta bassi per i sondaggi è la trattazione più chiara disponibile, e l’implicazione per il CSAT è diretta. Un tasso di risposta del 20% non è un campione del 20% dell’esperienza dei suoi clienti, è un campione completo dei clienti che avevano un’opinione abbastanza forte da rispondere.
Attenzione
Se meno di una decina di conversazioni del mese scorso hanno sia una risposta CSAT sia una revisione QA, le sue due metriche non sono in disaccordo. Descrivono popolazioni separate, e lo scarto che sta osservando potrebbe non contenere alcuna informazione.
Che cosa misura davvero ciascun numero?
Non sono due tentativi della stessa misurazione, ed è per questo che aspettarsi che coincidano è l’errore di fondo. Misurano oggetti diversi, e una coppia di metriche ben progettata dovrebbe a volte essere in disaccordo.
- Il suo punteggio qualità misura il processo che lei controlla. L’operatore ha fatto ciò che la sua organizzazione ha deciso costituisca una buona gestione? È interno, è confrontabile tra operatori e vale quanto il giudizio codificato nei criteri di valutazione.
- Il CSAT misura il risultato, più tutto il resto. La risposta che il cliente ha ricevuto, la policy che c’è dietro, l’attesa, il prodotto, il prezzo e il suo umore. Molto poco di tutto questo dipende dall’operatore.
Inquadrato così, il disaccordo diventa informativo invece che allarmante. Un cliente può essere scontento di un no comunicato correttamente. Un operatore può perdere punti per aver saltato un passaggio mentre il cliente ha ottenuto esattamente ciò di cui aveva bisogno. Sono due affermazioni vere su cose diverse, e un punteggio di qualità interno esiste proprio perché la valutazione del cliente non può dirle che cosa cambiare.
Un punteggio qualità che concorda sempre con il CSAT non misura nulla in più. Se i suoi due numeri si muovono all’unisono, o ha costruito una scheda di valutazione che prevede la soddisfazione invece di descrivere la gestione, oppure qualcuno valuta con un occhio alla valutazione del cliente. Un accordo perfetto è un segnale d’allarme, non un criterio di successo.
Punteggio qualità vs CSAT: i quattro quadranti e cosa significano
Una volta escluso il problema delle popolazioni, metta i due numeri a confronto. Ogni quadrante ha una causa specifica e un’azione specifica, e non sono intercambiabili.
| Schema | Causa più probabile | Come confermarla | Cosa fare |
|---|---|---|---|
| QA alto, CSAT basso | La scheda premia il rispetto del processo invece della risoluzione, oppure il cliente è scontento della policy e non della gestione | Legga dieci conversazioni con punteggio alto e valutazione bassa. Si chieda se il problema del cliente è stato davvero risolto | Dia più peso alla risoluzione, oppure riclassifichi il reclamo come questione di policy e lo tolga dal QA |
| QA basso, CSAT alto | L’operatore ha derogato al processo per aiutare, oppure la scheda penalizza cose che i clienti non notano | Controlli per cosa ha perso punti. Se si tratta di tono, formattazione o uso delle macro, verifichi se il criterio merita il suo peso | È un’indicazione sulle policy o sui criteri, non un tema di coaching. Non faccia coaching a un operatore per un cliente soddisfatto |
| Entrambi bassi | Un problema reale di performance o di capacità, oppure un processo che non funziona per nessuno | Verifichi se è concentrato su alcuni operatori o distribuito su tutti | Distribuito significa processo. Concentrato significa coaching. Diagnostichi prima di agire |
| Entrambi alti, e lei non ci crede | Revisori indulgenti, una scheda che tutti superano, oppure una selezione dei sondaggi che favorisce i contatti risolti | Guardi la distribuzione dei punteggi. Se quasi nulla viene bocciato, la scheda ha smesso di discriminare | Ricalibri i revisori e verifichi se qualche criterio è stato superato nel 95% dei casi per due trimestri |
Perché QA alto con CSAT basso è lo schema più comune?
Perché le schede di valutazione scivolano verso ciò che è facile da osservare, e ciò che è facile da osservare raramente è ciò che conta. Saluto, chiusura, tag e tono si possono valutare in fretta e in modo coerente. Capire se il problema del cliente è davvero risolto richiede di leggere l’intera conversazione e di conoscere la policy.
Così i criteri economici da valutare si accumulano, il criterio che conta di più ottiene una riga, e si finisce con una scheda in cui una conversazione può totalizzare il 95% lasciando il cliente con un problema irrisolto e una chiusura cortese. La soluzione è ridare peso al risultato, e ponderare i criteri sulla base delle evidenze è il metodo: confronti il tasso di errore di ogni criterio con un risultato a valle come il ricontatto, e lasci che i criteri che non prevedono nulla perdano peso.
C’è una seconda causa che vale la pena separare, perché l’azione è completamente diversa. A volte la gestione è stata davvero buona e il cliente è scontento della risposta. Un rifiuto comunicato correttamente, una policy esatta ma sgradita, un prezzo. Non è un problema di qualità e non va trattato con il coaching. È un’indicazione per chi è responsabile della policy, e la cosa più utile che il QA può fare è contarla, inoltrarla e fermarsi lì. Trattarla come insoddisfazione del cliente da ridurre con una gestione migliore non funzionerà, perché il problema non era la gestione.
Consiglio
Classifichi le valutazioni basse a seconda che il reclamo riguardi la gestione o la risposta. Due mesi di questa sola distinzione le dicono quanta parte della sua insoddisfazione sia davvero un problema dell’assistenza, e di solito è meno di quanto il management pensi.
Quale numero vince quando bisogna scegliere?
Nessuno dei due. Usi il comportamento come spareggio. Entrambi i numeri sono opinioni, una di un revisore e una di un cliente. Ciò che i clienti hanno fatto dopo non è un’opinione, ed è già nel suo helpdesk.
Tre criteri di spareggio, in ordine di utilità:
- Ricontatto entro sette giorni. Il segnale più pulito disponibile. Un cliente che ritorna sta dicendo che il primo contatto non ha risolto, a prescindere da ciò che diceva l’uno o l’altro numero. Se le sue conversazioni con punteggio alto generano ricontatti, la scheda è sbagliata.
- Escalation e reclami. Azioni del cliente costose e deliberate. Un team con valutazioni eccellenti ed escalation in aumento ha un problema di misurazione da qualche parte, e la qualità nella gestione delle escalation è il primo posto in cui guardare.
- Rimborsi e gesti commerciali concessi per rimediare a disservizi. Denaro che esce dall’azienda per sistemare qualcosa è la prova meno contestabile che esista.
Poi faccia la verifica al contrario. Prenda le conversazioni che i clienti hanno valutato male e le faccia valutare ai revisori alla cieca, senza mostrare la valutazione. Se i revisori le valutano bene in modo costante, i suoi criteri e i suoi clienti non sono d’accordo su cosa significhi una buona gestione, e i criteri sono la cosa che lei può cambiare. È lo stesso meccanismo di una sessione di calibrazione (in inglese), puntato sulla scheda invece che sui revisori.
Il problema di scala va nominato, perché è ciò che rende tutto questo difficile e non solo noioso. Ognuna di queste verifiche richiede abbastanza conversazioni con sia una valutazione del cliente sia una revisione per essere leggibile, e con un campione del 3% quell’intersezione è troppo piccola per essere segmentata. L’Auto QA di Kaizo valuta l’intera popolazione con i suoi criteri, il che significa che ogni conversazione con sondaggio ha anche un punteggio qualità associato, e il confronto smette di dipendere da due campioni che per caso si sovrappongono. È questo che le offre qui una copertura del 100%, che rivela tendenze che un campionamento del 3% non mostrerebbe mai: non un punteggio migliore, ma la possibilità stessa di porsi la domanda.
Che cosa cambiare per primo?
Proceda in quest’ordine. Ogni passaggio costa poco e ognuno elimina una possibile spiegazione, il che le evita di riponderare una scheda per correggere un artefatto di campionamento.
- Misuri la sovrapposizione. Conti le conversazioni che hanno sia una valutazione del cliente sia una revisione. Se è minima, risolva prima questo revisionando deliberatamente le conversazioni con sondaggio, e smetta di analizzare finché non l’ha fatto.
- Verifichi l’accordo tra revisori. Se due revisori non concordano tra loro, il punteggio qualità non è abbastanza stabile da essere confrontato con qualsiasi cosa. La varianza tra revisori si traveste da problema CSAT contro QA più spesso di quanto venga diagnosticata per quello che è.
- Separi i reclami sulla gestione da quelli sulla risposta. Due mesi di classificazione le dicono quanta parte dello scarto sia anche solo un problema dell’assistenza.
- Testi ogni criterio rispetto al ricontatto. I criteri che falliscono senza muovere alcun risultato a valle portano un peso che non si sono guadagnati.
- Solo allora riponderi. E quando lo fa, versioni la scheda di valutazione (in inglese) in modo che i punteggi storici restino leggibili rispetto ai criteri che li hanno prodotti.
Ciò che non deve fare è fissare un obiettivo che costringa i due numeri a concordare. Un punteggio qualità gestito in funzione del CSAT smette di essere una misurazione indipendente e diventa un secondo modo, più costoso, di riportare la stessa cosa. Il motivo per usarli entrambi è che vedono errori diversi, e cosa il CSAT può e non può misurare (in inglese) è la versione più ampia di questo ragionamento. Mantenerli indipendenti è il punto, e un disaccordo occasionale è la prova che ci è riuscito.
Domande frequenti
Perché i nostri punteggi QA sono alti ma il CSAT è basso?
Nella maggior parte dei casi perché la scheda di valutazione premia il rispetto del processo invece della risoluzione, quindi una conversazione può ottenere un punteggio alto lasciando irrisolto il problema del cliente. La seconda causa comune è che il cliente è scontento della risposta e non della gestione, il che è un’indicazione sulle policy e non va trattato con il coaching. Prima di entrambe, verifichi se le conversazioni con sondaggio e quelle revisionate sono davvero lo stesso insieme, perché di solito non lo sono.
Cosa è più affidabile, il CSAT o un punteggio di qualità interno?
Nessuno dei due, perché misurano oggetti diversi. Un punteggio qualità misura il processo che lei controlla ed è confrontabile tra operatori. Il CSAT misura il risultato più la policy, l’attesa, il prodotto e l’umore del cliente, e molto poco di tutto questo dipende dall’operatore. Usi piuttosto il comportamento come spareggio: ricontatti, escalation e rimborsi sono azioni, non opinioni.
I punteggi QA e il CSAT dovrebbero coincidere?
No, e una coppia che concorda sempre è un segnale d’allarme. Significa che la scheda è stata costruita per prevedere la soddisfazione invece di descrivere la gestione, oppure che i revisori valutano con un occhio alla valutazione del cliente. Il motivo per usare entrambe le metriche è che rilevano errori diversi, quindi un disaccordo occasionale è la prova che funzionano in modo indipendente. Se il QA migliori o meno il CSAT è spiegato in il QA migliora il CSAT? (in inglese).
Cosa significa se un operatore ha punteggi QA bassi e clienti soddisfatti?
Di solito che ha derogato a un processo per aiutare il cliente, oppure che la scheda penalizza cose che i clienti non notano, come tono, formattazione o uso delle macro. Controlli per cosa ha perso punti prima di fare coaching a chiunque. Se il criterio non prevede alcun risultato a valle come il ricontatto, è un’indicazione sui criteri e non sulla performance.
Un tasso di risposta ai sondaggi del 20% è un campione del 20%?
No. È un campione completo dei clienti che avevano un’opinione abbastanza forte da rispondere, un gruppo sistematicamente diverso da quello di chi non ha risposto. Il bias di mancata risposta è un problema metodologico ben documentato e non una questione di arrotondamento, e significa che il CSAT descrive una popolazione autoselezionata. È il motivo principale per cui serve una misura interna accanto al CSAT, e non al suo posto.
Termini correlati
- Oltre il CSAT: cosa il punteggio può e non può misurare (in inglese)
- A cosa serve un punteggio di qualità interno
- CSAT vs DSAT (in inglese)
- Come ponderare i criteri della scheda di valutazione
- Come condurre una sessione di calibrazione QA (in inglese)
- Come misurare la qualità delle conversazioni (in inglese)
Scopra se i suoi due numeri descrivono le stesse conversazioni
Porti un mese di conversazioni con sondaggio e la sua scheda di valutazione attuale. Le valuteremo con i suoi criteri, così potrà vedere dove la valutazione del cliente e la revisione sono davvero in disaccordo, e dove non si sono mai incontrate.
