La calibrazione nel call center, o calibrazione QA, consiste nel far valutare la stessa conversazione a più revisori e confrontare i risultati, così che tutti applichino la scheda di valutazione allo stesso modo. Senza calibrazione, due persone valutano lo stesso ticket in modo diverso e i punteggi diventano ingiusti. La calibrazione trasforma questi disaccordi in criteri più chiari, così che il punteggio rifletta la conversazione e non il revisore che l’ha aperta.
In breve
- Calibrazione QA significa che più revisori valutano la stessa conversazione in modo indipendente, poi confrontano i risultati e concordano il punteggio corretto.
- La calibrazione fa emergere i criteri vaghi che i revisori leggono in modo diverso, ed è il segnale che vanno riscritti.
- Una sessione di calibrazione segue quattro passaggi: scegliere un campione comune, valutarlo alla cieca, confrontare e discutere, poi aggiornare la scheda di valutazione.
- Le sessioni programmate tolgono ai revisori tempo per il coaching, quindi la frequenza è un compromesso.
- La valutazione automatica applica un unico standard a ogni conversazione, quindi serve meno calibrazione, ma le persone continuano a calibrarsi su che cosa sia un buon servizio.
Che cos’è la calibrazione QA in un team di assistenza
In un team di assistenza clienti, la calibrazione QA è la verifica periodica che ogni revisore valuti una conversazione allo stesso modo, con la stessa scheda di valutazione. I revisori valutano da soli un campione comune, confrontano i risultati e mettono per iscritto come è stato risolto ogni disaccordo, così che l’operatore riceva lo stesso punteggio e lo stesso feedback chiunque lo valuti.
Il termine viene dalla metrologia: uno strumento è calibrato quando indica lo stesso valore di un riferimento noto. Nel controllo qualità gli strumenti sono i suoi revisori e il riferimento è la lettura concordata di ogni criterio della sua scheda di valutazione. Il software di calibrazione QA di Kaizo è costruito sulla stessa idea: stessa conversazione, stesso punteggio.
Perché la calibrazione QA è importante
La calibrazione QA è importante perché i punteggi di qualità hanno senso solo se sono coerenti. Quando un revisore segna una conversazione come conforme e un altro segna la stessa conversazione come errore, gli operatori perdono fiducia nel programma. Il coaching diventa allora una discussione sul punteggio invece che sul comportamento, e i dati smettono di essere utilizzabili.
La calibrazione protegge questa fiducia. Verificando che i revisori concordino sulle stesse conversazioni, mantiene la scheda di valutazione equa e difendibile. Fa anche emergere i criteri troppo soggettivi per essere valutati in modo affidabile, il segnale che vanno riscritti in qualcosa di osservabile. Nel tempo, la calibrazione svolge tre compiti pratici:
- Rende visibile la deriva dei revisori, che altrimenti resterebbe invisibile.
- Porta i casi limite nei criteri scritti, così che la decisione non resti nella memoria di qualcuno.
- Forma i nuovi revisori su uno standard concordato.
Come si svolge una sessione di calibrazione nel call center
Una sessione di calibrazione nel call center segue quattro passaggi ripetibili: scegliere un campione comune di conversazioni, far valutare il campione a ogni revisore in modo indipendente con la scheda di valutazione, confrontare i punteggi fianco a fianco e discutere le differenze, poi aggiornare la formulazione di ogni criterio che ha creato disaccordo. La modifica dei criteri è il vero risultato della sessione.
Un tipico ciclo di calibrazione segue questi passaggi:
1. Scegliere un campione comune
Selezioni una o più conversazioni che ogni revisore valuterà in modo indipendente, senza vedere i risultati degli altri.
2. Valutare con la scheda di valutazione
Ogni revisore valuta la conversazione con la stessa scheda di valutazione che il team usa ogni giorno.
3. Confrontare e discutere
Il team mostra i punteggi fianco a fianco, discute dove divergono e concorda l’interpretazione corretta.
4. Aggiornare la scheda di valutazione
Quando un criterio ha creato disaccordo, viene chiarito o riformulato perché la prossima volta venga valutato allo stesso modo.
Per frequenza, partecipanti, scelta del campione e misura dell’accordo tra revisori, veda la nostra guida su come condurre le sessioni di calibrazione QA (in inglese).
Un esempio pratico di calibrazione QA
Ecco un esempio illustrativo di calibrazione QA. Quattro revisori valutano la stessa conversazione in chat su una riga della scheda che recita “L’operatore ha mostrato empatia”, su una scala da 1 a 4. Assegnano 2, 4, 3 e 4. La dispersione è già la risposta: è il criterio, non i revisori, che va corretto prima della prossima sessione.
Nella discussione emerge che due revisori hanno dato credito a una frase di scuse, mentre gli altri due verificavano se l’operatore avesse riconosciuto il problema specifico del cliente. Nessuna delle due letture è sbagliata, ma la scheda non diceva mai quale contasse. Il team riscrive la riga in qualcosa di osservabile:
| Prima | Dopo |
|---|---|
| L’operatore ha mostrato empatia (da 1 a 4) | L’operatore ha riconosciuto con parole proprie il problema specifico del cliente prima di passare alla soluzione (sì o no) |
Il criterio riscritto si può verificare sulla trascrizione, quindi la prossima sessione dovrebbe mostrare meno dispersione su di esso. Ecco che cosa lascia una sessione di calibrazione utile: una rubrica di valutazione modificata, non solo una riunione.
Come l’automazione riduce il bisogno di calibrazione
L’automazione riduce il bisogno di calibrazione QA perché l’incoerenza che la calibrazione corregge è umana: i revisori non concordano tra loro, e nel tempo nemmeno con se stessi. Quando le conversazioni vengono valutate automaticamente, un unico modello applica lo stesso standard a ogni conversazione, quindi la deriva tra revisori scompare quasi del tutto e la calibrazione si sposta sulla definizione dello standard stesso.
Kaizo valuta automaticamente il 100% delle conversazioni con la sua scheda di valutazione, e ogni punteggio è collegato alle evidenze nella trascrizione, così i risultati restano coerenti senza sessioni di calibrazione ricorrenti. AutoPilot, la valutazione automatica di Kaizo, interpreta i criteri in modo identico ogni volta, quindi non ha bisogno di essere calibrato; la calibrazione riguarda i revisori umani che lavorano al suo fianco. In UiPath, Kaizo ha automatizzato il 100% del QA con un ROI del 200%, e il punteggio di una conversazione non dipende più dal revisore che l’ha aperta. In GAMING1, il team ha usato Kaizo per valutare le conversazioni in modo coerente e monitorare il tasso di valutazione della qualità come metrica a sé; quel tasso è salito dal 78% all’82% tra il 2021 e il 2022.
Veda Kaizo sulle sue conversazioni. Kaizo valuta il 100% delle sue conversazioni di assistenza e trasforma i risultati in coaching. Prenota una demo.
La calibrazione resta utile per definire che cosa sia un buon servizio, ma smette di essere un costo fisso sul tempo dei revisori. Prima di affidarsi ai punteggi automatici, li confronti con quelli dei suoi revisori calibrati sullo stesso campione, come descritto nelle nostre guide su shadow scoring e su come costruire un golden set (in inglese).
Quando le sessioni di calibrazione non valgono la pena
Le sessioni di calibrazione non valgono la pena quando a valutare le conversazioni è una sola persona, perché non c’è nessuno con cui essere in disaccordo, oppure quando non ha ancora una scheda di valutazione scritta. In questi casi, scriva e collaudi prima la scheda. La calibrazione allinea le persone su uno standard; non può crearne uno dal nulla.
Lo stesso vale per la valutazione automatica. Se il suo team gestisce solo una manciata di conversazioni a settimana e un unico responsabile le legge tutte, bastano un foglio di calcolo e una scheda di valutazione chiara, e uno strumento di controllo qualità automatico come Kaizo è probabilmente più di quanto le serva.
Domande frequenti
Che differenza c’è tra calibrazione QA e valutazione QA?
La valutazione QA consiste nel dare un punteggio a una singola conversazione con la sua scheda di valutazione. La calibrazione QA è il controllo di secondo livello che garantisce che revisori diversi arrivino allo stesso punteggio sulla stessa conversazione, così che la valutazione stessa sia affidabile.
Con quale frequenza dobbiamo fare la calibrazione QA?
La maggior parte dei team con QA manuale tiene sessioni di calibrazione settimanali o mensili, più ogni volta che la scheda di valutazione cambia o entra un nuovo revisore. La frequenza è un compromesso: più sessioni significano più coerenza ma meno tempo per il coaching.
Il controllo qualità automatico ha ancora bisogno di calibrazione?
Molto meno. La valutazione automatica applica un unico standard coerente a ogni conversazione, quindi la deriva tra revisori scompare. La calibrazione resta utile per concordare che cosa sia un buon servizio quando si progetta o si rivede la scheda di valutazione.
Che cosa causa un basso accordo nella calibrazione?
Di solito criteri vaghi o soggettivi nella scheda di valutazione. Se una regola non si può collegare a qualcosa di osservabile nella trascrizione, i revisori la interpreteranno in modo diverso, ed è il segnale per riscrivere il criterio in modo chiaro e basato sulle evidenze.
Chi deve partecipare alla calibrazione QA?
Deve partecipare chiunque valuti conversazioni, compresi i team leader che valutano i propri operatori. I nuovi revisori ne traggono il beneficio maggiore, perché la calibrazione li allinea allo standard che il resto del team ha già concordato.
Che cosa deve produrre una sessione di calibrazione QA?
Una sessione di calibrazione deve produrre una modifica scritta: un criterio riformulato, un caso limite chiarito o un esempio aggiunto alla scheda di valutazione. Se nella scheda non cambia nulla, lo stesso disaccordo tornerà alla sessione successiva.
Termini correlati
- Analista QA (in inglese)
- Monitoraggio della qualità (in inglese)
- Rubrica di valutazione
- Scheda di valutazione
- Auto QA (in inglese)
