Un software di calibrazione QA è la parte di uno strumento di controllo qualità che porta i valutatori a dare lo stesso punteggio alla stessa conversazione. Più valutatori valutano una conversazione, il software mostra dove e di quanto divergono, segue la deriva di ciascun valutatore nel tempo e riscrive la decisione concordata nella scorecard. Così il punteggio di un operatore dipende dalla conversazione e non da chi l’ha esaminata.
In breve
- Un software di calibrazione QA sostituisce il foglio condiviso con valutazioni indipendenti, un confronto automatico e una traccia di ogni decisione.
- Ogni bias tipico dei valutatori, dall’indulgenza alla deriva, ha una funzione che lo contrasta; la tabella qui sotto li collega.
- La checklist d’acquisto elenca dieci funzioni, cinque delle quali indispensabili per un team con più valutatori.
- L’esempio di calcolo mostra come misurare accordo e scostamento di ogni valutatore su un criterio, e perché un valutatore può spostare il punteggio di un operatore di un punto intero.
- La valutazione AI applica la rubrica sempre allo stesso modo, il che elimina la variazione tra valutatori ma non una rubrica scritta male.
- Una regola di decisione indica quando un foglio di calcolo basta ancora.
Questa guida serve a scegliere lo strumento. Per il metodo, legga il nostro articolo sulla calibrazione nel call center e la nostra guida per condurre sessioni di calibrazione QA (in inglese). Se sta confrontando un software di controllo qualità per l’assistenza clienti, la calibrazione è una delle funzioni che separano uno strumento che dà punteggi da uno che li rende equi.
Cosa fa un software di calibrazione che un foglio di calcolo non fa
Un software di calibrazione QA presenta la stessa conversazione a più valutatori separatamente, confronta i loro punteggi per criterio e conserva la decisione accanto alla scorecard. Un foglio di calcolo può contenere i punteggi, ma dipende da qualcuno che tenga i valutatori all’oscuro, faccia i conti e aggiorni la rubrica.
| Attività di calibrazione | In un foglio condiviso | In un software di calibrazione |
|---|---|---|
| Scegliere le conversazioni | Link copiati, spesso i casi facili | Selezione nello strumento, casi limite compresi |
| Valutare separatamente | I valutatori vedono le colonne degli altri | Punteggi nascosti finché tutti hanno valutato |
| Confrontare | Qualcuno costruisce le formule | Dispersione per criterio mostrata automaticamente |
| Seguire i valutatori nel tempo | Quasi mai fatto | Scostamento di ogni valutatore dal gruppo, sessione dopo sessione |
| Registrare la decisione | Note della riunione | Scritta nella descrizione del criterio |
| Applicarla ai punteggi futuri | Dipende dalla memoria | Ogni valutazione successiva usa il criterio aggiornato |
Le ultime due righe sono quelle che contano di più. Una calibrazione che finisce in un verbale produce accordo per una settimana; una che finisce nel criterio lo mantiene.
Da dove nascono i bias dei valutatori nei punteggi QA
I bias dei valutatori nascono dalle persone, non dalla malafede: alcuni valutano alto o basso per abitudine, restano nel mezzo, giudicano l’operatore anziché la conversazione o derivano con i mesi. Ogni schema ha una funzione che lo contrasta.
| Bias | Come si manifesta | Funzione che lo contrasta |
|---|---|---|
| Indulgenza o severità | Un valutatore è sempre sopra o sotto il gruppo | Report dello scostamento per valutatore rispetto al gruppo o a un punteggio di riferimento |
| Tendenza centrale | Tutto riceve 3 su 5 | Dispersione per criterio e ancore per ogni punto della scala |
| Effetto alone | Un buon saluto alza tutti gli altri criteri | Valutazione per criterio con una prova per ogni riga |
| Familiarità | Gli operatori noti come bravi ottengono il beneficio del dubbio | Nascondere il nome dell’operatore durante la calibrazione (chieda se lo strumento lo consente) |
| Ancoraggio | I valutatori successivi copiano il primo punteggio che vedono | Valutazione alla cieca finché tutti hanno consegnato |
| Deriva | Lo standard di un valutatore si sposta nei mesi | Scostamento seguito nel tempo e sessioni regolari |
| Carico di lavoro | Un valutatore stanco valuta diversamente la fine della coda | Distribuzione uniforme del lavoro di revisione |
| Selezione | Calibrare solo conversazioni facili nasconde il disaccordo | Scegliere di proposito i casi limite |
La calibrazione risolve il disaccordo tra valutatori. Da sola non corregge un criterio che misura la cosa sbagliata; quella è una decisione sulla scorecard.
Checklist d’acquisto di un software di calibrazione QA
Cerchi dieci funzioni e consideri indispensabili le prime cinque se più di due persone valutano conversazioni. Chieda a ogni fornitore di mostrarle in una demo invece di spuntarle in un modulo.
| # | Funzione | Indispensabile? | Cosa farsi mostrare |
|---|---|---|---|
| 1 | Più valutatori valutano la stessa conversazione in una sessione | Sì | Una sessione con tre valutatori sullo stesso ticket |
| 2 | I punteggi restano nascosti finché tutti hanno valutato | Sì | Cosa vede un valutatore prima e dopo la consegna |
| 3 | Dispersione per criterio, non solo per conversazione | Sì | Dove si trova il disaccordo maggiore di una sessione |
| 4 | La decisione viene scritta nella descrizione del criterio | Sì | Un criterio modificato dopo una sessione, e quando la modifica si applica |
| 5 | Ogni punteggio collegato a una prova nella trascrizione | Sì | La riga della conversazione dietro una penalità |
| 6 | Scostamento di ogni valutatore seguito tra le sessioni | Fortemente consigliata | L’andamento di un valutatore su diversi mesi |
| 7 | Distribuzione uniforme del lavoro di revisione | Consigliata | Come vengono distribuite le assegnazioni tra valutatori |
| 8 | Un processo di contestazione per gli operatori | Consigliata | Un operatore che contesta un punteggio, e dove arriva |
| 9 | L’AI come valutatore aggiuntivo, con accordo per criterio | Se automatizza | Punteggi AI confrontati con i suoi valutatori calibrati sullo stesso insieme |
| 10 | Nomi degli operatori nascosti durante la calibrazione | Facoltativa | Una vista di sessione senza il nome dell’operatore |
La funzione 9 è il punto in cui calibrazione e automazione si incontrano. Prima di fidarsi dei punteggi automatici le serve un insieme di conversazioni su cui i suoi valutatori calibrati concordano, come spiega la nostra guida alla creazione di un golden set (in inglese).
Come misurare se i punteggi sono equi: un esempio di calcolo
Misuri l’equità per criterio con tre cifre: quanto spesso i valutatori concordano esattamente, quanto spesso restano entro un punto e quanto ciascun valutatore si scosta dalla media del gruppo. Questo esempio illustrativo usa punteggi inventati per un criterio.
Tre valutatori valutano «Empatia» su una scala da 1 a 5 per le stesse sei conversazioni.
| Conversazione | Valutatore 1 | Valutatore 2 | Valutatore 3 | Dispersione (massimo meno minimo) |
|---|---|---|---|---|
| 1 | 4 | 3 | 4 | 1 |
| 2 | 3 | 2 | 4 | 2 |
| 3 | 5 | 4 | 5 | 1 |
| 4 | 2 | 2 | 3 | 1 |
| 5 | 4 | 3 | 4 | 1 |
| 6 | 3 | 3 | 3 | 0 |
| Media | 3,50 | 2,83 | 3,83 | 1,0 |
Passo 1: Calcoli l’accordo esatto e l’accordo entro un punto
I tre valutatori hanno dato lo stesso punteggio in una conversazione su sei, quindi l’accordo esatto è 1 su 6. Sono rimasti entro un punto in cinque su sei, quindi l’accordo entro un punto è 5 su 6. Questo divario indica di solito che la scala ha più punti di quanti la descrizione del criterio sappia distinguere.
Passo 2: Calcoli lo scostamento di ogni valutatore
La media del gruppo sui 18 punteggi è 61 ÷ 18 = 3,39. Il valutatore 1 è a +0,11, il valutatore 2 a -0,56 e il valutatore 3 a +0,44. Il valutatore 2 è il più basso, o a pari merito il più basso, in tutte e sei le conversazioni: è uno schema di severità, non un caso.
Passo 3: Lo traduca in ciò che percepisce un operatore
Se il valutatore 2 esamina un operatore e il valutatore 3 un altro, due operatori con conversazioni identiche finiscono a un punto intero di distanza su una scala a cinque: 2,83 contro 3,83. È questa l’ingiustizia che gli operatori notano, e dipende solo da chi ha aperto il ticket.
Passo 4: Corregga il criterio e misuri di nuovo
Scriva un’ancora con un esempio per ogni punto della scala, discuta la conversazione 2, dove la dispersione era maggiore, e valuti un nuovo insieme alla sessione successiva. Segua le tre cifre per criterio nel tempo; la guida esistente spiega più in dettaglio come misurare se la calibrazione funziona (in inglese).
L’AI può eliminare i bias umani dalla valutazione QA?
L’AI elimina la variazione tra valutatori perché applica la stessa rubrica allo stesso modo a ogni conversazione, ma non elimina il bias scritto nella rubrica stessa. La coerenza è necessaria per l’equità, ma non è la stessa cosa.
Tre elementi decidono se la valutazione AI è equa e non solo coerente:
- La rubrica: un criterio vago o distorto viene applicato in modo coerente e sbagliato. Calibrare prima i valutatori umani è il modo per trovare questi criteri.
- Il test: confronti i punteggi AI con un insieme su cui i suoi valutatori calibrati concordano, criterio per criterio, prima del go-live. Il nostro protocollo per validare la valutazione AI (in inglese) propone un piano di una settimana.
- La contestazione: gli operatori hanno bisogno di un modo per contestare un punteggio e vedere la prova, come nella nostra guida alla progettazione di un processo di contestazione dei punteggi AI (in inglese).
Quando l’AI valuta ogni conversazione, la calibrazione cambia ruolo. Non serve più a controllare i valutatori su un campione, ma diventa il luogo in cui si concorda lo standard che l’AI poi applica ovunque.
Foglio di calcolo o software di calibrazione: una regola di decisione
Un foglio di calcolo basta finché valutano una o due persone e la scorecard è breve; il software conviene appena valutano tre o più valutatori o i punteggi alimentano decisioni sugli operatori. Usi la tabella per collocare il suo team.
| La sua situazione | Basta un foglio? | Perché |
|---|---|---|
| Uno o due valutatori, meno di 10 criteri | Sì | Poche coppie da confrontare, il disaccordo si vede facilmente |
| Tre o più valutatori | No | Valutazione alla cieca e dispersione per criterio sono difficili da gestire a mano |
| Più sedi, team o clienti | No | Gli scostamenti tra gruppi vanno seguiti nel tempo |
| I punteggi alimentano retribuzione, promozione o decisioni sulle prestazioni | No | Serve una prova per ogni punteggio e una traccia di ogni decisione |
| L’AI valuta parte del suo volume | No | Serve l’accordo per criterio tra AI e valutatori |
Se si applicano due righe o più, il tempo speso a costruire formule e raccogliere punteggi alla cieca costa più dello strumento. Il nostro articolo su quando smettere di gestire la QA in un foglio di calcolo (in inglese) tratta il passaggio più ampio.
Come Kaizo gestisce la calibrazione
In Kaizo la calibrazione presenta una conversazione a più valutatori, mostra dove hanno divergito e scrive il significato concordato nella descrizione del criterio. AutoPilot applica poi la descrizione aggiornata a ogni valutazione futura.
Ecco cosa copre della checklist, secondo le pagine prodotto di Kaizo:
- Sessioni con più valutatori che valutano le stesse conversazioni con la stessa scorecard (funzioni 1 e 3).
- Decisioni scritte nella rubrica, così non vivono nella memoria di qualcuno, e nuovi valutatori formati sullo standard concordato (funzione 4).
- Deriva dei valutatori resa visibile invece che invisibile (funzione 6).
- Prova per ogni punteggio: ogni punteggio rimanda alla prova nella conversazione (funzione 5).
- Assegnazioni che distribuiscono in modo uniforme il lavoro di revisione (funzione 7).
- AI verificata sul suo team: Lei testa l’AI sulle valutazioni storiche prima del go-live, e AutoPilot interpreta la rubrica in modo identico ogni volta, quindi la calibrazione riguarda i valutatori umani che lavorano accanto all’AI (funzione 9).
Come iniziare a rendere più equi i punteggi questo mese
Inizi con un criterio su cui i suoi valutatori discutono, cinque o sei casi limite e tre valutatori che valutano alla cieca. Calcoli accordo e scostamenti come nell’esempio, riscriva il criterio e ripeta alla sessione successiva.
Lo faccia per i suoi tre criteri più discussi prima di confrontare gli strumenti. Saprà quali funzioni le servono e avrà l’insieme di riferimento per testare in seguito la valutazione AI di qualsiasi fornitore.
Veda una sessione di calibrazione in una demo dal vivo. Le mostriamo come vengono confrontati i punteggi dei valutatori e come la decisione aggiorna la rubrica, con dati di esempio realistici. Prenota un incontro.
Domande frequenti
Che cos’è l’affidabilità tra valutatori nella QA?
L’affidabilità tra valutatori misura con quale coerenza valutatori diversi danno lo stesso punteggio alla stessa conversazione. Nella QA si misura di solito per criterio, come quota di accordo esatto, quota entro un punto o con un indicatore come il kappa di Cohen, che corregge l’accordo dovuto al caso. Un’affidabilità bassa significa che un punteggio dice tanto del valutatore quanto dell’operatore.
Come si riducono i bias nella valutazione QA?
Valuti alla cieca, confronti per criterio e riscriva i criteri che causano disaccordo ripetuto. Segua nel tempo lo scostamento di ogni valutatore dal gruppo, distribuisca il lavoro in modo uniforme e chieda una prova dalla conversazione per ogni penalità. Dia agli operatori un modo per contestare un punteggio e porti le contestazioni alla sessione successiva.
Bisogna nascondere i nomi degli operatori nella calibrazione QA?
Nascondere i nomi degli operatori durante la calibrazione riduce il bias di familiarità, per cui il valutatore giudica un operatore noto, bravo o debole, anziché la conversazione. Conta soprattutto nei team piccoli dove tutti si conoscono. Chi conduce la sessione può tenere i nomi, così il feedback arriva poi all’operatore giusto.
Che cos’è un punteggio di riferimento nella calibrazione QA?
Un punteggio di riferimento è il punteggio base di una conversazione di calibrazione, di solito fissato dal responsabile qualità o concordato dal gruppo, con cui si confronta il punteggio di ogni valutatore. Trasforma una discussione in una misura: vede chi sta sopra o sotto il riferimento, e su quali criteri.
Si può fare la calibrazione QA in Excel?
Sì, con uno o due valutatori e una scorecard breve. Ogni valutatore valuta in una colonna nascosta e formule semplici calcolano accordo e dispersione per criterio. Smette di funzionare quando i valutatori vedono i punteggi degli altri, quando ci sono più team da confrontare o quando le decisioni non tornano mai nella scorecard.
