Una rubrica di valutazione qualità è l’insieme dei criteri con cui un team di assistenza clienti valuta una conversazione, con la descrizione di ogni livello di valutazione e il peso di ciascun criterio. Trasforma il “buon servizio” in voci che due revisori possono valutare allo stesso modo, ed è la logica dietro ogni punteggio QA.
In breve
- Una rubrica QA ha cinque parti: criteri, una scala di valutazione, descrizioni dei livelli, pesi e un breve elenco di elementi critici.
- Sono le descrizioni dei livelli a farne una rubrica e non una checklist, perché dicono al revisore che cosa significa davvero “parzialmente soddisfatto”.
- Il punteggio QA è dato dai punti ottenuti divisi per i punti possibili, e il modo in cui si tratta il “non applicabile” può spostarlo di dieci punti.
- La maggior parte dei team di assistenza lavora bene con 5-8 criteri verificabili dalla sola trascrizione.
Che cosa contiene una rubrica di valutazione qualità
Una rubrica di valutazione qualità contiene cinque parti: i criteri da valutare, la scala di valutazione di ciascuno, una descrizione scritta di ogni livello della scala, un peso che stabilisce quanto conta ogni criterio e alcuni elementi critici che bocciano subito la conversazione. Se ne manca una, i revisori iniziano a colmare il vuoto con il proprio giudizio personale.
La parola viene dal mondo della formazione. Il centro per la didattica della Carnegie Mellon definisce la rubrica come “uno strumento di valutazione che rappresenta in modo esplicito le aspettative di prestazione per un compito” (traduzione nostra) e osserva che le rubriche aiutano a garantire coerenza tra i valutatori nei corsi che ne hanno più di uno. Un team di assistenza con dieci revisori ha esattamente questo problema.
| Parte | A cosa risponde | Esempio |
|---|---|---|
| Criterio | Che cosa valutiamo? | “La risposta era corretta e completa” |
| Scala di valutazione | Quanti esiti sono possibili? | Soddisfatto, parzialmente soddisfatto, non soddisfatto, non applicabile |
| Descrizioni dei livelli | Come si presenta ogni esito? | “Parzialmente soddisfatto: corretta, ma manca un dettaglio necessario” |
| Peso | Quanto conta? | 30 punti su 100 |
| Elemento critico | Che cosa boccia l’intera conversazione? | Dati dell’account condivisi prima della verifica dell’identità |
Gli elementi critici sono di solito chiamati errori bloccanti: un solo errore azzera il punteggio, qualunque cosa sia successa nel resto della conversazione. In un software, la rubrica è l’insieme di criteri e descrizioni che il software per la scheda di valutazione applica a ogni conversazione.
Rubrica QA, scheda di valutazione e checklist
Una rubrica QA, una scheda di valutazione QA e una checklist QA descrivono la stessa attività con livelli di dettaglio diversi. La rubrica è la logica di valutazione, la scheda è il modulo che il revisore compila, e la checklist è un elenco di voci sì o no, senza descrizione dei livelli e di solito senza pesi. Molti team usano questi termini come sinonimi.
| Checklist QA | Scheda di valutazione QA | Rubrica QA | |
|---|---|---|---|
| Domanda principale | È successo? | Che punteggio ha ottenuto? | Che cosa significa ogni punteggio? |
| Valutazione | Sì o no | Sì o no, oppure una scala | Scala con una descrizione per livello |
| Pesi | Raramente | Di solito | Di solito |
| Ideale per | Passaggi di processo e conformità | Revisioni quotidiane | Accordo tra revisori, contestazioni, automazione |
In pratica la sua scheda di valutazione QA è la rubrica più il modulo che la circonda: il link alla conversazione, il revisore, i commenti e il punteggio finale. Se la sua scheda ha criteri e pesi ma nessuna descrizione scritta di ogni livello, ha una scheda che ha ancora bisogno della sua rubrica.
Un esempio di rubrica QA per l’assistenza via chat ed email
Ecco una rubrica QA completa per l’assistenza scritta via chat ed email: sei criteri ponderati per un totale di 100 punti, una scala a tre livelli con la descrizione di ciascun livello e due elementi critici. È un esempio da adattare, non uno standard. Modifichi i criteri in base ai suoi prodotti, alle sue policy e ai motivi di contatto.
| Criterio | Peso | Soddisfatto (punteggio pieno) | Parzialmente soddisfatto (metà) | Non soddisfatto (0) |
|---|---|---|---|---|
| Ha capito il problema reale | 15 | Riformula il problema effettivo o interviene su di esso, fa una domanda di chiarimento quando la richiesta è ambigua | Risponde alla domanda letterale ma non coglie l’esigenza di fondo | Risponde a una domanda diversa da quella posta |
| Risposta corretta e completa | 30 | Le informazioni sono accurate e coprono tutto ciò che serve al cliente per agire | Accurata, ma manca un dettaglio necessario | Informazioni sbagliate, superate o fuorvianti |
| Ha seguito il processo previsto | 20 | Ogni passaggio richiesto per questo motivo di contatto è completato (policy di rimborso, percorso di escalation, tag) | Un passaggio minore è saltato senza effetti sul cliente | Un passaggio richiesto è saltato e il cliente ne risente |
| Prossimo passo e tempi chiari | 15 | Dice che cosa succede dopo, chi se ne occupa ed entro quando | Prossimo passo indicato, tempi mancanti | Il cliente deve indovinare che cosa succederà |
| Tono adatto alla situazione | 10 | Riconosce la frustrazione quando c’è, linguaggio semplice, nessuna colpa attribuita | Cortese ma generico o standardizzato dove non dovrebbe esserlo | Sbrigativo, colpevolizzante o confuso |
| Note sufficienti per il collega successivo | 10 | La nota interna o i campi del ticket permettono a un collega di proseguire senza rileggere il thread | Le note ci sono ma manca un fatto chiave | Nessuna nota su una conversazione che richiede un passaggio di consegne |
Elementi critici (punteggio azzerato): dati dell’account o dati personali condivisi prima della verifica dell’identità; un rimborso o un credito promesso fuori policy.
Due cose ne fanno una rubrica e non un semplice elenco. Ogni livello ha una descrizione che il revisore può ritrovare nella trascrizione, e la voce “note” può essere segnata come non applicabile quando non serve un passaggio di consegne. Per versioni pronte per canale, veda i nostri modelli di scheda di valutazione QA (in inglese).
Come si calcola un punteggio QA dalla rubrica
Un punteggio QA è dato dai punti ottenuti da una conversazione divisi per i punti che avrebbe potuto ottenere, espresso in percentuale. Nella maggior parte delle configurazioni i criteri segnati come non applicabili escono da entrambi i numeri, e un elemento critico azzera il punteggio. La media di questi punteggi sulle conversazioni dà il punteggio qualità di un operatore o di un team.
Prendiamo un’email valutata con la rubrica qui sopra:
| Criterio | Peso | Valutazione | Punti |
|---|---|---|---|
| Ha capito il problema reale | 15 | Soddisfatto | 15 |
| Risposta corretta e completa | 30 | Parzialmente soddisfatto | 15 |
| Ha seguito il processo previsto | 20 | Soddisfatto | 20 |
| Prossimo passo e tempi chiari | 15 | Non soddisfatto | 0 |
| Tono adatto alla situazione | 10 | Soddisfatto | 10 |
| Note per il collega successivo | 10 | Non applicabile | escluso |
La conversazione ha ottenuto 60 punti su 90 possibili, quindi il punteggio è del 67%. Guardi che cosa fa la regola del “non applicabile”. Se il team lo contasse come un errore, il punteggio sarebbe 60 su 100, cioè il 60%. Se lo contasse come superato, 70 su 100, cioè il 70%. Stessa conversazione, dieci punti di differenza, solo per una regola che nessuno ha messo per iscritto.
Per questo la regola dell’N/A va scritta nella rubrica stessa. I pesi contano altrettanto: qui un errore di tono costa 5 punti, mentre una risposta sbagliata ne costa fino a 30. La nostra guida alla ponderazione dei criteri di valutazione spiega come fissare questi numeri sulla base dei dati, e l’articolo sul punteggio di qualità interno mostra come i punteggi delle singole conversazioni confluiscono in un unico numero del team.
Analitica o olistica: scegliere il formato della rubrica
Esistono due formati di rubrica. Una rubrica analitica valuta ogni criterio separatamente e poi li combina, ed è ciò che fa quasi ogni rubrica QA dell’assistenza clienti. Una rubrica olistica assegna una valutazione complessiva rispetto a un’unica descrizione della qualità. La rubrica analitica richiede più tempo per essere costruita, ma dice all’operatore esattamente quale parte della conversazione correggere.
L’ufficio di valutazione della University of Oklahoma riassume il compromesso: in una rubrica analitica ogni “criterio può essere ponderato per riflettere l’importanza relativa di ciascuna dimensione”, mentre in una rubrica olistica “i criteri non possono essere ponderati” (traduzione nostra). La stessa pagina osserva che le rubriche analitiche richiedono più tempo per essere sviluppate e applicate.
Per i team di assistenza la scelta di solito è semplice:
- Usi la rubrica analitica per il QA degli operatori, il coaching e tutto ciò che è legato a un obiettivo o a un bonus. Gli operatori devono sapere quale criterio è costato loro dei punti.
- Usi la rubrica olistica per controlli rapidi, per esempio quando un manager classifica un gruppo di conversazioni come “buona, da migliorare, scarsa” per individuare un problema prima di costruire una rubrica completa.
Quali criteri di controllo qualità inserire nella rubrica
Un criterio ha posto in una rubrica QA quando supera quattro test: il revisore può vederlo nella conversazione, verifica una sola cosa, l’operatore lo controlla e si applica al tipo di contatto valutato. I criteri che non superano questi test producono i punteggi che gli operatori contestano di più, perché due revisori imparziali possono arrivare a verdetti diversi.
- Osservabile. “Ha mostrato empatia” è una sensazione. “Ha riconosciuto la frustrazione del cliente prima di rispondere” è qualcosa che si può citare.
- Una verifica per criterio. “Ha salutato il cliente e verificato la sua identità” sono due criteri. Divida tutto ciò che è unito da una “e”.
- Sotto il controllo dell’operatore. Uno strumento lento o una policy che l’operatore non può cambiare non dovrebbero costargli punti. Lo tracci invece come problema di processo.
- Adatto al motivo di contatto. Costruire un rapporto ha senso in un reclamo e ben poco in un reset della password. In una discussione su Reddit sui punteggi QA, un operatore di un fornitore di energia si lamentava di essere valutato sul “portare il cliente in un percorso” quando il cliente voleva solo effettuare un pagamento.
Quanto al numero, la maggior parte dei professionisti arriva a un elenco breve. In una discussione su Reddit sulla ricostruzione del QA in un foglio di calcolo, un utente consigliava di ridurre la rubrica a “5-7 criteri e renderne la maggior parte verificabili dal testo del ticket”. Se intende automatizzare la valutazione, l’asticella è ancora più alta; la nostra guida su come scrivere criteri che un’AI può valutare (in inglese) riscrive criteri vaghi comuni in criteri verificabili.
Come costruire una rubrica QA in sei passaggi
Costruire una rubrica QA richiede sei passaggi: scegliere i risultati che deve tutelare, elencare i comportamenti che li determinano, scrivere ciascuno come criterio osservabile, descrivere ogni livello di valutazione, fissare pesi ed elementi critici, quindi testarla su conversazioni reali con più revisori prima che gli operatori vedano un solo punteggio.
- Parta dai risultati. Scriva le tre o quattro cose che una buona conversazione deve ottenere per la sua azienda: una risposta corretta, un problema risolto, un processo conforme, un cliente che sa che cosa succederà dopo.
- Elenchi i comportamenti che li determinano. Legga da 20 a 30 conversazioni recenti, buone e cattive, e annoti quali comportamenti degli operatori hanno fatto la differenza.
- Scriva i criteri. Trasformi ogni comportamento in un’affermazione unica e osservabile, usando i quattro test visti sopra.
- Descriva ogni livello. Per ogni criterio scriva come si presentano soddisfatto, parzialmente soddisfatto e non soddisfatto, con un breve esempio tratto da una trascrizione reale.
- Fissi pesi ed elementi critici. Dia più punti a ciò che danneggia di più i clienti. Limiti gli elementi critici ai due o tre errori davvero non negoziabili.
- Testi prima del lancio. Chieda a tre o quattro revisori di valutare le stesse dieci conversazioni in modo indipendente e confronti i risultati. Dove non sono d’accordo, a non essere chiara è la descrizione, non il revisore.
Il passaggio 6 è quello che i team saltano. In una discussione su Reddit sugli strumenti per le schede di valutazione QA, un utente raccontava di due revisori che avevano dato 60 e 85 allo stesso ticket perché “ha mostrato empatia” significava qualcosa di diverso per ciascuno, e diceva che gli operatori avevano “smesso di fidarsi del numero”. Una calibrazione regolare tiene chiuso questo divario dopo il lancio. Un utente che rispondeva alla stessa domanda, pubblicata in un secondo subreddit, ha fatto un’altra osservazione pratica: i ticket di fatturazione, le escalation di bug e le richieste di rimborso possono richiedere rubriche separate, perché “non condividono i criteri”.
Applicare un’unica rubrica a ogni conversazione
Una rubrica ripaga solo se viene applicata allo stesso modo a ogni conversazione, ed è qui che la revisione manuale arriva al limite. Un revisore che legge un piccolo campione non riesce a valutare in modo coerente sui grandi volumi, e ogni revisore si discosta un po’ con il tempo. La valutazione automatica applica un unico standard scritto a tutte le conversazioni, senza nessuno stanco o di fretta.
Kaizo parte dai suoi criteri esistenti invece di imporre un modello, e valuta il 100% delle sue conversazioni di assistenza in base a essi, che abbia risposto una persona o un agente AI, con le prove collegate a ogni punteggio. Quando modifica la descrizione di un criterio, la modifica vale per tutte le valutazioni future, quindi nessuno deve ri-istruire un team di revisori. In UiPath, Kaizo ha automatizzato il 100% del QA con un ROI del 200%. In EverHelp, la preparazione del coaching si è ridotta del 75%.
Lo veda sulle sue conversazioni. Kaizo valuta il 100% delle sue conversazioni di assistenza in base alla sua rubrica e trasforma i risultati in coaching. Prenota una demo oppure scopra come funziona il software per la scheda di valutazione.
Quando una rubrica formale non fa per lei
Una rubrica completa, ponderata e con le descrizioni dei livelli non vale la pena per ogni team. Se una o due persone gestiscono qualche decina di ticket a settimana, un manager che legge le conversazioni e dà feedback diretto copre lo stesso terreno con meno lavoro. Una breve checklist sì o no basta finché non iniziano a emergere disaccordi sulla qualità.
Una rubrica, inoltre, non risolve un problema di processo. Se gli operatori sbagliano tutti lo stesso criterio, la causa di solito è una policy, uno strumento o la formazione, e valutare con più severità fa solo sembrare peggiori i punteggi. Costruisca la rubrica quando ha più revisori, operatori che chiedono perché hanno perso punti o un piano per valutare le conversazioni in modo automatico.
Domande frequenti
Che cosa significa rubrica QA?
Rubrica QA indica la guida di valutazione che un team di controllo qualità usa per valutare le conversazioni con i clienti. Elenca i criteri, la scala di valutazione, come si presenta ogni livello e quanto conta ogni criterio. “Rubrica di controllo qualità” e “scheda di valutazione della qualità” sono nomi comuni per la stessa cosa.
Che cos’è un punteggio QA?
Un punteggio QA è il risultato dell’applicazione della rubrica a una conversazione: punti ottenuti divisi per punti possibili, in percentuale. I criteri segnati come non applicabili di solito escono da entrambi i numeri, e un elemento critico azzera il punteggio. I punteggi qualità del team e dell’operatore sono medie di questi punteggi per conversazione.
Quanti criteri dovrebbe avere una rubrica QA?
La maggior parte dei team di assistenza lavora bene con 5-8 criteri, ciascuno verificabile dalla trascrizione. Con meno criteri è raro coprire insieme accuratezza, processo e comunicazione, mentre elenchi molto più lunghi sono lenti da revisionare e difficili da valutare in modo coerente. I team con tipi di contatto molto diversi spesso tengono una rubrica breve per tipo invece di una lunga.
Una rubrica QA dovrebbe usare una scala sì o no o una scala da 1 a 5?
Usi sì o no per i passaggi che sono avvenuti oppure no, come la verifica dell’identità o un’informativa obbligatoria. Usi una scala a tre livelli (soddisfatto, parzialmente soddisfatto, non soddisfatto) per i comportamenti che hanno gradi reali, come la completezza della risposta. Le scale a cinque punti valgono la pena solo quando ogni punto ha una propria descrizione scritta.
Ogni quanto aggiornare una rubrica QA?
Riveda la rubrica quando cambiano prodotti, policy o motivi di contatto, e almeno qualche volta all’anno. Cambi un criterio alla volta e annoti la data, perché ogni modifica sposta i punteggi e rende più difficile confrontare le tendenze prima e dopo.
Una rubrica QA si può usare per gli agenti AI?
Sì. La stessa rubrica può valutare le conversazioni gestite da un agente AI e quelle gestite da persone, il che mantiene la qualità confrontabile tra le due. I criteri devono essere osservabili nella trascrizione, il che è comunque una buona pratica anche per la revisione umana.
Termini correlati
- Scheda di valutazione QA
- Che cos’è un errore bloccante
- Calibrazione QA
- Modelli di scheda di valutazione QA (in inglese)
- Auto QA (in inglese)
