Il controllo qualità multilingue consiste nel valutare le conversazioni di assistenza in ogni lingua che offre con un unico standard condiviso, così che un 90 in polacco valga quanto un 90 in inglese.
Servono una sola scheda di valutazione con alcuni criteri specifici per lingua, un set di calibrazione per lingua e una copertura sufficiente perché anche le lingue minori vengano valutate.
In sintesi
- Con un piccolo team QA, il campionamento cede prima nelle lingue minori: alcune code non ricevono nessuna revisione da madrelingua.
- La maggior parte dei criteri è uguale in ogni lingua, mentre registro, ortografia e policy locali richiedono controlli specifici per lingua.
- Sei passi bastano per impostarlo: una scheda, criteri specifici per lingua, un set di calibrazione per lingua, la valutazione di ogni conversazione, la calibrazione tra lingue e i report per lingua.
- Confronti le lingue solo su un numero sufficiente di conversazioni, con una regola semplice per capire quando un divario è reale.
- Revisori madrelingua, revisioni tradotte e valutazione con l’AI hanno ciascuno il loro posto, e la maggior parte dei team li combina.
Per il lato piattaforma, la pagina sul controllo qualità dell’assistenza clienti mostra come Kaizo valuta ogni conversazione rispetto ai suoi criteri.
Perché il controllo qualità multilingue cede con un piccolo team QA?
Il controllo qualità multilingue cede perché gli analisti QA possono rivedere solo le lingue che leggono, quindi un team di due persone copre bene due o tre lingue e lascia le altre senza revisione. Il campione totale sembra adeguato mentre intere code restano senza controllo.
Esempio pratico (numeri illustrativi, non dati di Kaizo). Un team di assistenza gestisce 40.000 conversazioni al mese in otto lingue. Due analisti QA rivedono ciascuno 25 conversazioni al giorno, 20 giorni al mese: 1.000 revisioni, cioè una conversazione su 40. Un analista legge inglese e tedesco, l’altro inglese e francese.
| Lingua | Conversazioni al mese | Operatori | Revisioni da madrelingua al mese | Revisioni per operatore al mese |
|---|---|---|---|---|
| Inglese | 16.000 | 40 | 400 | 10 |
| Tedesco | 8.000 | 20 | 300 | 15 |
| Francese | 5.000 | 12 | 300 | 25 |
| Spagnolo | 4.000 | 10 | 0 | 0 |
| Olandese | 2.500 | 6 | 0 | 0 |
| Italiano | 2.000 | 5 | 0 | 0 |
| Polacco | 1.500 | 4 | 0 | 0 |
| Portoghese (Brasile) | 1.000 | 3 | 0 | 0 |
| Totale | 40.000 | 100 | 1.000 | 10 |
Sulla carta, il controllo qualità copre una conversazione su 40. In pratica, 11.000 conversazioni al mese, più di un quarto del volume, non ricevono nessuna revisione da madrelingua, e 28 operatori non ottengono mai un punteggio QA nella propria lingua.
Quegli operatori ricevono coaching su niente, oppure su una lettura tradotta a macchina del loro lavoro che nessuno ha controllato.
Il costo non è astratto. Nel sondaggio 2020 di CSA Research (in inglese) su 8.709 consumatori in 29 paesi, il 75% ha dichiarato di essere più propenso a comprare di nuovo dallo stesso brand se l’assistenza era nella propria lingua. Offrire la lingua è metà del lavoro; sapere che l’assistenza in quella lingua è buona è l’altra metà.
Quali criteri di controllo qualità cambiano da una lingua all’altra?
La maggior parte dei criteri QA è neutra rispetto alla lingua: una risposta corretta, una procedura seguita e un’identità verificata significano lo stesso in ogni lingua. Registro, ortografia, nomi e policy locali dipendono dalla lingua e vanno definiti lingua per lingua.
Usi questa tabella per ordinare la sua scheda prima di tradurla:
| Criterio | Uguale in ogni lingua? | Che cosa definire per ogni lingua |
|---|---|---|
| Risposta corretta | Sì | Niente, se la sua knowledge base esiste in quella lingua |
| Procedura seguita | Sì | Passaggi locali, come un altro indirizzo per i resi o un altro corriere |
| Identità verificata | Sì | Niente, a meno che i controlli non cambino da paese a paese |
| Limiti delle policy | In gran parte | Termini legali locali, come i termini di recesso o le regole di garanzia |
| Tono ed empatia | In gran parte | Che cosa vuol dire “caloroso”: forma di cortesia o informale (Sie o du, vous o tu, lei o tu) |
| Ortografia e grammatica | No | Le regole della lingua e il suo stile interno |
| Nomi e saluti | No | Ordine di nome e cognome, titoli e convenzioni di saluto locali |
| Termini di prodotto | No | Il suo glossario approvato per lingua, così gli operatori usano le stesse parole del centro assistenza |
Scriva una sola volta i criteri neutri rispetto alla lingua.
Poi aggiunga una breve nota per lingua ai criteri segnati “In gran parte” o “No”, per esempio: “Tedesco: dare del Sie al cliente, a meno che non abbia scritto per primo con il du.” Così mantiene una sola scheda e un solo punteggio, mentre ogni lingua viene giudicata secondo le sue regole.
La nostra guida su come valutare le soft skill nel controllo qualità mostra come rendere verificabili i criteri sul tono in qualsiasi lingua.
Come impostare il controllo qualità multilingue in sei passi
Per impostare il controllo qualità multilingue, scriva una sola scheda, aggiunga le note per lingua, costruisca un set di calibrazione per lingua, valuti ogni conversazione, calibri tra le lingue e riporti i risultati per lingua.
Passo 1: scrivere una sola scheda di valutazione
Parta dalla sua scheda attuale e la tenga come unica. Una scheda separata per ogni lingua sembra ordinata, ma rende impossibile confrontare i punteggi. Se nel frattempo deve ribilanciare i pesi, veda come ponderare i criteri della scheda di valutazione.
Passo 2: aggiungere le note per lingua ai criteri che ne hanno bisogno
Usi la tabella qui sopra per trovare i criteri che cambiano con la lingua e aggiunga una nota di una riga per ciascuna lingua. Chieda a un madrelingua di ogni team, spesso un operatore senior o un team leader, di scrivere e controllare le note della sua lingua.
Passo 3: costruire un set di calibrazione per lingua
Scelga da 20 a 30 conversazioni passate per lingua che coprano gestioni buone, medie e non riuscite, e le faccia valutare da un revisore madrelingua. Questo set diventa il riferimento per quella lingua. La nostra guida su come costruire un golden set (in inglese) descrive come scegliere le conversazioni e concordare i punteggi.
Passo 4: valutare ogni conversazione nella sua lingua
Valuti le conversazioni nella lingua in cui sono state scritte o parlate, non in una traduzione. Una traduzione appiana proprio ciò che vuole controllare: registro, formulazione e termini di prodotto.
Se usa la valutazione con l’AI, la verifichi sul set di calibrazione di ogni lingua prima di affidarsi a essa, come descrive il nostro protocollo di validazione (in inglese).
Passo 5: calibrare tra le lingue
Una volta a trimestre, prenda cinque conversazioni per lingua, le traduca in una lingua comune solo per la discussione e le faccia valutare insieme dai revisori di ogni lingua.
Lo scopo non è giudicare la grammatica in una traduzione. È verificare che “risposta corretta” e “policy rispettata” vengano lette allo stesso modo ovunque. Il formato di queste sessioni è in how to run QA calibration sessions (in inglese).
Passo 6: riportare per lingua e per criterio
Mostri il punteggio QA per lingua e per criterio, accanto al volume e al numero di conversazioni valutate. Una media per lingua nasconde quale criterio c’è dietro un divario, e una vista per criterio senza volumi invita a trarre conclusioni da dieci conversazioni.
Lo veda in una demo dal vivo. Kaizo valuta il 100% delle sue conversazioni rispetto ai suoi criteri, con ogni punteggio collegato alle evidenze nella conversazione. Prenoti un incontro.
Come si confronta la qualità tra lingue in modo equo?
Confronti le lingue criterio per criterio, solo dove ogni lingua ha abbastanza conversazioni valutate, e consideri reale un divario solo quando supera ciò che il caso produrrebbe con quel volume.
Una regola decisionale che può usare (ipotesi di esempio, da verificare sui suoi dati):
| Condizione | Che cosa fare |
|---|---|
| Meno di 100 conversazioni valutate in una lingua questo mese | Non la confronti ancora; riporti il punteggio con il suo conteggio |
| Divario inferiore a 5 punti su un criterio | Lo consideri rumore; continui a osservare |
| Divario di 5 punti o più, con almeno 100 conversazioni per parte | Legga dieci conversazioni non superate della lingua con il punteggio più basso |
| Stesso criterio basso in una lingua per due mesi di fila | Corregga la causa: contenuti, processo, formazione o nota per lingua |
Perché 5 punti e 100 conversazioni?
Se i singoli punteggi QA si distribuiscono con una deviazione standard di circa 15 punti, la media di 100 punteggi ha un errore standard di 1,5 punti. Il divario tra due medie di questo tipo ha un errore standard di circa 2,1 punti, quindi un divario di 5 punti vale circa 2,4 errori standard: difficilmente è un caso.
Con 30 conversazioni per parte, lo stesso divario rientrerebbe ampiamente nel rumore.
Quando legge le conversazioni non superate, verifichi la causa prima di dare la colpa agli operatori. Un punteggio basso su “risposta corretta” in una lingua spesso dipende da un articolo del centro assistenza mancante o superato in quella lingua. Un punteggio basso su “procedura seguita” può essere un processo locale che nessuno ha documentato.
Revisori madrelingua, traduzione o valutazione con l’AI?
I revisori madrelingua danno il giudizio migliore ma non scalano, la traduzione automatica scala ma nasconde registro e formulazione, e la valutazione con l’AI copre ogni conversazione ma va verificata da madrelingua per ogni lingua. La maggior parte dei team combina tutte e tre.
| Metodo | Punto di forza | Punto debole | Da usare per |
|---|---|---|---|
| Revisori madrelingua | Tono, registro, formulazione, aspettative locali | Copertura: un revisore per lingua raramente rientra nel budget | Set di calibrazione, contestazioni, coaching nella lingua dell’operatore |
| Revisione con traduzione automatica | Permette a un analista di leggere qualsiasi lingua | Grammatica, registro e termini di prodotto si perdono nella traduzione | Solo i criteri neutri rispetto alla lingua |
| Valutazione con l’AI nella lingua originale | Valuta ogni conversazione, in ogni lingua, allo stesso modo | Va testata lingua per lingua prima di fidarsi | Copertura di tutte le lingue, segnalazione di ciò che un madrelingua dovrebbe leggere |
| Revisori madrelingua esterni | Aggiungere una lingua in fretta | La calibrazione con il suo team richiede lavoro | Lingue grandi senza revisori interni |
Il sito di Kaizo indica che la sua analisi del sentiment funziona in tutte le lingue supportate dal suo team, e che le sue schede di coaching sono disponibili in tutte le principali lingue dell’assistenza. Foot Locker usa Kaizo in più lingue europee.
Per sapere esattamente quali lingue Kaizo valuta e come si applicano i criteri per lingua, chieda durante la demo per il suo mix di lingue.
Come avviare il controllo qualità multilingue
Parta dalle lingue più piccole, non dalle più grandi: elenchi ogni lingua, il suo volume e quante conversazioni hanno avuto una revisione da madrelingua il mese scorso. Le lingue a zero sono la sua prima lacuna, e un set di calibrazione di 20 conversazioni per ciascuna è il primo passo.
Per vedere come Kaizo applica un solo standard a ogni conversazione, vada alla piattaforma di controllo qualità di Kaizo.
Domande frequenti
Una sola scheda di valutazione può funzionare in più lingue?
Sì, ed è la scelta giusta. Tenga i criteri che significano la stessa cosa ovunque, come risposta corretta e procedura seguita, e aggiunga una breve nota per lingua dove le regole cambiano, per esempio sulla forma di cortesia o sull’ortografia. Una sola scheda mantiene i punteggi confrontabili tra lingue e team.
I revisori QA devono parlare la lingua che valutano?
Per tono, registro e ortografia sì: non si possono giudicare in modo affidabile attraverso una traduzione. Per i criteri neutri rispetto alla lingua, come la correttezza della risposta o il rispetto della procedura, un revisore può lavorare su una traduzione. Usi revisori madrelingua per la calibrazione e le contestazioni, anche se la maggior parte della valutazione avviene in altro modo.
Come si fa il controllo qualità di una lingua che nessuno nel team QA parla?
Costruisca un set di calibrazione con un madrelingua, spesso un operatore senior di quel team, e lo usi per verificare qualunque cosa valuti quella lingua, che sia una revisione tradotta o la valutazione con l’AI. Poi faccia rivedere al madrelingua le conversazioni non superate ogni mese, il che richiede molto meno tempo che rivedere un campione.
Bisogna valutare la grammatica degli operatori nella loro seconda lingua?
Valuti la grammatica dove incide sulla comprensione o sul suo brand, e lo scriva nella nota per lingua. Molti team danno a ortografia e grammatica un peso minore rispetto a risposta corretta e procedura giusta, e valutano gli errori che cambiano il significato, non le piccole sviste che un cliente non noterebbe.
Quante conversazioni per lingua servono per confrontare i punteggi QA?
Come regola pratica, almeno 100 conversazioni valutate per lingua e per periodo prima di confrontare le medie, e di più per i criteri che si applicano di rado. Sotto quella soglia, poche conversazioni insolite possono spostare la media di diversi punti, quindi riporti il punteggio con il suo conteggio e aspetti.
