Le contrôle qualité multilingue consiste à évaluer vos conversations support dans chaque langue que vous proposez selon un même standard, pour qu’un 90 en polonais vaille un 90 en anglais. Il demande une seule grille d’évaluation avec quelques critères propres à chaque langue, un jeu de calibrage par langue et une couverture suffisante pour que les petites langues soient évaluées tout court.
En bref
- Avec une petite équipe QA, l’échantillonnage lâche d’abord sur les petites langues : certaines files ne reçoivent aucune évaluation par un locuteur natif.
- La plupart des critères sont les mêmes dans toutes les langues, tandis que le registre, l’orthographe et la politique locale demandent des vérifications propres à chaque langue.
- Six étapes suffisent : une grille unique, des critères propres à chaque langue, un jeu de calibrage par langue, l’évaluation de chaque conversation, le calibrage entre langues et un reporting par langue.
- Ne comparez les langues que sur un volume suffisant de conversations, avec une règle simple pour savoir quand un écart est réel.
- Les évaluateurs natifs, les évaluations sur traduction et l’évaluation par IA ont chacun leur place, et la plupart des équipes les combinent.
Côté plateforme, la page sur le contrôle qualité du service client montre comment Kaizo évalue chaque conversation selon vos propres critères.
Pourquoi le contrôle qualité multilingue lâche-t-il avec une petite équipe QA ?
Le contrôle qualité multilingue lâche parce que les analystes QA ne peuvent évaluer que les langues qu’ils lisent : une équipe de deux couvre bien deux ou trois langues et laisse les autres sans évaluation. L’échantillon total paraît correct alors que des files entières ne sont jamais contrôlées.
Exemple chiffré (chiffres illustratifs, pas des données Kaizo). Une équipe support traite 40 000 conversations par mois dans huit langues. Deux analystes QA évaluent chacun 25 conversations par jour, 20 jours par mois : 1 000 évaluations, soit une conversation sur 40. L’un lit l’anglais et l’allemand, l’autre l’anglais et le français.
| Langue | Conversations par mois | Conseillers | Évaluations natives par mois | Évaluations par conseiller et par mois |
|---|---|---|---|---|
| Anglais | 16 000 | 40 | 400 | 10 |
| Allemand | 8 000 | 20 | 300 | 15 |
| Français | 5 000 | 12 | 300 | 25 |
| Espagnol | 4 000 | 10 | 0 | 0 |
| Néerlandais | 2 500 | 6 | 0 | 0 |
| Italien | 2 000 | 5 | 0 | 0 |
| Polonais | 1 500 | 4 | 0 | 0 |
| Portugais (Brésil) | 1 000 | 3 | 0 | 0 |
| Total | 40 000 | 100 | 1 000 | 10 |
Sur le papier, la QA couvre une conversation sur 40. En pratique, 11 000 conversations par mois, plus d’un quart du volume, ne reçoivent aucune évaluation native, et 28 conseillers n’ont jamais de note QA dans leur propre langue. Ces conseillers sont coachés sur rien, ou sur une lecture de leur travail passée par une traduction automatique que personne n’a vérifiée.
Le coût n’a rien d’abstrait. Dans l’enquête 2020 de CSA Research menée auprès de 8 709 consommateurs dans 29 pays, 75 % déclaraient être plus enclins à racheter auprès de la même marque si le service client parlait leur langue. Proposer la langue, c’est la moitié du travail ; savoir que le support dans cette langue est bon, c’est l’autre moitié.
Quels critères QA changent selon la langue ?
La plupart des critères QA sont indépendants de la langue : une réponse juste, une procédure suivie et une identité vérifiée signifient la même chose partout. Le registre, l’orthographe, les noms et la politique locale dépendent de la langue et demandent leur propre définition.
Servez-vous de ce tableau pour trier votre grille avant de la traduire :
| Critère | Identique dans toutes les langues ? | Ce qu’il faut définir par langue |
|---|---|---|
| Réponse juste | Oui | Rien, si votre base de connaissances existe dans cette langue |
| Procédure suivie | Oui | Les étapes locales, comme une autre adresse de retour ou un autre transporteur |
| Identité vérifiée | Oui | Rien, sauf si les contrôles varient selon le pays |
| Limites de la politique | En grande partie | Les termes juridiques locaux, comme les délais de rétractation ou les règles de garantie |
| Ton et empathie | En grande partie | Ce que « chaleureux » veut dire : vouvoiement ou tutoiement (Sie ou du, vous ou tu) |
| Orthographe et grammaire | Non | Les règles propres à la langue et votre charte éditoriale |
| Noms et formules d’accueil | Non | L’ordre local du nom et du prénom, les titres et les usages de salutation |
| Termes produit | Non | Votre glossaire validé par langue, pour que les conseillers emploient les mêmes mots que votre centre d’aide |
Rédigez une seule fois les critères indépendants de la langue.
Ajoutez ensuite une courte note par langue aux critères marqués « En grande partie » ou « Non », par exemple : « Allemand : vouvoyer le client (Sie), sauf s’il a tutoyé (du) en premier. » Vous gardez ainsi une grille et une note, tout en jugeant chaque langue selon ses propres règles.
Notre guide pour évaluer les soft skills en QA montre comment rendre les critères de ton vérifiables dans n’importe quelle langue.
Mettre en place un contrôle qualité multilingue en six étapes
Pour mettre en place un contrôle qualité multilingue, rédigez une seule grille, ajoutez des notes par langue, constituez un jeu de calibrage par langue, évaluez chaque conversation, calibrez entre langues et présentez les résultats par langue.
Étape 1 : rédiger une seule grille
Partez de votre grille actuelle et gardez-la comme la seule. Une grille par langue semble ordonnée, mais rend les notes impossibles à comparer. Si vous devez rééquilibrer les pondérations au passage, consultez notre guide sur la pondération d’une grille d’évaluation.
Étape 2 : ajouter des notes par langue aux critères concernés
Utilisez le tableau ci-dessus pour repérer les critères qui changent selon la langue, et ajoutez une note d’une ligne par langue. Demandez à un locuteur natif de chaque équipe, souvent un conseiller senior ou un chef d’équipe, de rédiger et de vérifier les notes de sa langue.
Étape 3 : constituer un jeu de calibrage par langue
Choisissez 20 à 30 conversations passées par langue, qui couvrent un traitement bon, moyen et en échec, et faites-les évaluer par un évaluateur natif. Ce jeu devient la référence de cette langue. Notre guide sur building a golden set (en anglais) explique comment choisir les conversations et s’accorder sur les notes.
Étape 4 : évaluer chaque conversation dans sa langue d’origine
Évaluez les conversations dans la langue où elles ont été écrites ou parlées, pas dans une traduction. Une traduction gomme précisément ce que vous voulez vérifier : le registre, la formulation et les termes produit. Si vous utilisez l’évaluation par IA, testez-la sur le jeu de calibrage de chaque langue avant de vous y fier, comme le décrit our validation protocol (en anglais).
Étape 5 : calibrer entre langues
Une fois par trimestre, prenez cinq conversations par langue, traduisez-les dans une langue commune uniquement pour la discussion, et faites-les évaluer ensemble par des évaluateurs de chaque langue.
Le but n’est pas de juger la grammaire d’une traduction. Il s’agit de vérifier que « réponse juste » et « politique respectée » se lisent de la même façon partout. Le déroulé de ces séances est décrit dans how to run QA calibration sessions (en anglais).
Étape 6 : présenter les résultats par langue et par critère
Affichez la note QA par langue et par critère, à côté du volume et du nombre de conversations évaluées. Une moyenne par langue cache le critère responsable d’un écart, et une vue par critère sans volume pousse à tirer des conclusions de dix conversations.
Voyez-le en démo. Kaizo évalue 100 % de vos conversations selon vos propres critères, et chaque note renvoie à l’élément de la conversation qui la justifie. Parlons-en.
Comment comparer la qualité entre langues de façon équitable ?
Comparez les langues critère par critère, uniquement quand chaque langue compte assez de conversations évaluées, et ne tenez un écart pour réel que s’il dépasse ce que le hasard produirait sur ce volume.
Une règle de décision que vous pouvez utiliser (hypothèses d’exemple, à vérifier sur vos propres données) :
| Situation | Que faire |
|---|---|
| Moins de 100 conversations évaluées dans une langue ce mois-ci | Ne la comparez pas encore ; indiquez la note avec son nombre de conversations |
| Écart de moins de 5 points sur un critère | Considérez-le comme du bruit ; continuez à suivre |
| Écart de 5 points ou plus, avec au moins 100 conversations de chaque côté | Lisez dix conversations en échec dans la langue la moins bien notée |
| Même critère faible dans une langue deux mois de suite | Corrigez la cause : contenus, processus, formation ou note de langue |
Pourquoi 5 points et 100 conversations ?
Si les notes QA individuelles ont un écart-type d’environ 15 points, la moyenne de 100 notes a une erreur type de 1,5 point. L’écart entre deux moyennes de ce type a une erreur type d’environ 2,1 points : un écart de 5 points représente donc environ 2,4 erreurs types, ce qui a peu de chances d’être dû au hasard.
Avec 30 conversations de chaque côté, le même écart resterait largement dans le bruit.
Quand vous lisez les conversations en échec, vérifiez la cause avant d’incriminer les conseillers. Une note basse sur « réponse juste » dans une langue vient souvent d’un article du centre d’aide manquant ou périmé dans cette langue. Une note basse sur « procédure suivie » peut venir d’un processus local que personne n’a documenté.
Évaluateurs natifs, traduction ou évaluation par IA ?
Les évaluateurs natifs jugent le mieux mais ne passent pas à l’échelle, la traduction automatique passe à l’échelle mais masque le registre et la formulation, et l’évaluation par IA couvre chaque conversation mais doit être vérifiée par des évaluateurs natifs, langue par langue. La plupart des équipes combinent les trois.
| Méthode | Point fort | Point faible | À utiliser pour |
|---|---|---|---|
| Évaluateurs natifs | Ton, registre, formulation, attentes locales | La couverture : un évaluateur par langue entre rarement dans le budget | Jeux de calibrage, contestations, coaching dans la langue du conseiller |
| Évaluation sur traduction automatique | Permettre à un analyste de lire n’importe quelle langue | La grammaire, le registre et les termes produit disparaissent à la traduction | Vérifier uniquement les critères indépendants de la langue |
| Évaluation par IA dans la langue d’origine | Évaluer chaque conversation, dans chaque langue, de la même façon | Doit être testée langue par langue avant qu’on s’y fie | Couvrir toutes les langues, signaler ce qu’un évaluateur natif doit lire |
| Évaluateurs natifs externalisés | Ajouter rapidement une langue | Le calibrage avec votre propre équipe demande du travail | Grandes langues sans évaluateurs en interne |
Le site de Kaizo indique que son analyse de sentiment fonctionne dans les langues que prend en charge votre équipe, et que ses fiches de coaching sont disponibles dans toutes les grandes langues du support. Foot Locker utilise Kaizo dans plusieurs langues européennes. Pour connaître précisément les langues que Kaizo évalue et la façon dont les critères s’appliquent à chacune, posez la question en démo pour vos propres langues.
Comment démarrer un contrôle qualité multilingue
Commencez par vos plus petites langues, pas par les plus grandes : listez chaque langue, son volume et le nombre de conversations qui ont reçu une évaluation native le mois dernier. Les langues à zéro sont votre premier manque, et un jeu de calibrage de 20 conversations pour chacune est votre première étape.
Pour voir comment Kaizo applique un même standard à chaque conversation, consultez la plateforme de contrôle qualité de Kaizo.
Questions fréquentes
Une seule grille QA peut-elle fonctionner dans plusieurs langues ?
Oui, et c’est même souhaitable. Gardez les critères qui signifient la même chose partout, comme la réponse juste et la procédure suivie, et ajoutez une courte note par langue là où les règles diffèrent, par exemple sur le vouvoiement ou l’orthographe. Une seule grille garde les notes comparables entre langues et entre équipes.
Les évaluateurs QA doivent-ils parler la langue qu’ils évaluent ?
Pour le ton, le registre et l’orthographe, oui : une traduction ne permet pas de les juger de façon fiable. Pour les critères indépendants de la langue, comme la justesse de la réponse ou le respect de la procédure, un évaluateur peut travailler sur une traduction. Gardez des évaluateurs natifs pour le calibrage et les contestations, même si l’essentiel de l’évaluation se fait autrement.
Comment évaluer une langue que personne ne parle dans l’équipe QA ?
Constituez un jeu de calibrage avec un locuteur natif, souvent un conseiller senior de cette équipe, et servez-vous-en pour vérifier ce qui évalue cette langue, qu’il s’agisse d’une évaluation sur traduction ou d’une évaluation par IA. Faites ensuite relire chaque mois les conversations en échec par ce locuteur natif, ce qui prend bien moins de temps que d’évaluer un échantillon.
Faut-il évaluer la grammaire des conseillers dans leur deuxième langue ?
Évaluez la grammaire quand elle nuit à la compréhension ou à votre image de marque, et précisez-le dans la note de langue. Beaucoup d’équipes donnent moins de poids à l’orthographe et à la grammaire qu’à la réponse juste et à la bonne procédure, et ne sanctionnent que les erreurs qui changent le sens, pas les petites fautes qu’un client ne remarquerait pas.
Combien de conversations par langue faut-il pour comparer les notes QA ?
En règle pratique, au moins 100 conversations évaluées par langue et par période avant de comparer des moyennes, et davantage pour les critères qui s’appliquent rarement. En dessous, quelques conversations atypiques peuvent déplacer la moyenne de plusieurs points : indiquez la note avec son nombre de conversations et attendez.
