Critères hors du contrôle du conseiller en QA

Quand un critère dépend d’un système défaillant, d’un client parti ou d’une équipe qui n’a jamais répondu, le conseiller perd des points sur des éléments qu’il ne maîtrisait pas. Corrigez la grille en excluant le critère, en le marquant « non applicable » ou en renvoyant le constat à son responsable.

En bref

• Les conseillers repèrent en un mois environ un critère sur lequel ils n’ont aucune prise.
• L’option « non applicable » doit exister sur chaque critère et réduire le dénominateur.
• Des échecs concentrés sur une file, une heure ou une mise en production signalent un problème de système.
• Un processus défaillant doit faire changer le processus, pas la note du conseiller.

Pourquoi un seul critère incontrôlable discrédite toute la note

Quatre situations reviennent sans cesse quand des conseillers décrivent une note qu’ils jugent injuste, et aucune ne relève vraiment d’un désaccord sur le jugement de l’évaluateur.

• Une panne a empêché d’enregistrer une étape que le conseiller avait bien réalisée : l’évaluateur ne pouvait pas la voir et l’a notée comme manquante.
• Le client a raccroché avant la séquence de clôture, et chaque critère de clôture a renvoyé un zéro automatique.
• Une escalade est partie vers un superviseur qui n’a jamais répondu, et le conseiller a perdu les points de résolution et de suivi.
• Un appelant était difficile à entendre, une adresse e-mail est revenue mal orthographiée, et un critère d’exactitude des données l’a enregistré comme un manquement à la confidentialité.

Prenez au sérieux l’arithmétique du deuxième cas, car c’est la plus claire. Si votre section de clôture compte quatre critères et qu’un raccrochage en met trois à zéro, c’est le comportement du client, et non celui du conseiller, qui décide de la tranche de performance où ce conseiller se retrouve. Les conseillers qui prennent les appelants les plus en colère sont ceux à qui l’on raccroche le plus au nez : les personnes qui traitent votre travail le plus difficile obtiennent les pires notes.

Deux conséquences en découlent, dans cet ordre. D’abord, la note cesse de porter de l’information. Si un évaluateur ne peut pas vous dire si un 72 traduit un travail médiocre ou un mauvais après-midi côté outils, personne en aval ne peut utiliser ce chiffre pour décider quoi que ce soit. Ensuite, et c’est plus coûteux, la note perd son autorité auprès des personnes qu’elle est censée aider. Dès qu’un conseiller pense que le chiffre est en partie arbitraire, chaque retour de coaching qui s’y rattache arrive déjà dévalué. Vous ne coachez plus, vous négociez, et vous avez perdu les conditions pour mener un programme QA auquel les conseillers font confiance (en anglais). Deming a formulé le cas général plus crûment que n’importe quel guide QA : un mauvais système battra toujours une bonne personne (en anglais), et mesurer la personne plus durement ne change rien au camp qui perd.

Ce n’est pas un échec de l’équipe QA. Les évaluateurs travaillent dans le même formulaire que tout le monde, et la plupart des formulaires ne leur laissent que deux options sur un critère qui ne pouvait pas être rempli : le mettre en échec, ou le valider discrètement en espérant que personne ne l’audite. Les deux sont faux, et il n’existe pas de troisième choix. C’est un problème de conception, qui se corrige dans la grille de critères plutôt que dans la discussion sur la grille.

Comment repérer les critères qui ne dépendent pas du conseiller dans votre grille ?

Prenez votre grille d’évaluation actuelle et parcourez-la ligne par ligne. Pour chaque critère, posez trois questions, dans cet ordre.

1. Le conseiller aurait-il pu le réussir avec les outils, les droits et les informations dont il disposait à ce moment-là ? Pas avec les outils qu’il aurait dû avoir. Avec ceux qu’il avait réellement sous les yeux.
2. La réussite exige-t-elle que quelqu’un d’autre agisse d’abord ? Une autre équipe, un client, un traitement par lot, une validation.
3. Un très bon conseiller pourrait-il le réussir à chaque fois, simplement en le décidant ? Si la réponse honnête est non, le critère mesure les circonstances autant que la compétence.

Classez chaque critère dans l’un de trois groupes au fil de l’exercice. Entièrement maîtrisable, là où devraient se trouver la plupart de vos critères de savoir-être et de respect des procédures. Maîtrisable sous condition, c’est-à-dire que le conseiller le maîtrise seulement si une condition préalable est remplie. Non maîtrisable, c’est-à-dire que la réussite dépend de quelque chose sur quoi le conseiller n’a aucune prise.

Le travail se concentre dans le deuxième groupe. Pour chaque critère maîtrisable sous condition, écrivez la condition préalable en une phrase simple : le client est resté en ligne, l’outil de remboursement fonctionnait, l’équipe de niveau 2 a répondu dans son délai de service, l’enregistrement a capté l’appel en entier. Ces phrases deviennent les déclencheurs du « non applicable » dont vous aurez besoin plus loin, et les écrire transforme un vague sentiment d’injustice en une règle qu’un évaluateur peut appliquer deux fois de la même façon.

Faites l’exercice avec des conseillers dans la salle

Menez ce passage avec deux évaluateurs et deux conseillers expérimentés, pas comme un exercice réservé à la QA. Les conseillers trouveront les critères qui ne dépendent pas d’eux en une fraction du temps, parce qu’ils perdent des points à cause d’eux depuis des mois et peuvent citer le ticket exact. Cela change aussi le message envoyé : vous demandez au plateau de vous aider à corriger le formulaire, au lieu d’annoncer une correction. Prévoyez deux heures pour une grille de quinze critères, et attendez-vous à trouver entre deux et cinq lignes problématiques.

Les trois catégories d’échecs incontrôlables

Presque tout ce que vous trouverez entre dans l’une de trois catégories, et la catégorie vous indique quoi faire. La distinction qui compte est de savoir qui aurait pu empêcher l’échec, car c’est aussi à cette personne que le constat doit revenir.

Exclure, marquer non applicable ou réacheminer

Trois corrections possibles, et c’est en choisissant la mauvaise que ces corrections échouent. Le critère de choix n’est pas la gravité de l’échec, mais la fréquence à laquelle le critère est impossible à remplir et l’identité du responsable de la cause.

Excluez le critère quand il échoue au test de maîtrise la plupart du temps. Si un critère dépend d’un outil peu fiable, ou d’un comportement particulier du client, ce n’est pas un standard, c’est un pile ou face assorti d’un nombre de points. Une règle pratique utile : si vous ne coacheriez jamais quelqu’un sur ce point, ne le notez pas non plus.

Marquez-le non applicable quand le critère est normalement maîtrisable mais qu’il était réellement impossible dans cette conversation précise. C’est le cas le plus courant, et il demande deux choses : un déclencheur nommé, tiré des conditions préalables écrites plus tôt, et une preuve dans le dossier que ce déclencheur s’est produit. L’horodatage d’un raccrochage avant la séquence de clôture est une preuve. L’impression d’un évaluateur ne l’est pas.

Réacheminez le constat quand l’échec est réel, compte pour le client et appartient à quelqu’un. Le client n’a pas obtenu son remboursement, ce qui est un vrai défaut de qualité qu’il faut connaître, mais la cause était une règle que le conseiller n’a pas le droit de contourner. Le constat quitte la QA sous forme de défaut de processus, avec un responsable et une date. La note du conseiller ne bouge pas.

Il existe une quatrième option vers laquelle les équipes se tournent et qu’il faut refuser : mettre le critère en échec et ajouter un commentaire précisant que ce n’était pas la faute du conseiller. Le commentaire ne change pas le chiffre, et c’est le chiffre qui arrive dans la revue mensuelle, le classement et l’entretien de performance. De la compassion dans un champ de texte libre n’est pas un contrôle, et cela ne laisse au conseiller qu’une seule issue : contester la note (en anglais).

Donnez l’autorité aux évaluateurs, puis auditez-la

Les évaluateurs doivent pouvoir appliquer « non applicable » sans demander d’autorisation. Les équipes qui en font une escalade suppriment de fait l’option, car un évaluateur qui a quarante évaluations à terminer n’ouvrira pas un ticket pour sauter une ligne. Contrôlez plutôt en aval : suivez l’usage du « non applicable » par évaluateur et par critère, et inscrivez les cas atypiques à l’ordre du jour de votre prochaine séance de calibrage. C’est une conversation bien plus utile que celle qui naît d’échecs imposés à tort.

Pourquoi « non applicable » doit être une option à part entière sur chaque critère

Le « non applicable » ne fonctionne que si l’arithmétique fonctionne. La note doit être égale aux points obtenus divisés par les points applicables, et non par le total du formulaire. Si onze critères sur quinze s’appliquaient et que le conseiller en a réussi huit, la note est de huit sur onze. Si votre formulaire laisse les quinze au dénominateur, marquer une ligne non applicable coûte exactement autant que l’échouer : les évaluateurs le remarquent en une semaine, et l’option n’est plus utilisée. Beaucoup d’équipes calculent déjà la note sur les seules questions applicables. D’autres ont une case « non applicable » qui ne fait rien, ce qui est pire que de ne pas en avoir, car cela ressemble à une correction.

Voyez ce qui se passe sur un formulaire sans option « non applicable » qui fonctionne. Les évaluateurs stricts mettent en échec le critère impossible, les plus indulgents le valident, et tous devinent une règle qui n’a jamais été écrite. Vous avez fabriqué un désaccord entre évaluateurs qu’aucun calibrage (en anglais) ne résoudra, parce qu’il est structurel et non perceptif : deux évaluateurs peuvent être entièrement d’accord sur ce qui s’est passé et produire pourtant des notes différentes. Les conseillers vivent alors leur note comme dépendant de la personne qui les a évalués, ce qui est le moyen le plus rapide de faire perdre sa crédibilité à un programme QA.

Les dégâts sur les données durent plus longtemps. Un critère validé alors qu’il n’a jamais été testé gonfle votre taux de réussite. Un critère mis en échec alors qu’il était impossible fabrique un défaut qui n’a jamais eu lieu. Dans les deux cas, les statistiques de ce critère deviennent inutilisables, alors que ce sont précisément elles dont vous avez besoin pour pondérer la grille de façon sensée et pour repérer les problèmes de système décrits dans la section suivante.

Quatre exigences, toutes peu coûteuses :

• Disponible sur chaque critère, et pas sur quelques-uns choisis. Celui que vous n’avez pas activé est celui qui cassera.
• Un code motif tiré d’une courte liste, cinq ou six options, pour que l’usage soit comptable. Le texte libre ne se compte pas.
• Visible par le conseiller dans l’évaluation, pour qu’il voie que l’évaluateur a remarqué la situation. La moitié du ressentiment sur ce sujet vient de conseillers persuadés que personne ne l’a vue.
• Suivi chaque mois par critère et par motif.

Un seuil mérite d’être adopté. Si un critère revient « non applicable » dans plus d’un tiers environ des conversations, il n’a pas sa place dans cette grille. Il relève d’une grille propre à un canal ou à une file, parce que vous demandez à un seul formulaire d’évaluer deux types de travail différents.

Comment repérer le problème dans vos données avant qu’un conseiller ne vous le signale ?

Les réclamations sont un indicateur retardé, et elles viennent de vos conseillers les plus sûrs d’eux plutôt que des plus touchés. Les données arrivent en premier, et la méthode tient dans un tableur.

Pour chaque critère, prenez son taux d’échec sur le dernier trimestre, puis ventilez-le par heure de la journée, par file ou compétence, par canal, par tranche d’ancienneté du conseiller, et mettez-le en regard des dates de mises en production et de changements de règles. La compétence des conseillers se répartit de façon assez homogène entre ces groupes. Les problèmes de système, non, et cette asymétrie constitue tout le diagnostic. Un critère qui échoue dans 6 % des cas au global, mais dans 35 % des cas sur une file entre 14 h et 17 h, ne vous parle pas de coaching.

Quatre schémas et ce que chacun signifie généralement :

• Concentré sur une plage horaire. Sous-effectif (en anglais), pression sur la file, ou un traitement par lot qui bloque un système chaque après-midi. Vérifiez ce qui se passe d’autre à cette heure-là avant d’écrire une note de coaching.
• Concentré sur une file, une compétence ou un canal. Un outil que seul ce groupe utilise, une règle de routage, ou une grille qui ne correspond pas au travail de ce groupe.
• Une rupture à une date précise. Une mise en production, un changement de règle, ou une modification de la grille elle-même. Un critère qui allait bien en mars et échoue constamment à partir d’avril n’est pas devenu plus difficile parce que vos conseillers se sont dégradés.
• Réparti uniformément sur tout le monde, y compris vos meilleurs conseillers. Le critère est ambigu ou impossible. Si votre premier décile l’échoue à peu près aussi souvent que votre dernier, il ne mesure pas la compétence.

Un problème d’échantillonnage se cache dans cette méthode, et il faut le nommer. Avec l’échantillon de 3 % sur lequel tournent la plupart des programmes, elle est tout simplement impossible. Découpez un critère par file et par heure, et la plupart des cases sont vides : le schéma qui aurait disculpé le conseiller reste invisible, et c’est l’anecdote qui l’emporte. C’est l’argument concret en faveur de l’évaluation de tout : une couverture à 100 % révèle des tendances qu’un échantillon de 3 % ne pourrait jamais montrer. L’enjeu n’est pas d’en voir davantage, mais de faire disparaître le biais de sélection, pour qu’un échec concentré puisse être reconnu comme tel.

L’Auto QA de Kaizo évalue chaque conversation selon votre propre grille et conserve les preuves rattachées critère par critère : vous pouvez filtrer les échecs d’un critère par file et par heure, et voir s’ils se regroupent avant que quiconque soit coaché dessus. Cette traçabilité compte davantage que la couverture : la question utile n’est pas combien de conversations ont été évaluées, mais si vous pouvez montrer pourquoi un critère précis a échoué sur une conversation précise. Pour le versant couverture, voyez ce que signifie vraiment une couverture QA de 100 %.

Envoyez le constat à son responsable, pas dans la note du conseiller

Tout ce qui précède mène à un principe. Un constat qui remonte à un processus défaillant doit faire évoluer le processus, pas la note de la personne. La QA lit plus de ce qui arrive réellement aux clients que n’importe quelle autre fonction, ce qui en fait le meilleur système de détection des défauts dont disposent la plupart des organisations de support. Dépenser ce signal en retraits de points individuels, c’est le gaspiller.

La mécanique est ordinaire, et c’est tout l’intérêt :

• Attribuez un responsable au moment de l’évaluation. Produit, gestion des effectifs, niveau 2, base de connaissances, règles. Le faire pendant l’évaluation prend quelques secondes. Le reconstituer lors d’une rétrospective mensuelle prend un après-midi et finit par être sauté.
• Donnez au constat les champs d’un défaut. Ce qui a échoué, à quelle fréquence, sur quelles files, ce que cela coûte en réouvertures ou en temps de traitement. Un constat de processus chiffré est corrigé. Une plainte, non. C’est une analyse des causes racines classique, appliquée à la grille elle-même plutôt qu’au ticket.
• Suspendez le critère tant que le défaut est ouvert, et dites-le clairement au plateau. C’est l’étape qui rachète la crédibilité, car elle prouve que la grille réagit aux preuves.
• Publiez les corrections à côté des notes. Critères suspendus, défauts ouverts, défauts clos. Cela change ce que l’on pense être le rôle de la QA, et cela donne à votre équipe une seconde série de chiffres qui n’est pas la note moyenne.

Ce qui reste après ce travail, c’est la part que le conseiller maîtrise réellement, la seule qui mérite un entretien individuel. Le coaching ne commence plus par une dispute sur l’équité de la note, et transformer les données QA en coaching (en anglais) devient plus simple, puisque tous les constats portent sur des choses qu’une personne peut changer. Le coaching IA de Kaizo construit ses fiches de coaching à partir des critères évalués : les critères que vous excluez ou conditionnez cessent de produire du bruit dans le coaching, en plus de cesser de retirer des points.

Deux règles d’hygiène pour conclure. Versionnez la grille chaque fois que vous retirez ou conditionnez un critère, et ne recalculez jamais d’anciennes notes avec de nouvelles règles : une note de mars a été produite avec le formulaire de mars. Et annoncez chaque changement avant son entrée en vigueur, avec sa raison. Une grille qui se corrige visiblement est perçue tout autrement qu’une grille qui apparaît discrètement dans une nouvelle version chaque trimestre.

Questions fréquentes

Faut-il évaluer les conseillers sur ce qu’ils ne maîtrisent pas ?

Non. Un critère sur lequel le conseiller n’a aucune prise mesure les circonstances plutôt que la performance, et il rend la note globale inutilisable pour le coaching comme pour le classement. L’échec peut tout de même mériter d’être consigné, mais il doit l’être contre le système, la situation du client ou l’équipe qui l’a causé. Classez chaque critère en entièrement maîtrisable, maîtrisable sous condition et non maîtrisable, puis excluez, marquez non applicable ou réacheminez en conséquence.

Que faire quand un conseiller échoue en QA pour une raison qui n’était pas de son fait ?

Ne corrigez pas par une note dans les commentaires, car le commentaire ne change pas le chiffre qui arrive dans son évaluation. Si le critère était impossible dans cette conversation précise, marquez-le non applicable pour qu’il sorte du dénominateur. Si le critère est régulièrement impossible, retirez-le de la grille. Si l’échec était réel mais causé par une autre équipe, gardez le constat, attribuez-lui un responsable et laissez la note du conseiller intacte.

Comment traiter un appel où le client a raccroché avant le script de clôture ?

Déclenchez le statut non applicable sur chaque critère de clôture, preuve à l’appui avec l’horodatage du raccrochage, plutôt que de les laisser renvoyer des zéros automatiques. Évaluez les parties de la conversation qui ont eu lieu. Un raccrochage qui met à zéro trois ou quatre critères de clôture peut faire changer un conseiller de tranche de performance sur le seul comportement du client, et cela touche le plus durement les conseillers qui gèrent les appelants les plus difficiles.

Une grille d’évaluation QA doit-elle avoir une option non applicable ?

Oui, sur chaque critère, et elle doit retirer ce critère du dénominateur pour que la note soit égale aux points obtenus sur les points applicables. Une option non applicable qui laisse le total intact équivaut arithmétiquement à un échec, et les évaluateurs cessent de l’utiliser. Exigez un code motif tiré d’une courte liste, montrez le statut au conseiller dans l’évaluation et suivez l’usage par évaluateur et par critère pour que le calibrage puisse l’auditer.

Comment distinguer un problème de système d’un problème de conseiller dans les données QA ?

Ventilez le taux d’échec de chaque critère par heure de la journée, file, canal, ancienneté et date de mise en production. La compétence se répartit de façon assez homogène entre ces groupes : un critère qui échoue bien plus souvent sur une file, sur une plage horaire ou à partir d’une date de mise en production relève presque toujours d’un problème de système ou de processus. Un critère échoué à des taux similaires par vos meilleurs et vos moins bons conseillers est soit ambigu, soit impossible.

Comment utiliser l’analyse des causes racines en contrôle qualité ?

Demandez-vous ce qui aurait dû être vrai pour que le conseiller réussisse, puis suivez cette chaîne jusqu’à atteindre quelque chose qui a un responsable. Si la chaîne aboutit à un outil qui n’a pas sauvegardé un champ, à un article de base de connaissances erroné ou à une escalade sans réponse, le constat revient à ce responsable sous forme de défaut, avec une fréquence et un coût, et le critère de la grille doit être suspendu jusqu’à la correction. Un constat qui remonte à un processus défaillant doit faire évoluer le processus, pas la note de la personne.

Termes associés

• Qu’est-ce qu’une grille de critères qualité et comment la construire
• Mener un programme QA auquel les conseillers font confiance (en anglais)
• L’analyse des causes racines au service client
• Le calibrage des évaluations qualité et pourquoi il compte
• Transformer les données QA en coaching (en anglais)

Découvrez quels critères vos conseillers ne peuvent pas réellement réussir

Apportez la grille que vous utilisez aujourd’hui et un trimestre de conversations évaluées. Nous vous montrerons quels critères échouent selon des schémas qui suivent vos files et vos dates de mise en production plutôt que vos conseillers.

Réserver une démo Découvrir le coaching IA