Note qualité vs CSAT : qui dit vrai en cas d’écart ?

Note qualité vs CSAT : aucune des deux n’a raison tant que vous n’avez pas vérifié qu’elles décrivent les mêmes conversations, car en général ce n’est pas le cas. Si c’est le cas, un écart durable signifie que votre grille mesure le respect des procédures plutôt que le résultat.

En bref

• Une note qualité basse avec un CSAT élevé signifie souvent que le conseiller s’est écarté de la procédure pour aider le client.
• Traitez-le comme un constat sur vos règles, pas comme un sujet de coaching.
• Les escalades, les recontacts et les remboursements départagent les deux, parce que ce sont des comportements.
• Une note qualité qui n’est jamais en désaccord avec le CSAT fait double emploi.

Les deux chiffres décrivent-ils seulement les mêmes conversations ?

Vérifiez-le avant de poser le moindre diagnostic : c’est l’explication la plus fréquente, et presque personne ne la vérifie.

Regardez comment chaque chiffre est réellement produit. Le CSAT provient des clients qui ont reçu une enquête et ont choisi d’y répondre, en général une petite fraction des contacts. Votre note qualité provient des conversations qu’un évaluateur a sélectionnées, en général environ 3 % du volume. Ce sont deux processus de sélection indépendants qui portent sur le même mois, et leur intersection est souvent presque vide.

Quand les deux divergent, la première hypothèse honnête n’est donc pas que l’une se trompe. C’est que vous avez mesuré des conversations différentes et que vous traitez la différence comme une contradiction.

Le test des cinq minutes. Extrayez les conversations qui ont reçu une réponse CSAT le mois dernier. Extrayez les conversations qui ont été évaluées. Comptez celles qui figurent dans les deux listes. Si vous en trouvez moins de dix, vous n’avez pour l’instant aucune comparaison, et aucune analyse superposée à ces deux chiffres n’en produira une. La solution consiste à évaluer délibérément un lot de conversations auxquelles une réponse CSAT est rattachée, ce qui rend la comparaison possible pour la première fois.

Un second problème de sélection s’ajoute au premier. Les réponses aux enquêtes ne sont pas aléatoires : les personnes qui répondent diffèrent systématiquement de celles qui ne répondent pas, c’est pourquoi le biais de non-réponse est considéré comme un problème méthodologique central et non comme une question d’arrondi. Le travail de Pew Research sur ce que de faibles taux de réponse signifient pour les enquêtes en offre le traitement le plus clair, et la conséquence pour le CSAT est directe. Un taux de réponse de 20 % n’est pas un échantillon de 20 % de l’expérience de vos clients : c’est un échantillon complet des clients qui avaient un avis assez marqué pour répondre.

Attention

Si moins d’une dizaine de conversations du mois dernier ont à la fois une réponse CSAT et une évaluation qualité, vos deux indicateurs ne sont pas en désaccord. Ils décrivent des populations distinctes, et l’écart que vous observez peut ne contenir aucune information.

Que mesure réellement chaque chiffre ?

Ce ne sont pas deux tentatives de la même mesure, et c’est pourquoi s’attendre à ce qu’elles concordent est l’erreur de départ. Elles mesurent des objets différents, et une paire d’indicateurs bien conçue devrait parfois être en désaccord.

• Votre note qualité mesure le processus que vous maîtrisez. Le conseiller a-t-il fait ce que votre organisation considère comme un bon traitement ? Elle est interne, comparable d’un conseiller à l’autre, et ne vaut que par le jugement inscrit dans la grille.
• Le CSAT mesure le résultat, et tout le reste en plus. La réponse obtenue par le client, la règle qui la sous-tend, l’attente, le produit, le prix et son humeur. Très peu de tout cela dépend du conseiller.

Vu sous cet angle, le désaccord devient instructif plutôt qu’inquiétant. Un client peut être mécontent d’un refus correctement annoncé. Un conseiller peut perdre des points pour avoir sauté une étape alors que le client a obtenu exactement ce dont il avait besoin. Ce sont deux affirmations vraies sur des choses différentes, et une note qualité interne existe justement parce que l’évaluation du client ne peut pas vous dire quoi changer.

Une note qualité toujours d’accord avec le CSAT ne mesure rien de plus. Si vos deux chiffres évoluent de concert, soit vous avez construit une grille qui prédit la satisfaction au lieu de décrire le traitement, soit quelqu’un évalue en gardant un œil sur la note du client. Un accord parfait est un signal d’alerte, pas un critère de réussite.

Note qualité vs CSAT : les quatre quadrants et leur signification

En supposant que vous ayez écarté le problème de population, croisez les deux. Chaque quadrant a une cause précise et une action précise, et elles ne sont pas interchangeables.

Pourquoi une note qualité élevée avec un CSAT bas est-elle la situation la plus fréquente ?

Parce que les grilles glissent vers ce qui est facile à observer, et ce qui est facile à observer est rarement ce qui compte. La formule d’accueil, la formule de clôture, l’étiquetage et le ton s’évaluent vite et de manière cohérente. Savoir si le problème du client a vraiment disparu exige de lire toute la conversation et de connaître la règle.

Les critères peu coûteux à évaluer s’accumulent donc, le critère le plus important tient en une ligne, et vous vous retrouvez avec une grille où une conversation peut obtenir 95 % tout en laissant le client avec un problème non résolu et une formule de clôture polie. La solution est de repondérer vers le résultat, et la méthode consiste à pondérer les critères à partir de preuves : comparez le taux d’échec de chaque critère à un résultat en aval, comme le recontact, et laissez les critères qui ne prédisent rien perdre leur poids.

Une seconde cause mérite d’être isolée, car l’action est complètement différente. Parfois, le traitement était réellement bon et le client est mécontent de la réponse. Un refus correctement annoncé, une règle exacte mais mal accueillie, un prix. Ce n’est pas un défaut de qualité et cela ne doit pas faire l’objet d’un coaching. C’est un constat pour le responsable de la règle, et le plus utile que le contrôle qualité puisse en faire, c’est le compter, le transmettre, puis s’arrêter. Le traiter comme de l’insatisfaction client à réduire par un meilleur traitement ne fonctionnera pas, car le traitement n’était pas le problème.

Conseil

Classez les mauvaises évaluations selon que la plainte porte sur le traitement ou sur la réponse. Deux mois de cette seule distinction vous disent quelle part de votre insatisfaction relève vraiment du support, et c’est en général moins que ce que pense la direction.

Quel chiffre l’emporte quand il faut choisir ?

Aucun. Prenez le comportement pour départager. Les deux chiffres sont des opinions, l’une d’un évaluateur, l’autre d’un client. Ce que les clients ont fait ensuite n’est pas une opinion, et c’est déjà dans votre helpdesk.

Trois critères de départage, par ordre d’utilité :

1. Le recontact sous sept jours. Le signal le plus net qui soit. Un client qui revient dit que le premier contact n’a pas résolu son problème, quoi qu’en disent les deux chiffres. Si vos conversations bien notées génèrent des recontacts, c’est la grille qui se trompe.
2. Les escalades et les réclamations. Des actions coûteuses et délibérées de la part du client. Une équipe aux excellentes évaluations dont les escalades augmentent a un problème de mesure quelque part, et la qualité de la gestion des escalades est le premier endroit où regarder.
3. Les remboursements et gestes commerciaux accordés pour réparer un défaut de service. De l’argent qui sort de l’entreprise pour corriger quelque chose : c’est la preuve la moins contestable qui soit.

Faites ensuite la vérification dans l’autre sens. Prenez les conversations que les clients ont mal notées et faites-les évaluer à l’aveugle, sans que les évaluateurs voient la note du client. Si les évaluateurs les notent bien de façon constante, votre grille et vos clients ne sont pas d’accord sur ce qu’est un bon traitement, et c’est la grille que vous pouvez changer. C’est le même mécanisme qu’une session de calibrage (en anglais), appliqué à la grille plutôt que sur les évaluateurs.

Le problème d’échelle mérite d’être nommé, car c’est lui qui rend l’exercice difficile et pas seulement fastidieux. Chacune de ces vérifications demande assez de conversations ayant à la fois une note client et une évaluation pour être lisible, et avec un échantillon de 3 %, cette intersection est trop petite pour être segmentée. L’Auto QA de Kaizo évalue l’ensemble de la population avec votre propre grille : chaque conversation ayant reçu une enquête a donc aussi une note qualité, et la comparaison ne dépend plus du hasard qui ferait se recouper deux échantillons. Voilà ce que vous apporte ici une couverture de 100 %, qui révèle des tendances qu’un échantillonnage de 3 % ne pourrait jamais montrer : pas une meilleure note, mais la possibilité même de poser la question.

Que changer en premier ?

Procédez dans cet ordre. Chaque étape est peu coûteuse et chacune écarte une explication possible, ce qui vous évite de repondérer une grille pour corriger un artefact d’échantillonnage.

1. Mesurez le recouvrement. Comptez les conversations qui ont à la fois une note client et une évaluation. Si le nombre est minuscule, corrigez cela d’abord en évaluant délibérément des conversations ayant reçu une enquête, et suspendez l’analyse tant que ce n’est pas fait.
2. Vérifiez l’accord entre évaluateurs. Si deux évaluateurs ne sont pas d’accord entre eux, la note qualité n’est pas assez stable pour être comparée à quoi que ce soit. La variance entre évaluateurs se fait passer pour un écart entre CSAT et contrôle qualité bien plus souvent qu’elle n’est diagnostiquée pour ce qu’elle est.
3. Séparez les plaintes sur le traitement des plaintes sur la réponse. Deux mois de classement vous disent quelle part de l’écart relève vraiment du support.
4. Testez chaque critère face au recontact. Les critères qui échouent sans faire bouger aucun résultat en aval portent un poids qu’ils n’ont pas mérité.
5. Ensuite seulement, repondérez. Et quand vous le faites, versionnez la grille (en anglais) pour que les notes historiques restent lisibles au regard de la grille qui les a produites.

Ce qu’il ne faut pas faire, c’est fixer un objectif qui force les deux chiffres à concorder. Une note qualité pilotée vers le CSAT cesse d’être une mesure indépendante et devient une seconde manière, plus coûteuse, de rapporter la même chose. On suit les deux parce qu’ils voient des défaillances différentes, et ce que le CSAT peut et ne peut pas mesurer (en anglais) développe cet argument plus largement. Les garder indépendants, c’est tout l’intérêt, et un désaccord occasionnel est la preuve que vous y parvenez.

Questions fréquentes

Pourquoi nos notes qualité sont-elles élevées et notre CSAT bas ?

Le plus souvent parce que la grille récompense le respect des procédures plutôt que la résolution, si bien qu’une conversation peut être très bien notée tout en laissant le problème du client non résolu. La seconde cause fréquente est que le client est mécontent de la réponse plutôt que du traitement : c’est un constat sur la règle, qui ne doit pas faire l’objet d’un coaching. Avant l’une ou l’autre, vérifiez que les conversations ayant reçu une enquête et celles qui ont été évaluées forment bien le même ensemble, car en général ce n’est pas le cas.

Qu’est-ce qui est le plus fiable, le CSAT ou une note qualité interne ?

Ni l’un ni l’autre, car ils mesurent des objets différents. Une note qualité mesure le processus que vous maîtrisez et se compare d’un conseiller à l’autre. Le CSAT mesure le résultat, plus la règle, l’attente, le produit et l’humeur du client, dont très peu dépend du conseiller. Prenez plutôt le comportement pour départager : le recontact, les escalades et les remboursements sont des actes, pas des opinions.

Les notes qualité et le CSAT doivent-ils concorder ?

Non, et une paire toujours d’accord est un signal d’alerte. Cela signifie soit que la grille a été construite pour prédire la satisfaction plutôt que pour décrire le traitement, soit que les évaluateurs notent en gardant un œil sur l’évaluation du client. On suit les deux indicateurs parce qu’ils détectent des défaillances différentes, et un désaccord occasionnel prouve qu’ils fonctionnent de manière indépendante. La question de savoir si le contrôle qualité fait progresser le CSAT est traitée dans le contrôle qualité améliore-t-il le CSAT ? (en anglais).

Que signifie un conseiller avec des notes qualité basses et des clients satisfaits ?

En général, qu’il s’est écarté d’une procédure pour aider le client, ou que la grille pénalise des éléments que les clients ne remarquent pas, comme le ton, la mise en forme ou l’usage des macros. Regardez ce qui lui a coûté des points avant de coacher qui que ce soit. Si le critère ne prédit aucun résultat en aval comme le recontact, c’est un constat sur la grille, pas sur la performance.

Un taux de réponse de 20 % est-il un échantillon de 20 % ?

Non. C’est un échantillon complet des clients qui avaient un avis assez marqué pour répondre, un groupe systématiquement différent de ceux qui n’ont pas répondu. Le biais de non-réponse est un problème méthodologique bien documenté, pas une question d’arrondi, et il signifie que le CSAT décrit une population auto-sélectionnée. C’est la principale raison pour laquelle il a besoin d’une mesure interne à ses côtés plutôt qu’à sa place.

Pour aller plus loin

• Au-delà du CSAT : ce que la note peut et ne peut pas mesurer (en anglais)
• À quoi sert une note qualité interne
• CSAT vs DSAT (en anglais)
• Pondérer les critères d’une grille d’évaluation
• Mener une session de calibrage qualité (en anglais)
• Mesurer la qualité des conversations (en anglais)

Vérifiez si vos deux chiffres décrivent les mêmes conversations

Apportez un mois de conversations ayant reçu une enquête et votre grille actuelle. Nous les évaluerons avec votre propre grille pour que vous voyiez où l’évaluation du client et celle de vos évaluateurs divergent vraiment, et où elles ne se sont jamais croisées.

Réserver une démo Découvrir Insights et analytique