Quand des conseillers et des agents IA se partagent la file du support, appliquez-leur une seule norme de qualité, puis corrigez-les différemment. Les conseillers progressent par le coaching, la pratique et le feedback. Les agents IA progressent par des corrections de contenu, des modifications des règles et des instructions, des autorisations d’outils plus strictes, et un test de non-régression qui prouve la correction. Une même grille, deux voies de correction, une boucle hebdomadaire.
En bref
- Évaluez les conseillers et les agents IA sur les mêmes critères essentiels (résultat, exactitude, règles, ton, transfert), pour que leurs résultats soient comparables et que le client bénéficie d’une seule norme.
- Ajoutez un petit bloc de vérifications propres à chacun : l’ancrage dans vos contenus et le périmètre pour l’agent IA, les notes de dossier et le suivi pour les conseillers.
- Une erreur humaine concerne en général une personne un jour donné ; une erreur d’agent IA se répète dans chaque conversation qui rencontre la même configuration, si bien que la correction porte sur la configuration, pas sur une conversation.
- Ne comparez les deux qu’intention par intention et sur la même répartition des intentions, sinon l’agent IA paraît meilleur simplement parce qu’il reçoit le travail facile.
- Chaque correction a un responsable nommé et une vérification : les prochaines conversations évaluées de la personne, ou le jeu de tests de non-régression de l’agent IA et ses notes en production la semaine suivante.
La construction de la grille commune est traitée dans notre article sur une grille d’évaluation commune aux conseillers et aux agents IA, et la conduite d’une séance de coaching dans notre article sur le coaching des conseillers. Ce guide traite de ce qui se passe une fois qu’une erreur apparaît.
Pourquoi les conseillers et les agents IA doivent-ils partager une même norme de qualité ?
Les conseillers et les agents IA doivent partager une même norme de qualité parce que le client vit un seul service : un mauvais montant de remboursement fait le même tort, qu’il vienne d’une personne ou d’un bot. Une norme commune vous permet aussi de décider, sur preuves et non sur des taux de contention, quelles intentions l’agent IA conserve.
Sans elle, l’agent IA passe un test plus indulgent (la contention compte une victoire quand le client n’a pas atteint une personne, pas quand la réponse était juste), les conseillers sont blâmés pour des transferts tardifs et sans contexte, et personne ne peut décider si le bot doit garder les demandes de garantie.
Les outils de helpdesk proposent désormais cette approche comme une fonctionnalité. Kustomer décrit une grille pondérée unique où « cette même grille évalue chaque conversation, agent IA comme conseiller » (Kustomer, en anglais, notre traduction). La grille est la partie facile ; la partie difficile, c’est ce que vous faites d’un critère échoué.
Quels critères de la grille s’appliquent aux deux, et lesquels à un seul ?
Le résultat, l’exactitude, les règles, la vérification d’identité, le ton et le transfert s’appliquent aux deux, avec la même formulation et la même pondération. L’ancrage dans vos contenus, le respect du périmètre et l’aveu d’incertitude relèvent d’un bloc propre à l’agent IA. Les notes de dossier et les promesses tenues relèvent d’un bloc propre aux conseillers. Évaluez le socle commun pour comparer, et présentez les blocs à côté.
| Critère | Conseillers | Agent IA | Pourquoi |
|---|---|---|---|
| Demande résolue ou prochaine étape claire | Oui | Oui | Le résultat pour le client est le même travail |
| Tous les faits sont exacts | Oui | Oui | Un fait erroné coûte la même chose dans les deux cas |
| Règles respectées (remboursements, avoirs, exceptions) | Oui | Oui | Les règles ne changent pas selon qui traite le dossier |
| Identité vérifiée avant les données du compte | Oui | Oui | Même risque, même règle |
| Ton adapté au client et à la marque | Oui | Oui | Même voix de marque |
| Le transfert transmet le contexte | Oui | Oui | Les deux transfèrent, les deux reçoivent |
| Réponse ancrée dans vos contenus publiés | Non | Oui | Les conseillers exercent leur jugement ; un modèle peut inventer |
| Reste dans les intentions et actions autorisées | Non | Oui | Le périmètre est un réglage pour le bot |
| Dit « je ne sais pas » au lieu de deviner | Rarement | Oui | Deviner est la défaillance typique de l’agent IA |
| Les notes de dossier permettent à la personne suivante de continuer | Oui | Non | Les informations transmises lors du transfert par l’agent IA couvrent ce point |
| Le suivi promis a eu lieu | Oui | Non | En général, seuls les conseillers promettent de rappeler |
Certains critères humains n’ont aucun sens pour un bot (respect du planning, travail après contact) ; notre grille d’évaluation pour agent IA indique ce qu’il faut retirer et ajouter. La règle qui compte : un critère commun a une seule définition. Si « règles respectées » signifie quelque chose de plus souple pour l’agent IA, la comparaison disparaît.
Pourquoi la même erreur exige-t-elle deux corrections différentes ?
Parce que la cause ne se trouve pas au même endroit. Un conseiller qui applique mal une règle de remboursement a une lacune de connaissance, de compétence ou d’habitude, et le coaching la comble. Un agent IA qui se trompe fait tourner une configuration qui produit l’erreur (contenu, instructions, outils ou routage), et seule la modification de cette configuration la corrige.
| Conseiller | Agent IA | |
|---|---|---|
| Comment une erreur se propage | Une personne, une partie du temps | Chaque conversation qui rencontre la même configuration |
| Où se trouve la cause | Connaissances, compétences, jugement, charge de travail | Source de contenu, instructions, règles, autorisations des outils, routage |
| Comment il progresse | Feedback, pratique, un exemple à suivre, du temps | Une modification de la configuration, testée avant mise en production |
| Comment une correction peut se retourner contre vous | Rarement ; une compétence acquise reste | Souvent ; une nouvelle instruction peut casser trois intentions qui fonctionnaient |
La dernière ligne explique pourquoi les corrections d’un agent IA exigent un test de non-régression : une instruction ou un article modifié peut corriger un cas et en casser d’autres qui fonctionnaient. Les recommandations d’Anthropic sur l’évaluation des agents indiquent que les évaluations de non-régression « doivent avoir un taux de réussite proche de 100 % », et que pour démarrer un jeu d’évaluation, « 20 à 50 tâches simples tirées d’échecs réels sont un excellent début » (Anthropic, en anglais, notre traduction). Pour une équipe support, ces tâches viennent de vos propres conversations évaluées.
Les conseillers, eux, apprennent de ce qui marche chez les autres. Une étude portant sur 5 179 conseillers de service client a montré qu’un assistant IA augmentait le nombre de demandes résolues par heure de 14 % en moyenne et de 34 % pour les conseillers débutants et les moins qualifiés, avec des indices suggérant qu’il diffusait les pratiques des meilleurs (Brynjolfsson, Li et Raymond, NBER, en anglais). Coacher à partir de la meilleure conversation d’un collègue repose sur le même mécanisme.
Une cause commune passe facilement inaperçue : conseillers et agents IA lisent souvent les mêmes pages du centre d’aide et des règles. Quand les deux échouent sur la même intention, la correction tient en général dans un article ou une règle. Notre guide sur les raisons pour lesquelles les conversations IA échouent remonte à ces causes racines.
La même erreur, deux corrections (tableau à copier)
Ce tableau associe un critère échoué à la correction pour une personne, à la correction pour un agent IA, et à la façon de prouver que chacune a fonctionné. Utilisez-le comme fiche de tri dans votre revue hebdomadaire ; la colonne de vérification transforme une correction en point clos plutôt qu’en espoir.
| Erreur relevée sur la grille | Correction côté conseiller | Correction côté agent IA | Comment vérifier |
|---|---|---|---|
| Fait erroné (délai de retour annoncé à 60 jours, la règle dit 30) | Montrer la règle et la conversation ; deux cas pratiques sur la même intention ; corriger la macro si elle est fausse | Corriger ou retirer l’article périmé lu par l’agent ; supprimer les versions contradictoires | Conseiller : exactitude sur les 20 prochaines conversations évaluées de cette intention. IA : la conversation échouée devient un cas de test, le jeu complet réussit, exactitude en production sur l’intention la semaine suivante |
| Infraction à une règle (geste commercial au-dessus de la limite validée) | Coaching sur la limite et le circuit de validation ; une étape de validation par un manager pour les exceptions | Plafonner le montant dans l’outil de remboursement lui-même, pas seulement dans les instructions ; reformuler la règle | Conseiller : aucune infraction en 4 semaines. IA : un cas de test qui pousse pour un avoir plus élevé échoue sans risque ; les journaux de l’outil ne montrent rien au-dessus du plafond |
| Escalade manquée ou tardive (une menace juridique gardée par le bot) | Jeu de rôle sur les déclencheurs d’escalade ; les ajouter à la checklist | Ajouter le déclencheur aux règles d’escalade ; orienter l’intention vers les conseillers si le déclencheur se produit | Conseiller : le critère d’escalade est conforme sur les cas signalés. IA : les cas de test avec chaque formule déclencheuse transfèrent dès la première mention |
| Transfert sans contexte (le client répète son histoire) | Modèle de note de dossier ; relire un transfert ensemble | Ajouter le numéro de commande, l’intention et les étapes tentées au résumé de transfert | Le conseiller qui reçoit ne redemande rien, évalué sur les 20 prochains transferts |
| Ton froid avec un client mécontent | Écouter le bon exemple d’un collègue ; s’entraîner à reconnaître d’abord le problème | Ajouter des instructions de ton et deux exemples de réponses pour les échanges à sentiment négatif | Taux de conformité du ton sur les conversations à sentiment négatif, avant et après |
| Clôturé mais non résolu | Habitude de confirmer avant de clôturer ; relire les dossiers rouverts | Définir ce que « résolu » signifie par intention dans les instructions ; ne plus terminer par une formule générique | Taux de réouverture sous 7 jours sur cette intention, plus le critère de résolution |
| Données du compte communiquées avant la vérification d’identité (critère éliminatoire) | Entretien individuel le jour même ; rappel sur la conformité | Faire exiger un indicateur de vérification par l’outil de consultation du compte, appliqué dans l’intégration, pas dans le prompt | Conseiller : aucune récidive. IA : les cas de test adverses ne peuvent pas atteindre les données du compte ; aucune occurrence en production |
| A deviné une réponse qu’il ne connaissait pas | Rendre acceptable « je vérifie et je reviens vers vous » ; montrer où chercher | Prévoir et tester la réponse de repli ; consigner la question comme lacune de contenu | Les questions de test sans réponse dans la base de connaissances reçoivent la réponse de repli ; la lacune est comblée |
Deux constantes ressortent. Les corrections côté agent IA s’appuient sur des limites strictes (un plafond dans l’outil, un indicateur obligatoire) partout où une erreur coûte cher, comme le recommande l’OWASP au sujet de l’autonomie excessive : des fonctions et des autorisations minimales, et « exiger qu’un humain valide les actions à fort impact avant qu’elles ne soient effectuées » (OWASP, en anglais, notre traduction) ; notre guide sur les garde-fous des agents IA indique quelles limites ont leur place dans le code. Et les corrections côté conseiller sont petites : une intention, un exemple, un cas pratique. Une séance qui couvre dix critères à la fois n’en change aucun.
Voyez les deux sur une même grille. Kaizo évalue les conversations des agents IA avec la même grille que votre équipe et relie chaque note aux lignes qui la justifient, si bien que chaque erreur devient un exemple que quelqu’un peut corriger. Réservez une démo.
Comment comparer équitablement les résultats des conseillers et des agents IA ?
Comparez les résultats des conseillers et des agents IA intention par intention sur le socle commun, puis pondérez les deux par la même répartition des intentions. Une moyenne brute montre surtout qui a reçu le travail facile. Ne comparez que les intentions où les deux ont traité assez de conversations, et attribuez un transfert raté au côté où l’erreur a commencé.
Voici une illustration, avec des chiffres que nous avons inventés pour montrer le calcul, pas des données clients. Le critère est « règles respectées », exprimé en taux de conformité :
| Intention | Conversations agent IA | Taux de conformité agent IA | Conversations conseillers | Taux de conformité conseillers |
|---|---|---|---|---|
| Retours | 4 000 | 97 % | 500 | 95 % |
| Demandes de garantie | 500 | 80 % | 2 000 | 92 % |
| Total brut | 4 500 | 95,1 % | 2 500 | 92,6 % |
Les totaux bruts disent que l’agent IA est meilleur de 2,5 points. Pondérez maintenant les deux par la répartition combinée, 4 500 retours et 2 500 demandes de garantie sur 7 000 :
| Taux de conformité ajusté à la répartition | Calcul | Résultat |
|---|---|---|
| Agent IA | (4 500 x 97 + 2 500 x 80) / 7 000 | 90,9 % |
| Équipe de conseillers | (4 500 x 95 + 2 500 x 92) / 7 000 | 93,9 % |
À répartition égale, l’équipe de conseillers est meilleure de 3,0 points. La lecture utile se fait par intention, et elle oriente vers une correction, pas vers un verdict : l’agent IA s’en sort bien sur les retours mais échoue sur une demande de garantie sur cinq, si bien que la garantie entre dans la boucle hebdomadaire. L’article est-il clair, l’agent dispose-t-il de la date d’achat, l’intention doit-elle aller aux conseillers jusqu’à ce qu’elle soit conforme ?
Trois règles de plus gardent la comparaison honnête :
- Volume minimum. En dessous d’environ 50 conversations évaluées d’un côté sur la période, indiquez « données insuffisantes » (c’est notre point de départ suggéré, pas une loi statistique).
- Attribution des transferts. Quand une conversation passe de l’agent IA à une personne, étiquetez le côté où le premier critère a échoué, sinon les conseillers absorbent les erreurs du bot. Le contrôle qualité des parcours clients explique comment évaluer un dossier traité par plusieurs intervenants.
- Même évaluateur. Évaluez les deux côtés de la même façon. Une équipe relue par des personnes face à un bot évalué automatiquement, c’est de nouveau deux normes.
Qui est responsable de chaque correction ?
Chaque correction a besoin d’un responsable nommé : les chefs d’équipe pour les lacunes de compétences des conseillers, le responsable de l’agent IA (souvent un concepteur conversationnel ou un responsable des opérations CX) pour les instructions et les réglages des outils, le responsable de la base de connaissances pour les articles que lisent les deux côtés, le responsable de la règle pour la règle elle-même, et le responsable qualité pour la grille.
| Cause identifiée | Responsable | Validation nécessaire de | S’applique à |
|---|---|---|---|
| Compétence ou habitude d’une personne | Chef d’équipe | Personne | Conseillers |
| La même erreur chez plusieurs personnes | Chef d’équipe et responsable du processus ou des contenus | Responsable du support | Conseillers (et souvent l’IA) |
| Article erroné, manquant ou contradictoire | Responsable de la base de connaissances | Responsable de la règle si la règle change | Les deux |
| Règle floue ou contradictoire | Responsable de la règle (finance, juridique, CX) | Directeur ou directrice CX | Les deux |
| Instructions ou prompt de l’agent IA | Responsable de l’agent IA | Le responsable qualité valide le passage des tests de non-régression | Agent IA |
| Autorisations et limites des outils | Responsable de l’agent IA | IT ou sécurité | Agent IA |
| Règles d’escalade et de routage | Opérations CX | Directeur ou directrice CX | Les deux |
| Un critère qui évalue la mauvaise chose | Responsable qualité | Groupe de calibrage | Les deux |
La colonne des validations compte surtout pour les modifications de l’agent IA : une modification du prompt atteint chaque conversation dès la minute suivante, elle suit donc la même discipline de mise en production qu’un changement de règle (la gestion des politiques des agents IA précise qui valide quelle règle). L’AI Risk Management Framework du NIST repose sur quatre fonctions, govern, map, measure et manage (NIST, en anglais) ; ce tableau est la version de « govern » pour une équipe support.
À quoi ressemble la boucle d’amélioration hebdomadaire ?
Un seul rythme pour les deux côtés : récupérer les erreurs de la semaine par critère et par intention, décider si chacune relève d’une personne, d’un processus ou de la configuration de l’agent IA, désigner le responsable, corriger, et vérifier les corrections de la semaine précédente. Les conseillers reçoivent leur coaching sous quelques jours ; les modifications de l’agent IA ne sont mises en production qu’une fois leurs tests de non-régression réussis.
| Jour | Étape | Côté conseillers | Côté agent IA |
|---|---|---|---|
| Lundi | Récupérer les erreurs | Critères échoués par personne et par intention | Critères échoués par intention, avec les conversations |
| Lundi | Trier | Une personne ou plusieurs ? | Configuration, contenu ou règle ? |
| Mardi | Attribuer | Une fiche de coaching par personne, un ou deux critères chacune | Un ticket par schéma d’erreur, avec les conversations échouées jointes |
| Mardi à mercredi | Corriger | Entretiens individuels de 15 minutes, cas pratiques, exemples de collègues | Modification effectuée ; conversations échouées ajoutées comme cas de test ; jeu complet de tests de non-régression lancé |
| Jeudi | Mettre en production | Sans objet | Mise en production seulement si le seuil est atteint ; consigner la modification et la date |
| Lundi suivant | Vérifier | Même critère, même personne, 7 derniers jours | Même critère, même intention, 7 derniers jours |
L’étape de tri a besoin d’une règle de décision. La nôtre :
- Une personne commet l’erreur, les autres sont conformes sur la même intention : coachez la personne.
- Trois personnes ou plus échouent sur le même critère et la même intention : arrêtez le coaching et regardez l’article, la macro ou le processus. Coacher dix personnes pour contourner un article défaillant est la correction la plus coûteuse qui soit.
- L’agent IA échoue et les conseillers sont conformes : corrigez la configuration de l’agent IA.
- Les deux échouent sur la même intention : corrigez une fois la source commune (l’article ou la règle), et vérifiez les deux côtés la semaine suivante.
Un coaching rédigé par l’IA évite de chercher les exemples, à condition qu’un manager relise chaque fiche (notre article sur le coaching des conseillers assisté par l’IA donne la checklist) ; la discipline de test côté IA est décrite dans notre guide sur les tests d’agents IA.
Comment prouver qu’une correction a fonctionné, pour un conseiller et pour un agent IA ?
Prouvez une correction côté conseiller en évaluant le même critère sur les conversations suivantes de cette personne pour la même intention, sur 2 à 4 semaines. Prouvez une correction côté agent IA deux fois : avant la mise en production, les conversations échouées et le jeu complet de tests de non-régression réussissent ; après la mise en production, le même critère sur la même intention est conforme dans l’évaluation en production la semaine suivante.
| Correction côté conseiller | Correction côté agent IA | |
|---|---|---|
| Avant que la correction compte | Rien ; le coaching ne peut pas être testé à l’avance | Le jeu de tests de non-régression réussit, avec les cas critiques lancés 3 fois et réussis à chaque fois |
| Après | Même critère, même intention, 20 prochaines conversations évaluées ou plus | Même critère, même intention, semaine suivante de conversations en production |
| À attendre | Un changement progressif sur 2 à 4 semaines | Un changement net, ou rien |
| Si cela n’a pas fonctionné | Une deuxième séance avec un autre exemple, puis examiner la charge de travail ou le processus | Rouvrir le ticket ; la cause se trouvait probablement ailleurs dans la configuration |
Les cas critiques sont lancés plusieurs fois parce qu’un modèle peut réussir un cas une fois et l’échouer à l’essai suivant. Anthropic appelle la mesure « tous les essais réussissent » pass^k et note qu’elle baisse à mesure que le nombre d’essais augmente (Anthropic, en anglais) ; pour une vérification d’identité, « réussit à chaque fois » est le seul niveau acceptable. Ces seuils sont des points de départ suggérés ; fixez les vôtres avant la première revue. L’évaluation en production de chaque conversation ferme la boucle, car un échantillon de 2 % peut ne vous donner que trois points de données par intention et par semaine. L’évaluation des agents IA explique comment s’articulent les évaluations avant mise en production et l’évaluation en production.
Les agents IA vont-ils remplacer les conseillers du support ?
Les agents IA prennent en charge les intentions à fort volume et bien documentées, et le travail des conseillers se déplace vers les exceptions, les décisions qui demandent du jugement, les clients mécontents et les transferts. De nouveaux rôles se développent autour de l’agent IA (un responsable de sa configuration, un responsable de la base de connaissances, le contrôle qualité des deux côtés), et la norme de qualité reste la même.
Ce déplacement change le coaching. Quand les retours courants vont à l’agent IA, les conseillers traitent en moyenne des conversations plus difficiles, et leurs notes peuvent baisser sans aucun changement de compétence. Présentez les notes des conseillers par intention, sinon vous coacherez des personnes pour un changement de répartition.
Quand cette approche n’est pas pour vous
Cette boucle suppose un volume hebdomadaire, une grille en laquelle vous avez confiance, et un agent IA dont vous pouvez modifier les contenus, les instructions et les outils. C’est plus que nécessaire si votre agent IA traite quelques dizaines de conversations par semaine (lisez-les toutes et corrigez ce que vous voyez), si vous n’avez pas encore de grille (construisez d’abord le socle commun), ou si votre équipe compte moins de cinq personnes.
Si l’agent IA est une boîte noire, son côté de la boucle devient un ticket adressé à votre fournisseur : gardez l’évaluation et mettez les preuves dans ce ticket.
Par où commencer cette semaine
Commencez petit : deux intentions, un socle commun, les conversations du mois dernier et un créneau de revue lundi prochain. Cela suffit pour appliquer la règle de tri à de vraies erreurs et clore vos premières corrections des deux côtés en une semaine.
- Choisissez deux intentions que traitent à la fois les conseillers et l’agent IA, une facile et une difficile.
- Mettez-vous d’accord sur le socle commun pour ces intentions : résultat, exactitude, règles, identité, ton, transfert. Une définition pour chacun.
- Évaluez les conversations du mois dernier des deux côtés et remplissez le tableau ajusté à la répartition ci-dessus.
- Appliquez la règle de tri aux trois plus grosses erreurs. Inscrivez le responsable à côté de chacune.
- Utilisez le tableau « la même erreur, deux corrections » pour chaque erreur, colonne de vérification comprise.
- Réservez une revue de 30 minutes lundi prochain pour vérifier les corrections de cette semaine sur le même critère.
Kaizo est l’une des façons de mener le volet évaluation de cette boucle. AutoPilot évalue chaque conversation selon votre propre grille au moment où elle est résolue, avec un commentaire qui explique la note ; dans Zendesk, cela inclut les conversations traitées par les agents IA de Zendesk, avec la même grille que votre équipe. Pour les conseillers, le coaching de Kaizo rédige la fiche de coaching de chaque conseiller à partir de ses évaluations, reliée aux conversations qui les justifient, et un manager la valide avant que le conseiller ne la voie. Pour voir cela sur vos propres conversations, notre page sur le contrôle qualité des agents IA montre comment fonctionne le côté agent IA.
Questions fréquentes
Qu’est-ce que la collaboration entre humains et IA au service client ?
C’est une organisation où les agents IA et les conseillers se partagent le travail : les agents IA prennent en général les intentions à fort volume et bien documentées, et les conseillers les exceptions, les situations émotionnelles et les transferts. Elle fonctionne quand les deux sont soumis à une même norme de qualité et que le transfert transmet le contexte.
Peut-on coacher un agent IA ?
Pas au sens humain : un agent IA n’apprend pas d’un entretien de feedback. Il progresse quand quelqu’un modifie sa source de contenu, ses instructions, ses règles, les autorisations de ses outils ou son routage, et vérifie par des tests que la modification a corrigé le cas sans en casser d’autres.
Les agents IA apprennent-ils de leurs propres erreurs en production ?
La plupart des agents IA de support ne modifient pas d’eux-mêmes leur comportement d’une conversation à l’autre : une erreur se répète donc jusqu’à ce que quelqu’un modifie la configuration. Transformez la conversation échouée en cas de test, pour que la correction puisse être prouvée et que l’erreur ne revienne pas discrètement.
Faut-il évaluer les agents IA et les conseillers avec la même grille ?
Oui, sur un socle commun avec la même formulation et la même pondération, plus un petit bloc de vérifications propres à chacun pour les défaillances qu’un seul côté connaît, comme les réponses inventées pour l’agent IA.
Combien de conversations d’agent IA une personne doit-elle relire ?
Si un évaluateur automatique couvre chaque conversation, les personnes relisent les échecs, chaque critère éliminatoire et un échantillon de réussites pour vérifier l’évaluateur. Sans évaluateur automatique, relisez assez de conversations par intention pour voir les tendances hebdomadaires ; quelques pour cent sur l’ensemble des intentions passent en général à côté des erreurs répétées sur les plus petites.
