Une grille d’évaluation commune aux conseillers et aux agents IA est un standard qualité unique à deux niveaux : un socle partagé de critères sur lesquels les deux sont évalués, avec les mêmes définitions et les mêmes poids, et un court bloc par intervenant pour les défaillances que seul l’un des deux produit. Vous comparez humains et bots sur le socle partagé uniquement, sujet par sujet, et présentez les deux sur une seule page.
En bref
- Une grille commune pour conseillers et agents IA, c’est un socle partagé plus un petit bloc par intervenant, pas une liste identique pour les deux.
- Le socle partagé ne fonctionne que si chaque critère a une seule définition, une seule échelle et un seul poids pour les deux.
- Sept règles la gardent équitable, de la rédaction des critères pour la transcription jusqu’à l’attribution de chaque ligne non conforme.
- Comparez sur le socle partagé, par sujet : dans un exemple chiffré, la moyenne brute donne 7,9 points d’avance au bot alors que les humains ont 3,8 points d’avance sur une base équitable.
- Construisez-la en six étapes, à partir de la grille que votre équipe utilise déjà.
Cette page porte sur le standard partagé. Si vous cherchez la liste des critères dont un bot a besoin et pas une personne, lisez d’abord notre guide sur la grille d’évaluation d’un agent IA. Pour voir comment Kaizo applique une seule grille à votre équipe et à vos agents IA, consultez notre page sur le contrôle qualité des agents IA.
Pourquoi une seule grille pour les conseillers et les agents IA ?
Utilisez une seule grille pour les conseillers et les agents IA parce que vos clients reçoivent un seul niveau de service, quel que soit celui qui répond. Deux grilles distinctes produisent deux chiffres que personne ne peut comparer, et deux débats sur celui qui compte.
Trois raisons pratiques reviennent dans chaque équipe qui fait travailler les deux :
- La direction pose une seule question. “Le bot est-il aussi bon que nos équipes ?” ne trouve de réponse que sur une mesure partagée. Avec deux grilles, la réponse dépend des définitions retenues.
- Les décisions de routage exigent une comparaison. Décider quels sujets confier à l’agent IA, et lesquels laisser aux personnes, suppose d’évaluer les deux de la même façon sur le même sujet.
- Un seul standard s’entretient plus facilement. Quand une politique change, vous mettez à jour un critère, pas deux grilles tenues par deux équipes qui finissent par diverger.
Le piège est l’erreur inverse : appliquer telle quelle la grille de vos conseillers au bot. La formule d’accueil et l’orthographe posent rarement problème à un bot, tandis qu’une politique inventée pose rarement problème à une personne. Un seul standard signifie un seul socle, pas une liste identique.
Que mettre dans le socle partagé, et que laisser de côté ?
Le socle partagé contient les critères qui décrivent un bon résultat pour le client, quel que soit celui qui a répondu. Les critères qui décrivent la façon dont un type d’intervenant échoue vont dans le bloc de cet intervenant.
Voici un modèle à copier. Les poids sont un exemple ; l’essentiel est que le socle partagé ait le même poids pour les deux intervenants :
| Bloc | Critère | Conforme quand | Poids |
|---|---|---|---|
| Socle partagé | Réponse juste | Chaque fait de la réponse est vrai pour le cas de ce client | 25 |
| Socle partagé | Réponse complète | Toutes les parties de la question ont une réponse, conditions comprises | 15 |
| Socle partagé | Politique respectée | Rien n’est proposé, promis ou refusé hors de la politique écrite | 20 |
| Socle partagé | Prochaine étape claire | Le client sait ce qui va se passer, ou la demande est résolue | 15 |
| Socle partagé | Identité et données | L’identité est vérifiée avant de communiquer des informations du compte | 10 |
| Socle partagé | Ton conforme à la marque | La réponse ressemble à votre marque et convient à la situation du client | 5 |
| Socle partagé | Transfert | Le contexte est transmis lors d’un transfert, et celui qui le reçoit l’utilise | 10 |
| Bloc agent IA | Ancré dans nos contenus | Chaque fait provient d’un article d’aide ou d’une politique que vous publiez | Conforme ou non conforme |
| Bloc agent IA | Périmètre | Il reste dans les sujets et les actions qu’il est autorisé à traiter | Conforme ou non conforme |
| Bloc agent IA | Déclencheur d’escalade | Il transfère sur les déclencheurs définis, et pas trop tard | Conforme ou non conforme |
| Bloc agent IA | Incertitude | Il dit qu’il ne sait pas, au lieu de deviner | Conforme ou non conforme |
| Bloc conseiller | Notes de dossier | Les notes et les tags permettent à la personne suivante de reprendre sans redemander | Conforme ou non conforme |
| Bloc conseiller | Suivi tenu | Le rappel ou la mise à jour promis a eu lieu à temps | Conforme ou non conforme |
Le socle partagé totalise 100, ce qui donne une note comparable par conversation. Les blocs par intervenant sont en conforme ou non conforme, présentés à côté de la note comme des taux de conformité à part. Un critère d’intervenant non respecté peut tout de même déclencher une action, comme un échec automatique pour le bot sur un remboursement inventé, sans fausser la comparaison.
Les grilles Kaizo reprennent vos propres critères, rédigés avec vos mots, et peuvent être appliquées par équipe, par file ou par client. C’est ainsi qu’un socle partagé et deux blocs par intervenant tiennent dans un seul standard plutôt que dans deux documents.
Sept règles pour garder une grille commune équitable
Une grille partagée reste équitable quand les deux intervenants sont évalués avec les mêmes mots, la même échelle et les mêmes poids, comparés à situation égale, et tenus responsables de leurs seules lignes.
Règle 1 : une seule définition par critère partagé
Rédigez chaque critère partagé une seule fois, avec des mots qui ne supposent ni une personne ni un bot.
“Le conseiller a montré sa connaissance du produit” suppose une personne. “Chaque fait de la réponse est vrai pour le cas de ce client” fonctionne pour les deux. Notre guide pour rédiger une grille QA qu’une IA peut évaluer (en anglais) montre comment formuler les critères pour qu’ils puissent être vérifiés dans la transcription.
Règle 2 : une seule échelle
Évaluez le socle partagé sur la même échelle pour les deux, qu’il s’agisse de conforme ou non conforme par critère ou de points par critère. Mélanger une échelle de 1 à 5 pour les personnes et du conforme ou non conforme pour le bot donne des totaux qui paraissent comparables alors qu’ils ne le sont pas.
Règle 3 : un seul jeu de poids sur le socle
Donnez à chaque critère partagé le même poids pour les deux intervenants. Si vous pondérez davantage le ton pour les personnes, le total humain monte pour des raisons qui n’ont rien à voir avec le client. Notre article sur la pondération des critères d’une grille d’évaluation explique comment fixer les poids à partir des résultats, pas de l’habitude.
Règle 4 : comparer sur le socle, par sujet
Comparez humains et bot sur le socle partagé uniquement, sujet par sujet. L’exemple chiffré ci-dessous montre pourquoi une moyenne globale induit en erreur.
Règle 5 : chaque ligne non conforme revient à celui qui l’a écrite
Une erreur du bot ne retombe jamais sur la note d’un conseiller. Si l’agent IA a promis un remboursement et que le conseiller a dû revenir dessus, le critère “politique respectée” non conforme revient à la conversation du bot, et le conseiller est évalué sur la façon dont il a géré ce retour en arrière.
Règle 6 : évaluer le transfert comme un passage de relais
Le critère de transfert figure dans le socle partagé parce que les deux côtés peuvent y échouer : le bot en ne transmettant aucun contexte, la personne en ne le lisant pas. Évaluez chaque côté sur sa propre part. Notre guide sur l’évaluation du transfert entre agent IA et conseiller couvre les deux sens.
Règle 7 : un seul calibrage, un seul processus de changement
Calibrez vos évaluateurs et votre évaluateur automatisé sur un ensemble mêlant conversations humaines et conversations d’IA, pour que “réponse juste” signifie la même chose des deux côtés. Quand un critère partagé change, il change pour les deux le même jour. Dans Kaizo, modifier la description d’un critère s’applique à toutes les évaluations futures, et les séances de calibrage gardent les évaluateurs alignés sur les cas limites.
Comment comparer équitablement conseillers et agents IA ?
Comparez conseillers et agents IA sur le socle partagé, sujet par sujet, puis pondérez les deux selon la même répartition des sujets. Une moyenne globale brute mesure surtout quels sujets reçoit chaque intervenant.
La raison est simple : le bot traite en général les sujets faciles, et les personnes les sujets difficiles. Voici un exemple chiffré, avec des chiffres choisis pour montrer le calcul, pas les données d’un client. Les notes sont celles du socle partagé, sur 100 :
| Sujet | Conversations de l’agent IA | Note de l’agent IA | Conversations des conseillers | Note des conseillers |
|---|---|---|---|---|
| Suivi de commande | 6 000 | 96 | 1 000 | 94 |
| Litiges de facturation | 1 000 | 70 | 4 000 | 82 |
| Moyenne brute | 7 000 | 92,3 | 5 000 | 84,4 |
Sur les moyennes brutes, le bot paraît meilleur de 7,9 points. Sujet par sujet, le bot est meilleur de 2 points sur le suivi de commande et moins bon de 12 points sur les litiges de facturation.
Pour comparer équitablement, pondérez les deux selon la même répartition. Ici, nous utilisons la répartition combinée : 7 000 conversations de suivi de commande et 5 000 de facturation sur 12 000.
| Note ajustée à la répartition | Calcul | Résultat |
|---|---|---|
| Agent IA | (7 000 x 96 + 5 000 x 70) / 12 000 | 85,2 |
| Équipe de conseillers | (7 000 x 94 + 5 000 x 82) / 12 000 | 89,0 |
À répartition égale, l’équipe de conseillers est meilleure de 3,8 points. La décision qui en découle n’est ni “le bot est meilleur” ni “le bot est moins bon”. C’est “garder le bot sur le suivi de commande, et laisser les litiges de facturation aux personnes jusqu’à ce que la note du bot sur la facturation s’améliore”. C’est le type de réponse que permet un socle partagé.
Deux vérifications de plus gardent la comparaison honnête. Ne comparez que les sujets où les deux intervenants ont assez de conversations pour que la note soit stable, et signalez-le quand l’un d’eux n’en a presque aucune. Et regardez les blocs par intervenant à côté de la note : un bot avec une note de socle élevée mais qui échoue sur l’ancrage pour un sujet a quand même besoin d’une correction.
Comment présenter la qualité des conseillers et de l’IA sur une page
Présentez une page avec la note du socle partagé par sujet pour les deux intervenants, les totaux ajustés à la répartition et, à côté, les taux de conformité des blocs par intervenant. La direction lit la comparaison ; les équipes lisent leurs propres blocs.
| Section | Équipe de conseillers | Agent IA |
|---|---|---|
| Socle partagé, ajusté à la répartition | Note et tendance | Note et tendance |
| Socle partagé par sujet | Note par sujet | Note par sujet |
| Bloc par intervenant | Notes de dossier, suivi tenu : taux de conformité | Ancrage, périmètre, escalade, incertitude : taux de conformité |
| Transfert | A repris le contexte | A transmis le contexte |
| Causes principales | Lacunes de compétences, lacunes de processus | Articles, règles, paramètres |
C’est sur la dernière ligne que les deux divergent. Les échecs d’une personne renvoient en général à du coaching ou à un processus ; ceux d’un bot renvoient en général à un article ou à un paramètre.
Notre article Agent error or process error? (en anglais) montre comment distinguer les deux avant d’agir. Dans Kaizo, évaluer les conversations humaines et celles de l’IA avec la même grille vous permet de voir les performances des deux côte à côte.
Comment construire une grille d’évaluation commune aux conseillers et aux agents IA
Construisez-la en six étapes, à partir de la grille que votre équipe de conseillers utilise déjà. Les trois premières étapes tiennent en une séance de travail ; les autres se font au fil de l’évaluation.
Étape 1 : répartir vos critères actuels en trois groupes
Prenez la grille de vos conseillers et classez chaque critère comme partagé, propre aux conseillers ou inutile. La plupart des équipes constatent que la réponse juste, la politique et la prochaine étape sont partagées, tandis que la formule d’accueil et les phrases scriptées sont propres aux conseillers ou peuvent disparaître.
Étape 2 : réécrire les critères partagés en termes neutres
Réécrivez chaque critère partagé pour qu’il ne suppose ni une personne ni un bot, et pour qu’un évaluateur puisse désigner la ligne qui le respecte ou non.
Étape 3 : ajouter le bloc agent IA
Ajoutez les quatre critères du bot issus du modèle : ancré dans vos contenus, périmètre, déclencheur d’escalade et incertitude. Gardez-les en conforme ou non conforme.
Étape 4 : fixer les poids et l’échelle du socle
Fixez une seule échelle et un seul jeu de poids pour le socle partagé, totalisant 100, et notez-les là où les deux équipes peuvent les voir.
Étape 5 : calibrer sur des conversations mêlées
Organisez une séance de calibrage sur un mélange de conversations humaines et de conversations d’IA, et ajustez la description des critères jusqu’à ce que les évaluateurs soient d’accord sur les deux.
Étape 6 : tout évaluer et présenter par sujet
Évaluez chaque conversation, humaine ou d’IA, avec la grille, et présentez le socle partagé par sujet avec l’ajustement à la répartition. AutoPilot de Kaizo évalue chaque conversation selon vos critères au moment de sa résolution, sur les appels, le chat et l’e-mail.
Voyez-le dans une démo en direct. Kaizo évalue votre équipe et vos agents IA avec une seule grille, avec les preuves derrière chaque note, et montre les deux côte à côte. Parlons-en.
Questions fréquentes
Faut-il être plus exigeant avec l’agent IA qu’avec les conseillers ?
Sur le socle partagé, tenez les deux au même standard, sinon la comparaison ne veut rien dire. Vous pouvez être plus strict dans le bloc agent IA et dans les conséquences : un remboursement inventé peut être un échec automatique pour le bot, et un seul échec critique peut lui coûter un sujet, parce qu’un bot répète la même erreur dans de nombreuses conversations.
Qui doit évaluer les conversations des conseillers et de l’IA ?
Le même évaluateur pour les deux, sur le socle partagé. Si des personnes évaluent les conversations des conseillers et qu’un évaluateur automatisé évalue le bot, les différences entre les deux évaluateurs apparaissent comme des différences entre les intervenants. Évaluez les deux automatiquement sur les mêmes critères, et faites vérifier chaque mois par vos évaluateurs un échantillon mêlant les deux.
Et si l’agent IA obtient une meilleure note que votre équipe ?
Vérifiez d’abord la répartition des sujets, car le bot traite en général les sujets les plus faciles. S’il reste meilleur sur le même sujet après l’ajustement, c’est une information utile : il est peut-être prêt à prendre davantage de ce sujet, et ses réponses peuvent montrer où le processus ou les contenus de votre équipe doivent progresser.
Combien de critères doit compter une grille partagée ?
Limitez le socle partagé à six à huit critères environ, et chaque bloc par intervenant à deux à quatre. Au-delà, les évaluateurs cessent de noter de façon cohérente et la comparaison devient bruitée. Si un critère n’a pas échoué depuis des mois et ne pèse sur aucune décision, supprimez-le ou transformez-le en simple vérification conforme ou non conforme.
Une seule grille peut-elle couvrir les appels, le chat et l’e-mail ?
Oui, si les critères décrivent le résultat plutôt que le canal. Une réponse juste, une politique respectée et une prochaine étape claire signifient la même chose au téléphone, dans un chat ou dans un e-mail. N’ajoutez des vérifications propres à un canal que là où le canal change ce qu’est une bonne conversation, comme la vérification au téléphone.
