Pour contrôler la qualité de l’agent IA Fin, lisez et évaluez un échantillon planifié de conversations Fin selon votre propre grille, en vous appuyant sur les éléments de preuve qu’Intercom fournit déjà : l’outil de débogage des réponses, les sources trouvées par Fin, les notes et les logs d’escalade. Le taux de résolution de Fin vous dit que le client est parti sans demander plus d’aide. Il ne vous dit pas que la réponse était juste.
En bref
- Intercom compte une résolution Fin quand le client confirme que la réponse l’a aidé ou part sans demander plus d’aide : une résolution est donc un événement de facturation, pas un verdict de qualité.
- Le CX Score de Fin est conçu pour les conversations comptant au moins deux réponses du client et deux réponses d’un agent ou du bot ; beaucoup de conversations Fin à une seule question ne reçoivent donc aucune note.
- Échantillonnez en deux parties : un échantillon aléatoire de conversations résolues pour corriger le taux de résolution, et des revues ciblées sur les sujets à risque, les escalades et les mauvaises notes.
- Contrôlez chaque conversation avec une checklist fixe : exactitude de la réponse par rapport à la source, résolution correcte, procédure menée à terme, transfert, boucles, ton et politique.
- Chaque échec se termine par un seul changement dans Fin (contenu, audience, guidance, procédure ou règle d’escalade), testé en prévisualisation ou en eval avant sa mise en production.
Ceci est la version Fin de notre guide général sur le contrôle qualité des agents IA, et suit les mêmes étapes que notre guide sur le contrôle qualité des agents IA Zendesk. Si vous choisissez encore comment mesurer l’agent avant son lancement, commencez par l’évaluation des agents IA, qui distingue les evals avant lancement de l’évaluation des conversations réelles.
Que vous disent les rapports de Fin sur la qualité ?
Les rapports de Fin vous donnent le volume, la couverture et le ressenti : combien de conversations Fin a rejointes, combien il en a résolues, comment les clients les ont notées et quels sujets génèrent le volume. Ils ne vous disent pas, conversation par conversation, si une réponse était exacte, autorisée par la politique ou complète. Pour cela, il faut une revue selon une norme écrite.
Voici ce que chaque fonctionnalité d’Intercom apporte à un responsable qualité, telle que décrite dans le centre d’aide d’Intercom le 13 novembre 2026 (les noms des fonctionnalités sont ceux de l’interface en anglais) :
| Où dans Intercom | Ce que vous apprenez | Ce que vous n’apprenez pas |
|---|---|---|
| Tableau de bord Performance (Fin AI Agent > Analyze > Performance) | Taux d’automatisation, taux d’implication, taux de résolution, et liens vers les conversations derrière chaque parcours | Si une conversation résolue contenait une réponse juste |
| CSAT de Fin (notes des conversations) | La part de notes positives pour Fin, parmi les clients qui répondent à l’enquête | Ce que pensait la majorité silencieuse, ou la raison d’une note |
| CX Score (en anglais) (module Pro) | Une note de 1 à 5 attribuée par un modèle d’apprentissage automatique, construite à partir de raisons comme la qualité de la réponse et l’effort du client | Quoi que ce soit sur les conversations courtes qui ne remplissent pas ses critères d’éligibilité |
| Topics Explorer et Recommendations (module Pro) | Les sujets et sous-sujets derrière le volume, et des suggestions hebdomadaires pour combler les lacunes du contenu de Fin | Si les réponses de Fin sur un sujet bien couvert sont justes |
| Monitors (en anglais) et Scorecards (module Pro) | Une sélection par règles des conversations à relire, évaluées selon des critères que vous définissez | Si l’évaluation par l’IA concorde avec vos évaluateurs, sauf si vous le testez |
| Débogage des réponses (en anglais) (« Improve answer » dans l’Inbox) | La question, la réponse de Fin et les contenus que Fin a jugés pertinents | Si ces contenus sont justes ou à jour |
Deux détails comptent pour le contrôle qualité. D’abord, le CX Score ne note une conversation que si elle est clôturée, passe par le chat ou l’e-mail, a été ouverte par le client et compte au moins deux réponses du client et deux réponses d’un agent ou du chatbot. Intercom indique avoir élargi ces critères pour que certaines conversations courtes avec un signal clair puissent désormais être notées, mais un client qui pose une question, reçoit une réponse et part restera souvent sans note, et ce sont précisément les conversations comptées comme résolutions présumées.
Ensuite, Intercom a changé la façon dont le tableau de bord compte (en anglais). Depuis juillet 2026 (déploiement du 1er au 8 juillet), les conversations où Fin était actif mais n’a pas eu l’occasion de répondre (« Fin Constrained ») ne comptent plus comme des conversations impliquant Fin : les taux de résolution ont augmenté et les taux d’implication ont baissé sans aucun changement de qualité ni du nombre de résolutions. Si vous comparez des mois de part et d’autre de juillet 2026, signalez la rupture de série.
Comment Fin compte-t-il une résolution, et pourquoi n’est-ce pas une note de qualité ?
Intercom compte une résolution quand, après la dernière réponse de Fin, le client confirme que la réponse l’a aidé (résolution confirmée) ou part sans demander plus d’aide (résolution présumée). Elle est facturée comme un résultat. Aucun des deux cas ne vérifie que la réponse était juste : un client qui a abandonné compte comme un client qui a été aidé.
D’après l’article d’Intercom sur les résultats de Fin (en anglais), consulté le 13 novembre 2026 :
- Une résolution n’est comptée que si Fin donne une vraie réponse, et un seul résultat est facturé par conversation.
- Les résolutions, les transferts de procédure et certains autres résultats sont affichés à 0,99 $ chacun pour Fin sur le chat et l’e-mail.
- Si le client revient dans la même conversation pour obtenir plus d’aide, même lors d’une période de facturation ultérieure, la résolution est déduite.
- Si le client demande explicitement un humain, ou si Fin escalade selon son comportement par défaut, par exemple en détectant de la frustration, ce n’est pas un résultat et ce n’est pas facturé.
La définition couvre un client qui revient dans la même conversation. Elle ne couvre pas celui qui ouvre une nouvelle conversation sur le même problème, qui appelle ou qui part chez un concurrent. Ce sont ces cas qu’une revue qualité doit repérer.
C’est pourquoi un audit place un second chiffre à côté de celui de Fin : la part des conversations résolues qui l’étaient vraiment correctement. Notre guide sur l’audit du taux de résolution d’un agent IA explique les contrôles dans les systèmes et la fenêtre de recontact, et notre page sur le taux de résolution correcte explique comment définir et présenter le chiffre corrigé.
Comment échantillonner les conversations Fin à relire ?
Échantillonnez les conversations Fin en deux parties. Un échantillon aléatoire de conversations résolues vous donne un taux de résolution correcte honnête. Des revues ciblées sur les sujets à risque, les escalades, les notes négatives et les conversations rouvertes trouvent les défaillances qui coûtent le plus. Gardez les deux séparés : les revues ciblées sont orientées vers les problèmes, elles ne doivent donc pas alimenter le taux.
Un plan d’échantillonnage pour une équipe de taille moyenne pourrait ressembler à ceci (une illustration, avec des chiffres choisis pour l’exemple) :
| Flux | Ce que vous extrayez | Par semaine | Utilisé pour |
|---|---|---|---|
| Base aléatoire | Conversations Fin résolues, tirage aléatoire | 60 | Taux de résolution correcte |
| Sujets à risque | Remboursements, prix, résiliations, modifications de compte et de données | 25 | Erreurs de politique et d’argent |
| Escalades | Conversations que Fin a transférées à une personne | 20 | Moment et contexte du transfert |
| Signaux négatifs | CSAT négatif, CX Score faible, conversations rouvertes | 15 | Causes racines |
| Total | 120 |
Exemple chiffré (illustration). Fin intervient dans 6 000 conversations par semaine et le tableau de bord affiche un taux de résolution de 65 %, soit 3 900 résolutions. Vos évaluateurs constatent que 9 des 60 conversations résolues tirées au hasard étaient fausses ou incomplètes : 15 %. Le taux corrigé est de 65 % x 0,85 = environ 55 %. Avec 60 conversations, la marge sur ces 15 % est d’environ plus ou moins 9 points (1,96 x la racine carrée de 0,15 x 0,85 / 60) : traitez une semaine comme un signal et la tendance sur quatre semaines comme le chiffre. À environ 5 minutes par revue, 120 revues prennent 10 heures par semaine, soit 5 heures pour chacun de deux évaluateurs.
Pour une marge plus serrée, augmentez l’échantillon aléatoire, pas les flux ciblés. Notre guide sur les statistiques d’échantillonnage en contrôle qualité (en anglais) montre comment la taille de l’échantillon fait varier la marge.
Avec le module Pro, les Monitors d’Intercom peuvent faire l’extraction pour vous : Intercom les décrit comme relisant « un échantillon aléatoire pour la qualité de référence » ou « un ensemble ciblé à partir de signaux à risque ou à fort impact ». Sans Pro, construisez les mêmes flux avec des filtres enregistrés dans l’Inbox et un tableur.
Que contrôler dans une conversation Fin ?
Vérifiez si la réponse de Fin correspondait à votre contenu source et à votre politique, si la résolution était réelle, si une éventuelle procédure est allée à son terme, si le transfert est arrivé au bon moment avec le contexte, et si Fin a tourné en boucle ou enfreint vos règles de ton. Écrivez chaque contrôle comme une règle de réussite qu’un évaluateur applique en moins d’une minute, avec un endroit précis où trouver la preuve.
La checklist qualité pour Fin
Copiez-la dans votre grille ou votre tableur. La colonne « où » suppose que Fin tourne dans l’Inbox d’Intercom.
| N° | Critère | Où trouver la preuve dans Intercom | Règle de réussite |
|---|---|---|---|
| 1 | Réponse exacte par rapport à la source | « Improve answer » sur la réponse de Fin : les contenus que Fin a jugés pertinents | Chaque fait de la réponse correspond à un contenu à jour. Tout fait erroné sur l’argent, l’éligibilité ou les données est un échec critique. |
| 2 | Bonne source utilisée | La même liste du débogage, plus le réglage d’audience du contenu | Le meilleur contenu pour le cas de ce client figure dans la liste, et il cible l’audience de ce client. |
| 3 | Réponse à la question posée | La transcription | Fin a répondu à la vraie question du client, pas à une question voisine, ou a d’abord posé une question de clarification. |
| 4 | Résolution réelle | Le statut de la conversation, plus une recherche du même client sur les 7 jours suivants | Confirmée par le client, ou présumée sans nouvelle conversation ni contact sur le même problème dans les 7 jours. |
| 5 | Procédure menée à terme | Les étapes de la procédure dans la conversation, et l’enregistrement dans le système (commande, remboursement, compte) | L’action promise par la procédure existe dans votre système. Une promesse sans enregistrement est un échec critique. |
| 6 | Escalade sur le bon déclencheur | Les règles d’escalade et la guidance, et le point de transfert dans la transcription | Fin a transféré quand vos règles le prévoient, et avant que le client le demande deux fois. |
| 7 | Transfert avec contexte | Le message de transfert et la première réponse du conseiller | Le conseiller n’a rien eu à redemander de ce que le client avait déjà dit. |
| 8 | Ni boucle ni répétition | La transcription | Fin n’a pas répété ou reformulé la même réponse plus d’une fois. |
| 9 | Politique respectée | Vos pages de politique et la réponse | Aucune promesse hors de vos règles de remboursement, de frais, de livraison ou d’éligibilité. Échec critique. |
| 10 | Ton et guidance respectés | Votre guidance sur le style de communication et la réponse | Le ton correspond à l’état du client, et les termes respectent votre guidance. |
Marquez les critères 1, 5 et 9 comme critiques, pour qu’un seul échec fasse échouer toute la conversation. Les Scorecards d’Intercom (en anglais) le permettent directement : un critère marqué Critical ramène toute la revue à 0 % quand il échoue.
Le critère 8 mérite sa propre ligne, car les équipes qui utilisent Fin le signalent. Intercom indique que Fin escalade par défaut quand un client est « coincé dans une boucle répétitive », et pourtant, dans une discussion de la communauté Intercom (en anglais), un administrateur écrivait : « quelque chose ne va pas avec ma guidance anti-répétition ». C’est le témoignage d’une seule équipe, mais c’est le type de défaillance que seule une relecture de la transcription révèle.
Pour les critères de transfert (6 et 7), notre guide sur le transfert entre agent IA et conseiller donne les indicateurs et une grille pour la décision du bot comme pour la reprise par la personne.
Comment évaluer les conversations Fin avec votre grille ?
Évaluez les conversations Fin avec la même structure de grille que pour vos conseillers, plus les contrôles propres à Fin ci-dessus, et consignez la preuve de chaque critère échoué. Vous pouvez le faire dans les Scorecards d’Intercom avec le module Pro, dans un tableur, ou dans un outil de contrôle qualité connecté au helpdesk où se trouvent les conversations. Quel que soit l’outil, testez d’abord l’évaluation face à vos propres évaluateurs.
Trois façons de procéder :
- Monitors et Scorecards d’Intercom (module Pro). Vous choisissez pour chaque critère s’il est évalué par l’IA ou par une personne. Avec la revue automatique activée, Intercom marque une conversation comme réussie quand tous les critères évalués par l’IA sont remplis et envoie les échecs et les cas limites à une personne. La page d’aide d’Intercom présente les workflows de calibrage comme prévus, pas encore disponibles : calibrez donc à la main.
- Un tableur. Une ligne par conversation, une colonne par élément de la checklist, plus la cause et la correction. Cela suffit jusqu’à quelques centaines de revues par semaine.
- Un outil de contrôle qualité dans votre helpdesk. Fin tourne aussi sur d’autres helpdesks : fin.ai (en anglais) indique qu’il fonctionne avec Salesforce, Zendesk et d’autres. Si votre équipe travaille dans Zendesk ou Salesforce, un outil de contrôle qualité connecté à ces helpdesks peut évaluer ces conversations.
Avant de faire confiance à une note produite par l’IA, faites évaluer les mêmes 30 à 50 conversations par deux évaluateurs, tranchez leurs désaccords, puis comparez les verdicts de l’IA aux leurs, critère par critère. Notre guide pour valider l’évaluation qualité par l’IA (en anglais) détaille ce test.
Comment réinjecter les constats qualité dans Fin ?
Transformez chaque critère échoué en un seul changement dans la partie de Fin qui l’a causé : le contenu, le ciblage d’audience, la guidance, une procédure ou une règle d’escalade. Regroupez les échecs par cause avant de corriger quoi que ce soit, testez chaque changement en prévisualisation ou en eval avant sa mise en production, et réévaluez le sujet concerné la semaine suivante.
| Ce qui a échoué | Cause probable | Où corriger dans Fin |
|---|---|---|
| Fait faux ou obsolète | L’article, le snippet ou la page synchronisée est faux ou ancien | Modifiez-le depuis « Improve answer », ou ajoutez un snippet. Un contenu externe ne peut pas être modifié à cet endroit : corrigez-le à la source, et notez que les synchronisations de site web ont lieu une fois par semaine. |
| Bon article, mauvais client | Contenu non ciblé sur la bonne audience | Définissez l’audience du contenu pour que Fin ne l’utilise que pour ces clients |
| Mauvaise question de relance, ou aucune | Guidance de contexte et de clarification manquante | Ajoutez une règle de guidance ciblée pour ce type de question |
| Action promise mais non réalisée | Une étape de procédure ou un connecteur de données a échoué sans bruit | Ajoutez, après l’appel au connecteur de données, une condition qui gère les erreurs et les réponses vides |
| Escalade trop tardive, ou absente | Règles d’escalade ou guidance trop étroites | Ajoutez une règle sur un attribut de données, ou une guidance ciblée sur le sujet |
| Escalade trop fréquente | Guidance d’escalade trop large | Réécrivez-la pour une situation précise |
| Boucles et réponses répétées | Règles de guidance qui se chevauchent | Supprimez les règles contradictoires ; limitez chaque règle à un seul objectif |
Testez ensuite avant de publier. La comparaison des outils de test d’Intercom (en anglais) en liste quatre :
- Previews : un panneau de test manuel sur les domaines d’entraînement de Fin, sans limite.
- Batch tests : jusqu’à 50 questions à la fois, notées par une personne ; ces notes n’entraînent pas Fin. Les nouveaux espaces de travail créés à partir du 5 novembre 2026 reçoivent les Evals à la place.
- Evals : des tests automatisés de bout en bout de toute la configuration de Fin, jusqu’à 50 simulations par eval, dans la limite d’un quota mensuel.
- Procedure Simulations : des tests automatisés d’une procédure, sans aucun message envoyé aux clients.
Un avertissement tiré de la documentation d’Intercom sur les procédures : prévisualiser une procédure déjà en production peut envoyer des messages à de vrais clients, utilisez donc une simulation pour les procédures en production. Conservez vos conversations en échec comme cas de test : chaque correction doit réussir sur la conversation qui l’a révélée.
À quoi ressemble une routine hebdomadaire de contrôle qualité de Fin ?
Une routine hebdomadaire de contrôle qualité de Fin comporte cinq créneaux fixes : extraire l’échantillon le lundi, l’évaluer d’ici le mercredi, regrouper les échecs par cause le jeudi, livrer et tester les corrections le vendredi, et vérifier les corrections de la semaine passée avec les notes de la semaine en cours. Nommez un responsable du contenu et un responsable de la guidance et des procédures, sinon les corrections restent bloquées entre les équipes.
| Jour | Tâche | Responsable | Temps |
|---|---|---|---|
| Lundi | Extraire les quatre flux ; regarder dans le tableau de bord les variations de résolution, d’implication et de CSAT | Responsable qualité | 30 min |
| Lundi à mercredi | Évaluer l’échantillon avec la checklist ; consigner la preuve de chaque échec | 2 évaluateurs | 5 heures chacun |
| Jeudi | Regrouper les échecs par cause ; retenir les 3 principales causes par nombre et par coût | Responsable qualité et responsable de Fin | 45 min |
| Vendredi | Livrer les corrections ; tester chacune en prévisualisation, en eval ou en simulation | Responsable du contenu, responsable de Fin | 2 heures |
| Chaque semaine | Comparer les notes des sujets corrigés la semaine passée avec celles de la semaine précédente | Responsable qualité | 20 min |
| Chaque mois | Présenter le taux de résolution corrigé à côté de celui de Fin, avec la tendance sur 4 semaines | Responsable qualité au Head of CX | 1 heure |
La place de Kaizo
Kaizo assure le contrôle qualité et la supervision de la gouvernance pour les équipes support où personnes et agents IA se partagent le travail. Ses intégrations en production sont Zendesk et Salesforce : AutoPilot évalue chaque conversation résolue dans ces helpdesks selon votre propre grille et joint un commentaire qui explique chaque note. Si Fin tourne par-dessus l’un d’eux, vérifiez quelles conversations Fin arrivent dans les enregistrements de votre helpdesk avant de bâtir un processus qualité autour.
Voyez-le sur vos propres conversations. Kaizo évalue 100 % de vos conversations support dans Zendesk et Salesforce et transforme les constats en coaching. Réservez une démo.
Quand ce n’est pas pour vous
Un programme formel de contrôle qualité de Fin est disproportionné si Fin traite quelques dizaines de conversations par semaine : lisez-les toutes vous-même, avec la checklist, en une heure. Il est aussi prématuré si votre centre d’aide est obsolète dans son ensemble. Corrigez d’abord le contenu, sinon chaque revue remontera la même cause racine. Si Fin ne répond qu’à des questions à faible risque comme les horaires d’ouverture, un contrôle ponctuel mensuel de 20 conversations suffit.
Par où commencer cette semaine
- Listez vos cinq sujets Fin les plus risqués et la page de politique derrière chacun.
- Copiez la checklist ci-dessus dans un tableur ou une scorecard Intercom, et marquez les critères 1, 5 et 9 comme critiques.
- Extrayez 30 conversations Fin résolues au hasard et 20 sur vos sujets les plus risqués.
- Faites-les évaluer par deux évaluateurs et comparez leurs désaccords.
- Corrigez la cause la plus fréquente, testez la correction en prévisualisation ou en eval, et réévaluez ce sujet la semaine suivante.
Questions fréquentes
Intercom propose-t-il son propre contrôle qualité pour les conversations Fin ?
Oui, avec le module Pro. Les Monitors sélectionnent les conversations à relire, les Scorecards définissent leur évaluation, et chaque critère peut être évalué par l’IA ou par une personne. La page d’aide d’Intercom présente les workflows de calibrage comme prévus : testez donc les notes de l’IA face à vos propres évaluateurs.
Le taux de résolution de Fin est-il un indicateur de qualité fiable ?
Non. Il compte les conversations où le client a confirmé que la réponse l’avait aidé ou est parti sans demander plus d’aide : un client qui a abandonné compte donc comme résolu. Présentez-le à côté d’un taux corrigé, tiré d’un échantillon aléatoire de conversations résolues que vous avez vérifiées.
Les notes des batch tests entraînent-elles Fin ?
Non. Intercom indique que les notes des batch tests servent uniquement à la revue humaine et à l’analyse des causes racines. Les espaces de travail créés à partir du 5 novembre 2026 n’ont pas de batch tests et utilisent les Evals à la place.
Le CX Score peut-il remplacer une revue qualité ?
Pas à lui seul. Ses critères d’éligibilité portent sur les conversations comptant au moins deux réponses du client et deux réponses d’un agent ou du chatbot : beaucoup de conversations Fin courtes ne sont donc pas notées. Il mesure aussi ce que le client a ressenti, pas la conformité de la réponse à votre politique.
Qui est noté quand Fin et un conseiller traitent tous deux une conversation ?
Cela dépend de la place de l’étape CSAT dans votre workflow. Intercom indique qu’une enquête placée après le point d’escalade est envoyée que Fin, un conseiller ou les deux soient intervenus. Avec les offres Advanced et Expert, les données de notation indiquent quel type d’agent a été noté.
