Taux de résolution d'un agent IA : comment l'auditer

Le taux de résolution d’un agent IA compte les conversations que l’éditeur marque comme résolues : pas de transfert, pas de relance dans une fenêtre de temps. Il ne vérifie pas que la réponse était juste, que l’action a été réalisée ni que le client n’est pas revenu. Pour l’auditer, échantillonnez des conversations « résolues », jugez chacune selon des critères écrits et les données de vos systèmes, et présentez un taux corrigé à côté de celui de l’éditeur.

En bref

• Pour un éditeur, une « résolution » signifie en général que le client n’a pas redemandé d’aide avant la fin d’un délai ; une mauvaise réponse donnée avec assurance et un client qui a abandonné réussissent tous deux ce test.
• Quatre défaillances se cachent dans les conversations résolues : une mauvaise réponse acceptée par le client, un client qui a abandonné, un client revenu par un autre canal, et une action annoncée par l’agent mais jamais réalisée.
• Une résolution correcte demande quatre oui : bonne réponse, autorisée par la politique, action réalisée dans le système de référence, et aucun recontact sur le même problème sous 7 jours.
• Un échantillon aléatoire d’environ 400 conversations résolues par mois donne un taux corrigé à environ 5 points près, ce qui suffit pour le présenter à côté du chiffre de l’éditeur.
• Présentez les deux chiffres, la répartition des échecs et le coût par résolution correcte, et confiez chaque type d’échec à un responsable.

Ce guide fait partie de notre dossier sur l’évaluation des agents IA et s’adresse au responsable CX ou au responsable IA qui valide les résultats de l’agent IA. Si vous avez d’abord besoin des bases de l’indicateur qui accompagne en général le taux de résolution, commencez par le taux de contention (en anglais).

Que signifie « résolu » dans le taux de résolution d’un agent IA ?

Dans la plupart des rapports d’éditeurs, « résolu » signifie que l’agent IA a répondu et que le client n’a pas redemandé d’aide, ni demandé un humain, avant l’expiration de la conversation. Certains éditeurs ajoutent un contrôle de la transcription par un modèle. Aucune de ces définitions, telles qu’elles sont documentées, ne regarde les données des systèmes de gestion ni le recontact du client par un autre canal.

Les définitions sont publiques, et elles méritent d’être lues mot à mot avant de faire confiance à un tableau de bord :

Deux conséquences en découlent. D’abord, « résolu » est une définition de facturation et de reporting fixée par l’éditeur, souvent liée à ce que vous payez. Ensuite, la définition bouge : Intercom présente désormais des « outcomes » à côté des résolutions et écrit que le « succès » a cessé d’être binaire (blog d’Intercom, mars 2026, en anglais), et Zendesk a introduit des niveaux de résolution le 18 mai 2026 (définition antérieure de Zendesk, en anglais). Un audit vous donne une définition qui vous appartient.

Quelle est la différence entre résolu et résolu correctement ?

Une conversation résolue s’est terminée sans transfert ni relance. Une conversation résolue correctement a aussi donné la bonne réponse, réalisé la bonne action, respecté la politique et évité que le client revienne sur le même problème. L’écart entre les deux est votre vrai taux d’automatisation, et il est en général invisible dans le tableau de bord de l’éditeur.

L’éditeur demande : la conversation s’est-elle terminée sans bruit ? Votre audit demande : le problème a-t-il disparu ? La seconde question exige des preuves extérieures à la transcription. Notre article sur les erreurs silencieuses des agents IA couvre la famille plus large des défaillances qui ne déclenchent aucune erreur, et pourquoi les conversations IA échouent en explique les causes.

Quelles défaillances se cachent dans les conversations résolues ?

Quatre types de défaillance passent pour des résolutions : une mauvaise réponse acceptée par le client, un client qui a abandonné, un client revenu par un autre canal, et une action annoncée par l’agent mais non réalisée. Chacune ressemble, dans la transcription, à une conversation calme et réussie, et chacune demande un contrôle différent pour être trouvée.

Le dernier type est le plus coûteux à manquer, et aucune relecture limitée à la transcription, humaine ou par LLM, ne peut le détecter. Les garde-fous des agents IA appliqués aux actions en réduisent la fréquence ; l’audit vous dit s’ils fonctionnent.

Comment concevoir l’échantillon d’un audit des résolutions ?

Tirez un échantillon aléatoire d’environ 400 conversations marquées comme résolues par l’éditeur sur un mois, stratifié par motif de contact, avec des conversations supplémentaires sur les motifs à risque comme les remboursements, les résiliations et les modifications de compte. Masquez le statut de l’éditeur aux évaluateurs, et faites évaluer 10 % des conversations deux fois pour mesurer l’accord.

1. Fixez la période et la population. Un mois calendaire, toutes les conversations au statut « résolu » chez l’éditeur.
2. Tirez au hasard à l’intérieur de chaque motif, en proportion du volume. Les conversations choisies à la main parce qu’elles sont « intéressantes » font baisser artificiellement le taux.
3. Surreprésentez les motifs à risque. Ajoutez au moins 50 conversations sur les motifs où l’agent réalise une action ou touche à l’argent ; repondérez-les à leur part réelle pour le taux global.
4. Dimensionnez selon la décision. 400 conversations donnent une marge d’environ ±5 points avec une confiance de 95 % (voir les intervalles de confiance pour une proportion dans le NIST engineering statistics handbook, en anglais). 100 par motif donnent environ ±10 points : assez pour repérer un motif défaillant. Le calcul est dans notre guide sur les statistiques d’échantillonnage en contrôle qualité (en anglais).
5. Évaluez à l’aveugle. Montrez la transcription et les données des systèmes, pas le statut de l’éditeur.
6. Mesurez l’accord. Un second évaluateur note 40 des 400 conversations. Si les verdicts divergent plus d’une fois sur 10, corrigez les critères avant de présenter les résultats.
7. Attendez la fin de la fenêtre. Tirez l’échantillon au moins 7 jours après la fin du mois.

Quels sont les critères d’une résolution « correcte » ?

Une conversation n’est une résolution correcte que si quatre contrôles réussissent tous : la réponse était juste et complète, elle restait dans la politique, toute action promise par l’agent est visible dans le système de référence, et le client ne vous a pas recontacté sur le même problème sous 7 jours. Un seul contrôle en échec donne le verdict « pas correct ».

Écrivez les critères avant la première évaluation, avec un exemple de réussite et d’échec pour chacun :

Gardez un cinquième verdict, « impossible à juger », pour les conversations où une donnée manque ou où le client est anonyme. Excluez-les du taux et indiquez leur nombre ; s’ils dépassent 5 % de l’échantillon, corrigez les données avant l’audit suivant. La bonne réponse suppose que vos politiques soient écrites et à jour, ce qui est le sujet de notre guide sur les politiques des agents IA.

Comment vérifier dans les systèmes les actions annoncées ?

Listez chaque action que l’agent a annoncée dans la conversation, puis vérifiez-la dans le système qui en est responsable : le remboursement dans la facturation, la résiliation dans le système d’abonnements, l’adresse dans le dossier de commande. Le journal d’outils de l’agent ne suffit pas, car un appel d’outil peut signaler un succès alors que le système de référence ne montre rien.

Une séquence pratique pour chaque conversation échantillonnée :

1. Relevez les affirmations. Surlignez chaque phrase où l’agent dit avoir fait quelque chose : « je vous ai remboursé », « votre abonnement est résilié », « j’ai mis à jour votre adresse ».
2. Rapprochez sur les identifiants. Utilisez l’identifiant client, le numéro de commande ou l’e-mail présents dans la conversation pour retrouver le dossier.
3. Comparez quatre champs. L’action a-t-elle eu lieu, sur le bon article, pour le bon montant, avant ou peu après la fin de la conversation ?
4. Notez les écarts avec précision. « Remboursement de 40 $ promis, 0 $ en facturation » se corrige ; « action échouée » non.

Pas d’accès au système de référence ? Demandez à son responsable un export en lecture seule filtré sur les 400 identifiants clients échantillonnés.

Comment mesurer le recontact après une résolution par l’IA ?

Comptez un recontact quand le même client vous recontacte sur le même problème, par n’importe quel canal, dans les 7 jours qui suivent la fin de la conversation avec l’IA. Rapprochez sur un identifiant client entre le chat, l’e-mail, le téléphone et les réseaux sociaux, puis lisez la relance pour confirmer qu’il s’agit bien du même problème et pas d’un nouveau.

Pourquoi 7 jours : les fenêtres des éditeurs sont courtes et limitées à un canal. Zendesk clôt par défaut une conversation de messagerie 2 heures après le premier message et une conversation par e-mail après 72 heures ; Intercom ne déduit une résolution que lorsque le client revient dans la même conversation. Beaucoup de défaillances apparaissent plus tard : le remboursement qui n’arrive pas sous 3 à 5 jours ouvrés, le deuxième prélèvement à la facturation suivante. Sept jours en attrapent la plupart ; pour les motifs de facturation, prolongez la fenêtre jusqu’à la date de la facture suivante.

Si l’historique des contacts est réparti entre plusieurs outils, commencez avec les identifiants dont vous disposez (identifiant de compte, adresse e-mail) et précisez dans le rapport que certains recontacts vous échapperont. Suivre un client d’un canal à l’autre est le cœur du contrôle qualité du parcours client.

La fiche d’audit des résolutions (à copier)

La fiche ci-dessous compte une ligne par conversation échantillonnée. Remplissez les quatre contrôles, puis laissez la règle de verdict décider ; les évaluateurs ne choisissent pas le verdict au feeling. Les lignes illustrent à quoi ressemble chaque type d’échec une fois rempli ; ce ne sont pas des données client.

Règle de verdict. Correct = réponse correcte (oui), action réalisée (oui ou aucune action nécessaire), aucun recontact, et autorisée par la politique. Un seul « non » = pas correct. Une preuve manquante = impossible à juger. Quand deux échecs s’appliquent, notez celui que le client a subi en premier.

Ajoutez une colonne « Autorisée ? » si votre agent peut accorder des exceptions, et gardez chaque note de preuve assez précise pour être vérifiée en deux minutes.

Exemple chiffré : taux de résolution de l’éditeur et taux audité

Dans cette illustration, un éditeur annonce un taux de résolution de 68 % sur 10 000 conversations. Un audit de 400 conversations résolues trouve 69 % de résolutions correctes parmi celles qui peuvent être jugées, si bien que le taux de résolution corrigé est d’environ 47 %, avec une fourchette à 95 % d’environ 44 % à 50 %.

Illustration (pas des données client). Un agent IA traite 10 000 conversations en octobre. L’éditeur en marque 6 800 comme résolues : un taux de résolution de 68 %. L’équipe audite un échantillon aléatoire de 400 conversations résolues avec la fiche ci-dessus.

Le calcul, étape par étape :

1. Conversations pouvant être jugées : 400 moins 12 = 388.
2. Part correcte auditée : 268 / 388 = 69,1 %.
3. Marge d’erreur : 1,96 x √(0,691 x 0,309 / 388) = ±4,6 points, donc la part correcte se situe entre environ 64,5 % et 73,7 %.
4. Conversations résolues corrigées : 6 800 x 69,1 % = environ 4 700.
5. Taux de résolution corrigé : 4 700 / 10 000 = 47,0 %, avec une fourchette d’environ 43,8 % à 50,1 %.
6. Coût par résolution correcte : à un prix illustratif de 1,00 $ par résolution facturée, 6 800 résolutions facturées coûtent 6 800 $. Divisé par 4 700 résolutions correctes, chacune coûte environ 1,45 $, pas 1,00 $.

Lisez la répartition des échecs comme une liste de tâches : les mauvaises réponses vont au responsable des connaissances et des prompts, les abandons à la conception de l’escalade, et les 12 actions annoncées passent en premier, parce que chacune est un client à qui l’on a dit quelque chose de faux sur son argent ou son compte.

Comment présenter un taux de résolution corrigé à côté de celui de l’éditeur ?

Présentez chaque mois le taux de résolution de l’éditeur et votre taux audité côte à côte, avec en dessous les définitions, la taille de l’échantillon, la marge d’erreur et la répartition des échecs. Ne remplacez pas le chiffre de l’éditeur : l’écart entre les deux est le constat, et son évolution vous dit si les corrections fonctionnent.

Un rapport mensuel tenant sur un écran :

Gardez des définitions stables, montrez la fourchette pour qu’une variation de 2 points à l’intérieur du bruit ne lance pas un débat, et placez le taux corrigé là où la direction voit déjà le chiffre de l’éditeur. Il a aussi sa place dans votre ensemble plus large d’indicateurs de performance des agents IA et dans la vue hebdomadaire décrite dans notre guide sur le monitoring des agents IA.

Quand un audit complet des résolutions n’est-il pas pour vous ?

Un audit formel est disproportionné quand votre agent IA traite quelques centaines de conversations par mois : lisez-les toutes au lieu d’échantillonner. Il compte aussi moins quand l’agent ne répond qu’à des questions d’information, sans action et avec peu d’argent en jeu ; dans ce cas, un contrôle d’exactitude plus léger et un comptage des recontacts peuvent suffire.

Il ne remplace pas non plus l’évaluation de chaque conversation. Un échantillon de 400 conversations vous donne le taux ; il vous montrera rarement une défaillance qui touche 1 client sur 500. Pour trouver ces cas un par un, il vous faut une couverture complète, ce que notre dossier sur l’évaluation des agents IA en production explique avec le calcul de taille d’échantillon.

Par où commencer un audit des résolutions cette semaine

Vous pouvez mener le premier audit en une semaine avec un tableur, un évaluateur et un accès en lecture seule à deux systèmes. L’objectif de la première semaine n’est pas un chiffre parfait, mais un premier taux corrigé et la liste des défaillances qui l’expliquent.

1. Lundi : écrivez la définition de la résolution de votre éditeur, et vos quatre contrôles avec un exemple de réussite et d’échec pour chacun.
2. Mardi : exportez les conversations résolues du mois dernier, stratifiez-les par motif de contact et tirez-en 400 au hasard.
3. Mercredi : demandez des exports en lecture seule de la facturation ou du système de commandes, et l’historique des contacts pour les identifiants clients échantillonnés.
4. Jeudi et vendredi : remplissez la fiche ; faites évaluer 40 conversations deux fois et comparez les verdicts.
5. Lundi suivant : calculez le taux corrigé et le coût par résolution correcte, et confiez chaque type d’échec à un responsable.

Une fois que l’audit a montré où les résolutions cassent, l’étape suivante consiste à détecter ces défaillances sur chaque conversation, pas seulement dans un échantillon mensuel. AutoPilot de Kaizo évalue chaque conversation résolue selon votre propre grille d’évaluation, et chaque note renvoie aux preuves dans la conversation ; notre page sur le contrôle qualité des agents IA montre comment cela fonctionne. Voyez-le sur les conversations de votre propre agent IA. Réserver une démo.

Questions fréquentes

Le taux de résolution est-il la même chose que le taux de contention ?

Non. Le taux de contention compte les conversations terminées sans transfert vers un humain. Le taux de résolution, tel que les éditeurs le définissent, ajoute en général la condition que le client n’ait pas redemandé d’aide dans une fenêtre de temps. Aucun des deux ne vérifie que la réponse était juste, c’est pourquoi les deux ont besoin d’un audit à côté.

Quel est un bon taux de résolution pour un agent IA ?

Il n’existe pas de référence fiable, car les éditeurs définissent la résolution différemment et changent leurs définitions au fil du temps. Comparez plutôt votre propre taux de résolution corrigé d’un mois sur l’autre. Un taux éditeur plus bas avec un faible écart par rapport au taux audité est plus sain qu’un taux élevé qui se divise par deux à l’audit.

Un contrôle par LLM peut-il remplacer un audit humain des résolutions ?

Il peut couvrir davantage de conversations, et certains éditeurs en utilisent déjà un pour vérifier les résolutions. Mais un contrôle qui ne lit que le texte de la conversation ne voit ni les données des systèmes ni les contacts ultérieurs par d’autres canaux. Calibrez tout juge LLM par rapport à des verdicts humains, et gardez dans l’audit les contrôles dans les systèmes et sur le recontact.

À quelle fréquence faut-il auditer les résolutions d’un agent IA ?

Une fois par mois est un bon rythme par défaut, avec un audit supplémentaire après tout changement des prompts, des connaissances, des actions ou du périmètre de l’agent. Tirez l’échantillon au moins 7 jours après la fin du mois pour que chaque conversation ait sa fenêtre de recontact complète. Les motifs à risque peuvent justifier un contrôle hebdomadaire.

Faut-il payer les résolutions présumées qui échouent à votre audit ?

Cela dépend de votre contrat, et c’est pourquoi l’audit compte au moment du renouvellement. Votre taux corrigé et votre coût par résolution correcte vous donnent des éléments pour la discussion avec l’éditeur. Demandez comment sa définition traite les retours par d’autres canaux et les actions qui n’ont jamais eu lieu.

Qui doit être responsable de l’audit des résolutions ?

L’équipe qui répond des résultats pour les clients, en général la qualité CX ou les opérations support. Le responsable garde les définitions stables et envoie chaque type d’échec à qui peut le corriger : les connaissances, l’équipe technique ou la conception de l’escalade.