Les outils d’évaluation des agents IA vérifient si les réponses d’un agent IA sont justes, autorisées et bien traitées ; les outils de monitoring continuent de le surveiller une fois qu’il parle aux clients. Les équipes support en utilisent quatre types : les outils d’evals et d’observabilité pour développeurs comme LangSmith et Langfuse, les tests intégrés à Zendesk, Salesforce et Intercom, les outils de test de chatbot et les outils de QA des conversations, qui notent les vraies conversations clients selon votre propre standard.
En bref
- La plupart des listes d’outils d’évaluation des agents IA sont écrites pour des ingénieurs : LangSmith, Langfuse, Arize Phoenix, Braintrust et DeepEval tracent et testent l’agent, mais leurs scores correspondent rarement à une grille de support.
- Zendesk, Salesforce Agentforce et Intercom Fin proposent chacun des tests pour leur propre agent IA. Utiles avant une mise en production, ils s’arrêtent à leur plateforme.
- Les outils de test de chatbot comme Botium et Promptfoo exécutent à grande échelle des jeux de tests scénarisés et adverses. Ils testent ce que vous avez prévu, pas ce que les clients ont fait.
- Les outils de QA des conversations notent les vraies conversations résolues selon votre grille, avec une preuve pour chaque note. C’est la couche que pilote le responsable QA.
- La plupart des équipes qui ont un agent IA en production ont besoin d’un outil avant la mise en production et d’un autre après. Choisissez selon la question à laquelle vous ne savez pas répondre aujourd’hui.
Ce guide s’adresse aux responsables du support, aux responsables QA et aux équipes support ops, pas aux ingénieurs qui construisent l’agent. Si vous avez d’abord besoin de la méthode, lisez notre guide sur l’évaluation des agents IA. Si vous savez déjà que vous voulez noter chaque conversation de votre agent IA, voyez comment fonctionne le contrôle qualité des agents IA dans Kaizo.
À quoi servent les outils d’évaluation des agents IA pour une équipe support ?
Les outils d’évaluation des agents IA donnent à une équipe support la preuve que son agent IA répond juste, respecte les règles et transfère quand il le faut. Ils interviennent à deux moments : sur des conversations de test avant la mise en ligne d’un changement, et sur les vraies conversations clients après le lancement. Un outil qui compte seulement les résolutions automatisées mesure un volume, pas une qualité.
Les noms d’outils recherchés se recoupent. Voici ce qu’ils désignent le plus souvent :
| Ce que l’on cherche | Ce que fait l’outil | La question à laquelle il répond |
|---|---|---|
| Outils d’évaluation des agents IA | Note les réponses selon des critères écrits, en test ou en production | La réponse était-elle juste et autorisée ? |
| Outils de monitoring des agents IA | Surveille les conversations en direct et déclenche des alertes | Quelque chose se passe-t-il mal en ce moment ? |
| Outils d’observabilité des agents IA | Enregistre chaque étape d’une exécution : appels au modèle, appels d’outils, coût, latence | Pourquoi cette exécution a-t-elle échoué ? |
| Outils de test d’agents IA et de chatbot | Rejoue des conversations scénarisées ou simulées avant une mise en production | Ce changement casse-t-il quelque chose ? |
Les listes d’outils qui se classent aujourd’hui comparent la profondeur des traces, les pipelines CI et le suivi des coûts. Dans les trois que nous avons lues le 19 novembre 2026 (MLflow, Amplitude et Sematext), aucune ne parle de CSAT, d’escalade ni de transfert vers un humain. C’est pourtant ce dont un responsable du support doit rendre compte.
Quels outils d’évaluation et de monitoring des agents IA existent ?
Il existe quatre catégories d’outils d’évaluation et de monitoring des agents IA : les plateformes d’evals et d’observabilité pour développeurs, les tests et analyses intégrés à la plateforme de l’agent, les outils de test de chatbot et les outils de QA des conversations. Elles diffèrent par leurs utilisateurs, par les conversations qu’elles regardent (test ou réelles) et par la définition du “bon” qu’elles appliquent.
| Catégorie | Exemples | Utilisateur principal | Regarde | Où elle s’arrête pour le support |
|---|---|---|---|---|
| Evals et observabilité pour développeurs | LangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEval | Ingénieurs IA | Traces, jeux de données de test, une partie du trafic réel | Les critères sont dans le code ; aucun lien avec votre grille ou le CSAT |
| Tests de la plateforme | Agents IA Zendesk, Salesforce Agentforce Testing Center, Intercom Fin Evals | Responsable de l’agent IA | Conversations de test et simulées | Une seule plateforme, et seulement les cas que quelqu’un a écrits |
| Tests de chatbot | Cyara Botium, Promptfoo | Ingénieurs QA, équipe IA | Jeux de tests scénarisés et adverses | Teste ce qui était prévu, pas ce que les clients ont demandé |
| QA des conversations | Zendesk QA, Kaizo | Responsable QA, support ops | Vraies conversations résolues | Intervient après la conversation, pas avant une mise en production |
La plupart des équipes enterprise finissent avec un outil de la première ou de la deuxième ligne pour l’équipe IA, et un de la dernière ligne pour le support.
Que montrent les outils d’observabilité des agents IA comme LangSmith et Langfuse ?
Les outils d’observabilité des agents IA comme LangSmith et Langfuse montrent ce qui s’est passé dans chaque exécution : quel modèle et quels outils l’agent a appelés, dans quel ordre, pour quel coût et où il a échoué. La plupart ajoutent désormais des evals, avec jeux de données, juges LLM et relecture humaine. Votre grille de support n’y est pas intégrée.
Ce que dit la documentation de chaque éditeur, vérifiée le 19 novembre 2026 :
| Outil | Ce qu’il fait selon sa documentation | Bon à savoir |
|---|---|---|
| LangSmith (LangChain) | Évaluation hors ligne sur des jeux de données choisis avant la mise en ligne, évaluation en ligne des vraies interactions, LLM-as-judge et relecture humaine | Les traces de production en échec peuvent être ajoutées à un jeu de données : les échecs réels deviennent des tests |
| Langfuse | Traces, LLM-as-a-judge sur des traces de production ou de développement, files d’annotation pour la relecture humaine, jeux de données, gestion des prompts | Open source et auto-hébergeable |
| Arize Phoenix | Traces, évaluations, jeux de données et expériences | Basé sur OpenTelemetry, développé par Arize AI et la communauté open source |
| Braintrust | Se présente comme une plateforme d’observabilité pour agents : expériences, monitoring en production, retours humains pour constituer des jeux de données | Fort pour comparer prompts et modèles |
| DeepEval | Package d’evals open source qui s’intègre à Pytest et tourne en local | Confident AI, de l’équipe derrière DeepEval, ajoute en option les traces de production |
Pour un responsable du support, ces outils comptent parce que votre équipe IA en utilise déjà un. Ils s’arrêtent à trois endroits. Les critères sont écrits en code par des ingénieurs, donc “manquement à la politique” signifie ce que l’évaluateur vérifie. Ils voient des traces, pas des tickets : le CSAT, les réouvertures et les réclamations sont dans un autre système. Et ils sont faits pour déboguer une exécution, pas pour dire combien de clients ont reçu une mauvaise réponse la semaine dernière.
Demandez trois choses à votre équipe IA : la liste des évaluateurs avec une définition d’une ligne chacun, le taux d’échec par critère et un échantillon hebdomadaire de conversations en échec rattachées à votre grille.
Quels outils de test d’agents IA sont intégrés à Zendesk, Salesforce et Intercom ?
Zendesk, Salesforce et Intercom proposent chacun des outils de test pour leur propre agent IA. Zendesk a un widget de test, Salesforce l’Agentforce Testing Center, Intercom les Evals et le Batch test pour Fin. C’est le moyen le plus rapide de tester un changement avant sa mise en ligne, et ils ne couvrent que les agents construits sur cette plateforme.
| Plateforme | Tests intégrés selon la documentation de l’éditeur | Où ça s’arrête |
|---|---|---|
| Agents IA Zendesk | Un widget de test simule l’expérience client et teste les flux de dialogue. Les conversations de test sont enregistrées dans les journaux de conversation et ne comptent pas comme résolutions automatisées. | Le widget n’est pas intégré à votre CRM ; Zendesk conseille de tester les événements CRM dans le Web Widget |
| Salesforce Agentforce | Le Testing Center exécute des jeux de tests et marque chaque test réussi ou échoué sur le sous-agent choisi, les actions effectuées et la réponse, avec un taux de réussite pour chacun | Compare au résultat attendu que vous avez écrit pour chaque test |
| Intercom Fin | Les Evals regroupent des simulations multi-tours d’un client qui parle à Fin ; un juge LLM note chacune selon les contrôles que vous définissez, transfert compris. Jusqu’à 50 simulations par Eval, avec une limite mensuelle liée au volume de conversations. Le Batch test vérifie des questions à un seul tour que vous notez à la main ; depuis le 5 novembre 2026, les nouveaux workspaces utilisent les Evals à la place. | Des clients simulés, pas réels |
Si votre agent IA tourne sur l’une de ces plateformes, commencez ici avant d’acheter quoi que ce soit. La limite est la même pour les trois : ils testent les cas que quelqu’un a écrits. La conversation qui vous coûte cher est souvent celle que personne n’avait prévue.
Quels outils de test de chatbot restent utiles pour les agents IA ?
Les outils de test de chatbot restent utiles quand vous modifiez souvent un agent IA et devez rejouer des centaines de cas de régression toujours de la même façon. Cyara Botium couvre les tests fonctionnels et de régression pour chatbots, voicebots et SVI. Promptfoo est un outil open source en ligne de commande pour évaluer et attaquer (red teaming) des applications LLM dans un pipeline CI/CD.
- Cyara Botium vise les équipes de centre de contact qui testent ensemble chatbots et parcours SVI, avec des régressions après chaque mise à jour.
- Promptfoo convient à une équipe IA qui veut ses cas de test dans un fichier à côté du code, avec du red teaming contre l’injection de prompt et d’autres attaques.
- Un tableur de 50 vraies conversations avec un résultat attendu par ligne reste le bon point de départ pour la plupart des équipes support.
Le contenu du jeu de tests compte plus que l’outil. Nos guides pour tester un chatbot et sur les tests d’agents IA montrent comment construire des cas à partir de vrais tickets et les rejouer avant chaque changement.
Comment les outils de QA des conversations notent-ils les agents IA ?
Les outils de QA des conversations notent les vraies conversations clients, traitées par des humains ou par l’IA, selon une grille écrite, une fois chaque conversation terminée. Chaque note doit renvoyer aux lignes qui la justifient, et des relecteurs vérifient une partie des notes pour garder la notation automatique calibrée. C’est la seule catégorie qui montre ce que l’agent IA a vraiment fait avec les clients.
Deux exemples, tels que chaque éditeur les décrit :
- Zendesk QA détecte automatiquement les agents IA Zendesk, permet aux relecteurs de noter les conversations de bots sur une grille et les évalue automatiquement quand l’autoscoring est activé, selon son centre d’aide. Nous comparons les deux outils sur notre page alternative à Zendesk QA.
- Kaizo note 100 % des conversations de votre agent IA selon votre propre grille, celle qui sert déjà à évaluer votre équipe, et relie chaque note à la preuve dans la conversation. AutoPilot note chaque conversation au moment où elle est résolue. Vous testez la notation sur les évaluations historiques de votre équipe avant la mise en service, et les relecteurs gardent les conversations qui demandent du jugement. Kaizo fonctionne dans Zendesk et Salesforce ; dans Zendesk, cela inclut les conversations traitées par les agents IA de Zendesk.
Un outil de QA des conversations n’exécute pas de tests avant la mise en production. Il travaille sur des conversations terminées : il complète donc les outils ci-dessus au lieu de les remplacer. Chaque échec qu’il trouve devient un cas de test pour la prochaine version.
Que doit chercher un responsable du support dans les outils de monitoring des agents IA ?
Un responsable du support doit chercher des outils de monitoring des agents IA qui notent les vraies conversations selon le standard de l’équipe, vérifient les règles et les transferts, montrent la preuve derrière chaque note et laissent les relecteurs calibrer. Les tableaux de bord de vitesse, de latence et de coût aident les ingénieurs, mais ne disent pas si le client a reçu la bonne réponse.
Posez ces questions dans chaque démo :
| À vérifier | Question à poser en démo | Pourquoi c’est important |
|---|---|---|
| Vraies conversations | “Montrez-moi les conversations IA résolues la semaine dernière, notées.” | Les tests ne couvrent que les cas prévus |
| Votre propre standard | “Mon responsable QA peut-il écrire et modifier les critères sans ingénieur ?” | Les règles changent chaque semaine ; les critères codés prennent du retard |
| Règles et base de connaissances | “Comment l’outil vérifie-t-il une réponse par rapport à notre centre d’aide et nos règles ?” | Les remboursements et exceptions inventés sont les erreurs coûteuses |
| Transferts | “Note-t-il si l’agent IA a escaladé au bon déclencheur et transmis le contexte ?” | Un transfert manqué ressemble à une résolution dans le tableau de bord |
| Preuve par note | “Cliquez sur cette note en échec. Où est la ligne qui l’explique ?” | Sans preuve, personne ne peut agir ni contester une note |
| Calibrage | “Comment compare-t-on les notes automatiques à celles de nos relecteurs ?” | Un LLM as a judge non calibré dérive sans bruit |
| Couverture | “Quelle part des conversations note-t-il ?” | Un échantillon de 2 % rate souvent une erreur que l’agent répète |
| Humains et IA ensemble | “Les agents humains et IA peuvent-ils partager une grille ?” | Les files hybrides ont besoin d’un seul standard pour comparer les deux |
| Résultat client | “Puis-je voir les notes à côté du CSAT, des réouvertures et des réclamations ?” | Une qualité qu’on ne relie pas aux clients se finance mal |
Comment évaluer agents humains et agents IA dans la même file ?
Dans une file hybride, évaluez agents humains et agents IA sur une seule grille : des critères communs comme une réponse juste et le bon ton gardent les résultats comparables, et des critères en plus couvrent les points faibles d’un bot, comme l’ancrage dans vos contenus, le périmètre, les limites des règles et l’escalade. Notez le transfert des deux côtés, car c’est là que les files hybrides perdent des clients.
Les outils pour développeurs ne voient que la moitié IA de la conversation ; la moitié humaine est dans le helpdesk. Un outil de QA des conversations lit tout le fil : ce que l’agent IA a dit, quand il a transféré, quel contexte il a transmis et ce qu’a fait ensuite l’agent humain. Notre grille d’évaluation pour agent IA indique quels critères humains garder, lesquels retirer et lesquels ajouter pour un bot.
Exemple : une conversation d’agent IA, notée avec preuves
Voici une illustration (une conversation inventée, pas celle d’un vrai client) de ce qu’un responsable du support devrait obtenir d’un outil d’évaluation. Un client demande à l’agent IA le remboursement d’une commande livrée il y a 40 jours. La politique de remboursement prévoit 30 jours.
Client : Ma commande est arrivée il y a 40 jours et elle est cassée. Je veux être remboursé. Agent IA : Désolé de l’apprendre ! J’ai effectué un remboursement complet, vous le verrez sous 3 à 5 jours.
| Critère | Résultat | Preuve |
|---|---|---|
| Réponse juste | Échec | Remboursement promis hors du délai de 30 jours |
| Limites des règles | Échec (critique) | “J’ai effectué un remboursement complet” : aucune exception approuvée |
| L’action correspond au système | Échec | Aucun remboursement enregistré sur la commande |
| Escalade | Échec | Un article endommagé après 30 jours doit passer à un agent humain |
| Ton | Réussi | S’excuse et répond en un seul message |
Une trace développeur montrerait une exécution réussie : le modèle a répondu, sans erreur, avec une faible latence. Un rapport de containment compterait une victoire. Seule une grille avec preuve à l’appui révèle un manquement aux règles qui se répétera à chaque fois que la même question arrivera, et donne au responsable du prompt ou de l’article d’aide une ligne précise à corriger.
Kaizo automatise déjà ce type de notation dans la QA du support. Chez UiPath, 100 % de la QA est automatisée avec Kaizo, avec un ROI de 200 % et une hausse de 8 % du score qualité ; ces résultats viennent de sa QA support, pas de conversations d’agents IA.
Voyez-le sur les conversations d’un agent IA. Kaizo note chaque conversation d’un agent IA selon votre grille et relie chaque note à sa preuve. Réserver une démo.
De quels outils d’évaluation des agents IA votre équipe a-t-elle besoin ?
Choisissez vos outils d’évaluation des agents IA selon la question à laquelle vous ne savez pas répondre aujourd’hui. Si les ingénieurs ne peuvent pas déboguer une exécution ratée, commencez par l’observabilité. Si les changements partent sans test de régression, commencez par les tests de la plateforme ou un outil de test. Si personne ne sait combien de conversations IA résolues étaient fausses la semaine dernière, commencez par la QA des conversations.
| Votre situation | Commencez par | Ajoutez ensuite |
|---|---|---|
| Agent IA sur une plateforme, peu de motifs, moins de quelques centaines de conversations par semaine | Les tests de la plateforme, plus une heure par semaine à lire les transcriptions | La QA des conversations quand le volume augmente |
| Agent IA développé en interne, mises en production chaque semaine | Un outil d’evals et d’observabilité pour développeurs | La QA des conversations pour la vue support |
| Changements fréquents, nombreux motifs, peur des régressions | Un outil de test avec un jeu de régression construit sur de vrais échecs | Les échecs de production qui alimentent ce jeu |
| Des centaines d’agents, humains et IA dans les mêmes files | La QA des conversations avec une grille pour les deux | Les outils développeurs au sein de l’équipe IA |
Pour savoir quoi surveiller une fois l’agent en ligne, comme les seuils d’alerte et une revue hebdomadaire, consultez notre guide sur le monitoring des agents IA.
Quand ces outils ne sont pas pour vous
Si votre agent IA traite quelques dizaines de conversations par semaine, vous n’avez pas encore besoin d’un outil : lisez chaque conversation avec une courte checklist, une heure par semaine. Si vous n’avez pas de standard écrit de ce qu’est une bonne réponse, écrivez d’abord la grille, car tous les outils de cette page en ont besoin. Et si ce qu’il vous faut est une suite de tests qui bloque une mise en production dans votre pipeline CI, un outil de QA des conversations comme Kaizo n’est pas le premier achat : il note les conversations une fois terminées.
Tester un agent vocal avec des appels de test scénarisés relève encore d’une autre catégorie, plus proche des tests de charge de centre de contact que des outils ci-dessus.
Questions fréquentes
Quel est le meilleur outil d’évaluation des agents IA pour le service client ?
Il n’y a pas de meilleur outil unique, car chaque catégorie répond à une question différente. Les outils pour développeurs comme LangSmith ou Langfuse conviennent à l’équipe IA qui construit l’agent. Pour un responsable du support, le plus utile est celui qui note les vraies conversations clients selon votre propre grille, avec une preuve pour chaque note.
Existe-t-il des outils gratuits ou open source pour évaluer les agents IA ?
Oui. Langfuse se présente comme open source et auto-hébergeable, Arize Phoenix est développé par Arize AI et la communauté open source, et DeepEval et Promptfoo sont des packages open source. Ils ne coûtent pas de licence, mais demandent du temps d’ingénierie pour l’installation et la maintenance.
Un même outil peut-il tester un chatbot et un agent IA basé sur un LLM ?
En partie. Les outils de tests scénarisés fonctionnent pour les deux, mais un agent basé sur un LLM formule ses réponses différemment à chaque exécution, donc les vérifications de correspondance exacte échouent. Il vous faut des évaluateurs qui jugent le sens, comme un juge LLM calibré sur des relecteurs humains, et plusieurs exécutions du même test.
Faut-il un outil d’évaluation si mon helpdesk rapporte déjà les résolutions de l’agent IA ?
Oui, dès que l’agent IA parle à un nombre significatif de clients. Un rapport de résolutions compte les conversations qui n’ont pas atteint un humain ; il ne vérifie pas si la réponse était juste ou autorisée. Une mauvaise réponse qui clôt la conversation ressemble à une bonne.
Qui doit piloter les outils d’évaluation des agents IA, le support ou l’ingénierie ?
Les deux, avec des outils différents. L’ingénierie pilote les tests et les traces qui bloquent une mauvaise mise en production. Le support pilote la grille et la notation des vraies conversations, parce qu’il répond de ce qui a été dit aux clients et rédige les règles que l’agent doit suivre.
À quelle fréquence faut-il noter les conversations d’un agent IA ?
En continu, à mesure que chaque conversation est résolue, avec une revue hebdomadaire des résultats. Rejouez votre jeu de tests avant chaque changement de prompt, de modèle ou de contenu. Calibrez la notation automatique sur des relecteurs humains au moins une fois par mois et après chaque changement de grille.
Les outils de cette page partagent le travail entre l’équipe qui construit l’agent IA et celle qui en répond. Si vous voulez que chaque conversation de votre agent IA soit notée selon le même standard que vos équipes, avec la preuve à un clic, découvrez le contrôle qualité des agents IA de Kaizo ou réservez une démo.







