Le contrôle qualité des agents vocaux IA consiste à évaluer les appels que traite votre voicebot par rapport à un standard écrit, une fois chaque appel terminé.
Vous savez ainsi s’il a compris l’appelant, donné une réponse juste et autorisée, et transféré vers un conseiller quand il le fallait. Il vous faut une grille d’évaluation avec des critères propres à la voix, une transcription de chaque appel et un moyen de tous les évaluer plutôt qu’un échantillon.
En bref
- Un agent vocal échoue d’une manière qu’un chatbot ne connaît pas (chiffres mal compris, coupures de parole, transferts perdus) : sa grille ajoute donc des critères sur la reconnaissance, la reformulation, l’escalade et l’information de l’appelant.
- Un petit échantillon aléatoire d’appels passe souvent à côté des erreurs d’un agent vocal, car elles se concentrent sur un seul motif d’appel et se répètent.
- Six étapes suffisent : les motifs à risque d’abord, la grille, les transcriptions, l’évaluation de chaque appel, le transfert, puis une nouvelle évaluation après chaque correction.
- Depuis le 2 août 2026, le règlement sur l’IA (AI Act) impose d’informer les appelants qu’ils parlent à une IA, et les règles américaines sur l’enregistrement des appels s’appliquent toujours.
- Les tests avant lancement et le contrôle qualité des appels réels sont deux étapes différentes, et il vous faut les deux.
Ce guide est la version vocale de notre guide général sur le contrôle qualité des agents IA. Côté produit, la page sur le contrôle qualité des agents IA montre comment Kaizo évalue les conversations des agents IA avec la même grille que celles de votre équipe.
Qu’est-ce qui change dans le contrôle qualité d’un agent vocal IA ?
Le contrôle qualité d’un agent vocal IA vérifie ce que le bot a entendu autant que ce qu’il a dit, car un agent vocal transforme la parole en texte avant de répondre. Une erreur à cette première étape fausse tout ce qui suit. Un chatbot lit ce que le client a tapé ; un agent vocal devine.
Cela ajoute trois types d’erreurs que le contrôle qualité des échanges écrits ne voit jamais :
- Les erreurs de reconnaissance. Le bot entend « quinze » au lieu de « seize », se trompe d’un chiffre dans un numéro de commande ou écorche un nom de famille. La réponse qui suit peut s’appuyer parfaitement sur vos contenus et porter quand même sur la mauvaise commande.
- Le rythme de la conversation. Le bot répond avant que l’appelant ait fini, laisse de longs silences ou continue de parler quand l’appelant tente de l’interrompre. Sur la transcription d’un chat, rien de tout cela n’existe.
- Le transfert. Au téléphone, le transfert se fait en direct. Si le contexte ne suit pas l’appel, l’appelant répète tout à un conseiller qui paraît déjà mal préparé.
Le reste est identique pour tout agent IA : la réponse doit être juste, venir de vos propres contenus, respecter votre politique et déclencher l’escalade au bon moment. Nous détaillons ces critères communs dans la grille d’évaluation des agents IA, et le transfert dans l’évaluation du transfert entre l’IA et le conseiller.
Quelles erreurs la grille d’un agent vocal doit-elle repérer ?
La grille d’un agent vocal doit repérer les mauvaises réponses, les règles inventées, les informations mal comprises, les actions non confirmées, les escalades manquées et l’absence d’information sur l’IA. Pour chaque critère, elle indique aussi si la transcription suffit ou si l’audio est nécessaire, car cela détermine votre façon d’évaluer.
Voici une grille à copier et à adapter. Les quatre premières lignes sont celles sur lesquelles vos conseillers sont déjà évalués, ce qui garde les deux séries de résultats comparables.
| Critère | Ce qu’il vérifie | Évalué pour | La transcription suffit-elle ? |
|---|---|---|---|
| Réponse juste | La réponse règle la question de l’appelant | Conseillers et agents IA | Oui |
| Limites de la politique | Aucun remboursement, geste commercial ou exception inventé | Conseillers et agents IA | Oui |
| Identité vérifiée | Les contrôles requis ont eu lieu avant de communiquer des informations sur le compte | Conseillers et agents IA | Oui |
| Ton | Il ressemble à votre marque, pas à un script | Conseillers et agents IA | En partie : le débit et les coupures de parole demandent l’audio |
| Reformulation des informations clés | Les chiffres, dates, noms et montants ont été répétés à l’appelant pour confirmation | Agents IA | Oui |
| Reconnaissance | Ce sur quoi le bot a agi correspond à ce que l’appelant a dit | Agents IA | Non : comparez l’audio et la transcription sur les appels en échec |
| Ancrage dans vos contenus | Chaque information vient de votre base de connaissances | Agents IA | Oui |
| Escalade | Il a proposé un conseiller au bon moment, y compris quand l’appelant a dit deux fois « conseiller » ou « humain » | Agents IA | Oui |
| Transfert | Le contexte a suivi le transfert et le conseiller l’a repris | Agents IA et conseillers | Oui, si les deux parties de l’appel sont dans un même dossier |
| Information sur l’IA | L’appelant a été informé dès le début qu’il parlait à une IA | Agents IA | Oui |
La reformulation est la correction la moins chère pour l’effet le plus grand. Un agent vocal qui répète « Donc la commande 4-8-1-7, un remboursement de 15 dollars, c’est bien ça ? » transforme une erreur de reconnaissance invisible en une correction que l’appelant fait pour vous. Évaluez-la sur chaque appel qui modifie un compte, encaisse un paiement ou réserve quelque chose.
Pourquoi un échantillon d’appels rate-t-il les erreurs d’un voicebot ?
Un échantillon aléatoire rate les erreurs d’un voicebot parce qu’elles se concentrent sur un seul motif d’appel et se répètent. Un défaut qui gâche une grande part d’un type d’appel reste une petite part de l’ensemble des appels. Le calcul ci-dessous montre à quelle fréquence un échantillon classique ne voit rien.
Exemple chiffré (chiffres illustratifs, pas des données Kaizo). Votre agent vocal traite 12 000 appels par mois et votre équipe relit un échantillon aléatoire d’un appel sur 50, soit 240 appels. Un appel sur 20 concerne un remboursement, soit 600 appels.
Après un changement de politique, le bot donne le mauvais délai de remboursement sur un appel de remboursement sur dix : 60 appels, soit un appel sur 200.
| Valeur | |
|---|---|
| Appels par mois | 12 000 |
| Appels relus (échantillon de 2 %) | 240 |
| Appels de remboursement avec une mauvaise réponse | 60 (0,5 % de tous les appels) |
| Nombre attendu d’appels de remboursement erronés dans l’échantillon | 1,2 |
| Probabilité que l’échantillon n’en contienne aucun | environ 30 % |
| Probabilité qu’il en contienne un au plus | environ 66 % |
Les deux dernières lignes découlent de la loi binomiale : la probabilité de n’en tirer aucun est 0,995 puissance 240, soit environ 0,30.
Environ deux mois sur trois, vos évaluateurs voient un seul mauvais appel de remboursement ou aucun, ce qui ressemble à du bruit. Évaluer chaque appel transforme le même défaut en 60 appels en échec sur un même critère, transcriptions à l’appui.
La version générale de ce raisonnement, avec les formules, se trouve dans why a 3% QA sample cannot support agent-level decisions (en anglais).
Le contrôle qualité des agents vocaux IA en six étapes
Pour le contrôle qualité des agents vocaux IA, commencez par les motifs d’appel coûteux, rédigez une grille avec des critères vocaux, obtenez une transcription de chaque appel, évaluez tous les appels, vérifiez les transferts et réévaluez après chaque correction.
Étape 1 : lister les motifs d’appel à risque
Récupérez les motifs d’appel que traite votre agent vocal et repérez ceux où une erreur coûte de l’argent ou de la confiance : remboursements, paiements, résiliations, changements d’adresse, prises de rendez-vous et tout ce qui touche à l’identité. Ils sont évalués en premier et relus le plus souvent.
Étape 2 : rédiger la grille
Partez du tableau ci-dessus. Gardez les critères que vos conseillers partagent avec le bot, ajoutez les critères vocaux et formulez chaque critère comme une question fermée, à laquelle une IA ou un évaluateur peut répondre par oui ou par non à partir de l’appel. Notre guide pour writing a QA rubric an AI can score (en anglais) montre comment les formuler.
Étape 3 : obtenir une transcription de chaque appel
L’évaluation a besoin de texte. Vérifiez que chaque appel de l’agent vocal aboutit à un enregistrement et à une transcription dans le système où se trouvent les appels de votre équipe, et que la transcription indique qui a dit quoi. Si les appels du bot restent dans une console fournisseur à part, vos résultats humains et IA ne seront jamais dans un même rapport.
Étape 4 : évaluer chaque appel, pas un échantillon
Évaluez tous les appels de l’agent vocal avec la grille, avec pour chaque note un commentaire qui renvoie à la phrase concernée.
Confiez à vos évaluateurs les appels en échec sur un critère à fort poids, ainsi qu’une sélection d’appels réussis, pour contrôler l’évaluation elle-même. Avant de vous fier aux notes automatiques, comparez-les à vos propres évaluations passées, comme l’explique how to validate AI QA scoring (en anglais).
Étape 5 : vérifier les transferts
Filtrez les appels que l’agent vocal a transférés et ceux où l’appelant a demandé un conseiller. Évaluez si le bot a déclenché l’escalade au bon moment, si le contexte est parvenu au conseiller et si l’appelant a dû se répéter.
Regardez ensuite les appels terminés sans transfert et sans résolution : un appelant qui raccroche est souvent compté comme pris en charge par le bot.
Étape 6 : corriger, puis réévaluer
Remontez chaque échec jusqu’à sa cause : un article de la base de connaissances, un prompt, une reformulation manquante, une règle d’escalade ou un problème de reconnaissance vocale sur un type d’information. Corrigez-le, puis suivez ce critère sur le même motif d’appel pendant la semaine suivante.
Corriger une réponse peut en dégrader une autre, ce que vous ne voyez que si vous continuez à évaluer tous les appels.
Voyez-le en démo. Kaizo évalue les appels, les chats et les e-mails avec une seule grille, et évalue les conversations des agents IA avec la même grille que celles de votre équipe. Parlons-en.
Que demande la loi à un agent vocal IA ?
Dans l’UE, un agent vocal doit indiquer clairement aux appelants qu’ils parlent à une IA, dès le début de l’appel, depuis le 2 août 2026. Aux États-Unis, les règles habituelles sur l’enregistrement des appels s’appliquent, et les appels sortants passés par une voix IA relèvent des règles sur les appels automatisés (robocalls).
| Règle | Ce qu’elle signifie pour un agent vocal | Source |
|---|---|---|
| Règlement sur l’IA, article 50, paragraphe 1 | Les fournisseurs doivent concevoir les systèmes d’IA qui interagissent directement avec des personnes de sorte que ces personnes soient informées qu’elles interagissent avec une IA, sauf si cela est évident. Applicable à partir du 2 août 2026. | Règlement (UE) 2024/1689 sur EUR-Lex |
| Orientations de la Commission sur l’article 50 | L’information est due dès le début de la première interaction, de manière claire et accessible ; les chatbots et les agents IA sont cités en exemple. | FAQ de la Commission européenne sur l’article 50 |
| Loi fédérale américaine sur l’enregistrement | L’enregistrement est autorisé avec le consentement d’une seule partie, selon le 18 U.S.C. § 2511(2)(d). | Cornell LII |
| Lois des États américains sur l’enregistrement | Certains États, dont la Californie, exigent le consentement de toutes les parties. | California Penal Code § 632 |
| Appels sortants aux États-Unis | La FCC a décidé le 8 février 2024 que les voix générées par IA sont « artificielles » au sens du TCPA, si bien que les règles de consentement applicables aux robocalls s’appliquent. | Annonce de la FCC |
Ce tableau est un résumé, pas un avis juridique.
Pour le contrôle qualité, la conséquence pratique est simple : faites de l’information sur l’IA et de l’annonce d’enregistrement des critères de la grille, pour pouvoir montrer qu’elles ont été données sur chaque appel au lieu de le supposer. Les orientations et les règles nationales peuvent encore évoluer : vérifiez la situation à jour avec votre conseil juridique avant de vous lancer sur un nouveau marché.
Tests avant lancement ou contrôle qualité après l’appel
Les tests avant lancement vérifient l’agent vocal sur des appels scénarisés dans un environnement contrôlé ; le contrôle qualité après l’appel vérifie ce qu’il a réellement fait avec de vrais appelants. Ils repèrent des problèmes différents, et un agent vocal a besoin des deux.
| Tests avant lancement | Contrôle qualité des appels réels | |
|---|---|---|
| Entrée | Appels de test scénarisés ou simulés | Appels réels de vrais clients |
| Quand | Avant la mise en production et après chaque modification des prompts ou des parcours | Après la fin de chaque appel |
| Ce qu’ils repèrent | Parcours cassés, régressions de prompt, latence sous forte charge | Accents et bruit réels, nouvelles questions, dérive par rapport à la politique, transferts ratés |
| Responsable | L’équipe qui construit le bot | La QA et les opérations support |
| Outil type | Une suite de tests ou un outil de simulation | Une plateforme de QA avec une grille d’évaluation |
Kaizo se situe dans la deuxième colonne. Il évalue les conversations une fois terminées, et son site le dit clairement.
Tester un agent vocal avant le lancement avec des appels de test scénarisés est une étape différente du contrôle qualité des conversations réelles. Si vous avez besoin d’écoute en direct ou de suggestions en temps réel pendant l’appel, il s’agit de real-time agent assist (en anglais), encore une autre catégorie.
Comment démarrer le contrôle qualité de votre agent vocal
Commencez cette semaine avec un seul motif d’appel : choisissez le plus risqué que traite votre agent vocal, rédigez dix critères à partir du tableau ci-dessus et évaluez chaque appel sur ce motif pendant deux semaines. Vous apprendrez davantage de ces appels que d’un mois d’échantillonnage sur tous les motifs.
Élargissez ensuite le périmètre motif par motif. Pour voir comment une seule grille couvre les conseillers, les chatbots et les appels, consultez la page sur le contrôle qualité des agents IA.
Questions fréquentes
Comment tester un agent vocal IA avant sa mise en service ?
Lancez des appels de test scénarisés sur vos motifs principaux et à risque, plus les cas difficiles : bruit de fond, accents, interruptions, chiffres dictés vite et appelants qui demandent un conseiller. Vérifiez les parcours, les réponses et le temps de réponse. Rejouez les mêmes tests après chaque modification du prompt ou du parcours : une correction peut casser autre chose.
Quels indicateurs comptent pour un agent vocal IA ?
Suivez des indicateurs de résultat comme le taux de containment, le taux de transfert et les rappels, mais jugez la qualité sur une grille : réponse juste, limites de la politique, reformulation des informations clés, escalade et transfert. Seul, le taux de containment compte comme un succès l’appelant qui a raccroché de guerre lasse. Notre guide sur le containment rate (en anglais) explique comment le lire sans vous tromper.
Peut-on évaluer les appels du voicebot et ceux des conseillers avec la même grille ?
Oui, pour les critères qui s’appliquent aux deux, comme la réponse juste, les limites de la politique, la vérification d’identité et le ton. Les résultats restent ainsi comparables, et vous voyez où le bot fait mieux ou moins bien que votre équipe. L’agent vocal reçoit ensuite des critères supplémentaires sur la reconnaissance, la reformulation, l’escalade et l’information sur l’IA.
Kaizo évalue-t-il les appels téléphoniques ?
Oui. Kaizo évalue les appels avec la même grille que les chats et les e-mails, et chaque offre inclut des résumés par IA et la transcription à la demande. Kaizo analyse une conversation une fois qu’elle est terminée et que le dossier est résolu : c’est donc un outil de contrôle qualité des appels réels a posteriori, pas un outil de supervision en direct.
Combien d’appels d’un agent vocal faut-il relire à la main ?
Évaluez automatiquement chaque appel si vous le pouvez, puis relisez à la main les appels en échec sur un critère à fort poids et une petite sélection d’appels réussis, pour contrôler l’évaluation. Si vous évaluez uniquement à la main, lisez d’abord chaque appel sur votre motif le plus risqué, car les erreurs d’un agent vocal se concentrent sur un motif et se répètent.
