Un appel d’offres (RFP) pour un agent IA doit vérifier que l’agent est digne de confiance à grande échelle, pas seulement ce qu’il sait faire. Ajoutez des questions sur la définition et la facturation d’une « résolution », l’accès aux transcriptions complètes et aux logs d’actions, l’export pour un contrôle qualité indépendant, les tests de non-régression, les contrôles de validation, les journaux d’audit, les incidents, le préavis de changement de modèle, les conditions sur les données et l’accompagnement au titre de l’AI Act.
En bref
- Les modèles d’appel d’offres des éditeurs sont solides sur les fonctionnalités, les canaux et les intégrations, et faibles sur la manière dont vous contrôlerez le travail de l’agent après la mise en production.
- La banque de questions ci-dessous compte 38 questions en 8 rubriques, chacune avec ce à quoi ressemble une bonne réponse et un signal d’alerte qui doit faire baisser la note ou mettre fin à la discussion.
- Traitez la définition de facturation d’une « résolution », l’accès aux transcriptions et aux logs, et le droit d’exporter les conversations pour votre propre contrôle qualité comme des critères éliminatoires, pas comme des fonctionnalités notées.
- Un exemple chiffré montre comment un taux d’échec audité de 18 % parmi les résolutions facturées transforme une résolution à 1,00 $ en 1,22 $ par résolution correcte.
- Terminez par une démo scénarisée sur vos propres conversations : huit tâches, dans le même ordre pour chaque finaliste, notées sur la même échelle que les réponses écrites.
Cet article s’adresse aux équipes qui achètent une plateforme d’agent IA pour le support client, que la présélection comprenne Sierra, Decagon, Intercom Fin, Salesforce Agentforce, les agents IA de Zendesk, Ada ou une solution développée en interne. Il ne classe pas les éditeurs. Il vous donne les questions que leurs propres modèles laissent de côté. Si vous achetez un logiciel de contrôle qualité plutôt qu’un agent IA, utilisez plutôt notre appel d’offres pour logiciel qualité, avec 40 questions et une grille de notation ; cette page suit le même format.
Que doit contenir un appel d’offres pour agent IA au-delà des fonctionnalités ?
Au-delà des fonctionnalités, un appel d’offres pour agent IA doit couvrir les conditions qui décident si vous pourrez contrôler et piloter l’agent : la définition d’une résolution facturée, les preuves que vous pouvez consulter et exporter, la façon dont les changements sont testés et annoncés, les actions soumises à validation, la gestion des incidents et la destination de vos données. Les fonctionnalités décident de la démo ; ces points décident de la deuxième année.
La plupart des modèles publiés, dont beaucoup sont rédigés par des éditeurs d’agents IA, couvrent bien les canaux, les langues, les intégrations, les sources de connaissances, le transfert, la sécurité et le prix, et vont moins loin sur les questions que les acheteurs se posent une fois l’agent en production. Le tableau compare un modèle type (plusieurs modèles publiés sur des sites d’éditeurs, lus le 13 novembre 2026) avec cette banque de questions.
| Sujet | Modèle type d’éditeur | Cette banque de questions |
|---|---|---|
| Canaux, intégrations, sources de connaissances | Couvert en profondeur | Laissé à votre rubrique fonctionnelle |
| Définition d’une « résolution » | Souvent demandée | Demandée, avec le déclencheur, la fenêtre de temps et la vérification |
| Contestation des résolutions facturées | Rarement, et sans processus | Une fenêtre de contestation, des règles de preuve et des avoirs |
| Transcriptions complètes et logs d’actions | En partie (résumés, quelques logs) | Transcriptions brutes, appels d’outils et connaissances utilisées, par conversation |
| Export pour un contrôle qualité indépendant pendant le contrat | Surtout à la sortie du contrat | Export continu, dans un format documenté |
| Tests de non-régression après la mise en production | Un test avant la signature | Une suite de tests relancée avant chaque changement |
| Préavis de changement de modèle | Parfois, sans notation | Préavis écrit, fenêtre de test et solution de repli |
| Processus d’incident propre à l’IA | Rarement | Niveaux de gravité, délai de notification, contrôle d’arrêt et rapport écrit |
| Accompagnement du déployeur au titre de l’AI Act | Absent | Rôles, information des clients, documentation et logs |
Cet écart n’est pas un hasard : une équipe commerciale peut répondre à une question fonctionnelle pendant une démo, mais la contestation de la facturation ou le préavis de changement de modèle exigent une réponse écrite du juridique et du produit, qui devient une clause du contrat.
Pourquoi la définition d’une « résolution » a-t-elle sa place dans l’appel d’offres ?
La définition d’une « résolution » a sa place dans l’appel d’offres parce qu’elle sert en général à la fois d’indicateur principal de succès et d’unité de facturation, et que les éditeurs la définissent différemment. Une résolution comptée dès que le client cesse de répondre n’est pas la même chose qu’une résolution vérifiée sur la réponse, l’action et le recontact. La différence se voit sur votre facture.
Deux exemples publics montrent l’éventail. Intercom compte une résolution Fin quand, après la dernière réponse de Fin, le client confirme qu’elle l’a aidé ou « quitte la conversation sans demander d’aide supplémentaire », et déduit la facturation si le client revient dans cette conversation pour obtenir plus d’aide (centre d’aide Intercom, en anglais). Zendesk facture les résolutions automatisées et, pour son niveau vérifié, fait relire la conversation par un grand modèle de langage une fois qu’elle est terminée, soit par défaut 2 heures après le premier message pour la messagerie et 72 heures pour l’e-mail (centre d’aide Zendesk, en anglais).
Aucune de ces deux définitions, telle que documentée, ne vérifie que la réponse était juste au regard de votre politique ni que le remboursement promis a été traité. C’est votre travail, et votre appel d’offres doit demander comment l’éditeur vous aide à le faire. Notre guide pour auditer le taux de résolution d’un agent IA donne la méthode d’échantillonnage, et le taux de résolution correcte est l’indicateur à présenter à côté du chiffre de l’éditeur.
Exemple chiffré : ce qu’un audit change au prix d’une résolution
Il s’agit d’une illustration avec des chiffres inventés, pas de données d’un éditeur.
| Ligne | Valeur |
|---|---|
| Conversations traitées par l’agent IA sur un mois | 40 000 |
| Résolutions facturées annoncées par l’éditeur | 24 000 (60 %) |
| Prix par résolution (illustratif) | 1,00 $ |
| Facture mensuelle | 24 000 $ |
| Résolutions facturées auditées (échantillon aléatoire) | 400 |
| En échec à l’audit (mauvaise réponse, action non réalisée, manquement à la politique ou recontact sous 7 jours) | 72 (18 %) |
| Résolutions correctes estimées | 24 000 × 0,82 = 19 680 |
| Coût par résolution correcte | 24 000 $ ÷ 19 680 = 1,22 $ |
| Marge d’erreur sur 18 % avec 400 audits (95 %) | environ ±3,8 points |
| Avoir si les résolutions en échec sont remboursées | 24 000 × 0,18 × 1,00 $ = 4 320 $ par mois |
La marge d’erreur vient de 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Le vrai taux d’échec se situe donc probablement entre environ 14 % et 22 %, ce qui est assez précis pour négocier. Sans clause de contestation dans le contrat (questions H2 et H3 ci-dessous), les 4 320 $ restent sur la facture chaque mois.
La banque de questions pour l’appel d’offres agent IA (38 questions à copier)
Ces 38 questions couvrent les huit domaines où les plateformes d’agents IA diffèrent le plus en matière de qualité et de gouvernance. Copiez-les à côté de vos questions fonctionnelles, gardez la numérotation et demandez une preuve avec chaque réponse : une capture d’écran, un document, une clause de contrat ou une démonstration en direct. Un « oui » sans preuve est noté comme une absence de réponse.
Rubrique A : définition et facturation des résolutions (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| A1 | Qu’est-ce qui déclenche exactement une résolution facturée, par canal ? | Une règle écrite par canal : le déclencheur, la fenêtre de temps et les exclusions | « Notre IA décide », sans règle écrite |
| A2 | Comment une résolution est-elle vérifiée avant d’être facturée ? | Un contrôle décrit (confirmation du client, relecture par LLM, fenêtre de recontact) que vous pouvez consulter par conversation | Le silence du client compté comme un succès, sans fenêtre |
| A3 | Que se passe-t-il quand le client revient sur le même problème ? | La résolution est annulée ou non facturée dans une fenêtre définie, par exemple 7 jours | Le recontact facturé comme une nouvelle résolution |
| A4 | Pouvons-nous voir, pour chaque conversation facturée, pourquoi elle a été comptée comme résolue ? | Un champ ou une entrée de log par conversation, exportable | Seulement un total mensuel sur la facture |
| A5 | Présentez-vous les résolutions séparément du containment et de la déflexion ? | Des définitions et des chiffres distincts | Un seul « taux d’automatisation » qui mélange tout |
Rubrique B : transcriptions, logs d’actions et export (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| B1 | Pouvons-nous accéder à la transcription complète de chaque conversation de l’agent IA, étapes internes comprises ? | Chaque message, plus les articles de connaissances et les instructions utilisés pour chaque réponse | Des résumés seulement, ou un échantillon |
| B2 | Consignez-vous chaque action et chaque appel d’outil de l’agent, avec les entrées et les résultats ? | Un log par conversation : quel système, quel appel, quels paramètres, succès ou échec | « Les actions sont consignées dans le système cible », sans rien de votre côté |
| B3 | Pouvons-nous exporter en continu toutes les conversations et tous les logs pendant le contrat, pour notre propre contrôle qualité ? | Une API ou un export planifié dans un format documenté, sans surcoût, vers l’outil de votre choix | Export uniquement à la résiliation, ou uniquement vers les outils d’analyse de l’éditeur |
| B4 | Combien de temps conservez-vous les transcriptions et les logs, et pouvons-nous fixer la durée ? | Une durée de conservation par défaut et une durée configurable, par type de données | Aucune durée annoncée, ou une suppression que vous ne maîtrisez pas |
| B5 | Un évaluateur indépendant peut-il voir les mêmes preuves que celles utilisées par vos tableaux de bord ? | La même conversation, les mêmes étapes et les mêmes champs de résultat, exportables | Une note ou une étiquette sans accès à la conversation sous-jacente |
La question B3 est celle que la plupart des modèles omettent, et celle qui compte le plus si vous voulez évaluer les conversations de l’agent IA avec votre propre grille, comme nous le décrivons dans notre guide sur l’évaluation des agents IA.
Rubrique C : tests et non-régression (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| C1 | Ferez-vous tourner l’agent sur un ensemble de nos conversations historiques avant la signature, en partageant chaque résultat ? | Un test sur plusieurs centaines de vos vraies conversations, avec chaque réponse visible | Une démo uniquement sur les données d’exemple de l’éditeur |
| C2 | Pouvons-nous créer et enregistrer nos propres cas de test, avec les réponses et les actions attendues ? | Une bibliothèque de tests qui vous appartient et que vous pouvez exporter | Des tests que seule l’équipe de l’éditeur peut créer |
| C3 | Pouvons-nous relancer tout le jeu de tests avant chaque changement de prompts, de connaissances, de politiques ou de modèle ? | Des tests de non-régression en un clic ou planifiés, comparés au passage précédent | Les tests sont ponctuels, à l’intégration |
| C4 | Pouvons-nous simuler des clients difficiles : questions hors sujet, clients en colère, tentatives d’obtenir un remboursement hors politique ? | Des conversations simulées à partir de scripts ou de personas, avec des résultats consultables | « Le modèle gère ça », sans moyen de le vérifier |
| C5 | Pouvons-nous bloquer une mise en production quand des tests échouent ? | Une barrière de mise en production avec un seuil de réussite que vous fixez | Les changements passent en production dès qu’ils sont enregistrés |
Notre guide sur les tests des agents IA explique comment construire un jeu de tests de référence à partir de vraies conversations et ce qu’une barrière de mise en production doit vérifier.
Rubrique D : politiques et contrôles de validation (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| D1 | Quelles actions l’agent peut-il réaliser seul, et pouvons-nous exiger une validation par type d’action ? | Une liste d’actions avec un réglage par action : autorisée, soumise à validation, bloquée | Toutes les actions activées ou toutes désactivées |
| D2 | Comment les limites sont-elles appliquées, par exemple un plafond de remboursement ? | Des limites vérifiées par le système avant l’exécution de l’action, pas seulement écrites dans le prompt | Des limites écrites uniquement sous forme d’instructions au modèle |
| D3 | Qui peut modifier les prompts, les politiques et les connaissances, et chaque changement est-il validé et versionné ? | Des rôles, une étape de validation, un historique des versions et un retour arrière | N’importe quel administrateur modifie en direct, sans historique |
| D4 | Pouvons-nous limiter l’agent à certains sujets, clients ou canaux ? | Un périmètre par motif, segment et canal | Un seul interrupteur global |
| D5 | Pouvons-nous arrêter l’agent rapidement, pour un sujet ou entièrement, et router vers des humains ? | Un contrôle d’arrêt documenté par sujet et global, avec une route de repli | L’arrêt exige un ticket auprès de l’éditeur |
Rubrique E : transfert et escalade (4 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| E1 | Quels déclencheurs envoient une conversation vers une personne, et pouvons-nous les modifier ? | Des déclencheurs configurables : demande d’un humain, frustration, sujets à risque, échecs répétés | Un ensemble figé que vous ne voyez pas |
| E2 | Un client peut-il toujours joindre une personne, et en combien de temps ? | Un parcours et un délai annoncés par canal | L’agent retient le client quand il demande un humain |
| E3 | Que reçoit le conseiller au moment du transfert ? | La transcription complète, les actions réalisées et le motif du transfert | Un résumé d’une ligne |
| E4 | Comment signalez-vous les transferts arrivés trop tard ? | Un rapport des conversations avec plusieurs tentatives échouées avant le transfert | Le transfert compté seulement comme un échec de l’IA |
Un agent qui retient un client ayant demandé une personne transforme une mauvaise réponse en réclamation. Voir notre grille d’évaluation du transfert entre agent IA et conseiller pour savoir quoi évaluer.
Rubrique F : gestion des changements et incidents (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| F1 | Nous préviendrez-vous avant de changer le modèle sous-jacent ou sa version, et combien de temps à l’avance ? | Un préavis écrit d’un nombre de jours défini, avec des notes de version | « Nous améliorons le modèle en continu » |
| F2 | Pouvons-nous tester un changement de modèle sur notre jeu de tests avant qu’il n’atteigne nos clients ? | Un environnement de prévisualisation ou de préproduction pour le nouveau modèle | Les changements arrivent d’abord en production |
| F3 | Pouvons-nous rester sur le modèle précédent pendant un temps si nos tests échouent ? | Une option de retour arrière ou de maintien de version pour une durée définie | Aucune possibilité de différer |
| F4 | Quel est votre processus d’incident en cas de réponses nuisibles ou fausses à grande échelle ? | Des niveaux de gravité, des délais de notification, un contact nommé et un rapport écrit après chaque incident | Seulement un SLA de disponibilité |
| F5 | Comment détectez-vous une dérive de la qualité alors que rien n’a changé dans notre configuration ? | Un suivi de la qualité des réponses, avec des alertes que vous pouvez paramétrer | La dérive est découverte par vos clients |
La dérive sans changement de configuration est une vraie inquiétude des acheteurs : dans une discussion de la communauté Intercom (novembre 2025), un client signalait que Fin s’était mis à donner de mauvaises réponses alors que « tout le contenu était resté le même » (communauté Intercom, en anglais). F1 et F5 existent pour ce moment ; notre guide sur le monitoring des agents IA couvre les alertes à paramétrer.
Rubrique G : données, confidentialité et réglementation (5 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| G1 | Où nos données sont-elles stockées et traitées, y compris par le fournisseur du modèle ? | Des régions nommées, et un choix de région là où vous en avez besoin | « Dans le cloud » |
| G2 | Qui sont vos sous-traitants, fournisseurs de modèles compris, et comment nous informez-vous des changements ? | Une liste publiée et un préavis avec un droit d’opposition | Une liste disponible « sur demande », sans préavis |
| G3 | Vous ou vos fournisseurs de modèles utilisez-vous nos conversations pour entraîner ou améliorer des modèles ? | Un non clair et écrit, ou un accord préalable (opt-in), dans le contrat | Un refus à exercer soi-même (opt-out) caché dans les conditions |
| G4 | Au titre de l’AI Act, quel rôle endossez-vous, et comment nous accompagnez-vous en tant que déployeur ? | Un rôle annoncé, l’information du client qu’il échange avec une IA, de la documentation et des logs que vous pouvez conserver | « L’AI Act ne s’applique pas à nous » |
| G5 | Pouvons-nous vous auditer, ou recevoir des rapports d’audit indépendants ? | Des rapports à jour sous accord de confidentialité et une clause d’audit | Aucun rapport, ou des rapports pour un autre produit |
Certaines de ces questions reposent sur la loi. Selon le RGPD, un sous-traitant ne peut pas recruter un autre sous-traitant sans votre autorisation écrite et, dans le cas d’une autorisation générale, il doit vous informer des changements envisagés pour que vous puissiez émettre des objections ; il doit aussi permettre la réalisation d’audits (article 28 du RGPD). Quand le fournisseur du modèle est un sous-traitant de l’éditeur, un changement de fournisseur doit vous parvenir par cette notification. Une nouvelle version de modèle chez le même fournisseur ne vous parviendra en général pas ainsi, d’où la question F1 posée à part.
L’AI Act (le règlement européen sur l’IA) demande aux fournisseurs de veiller à ce que les personnes sachent qu’elles interagissent avec un système d’IA, à partir du 2 août 2026 (FAQ de la Commission européenne sur l’article 50). Les obligations de maîtrise de l’IA pour les fournisseurs et les déployeurs s’appliquent depuis le 2 février 2025 (Commission européenne). Si un usage est classé à haut risque, les déployeurs doivent aussi surveiller le système et conserver ses journaux pendant au moins six mois (règlement (UE) 2024/1689, article 26). La plupart des agents de support ne sont pas à haut risque, mais c’est votre service juridique qui en décide, pas l’éditeur. Notre article sur l’AI Act au service client explique les catégories de risque.
Rubrique H : conditions commerciales et contestations (4 questions)
| N° | Question | À quoi ressemble une bonne réponse | Signal d’alerte |
|---|---|---|---|
| H1 | Que payons-nous pour une conversation non résolue, transférée ou abandonnée ? | Une grille de prix par type de résultat | Des frais pour des résultats absents de la grille |
| H2 | Comment contestons-nous une résolution facturée, et dans quel délai ? | Un processus de contestation avec une fenêtre, les preuves acceptées (par exemple votre audit) et un calendrier | Des contestations « traitées au cas par cas » |
| H3 | Accordez-vous un avoir pour les résolutions que notre audit montre comme fausses ? | Des avoirs, ou un ajustement de prix, quand le taux d’échec audité dépasse un seuil convenu | Une facturation fondée uniquement sur le comptage de l’éditeur |
| H4 | Que deviennent le prix et les engagements de volume quand la qualité des résolutions passe sous un niveau convenu ? | Une compensation : avoirs, droit de suspendre ou droit de sortie | Des engagements minimums sans condition de qualité |
Des clauses qui vous permettent de contester et de vous faire créditer des résolutions rentabilisent l’audit de l’exemple chiffré.
Comment noter les réponses à un appel d’offres pour agent IA ?
Notez les réponses en deux passes. D’abord, appliquez les critères éliminatoires : tout éditeur qui en échoue un est écarté, quelle que soit sa note fonctionnelle. Ensuite, notez chaque réponse restante de 0 à 3 selon des définitions écrites, pondérez les rubriques et départagez les totaux serrés avec la démo scénarisée plutôt qu’avec un tableur plus long.
Utilisez la même échelle de 0 à 3 que dans notre appel d’offres pour logiciel qualité : 0 pour aucune réponse, 1 pour des limites majeures ou « prévu dans la roadmap », 2 pour une exigence remplie avec une preuve partielle, 3 pour une exigence remplie avec une preuve montrée. Un « oui » sans preuve vaut 0.
| Critère éliminatoire | Questions | Pourquoi c’est éliminatoire |
|---|---|---|
| Une définition écrite de la résolution facturée | A1, A2 | Sans elle, vous ne pouvez pas vérifier une facture |
| Transcriptions complètes et logs d’actions par conversation | B1, B2 | Sans preuve, pas de contrôle qualité ni d’analyse d’incident |
| Export continu pour votre propre contrôle qualité | B3 | Vos chiffres de qualité dépendraient uniquement de ceux de l’éditeur |
| Un contrôle d’arrêt et un accès humain toujours disponible | D5, E2 | Un préjudice client pendant que vous attendez un ticket |
| Des conditions écrites sur les données : localisation, sous-traitants, entraînement | G1 à G3 | Le juridique bloquera le contrat plus tard de toute façon |
Une pondération de départ pour les équipes qui ont déjà leur présélection fonctionnelle ; validez-la avec le support, la DSI, le juridique et les achats avant l’arrivée des réponses, et ne la modifiez plus ensuite.
| Rubrique | Poids |
|---|---|
| A. Définition et facturation des résolutions | 15 |
| B. Transcriptions, logs et export | 15 |
| C. Tests et non-régression | 20 |
| D. Politiques et contrôles de validation | 15 |
| E. Transfert et escalade | 10 |
| F. Gestion des changements et incidents | 15 |
| G. Données, confidentialité et réglementation | 5 (après le critère éliminatoire) |
| H. Conditions commerciales et contestations | 5 |
| Total | 100 |
La note pondérée est la somme, pour chaque rubrique, du poids multiplié par la note moyenne, divisée par 3 : un éditeur qui obtient 3 partout atteint 100. Faites noter deux personnes séparément et discutez chaque question où elles ont plus d’un point d’écart. Nos contrôles de gouvernance des agents IA vous aident à décider lesquelles des rubriques D et F comptent le plus pour votre organisation.
Que doit contenir une démo scénarisée d’agent IA ?
Une démo scénarisée d’agent IA doit montrer chaque finaliste faisant passer vos propres conversations par les mêmes tâches, dans le même ordre et dans le même temps. Envoyez le scénario une semaine à l’avance, demandez que votre jeu de tests soit chargé et notez chaque tâche sur l’échelle de 0 à 3. Vous testez les contrôles du produit, pas le présentateur.
Prévoyez 90 minutes par éditeur. Apportez 30 à 50 vraies conversations de votre file, anonymisées, y compris certaines que votre équipe a mal traitées.
| Étape | Tâche pour l’éditeur | Ce que vous vérifiez | Questions liées |
|---|---|---|---|
| 1 (10 min) | Répondre en direct à 10 de vos conversations, choisies par vous le jour même | Bonne réponse, bon ton, sources affichées | C1 |
| 2 (10 min) | Ouvrir une résolution facturée et montrer pourquoi elle a été comptée | Le déclencheur, la fenêtre et la vérification pour cette conversation | A1, A2, A4 |
| 3 (10 min) | Montrer la transcription complète et le log d’actions d’une conversation qui a émis un remboursement ou modifié une commande | Chaque appel d’outil, ses paramètres et son résultat | B1, B2 |
| 4 (10 min) | Exporter les conversations de la semaine dernière dans le format que vous recevriez | Champs, format, exhaustivité | B3 |
| 5 (15 min) | Modifier une politique (par exemple, baisser le plafond de remboursement), relancer le jeu de tests, comparer les résultats | Versionnage, validation, rapport de non-régression, barrière de mise en production | C3, C5, D2, D3 |
| 6 (10 min) | Jouer trois scénarios hostiles : une demande hors sujet, un remboursement hors politique, un client qui demande un humain | Refus, limites tenues, transfert avec contexte | C4, E1, E3 |
| 7 (10 min) | Arrêter l’agent pour un sujet et montrer où vont les conversations | Délai d’arrêt, route de repli | D5, E2 |
| 8 (15 min) | Présenter le dernier changement de modèle : le préavis, la fenêtre de test, l’option de retour arrière | Notes de version, préproduction, maintien de version | F1 à F3 |
Après la démo, posez trois questions à deux références ayant un volume et un mix de canaux comparables : ce qui a mal tourné les trois premiers mois, comment l’éditeur l’a géré, et comment un changement de modèle a été annoncé. Leur réponse à la dernière question vous dit si F1 est une politique ou une promesse.
Comment cela s’articule-t-il avec le contrôle qualité une fois l’agent en production ?
Une fois l’agent en production, les réponses à l’appel d’offres deviennent votre modèle de fonctionnement : l’export de B3 alimente vos revues qualité, le jeu de tests de C2 devient votre suite de non-régression, et le processus de contestation de H2 s’appuie sur les résultats de vos audits. Un éditeur bien noté sur B, C et H rend le contrôle qualité indépendant peu coûteux.
En pratique, beaucoup d’équipes évaluent un échantillon ou la totalité des conversations de l’agent IA avec la même grille que pour les conseillers, ajoutent des contrôles sur les faits inventés et la politique, et présentent un taux de résolution corrigé à côté de celui de l’éditeur. Si vous voulez automatiser cette évaluation, Kaizo évalue 100 % des conversations des agents IA selon votre propre grille, dans le helpdesk où elles se trouvent déjà, et relie chaque note aux éléments de preuve de la conversation. Voyez le contrôle qualité des agents IA pour comprendre le fonctionnement.
Quand cet appel d’offres est-il plus que ce dont vous avez besoin ?
Cette banque de questions dépasse vos besoins quand l’agent IA répond seulement à un ensemble restreint de questions d’information, ne réalise aucune action dans vos systèmes et traite quelques centaines de conversations par mois. Dans ce cas, les critères éliminatoires et les rubriques A, B et E suffisent. Ajoutez le reste quand l’agent commence à émettre des remboursements, à modifier des commandes ou à traiter des sujets réglementés.
Ce n’est pas non plus le bon outil pour un premier tour du marché, ce n’est alors pas pour vous : menez d’abord une courte demande d’information (RFI) ou quelques appels de découverte, puis envoyez cet appel d’offres à trois à cinq finalistes.
Par où commencer votre appel d’offres agent IA cette semaine
Rassemblez 30 à 50 vraies conversations pour la démo et le test avant signature, écrivez vos critères éliminatoires, copiez les 38 questions à côté de vos questions fonctionnelles, fixez les pondérations en une réunion et envoyez l’appel d’offres avec un délai de deux semaines.
- Choisissez les 30 à 50 conversations, dont vos cinq cas les plus difficiles.
- Écrivez vos critères éliminatoires à partir du tableau ci-dessus, et retirez ceux dont vous n’avez pas besoin.
- Demandez au juridique quelles questions de la rubrique G sur l’AI Act et le RGPD il veut voir traitées par écrit.
- Demandez à la finance de modéliser votre facture mensuelle selon la définition de la résolution de chaque éditeur, avec le volume du mois dernier.
- Planifiez les démos scénarisées la semaine qui suit l’arrivée des réponses.
Si vous voulez voir comment l’évaluation de chaque conversation de l’agent IA avec votre propre grille fonctionnerait à côté de la plateforme que vous choisirez, réservez une démo et venez avec votre présélection.
Questions fréquentes
Qu’est-ce qu’un appel d’offres pour agent IA ?
Un appel d’offres (RFP) pour agent IA est une demande de proposition envoyée aux éditeurs d’agents IA pour le service client, afin de comparer leurs réponses aux mêmes questions. Il décrit votre volume, vos canaux et vos systèmes, liste vos exigences et vos critères éliminatoires, et demande à chaque éditeur de répondre avec des preuves. Un appel d’offres complet couvre les fonctionnalités et les conditions de qualité, de gouvernance, de données et de facturation qui décident si l’agent peut fonctionner à grande échelle.
À combien d’éditeurs envoyer un appel d’offres pour agent IA ?
Trois à cinq éditeurs suffisent en général. Moins donne peu de matière à comparer, et plus crée un travail de notation et de démos qui change rarement l’issue. Réduisez d’abord la liste avec des appels de découverte et écartez tout éditeur qui échoue un critère éliminatoire dès cet appel, par exemple un éditeur incapable d’exporter les conversations pendant le contrat.
Faut-il payer à la résolution ou à la conversation ?
Le paiement à la résolution aligne le prix de l’éditeur sur les résultats, mais seulement si la « résolution » est définie par écrit, vérifiée et contestable. Le paiement à la conversation est plus simple à prévoir et à auditer. Quelle que soit l’unité choisie, modélisez le volume du mois dernier selon la définition de chaque éditeur et demandez des avoirs quand votre audit trouve des résolutions facturées qui étaient fausses.
Combien de temps doit durer un pilote d’agent IA avant la signature ?
Un pilote doit durer assez longtemps pour observer les recontacts et quelques changements de politique, soit en général quatre à huit semaines sur un ensemble défini de sujets. Fixez les critères de succès, la méthode d’audit et les conditions de sortie avant le démarrage, et faites tourner votre jeu de tests avant et après chaque changement apporté par l’éditeur pendant le pilote.
Qui impliquer dans l’évaluation d’un éditeur d’agent IA ?
Les opérations support portent les exigences et la démo. La qualité porte le jeu de tests et l’évaluation des conversations, la DSI porte les intégrations et les actions, le juridique et le délégué à la protection des données portent la rubrique G et le contrat, et la finance porte le modèle de facturation. Nommez un seul décideur avant l’envoi de l’appel d’offres pour que les pondérations soient fixées à l’avance.
