Aller au contenu

Contrôle qualité

Même conversation, même note.

Les sessions de calibrage amènent vos évaluateurs à noter les cas limites de la même façon : un écart de note reflète alors une différence dans la conversation, et non dans la personne qui l’a évaluée.

Sessions

Les désaccords, mis au jour et tranchés.

Soumettez une conversation à plusieurs évaluateurs, comparez leurs divergences et mettez-vous d’accord sur le sens réel du critère. Le résultat met à jour la grille au lieu de rester dans la mémoire de quelqu’un.

  • Les dérives des évaluateurs deviennent visibles
  • Les cas limites sont intégrés aux critères
  • Les nouveaux évaluateurs sont formés sur un standard partagé

Comment ça marche

Le déroulé d’une session de calibrage, en quatre étapes

  1. Choisir les cas limites

    Sélectionnez quelques conversations à la limite d’un critère : celles dont les évaluateurs débattent, ou qu’un nouvel évaluateur noterait sans doute autrement.

  2. Les soumettre à plusieurs évaluateurs

    Chaque évaluateur note les mêmes conversations avec la même grille.

  3. Comparer les écarts

    Regardez où les évaluateurs ont divergé et discutez-en. Le désaccord porte le plus souvent sur ce que veut vraiment dire un critère.

  4. Inscrire la décision dans la grille

    Mettez-vous d’accord sur le sens et mettez à jour la description du critère, pour que le résultat vive dans la grille et non dans la mémoire de quelqu’un. AutoPilot applique la nouvelle description à chaque évaluation future.

Exemple concret

Un critère, trois évaluateurs

L’illustration d’une session type, pas un cas client.

  1. Le critère

    « Le conseiller confirme que le problème est résolu avant de clore le ticket. »

  2. Le désaccord

    Deux évaluateurs valident un chat parce que le conseiller a demandé « Puis-je vous aider pour autre chose ? ». Le troisième le refuse parce que le client n’a jamais confirmé la solution.

  3. La décision

    L’équipe s’accorde : pour valider, il faut la confirmation du client, ou une relance quand le client ne répond pas. Cela entre dans la description du critère.

  4. Le résultat

    La prochaine fois que le cas se présente, chaque évaluateur le note de la même façon, et les nouveaux évaluateurs apprennent la règle dans la grille.

Pour aller plus loin : ce qu’est le calibrage QA, comment mener des sessions de calibrage qui éliminent les biais de notation et comment constituer un golden set pour vérifier la notation.

FAQ

Questions fréquentes

AutoPilot a-t-il besoin d’être calibré ?

Non. Il interprète la grille de façon identique à chaque fois, et c’est tout l’intérêt. Le calibrage s’adresse aux évaluateurs humains qui travaillent à ses côtés.

À quelle fréquence faut-il calibrer ?

La plupart des équipes organisent une session par mois, et chaque fois qu’un standard change de manière significative.

Un conseiller doit-il contester une note causée par une erreur système ?

Oui. Si une panne d’outil ou de processus est à l’origine de l’erreur, la note ne dit rien du conseiller. Signalez-le à l’évaluateur et apportez le cas à la prochaine session de calibrage ; si l’équipe est d’accord, ajoutez à la description du critère la façon de noter cette situation, pour qu’elle ne soit plus reprochée à un conseiller.

Qui doit participer au calibrage ?

Toutes les personnes qui évaluent des conversations : évaluateurs QA, chefs d’équipe qui évaluent, et nouveaux évaluateurs, formés sur l’exigence convenue.

Sécurité et conformité

SOC 2 Type II, ISO 27001 et RGPD

Rapports d'audit, certificats et politiques au même endroit.

Trust Center ›

Découvrez l’écart entre vos évaluateurs

Nous soumettrons les mêmes conversations à votre équipe et vous montrerons où les notes divergent.

Adopté par des équipes support du monde entier

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath