Naar de inhoud

Kwaliteitscontrole

Hetzelfde gesprek, dezelfde score.

Met kalibratiesessies scoren je reviewers grensgevallen op dezelfde manier, zodat een verschil in score een verschil in het gesprek betekent en niet in wie het heeft beoordeeld.

Sessies

Meningsverschillen, zichtbaar gemaakt en beslecht.

Laat meerdere reviewers hetzelfde gesprek beoordelen, vergelijk waar ze uiteenliepen en spreek af wat het criterium echt betekent. De uitkomst werkt de criteria bij in plaats van alleen in iemands geheugen te blijven.

  • Afwijkingen tussen reviewers zichtbaar in plaats van onzichtbaar
  • Grensgevallen vastgelegd in de criteria
  • Nieuwe reviewers ingewerkt op een afgesproken standaard

Zo werkt het

Zo verloopt een kalibratiesessie, in vier stappen

  1. Kies de grensgevallen

    Kies een paar gesprekken die op de grens van een criterium liggen: de gesprekken waarover reviewers discussiëren, of die een nieuwe reviewer waarschijnlijk anders zou scoren.

  2. Leg ze voor aan meerdere reviewers

    Elke reviewer scoort dezelfde gesprekken met dezelfde scorecard.

  3. Vergelijk waar scores uiteenlopen

    Kijk waar reviewers uiteenliepen en bespreek waarom. Meestal draait het om wat één criterium eigenlijk betekent.

  4. Leg het besluit vast in de criteria

    Spreek de betekenis af en pas de omschrijving van het criterium aan, zodat de uitkomst in de criteria staat en niet in iemands geheugen. AutoPilot past de nieuwe omschrijving toe op elke volgende beoordeling.

Uitgewerkt voorbeeld

Eén criterium, drie reviewers

Een illustratie van een typische sessie, geen klantcase.

  1. Het criterium

    "De medewerker bevestigt dat het probleem is opgelost voordat hij het ticket sluit."

  2. De discussie

    Twee reviewers keuren een chat goed omdat de medewerker vroeg: "Kan ik je nog ergens anders mee helpen?". De derde keurt hem af omdat de klant de oplossing nooit bevestigde.

  3. Het besluit

    Het team spreekt af dat goedkeuren een bevestiging van de klant vraagt, of een opvolging als de klant niet reageert, en zet dat in de omschrijving van het criterium.

  4. Het resultaat

    De volgende keer dat de situatie zich voordoet, scoort elke reviewer hem hetzelfde, en nieuwe reviewers leren de regel uit de criteria.

Verder lezen: wat QA-kalibratie is, hoe je kalibratiesessies houdt die scoringsbias wegnemen en hoe je een golden set opbouwt om de scoring aan te toetsen.

FAQ

Veelgestelde vragen

Moet AutoPilot gekalibreerd worden?

Nee. Het interpreteert de criteria elke keer op dezelfde manier, en daar gaat het juist om. Kalibratie is voor de menselijke reviewers die ermee samenwerken.

Hoe vaak moeten we kalibreren?

De meeste teams houden maandelijks een sessie, en telkens wanneer een standaard wezenlijk verandert.

Moet een medewerker bezwaar maken tegen een score die door een systeemfout komt?

Ja. Als een fout in een tool of proces de oorzaak was, zegt de score niets over de medewerker. Bespreek het met de reviewer en breng de situatie in bij de volgende kalibratiesessie; als het team het eens is, voeg je aan de omschrijving van het criterium toe hoe je die situatie scoort, zodat ze niet meer tegen een medewerker telt.

Wie doet er mee aan kalibratie?

Iedereen die gesprekken scoort: QA-reviewers, teamleiders die reviewen en nieuwe reviewers, die worden ingewerkt op de afgesproken norm.

Beveiliging en compliance

SOC 2 Type II, ISO 27001 en AVG

Auditrapporten, certificaten en beleid op één plek.

Trust Center ›
  • G2-badge Users Love Us, lees de reviews van Kaizo op G2G24.9/5 op G2
  • AICPA SOC 2-keurmerkSOC 2 Type IIGeaudit
  • ISO 27001-keurmerkISO 27001Gecertificeerd
  • AVG-sterren (GDPR)GDPRConform

Ontdek hoe ver je reviewers uit elkaar liggen

We laten je team dezelfde gesprekken beoordelen en tonen je waar de scores uiteenlopen.

Vertrouwd door internationale supportteams

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath