Eén scorecard voor medewerkers en AI-agents is één kwaliteitsstandaard met twee lagen: een gedeelde kern van criteria waarop beide worden gescoord, met dezelfde definities en weging, en per type een kort blok voor fouten die alleen een van beide maakt. Je vergelijkt mensen en bots alleen op de gedeelde kern, onderwerp per onderwerp, en rapporteert beide op één pagina.
In het kort
- Eén scorecard voor medewerkers en AI-agents betekent één gedeelde kern plus een klein blok per type, geen identieke lijst voor allebei.
- De gedeelde kern werkt alleen als elk criterium voor beide één definitie, één schaal en één weging heeft.
- Zeven regels houden het eerlijk, van criteria schrijven voor het transcript tot bepalen bij wie elke gezakte regel hoort.
- Vergelijk op de gedeelde kern per onderwerp: in een rekenvoorbeeld laat het ruwe gemiddelde de bot 7,9 punten beter lijken, terwijl mensen op een eerlijke basis 3,8 punten beter zijn.
- Bouw hem in zes stappen, met de scorecard die je team al gebruikt als vertrekpunt.
Deze pagina gaat over de gedeelde standaard. Zoek je de criteria die een bot nodig heeft en een mens niet, lees dan eerst onze gids over de scorecard voor een AI-agent. Hoe Kaizo één scorecard toepast op je team en je AI-agents, zie je op de pagina over kwaliteitscontrole voor AI-agents.
Waarom één scorecard voor medewerkers en AI-agents?
Gebruik één scorecard voor medewerkers en AI-agents omdat je klanten één servicestandaard krijgen, wie er ook antwoordt. Twee aparte scorecards leveren twee cijfers op die niemand kan vergelijken, en twee discussies over welk cijfer telt.
Drie praktische redenen komen terug in elk team dat met allebei werkt:
- De directie stelt één vraag. “Is de bot net zo goed als onze mensen?” kun je alleen beantwoorden met een gedeelde maatstaf. Met twee scorecards hangt het antwoord af van wiens definities je gebruikt.
- Routeringsbeslissingen vragen om een vergelijking. Bepalen welke onderwerpen de AI-agent afhandelt en welke naar mensen gaan, kan alleen als beide op hetzelfde onderwerp op dezelfde manier zijn gescoord.
- Eén standaard is makkelijker bij te houden. Verandert een beleid, dan pas je één criterium aan, niet twee scorecards die door twee teams worden beheerd en uit elkaar groeien.
De valkuil is de omgekeerde fout: je scorecard voor medewerkers ongewijzigd op de bot loslaten. Begroeting en spelling gaan bij een bot zelden mis, terwijl een verzonnen beleid bij een mens zelden voorkomt. Eén standaard betekent één kern, niet één identieke lijst.
Wat hoort in de gedeelde kern, en wat niet?
In de gedeelde kern staan de criteria die een goede uitkomst voor de klant beschrijven, wie er ook antwoordde. Criteria die beschrijven hoe één type afhandelaar faalt, horen in het blok van dat type.
Hier is een template die je kunt kopiëren. De weging is een voorbeeld; waar het om gaat, is dat de gedeelde kern voor beide dezelfde weging heeft:
| Blok | Criterium | Voldoet als | Weging |
|---|---|---|---|
| Gedeelde kern | Juist antwoord | Elk feit in het antwoord klopt voor de situatie van deze klant | 25 |
| Gedeelde kern | Volledig antwoord | Alle delen van de vraag zijn beantwoord, inclusief voorwaarden | 15 |
| Gedeelde kern | Beleid gevolgd | Er wordt niets aangeboden, beloofd of geweigerd buiten het geschreven beleid | 20 |
| Gedeelde kern | Duidelijke volgende stap | De klant weet wat er nu gebeurt, of het probleem is opgelost | 15 |
| Gedeelde kern | Identiteit en gegevens | De identiteit is gecontroleerd voordat accountgegevens worden gedeeld | 10 |
| Gedeelde kern | Toon past bij het merk | Het antwoord klinkt als je merk en past bij de situatie van de klant | 5 |
| Gedeelde kern | Overdracht | Bij een overdracht wordt context meegegeven, en de ontvanger gebruikt die | 10 |
| Blok AI-agent | Onderbouwd met onze content | Elk feit komt uit een helpartikel of beleid dat je publiceert | Voldoet / voldoet niet |
| Blok AI-agent | Scope | Hij blijft binnen de onderwerpen en acties die hij mag afhandelen | Voldoet / voldoet niet |
| Blok AI-agent | Trigger voor escalatie | Hij draagt over op de vastgelegde triggers, en niet te laat | Voldoet / voldoet niet |
| Blok AI-agent | Onzekerheid | Hij zegt dat hij het niet weet, in plaats van te gokken | Voldoet / voldoet niet |
| Blok medewerker | Notities bij de case | Notities en tags laten de volgende persoon verder zonder opnieuw te vragen | Voldoet / voldoet niet |
| Blok medewerker | Opvolging nagekomen | Een beloofd terugbelverzoek of update kwam op tijd | Voldoet / voldoet niet |
De gedeelde kern telt op tot 100, wat je één vergelijkbare score per gesprek geeft. De blokken per type zijn voldoet of voldoet niet, en je rapporteert ze naast de score als eigen slagingspercentages. Een gezakt criterium in zo’n blok kan nog steeds actie uitlokken, zoals een knock-out voor de bot bij een verzonnen terugbetaling, zonder de vergelijking te vertekenen.
Scorecards in Kaizo werken met je eigen criteria, in je eigen woorden, en je kunt ze per team, wachtrij of klant inrichten. Zo leven één gedeelde kern en twee blokken per type in één standaard in plaats van in twee documenten.
Zeven regels die één scorecard eerlijk houden
Een gedeelde scorecard blijft eerlijk als beide op dezelfde woorden, schaal en weging worden gescoord, je gelijk met gelijk vergelijkt en elk alleen wordt aangerekend op zijn eigen regels.
Regel 1: één definitie per gedeeld criterium
Schrijf elk gedeeld criterium één keer op, in woorden die geen mens of bot veronderstellen.
“De medewerker toonde productkennis” veronderstelt een mens. “Elk feit in het antwoord klopt voor de situatie van deze klant” werkt voor allebei. Onze gids over een QA-rubric schrijven die een AI kan scoren (in het Engels) laat zien hoe je criteria zo formuleert dat je ze in het transcript kunt controleren.
Regel 2: één schaal
Scoor de gedeelde kern voor beide op dezelfde schaal, of dat nu voldoet of voldoet niet per criterium is of punten per criterium. Een schaal van 1 tot 5 voor mensen combineren met voldoet of voldoet niet voor de bot laat de totalen vergelijkbaar lijken terwijl ze dat niet zijn.
Regel 3: één weging voor de kern
Geef elk gedeeld criterium voor beide dezelfde weging. Weeg je toon zwaarder bij mensen, dan stijgt hun totaal om redenen die niets met de klant te maken hebben. Ons artikel over de weging van beoordelingscriteria behandelt hoe je de weging baseert op uitkomsten, niet op gewoonte.
Regel 4: vergelijk op de kern, per onderwerp
Vergelijk mensen en de bot alleen op de gedeelde kern, onderwerp per onderwerp. Het rekenvoorbeeld hieronder laat zien waarom een totaalgemiddelde misleidt.
Regel 5: elke gezakte regel hoort bij wie hem schreef
Een fout van de bot belandt nooit in de score van een medewerker. Beloofde de AI-agent een terugbetaling en moest de medewerker die intrekken, dan hoort het gezakte “beleid gevolgd” bij het gesprek van de bot, en wordt de medewerker gescoord op hoe hij het intrekken afhandelde.
Regel 6: scoor de overdracht als overdracht
Het criterium voor overdracht staat in de gedeelde kern omdat beide kanten erop kunnen zakken: de bot door geen context mee te geven, de mens door die niet te lezen. Scoor elke kant op zijn eigen deel. Onze gids over het scoren van de overdracht tussen AI-agent en medewerker behandelt beide richtingen.
Regel 7: één kalibratie, één wijzigingsproces
Kalibreer je reviewers en je geautomatiseerde beoordelaar op een gemengde set gesprekken van mensen en AI-agents, zodat “juist antwoord” voor beide hetzelfde betekent. Verandert een gedeeld criterium, dan verandert het voor beide op dezelfde dag. In Kaizo geldt een aangepaste beschrijving van een criterium voor elke toekomstige beoordeling, en kalibratiesessies houden reviewers op één lijn bij randgevallen.
Hoe vergelijk je medewerkers en AI-agents eerlijk?
Vergelijk medewerkers en AI-agents op de gedeelde kern, onderwerp per onderwerp, en weeg beide daarna met dezelfde mix van onderwerpen. Een ruw totaalgemiddelde meet vooral welke onderwerpen elk type krijgt.
De reden is eenvoudig: de bot handelt meestal de makkelijke onderwerpen af, en mensen de moeilijke. Hier is een rekenvoorbeeld met getallen die we hebben gekozen om de rekensom te laten zien, geen data van een klant. De scores zijn de score op de gedeelde kern, op 100:
| Onderwerp | Gesprekken AI-agent | Score AI-agent | Gesprekken medewerkers | Score medewerkers |
|---|---|---|---|---|
| Bestellingen volgen | 6.000 | 96 | 1.000 | 94 |
| Factuurgeschillen | 1.000 | 70 | 4.000 | 82 |
| Ruw gemiddelde | 7.000 | 92,3 | 5.000 | 84,4 |
Op de ruwe gemiddelden lijkt de bot 7,9 punten beter. Per onderwerp is de bot 2 punten beter bij bestellingen volgen en 12 punten slechter bij factuurgeschillen.
Om eerlijk te vergelijken, weeg je beide met dezelfde mix. Hier gebruiken we de gecombineerde mix: 7.000 gesprekken over bestellingen volgen en 5.000 over facturen, op een totaal van 12.000.
| Score gecorrigeerd voor de mix | Berekening | Resultaat |
|---|---|---|
| AI-agent | (7.000 x 96 + 5.000 x 70) / 12.000 | 85,2 |
| Team medewerkers | (7.000 x 94 + 5.000 x 82) / 12.000 | 89,0 |
Op dezelfde mix is het team van medewerkers 3,8 punten beter. De beslissing die volgt, is niet “de bot is beter” of “de bot is slechter”. Ze luidt: “laat de bot bestellingen volgen doen, en houd factuurgeschillen bij mensen tot de factuurscore van de bot verbetert”. Dat soort antwoord maakt een gedeelde kern mogelijk.
Nog twee controles houden de vergelijking eerlijk. Vergelijk alleen onderwerpen waarop beide genoeg gesprekken hebben om stabiel te zijn, en vermeld het als een van beide er bijna geen heeft. En kijk naar de blokken per type naast de score: een bot met een hoge kernscore die op één onderwerp zakt op onderbouwing, heeft nog steeds een correctie nodig.
Zo rapporteer je de kwaliteit van mensen en AI op één pagina
Rapporteer op één pagina de score op de gedeelde kern per onderwerp voor beide, de totalen gecorrigeerd voor de mix en daarnaast de slagingspercentages van de blokken per type. De directie leest de vergelijking; de teams lezen hun eigen blok.
| Onderdeel | Team medewerkers | AI-agent |
|---|---|---|
| Gedeelde kern, gecorrigeerd voor de mix | Score en trend | Score en trend |
| Gedeelde kern per onderwerp | Score per onderwerp | Score per onderwerp |
| Blok per type | Notities bij de case, opvolging nagekomen: slagingspercentages | Onderbouwing, scope, escalatie, onzekerheid: slagingspercentages |
| Overdracht | Pakte de context op | Gaf de context mee |
| Belangrijkste oorzaken | Gaten in vaardigheden, gaten in processen | Artikelen, regels, instellingen |
In de onderste rij lopen de twee uiteen. De fouten van een mens wijzen meestal naar coaching of een proces; die van een bot meestal naar een artikel of een instelling.
Ons artikel over een fout van de medewerker of een fout in het proces (in het Engels) laat zien hoe je die twee uit elkaar houdt voordat je ingrijpt. Doordat Kaizo gesprekken van mensen en AI-agents op dezelfde scorecard scoort, zie je hoe beide presteren, naast elkaar.
Zo bouw je één scorecard voor medewerkers en AI-agents
Bouw hem in zes stappen, met de scorecard die je team van medewerkers al gebruikt als vertrekpunt. De eerste drie stappen kosten één werksessie; de rest gebeurt terwijl je scoort.
Stap 1: verdeel je huidige criteria in drie groepen
Neem je scorecard voor medewerkers en markeer elk criterium als gedeeld, alleen voor medewerkers of niet nodig. De meeste teams merken dat juist antwoord, beleid en volgende stap gedeeld zijn, terwijl begroeting en vaste zinnen alleen voor medewerkers gelden of weg kunnen.
Stap 2: herschrijf de gedeelde criteria in neutrale woorden
Herschrijf elk gedeeld criterium zo dat het geen mens of bot veronderstelt, en zo dat een reviewer de regel kan aanwijzen die slaagt of zakt.
Stap 3: voeg het blok voor de AI-agent toe
Voeg de vier criteria voor de bot uit de template toe: onderbouwd met je content, scope, trigger voor escalatie en onzekerheid. Houd ze op voldoet of voldoet niet.
Stap 4: leg de weging en de schaal voor de kern vast
Kies één schaal en één weging voor de gedeelde kern, die optelt tot 100, en schrijf ze op waar beide teams ze kunnen zien.
Stap 5: kalibreer op gemengde gesprekken
Houd een kalibratiesessie op een mix van gesprekken van mensen en AI-agents, en blijf de beschrijvingen van de criteria aanscherpen tot de reviewers het voor beide eens zijn.
Stap 6: scoor alles en rapporteer per onderwerp
Scoor elk gesprek, van mensen en van AI-agents, op de scorecard, en rapporteer de gedeelde kern per onderwerp met de correctie voor de mix. AutoPilot van Kaizo scoort elk gesprek tegen jouw criteria zodra het is afgehandeld, bij telefoon, chat en e-mail.
Bekijk het in een live demo. Kaizo scoort je team en je AI-agents op één scorecard, met het bewijs achter elke score, en toont beide naast elkaar. Plan een gesprek.
Veelgestelde vragen
Moet je een AI-agent strenger beoordelen dan je medewerkers?
Houd beide op de gedeelde kern aan dezelfde standaard, anders zegt de vergelijking niets. Strenger kun je zijn in het blok voor de AI-agent en in de gevolgen: een verzonnen terugbetaling kan een knock-out zijn voor de bot, en één kritieke fout kan hem een onderwerp kosten, omdat een bot dezelfde fout in veel gesprekken herhaalt.
Wie moet de gesprekken van mensen en AI-agents scoren?
Dezelfde beoordelaar voor beide, op de gedeelde kern. Beoordelen mensen de gesprekken van medewerkers en een geautomatiseerde beoordelaar die van de bot, dan verschijnen verschillen tussen de twee beoordelaars als verschillen tussen de afhandelaars. Scoor beide automatisch op dezelfde criteria, en laat reviewers elke maand een gemengd deel van beide controleren.
Wat als de AI-agent hoger scoort dan je team?
Controleer eerst de mix, want de bot handelt meestal makkelijkere onderwerpen af. Scoort hij na de correctie voor de mix nog steeds hoger op hetzelfde onderwerp, dan is dat nuttig nieuws: hij is misschien klaar voor meer van dat onderwerp, en zijn antwoorden laten mogelijk zien waar het proces of de content van je team werk nodig heeft.
Hoeveel criteria moet een gedeelde scorecard hebben?
Houd de gedeelde kern bij ongeveer zes tot acht criteria en elk blok per type bij twee tot vier. Meer dan dat en reviewers scoren niet meer consequent, en de vergelijking wordt rommelig. Is een criterium al maanden niet gezakt en stuurt het geen enkele beslissing, schrap het dan of maak er een controle van met voldoet of voldoet niet.
Kan één scorecard telefoon, chat en e-mail dekken?
Ja, als de criteria de uitkomst beschrijven en niet het kanaal. Een juist antwoord, beleid gevolgd en een duidelijke volgende stap betekenen hetzelfde aan de telefoon, in een chat of in een e-mail. Voeg alleen controles per kanaal toe waar het kanaal verandert hoe een goed gesprek eruitziet, zoals verificatie bij telefoongesprekken.
