Naar de inhoud

Metrics

Prestaties van een AI-agent meten in 5 stappen

Prestaties van een AI-agent meten in de klantenservice: de metrics die ertoe doen, beoordelen met een scorecard en een eerlijke vergelijking van AI en mensen.

· 6 min. lezen

Gecontroleerd door Dominik Blattner, oprichter van Kaizo

Om de prestaties van een AI-agent te meten, volg je oplossing, nauwkeurigheid, escalatie, containment en sentiment, en beoordeel je daarna elk gesprek dat de AI afhandelt met een kwaliteitsscorecard. Gebruik dezelfde scorecard voor menselijke medewerkers, en koppel elke score aan bewijs.

In het kort

  • Een hoge containment rate zegt weinig zonder oplossing en nauwkeurigheid.
  • Door het volume is een steekproef onbetrouwbaar, dus dek 100% van de AI-gesprekken af.
  • Pak de prompts, guardrails en routing achter slechte scores aan, en meet daarna opnieuw.

Stap 1: Bepaal welke metrics er echt toe doen

Een hoge containment rate ziet er prachtig uit, totdat je ontdekt dat de bot zaken heeft vastgehouden die hij had moeten escaleren. Vanity metrics meten activiteit, geen kwaliteit. Kies daarom eerst metrics die laten zien of de klant echt goed geholpen is.

De belangrijkste prestatiemetrics voor AI

  • Oplossingspercentage: het aandeel gesprekken waarin het probleem van de klant echt is opgelost, en niet alleen gesloten.
  • Feitelijke nauwkeurigheid: hoe vaak de agent juiste, onderbouwde informatie gaf in plaats van details te verzinnen.
  • Escalatiepercentage: hoe vaak, en hoe terecht, de agent overdroeg aan een mens. Te hoog en te laag zijn allebei een probleem.
  • Containment rate: het aandeel dat zonder mens is afgehandeld. Dat is alleen gezond in combinatie met oplossing en nauwkeurigheid.
  • Sentiment: hoe de klant zich voelde tijdens en na het gesprek.

Lees metrics altijd samen, nooit los

Geen enkel getal vertelt in zijn eentje de waarheid. Hoge containment met een laag oplossingspercentage betekent dat de bot klanten afhoudt in plaats van ze te helpen. De metrics zijn alleen zinvol als geheel, en daarom vormt kwaliteitsbeoordeling de basis onder al die metrics.

Stap 2: Prestaties van een AI-agent meten met een scorecard

Uitkomstmetrics vertellen je wat er gebeurde, maar niet waarom een gesprek goed of slecht was. Een kwaliteitsscorecard maakt van prestaties iets wat je kunt analyseren en waarop je kunt coachen, omdat elk gesprek wordt beoordeeld op vaste criteria.

Maak van metrics criteria

Bouw een scorecard die nauwkeurigheid, oplossing, juiste escalatie, toon en naleving van beleid vastlegt, en laat het systeem elk AI-gesprek daar automatisch op beoordelen. Kaizo leest gesprekken native uit Zendesk en Salesforce en beoordeelt elk gesprek zodra het binnenkomt. Zo zijn je prestatiegegevens doorlopend in plaats van een maandelijkse momentopname.

Dek alles af, geen steekproef

AI werkt op volumes waar geen team een zinvolle steekproef uit kan trekken, en een systematische fout herhaalt zich in elk gesprek dat een agent behandelt. Pas door 100% te beoordelen worden de cijfers betrouwbaar. Bij UiPath automatiseerde Kaizo 100% van de QA met 200% ROI, waardoor leidinggevenden volledige data hadden om op te meten in plaats van een fractie.

Stap 3: Vergelijk AI en mensen eerlijk

Zodra AI en mensen allebei gesprekken afhandelen, is de logische vraag hoe ze zich tot elkaar verhouden. Die vergelijking is alleen zinvol als beide op dezelfde manier worden gemeten.

Eén scorecard voor allebei

Beoordeel gesprekken die door AI en door mensen zijn afgehandeld op dezelfde criteria. Dan weerspiegelt een verschil in scores een echt kwaliteitsverschil, en niet twee verschillende meetlatten. Zo zie je ook waar AI echt beter presteert en waar ze ongemerkt achterblijft, per wachtrij en per onderwerp.

DimensieVanity-weergaveEerlijke vergelijking
BasisAI-volume tegenover menselijk volumeDezelfde scorecard voor allebei
OplossingGesloten ticketsEcht opgeloste problemen
EscalatieGeteld als falen van de AIBeoordeeld als terecht of onterecht voor het specifieke geval
DekkingVan elk een steekproef100% van allebei, doorlopend beoordeeld
OordeelWie meer afhandeldeWie het beter afhandelde, met bewijs

Stap 4: Maak elke score controleerbaar

Een prestatiecijfer is maar zo betrouwbaar als wat het heeft voortgebracht. Als een score niet te herleiden is naar het gesprek erachter, kan niemand een echte verbetering onderscheiden van een te soepele beoordeling, en dat tast ongemerkt elke metric verderop aan.

Bewijs maakt de meting geloofwaardig

Elke score die Kaizo geeft, linkt naar het exacte moment in het transcript waaruit die score voortkomt. Een uitspraak over prestaties kun je dus controleren door te lezen in plaats van op vertrouwen aan te nemen, en dat is precies wat teams in staat stelt de automatiseringsgraad met een gerust hart te verhogen.

Stap 5: Handel op basis van de resultaten

Een meting die geen gedrag verandert, is gewoon een dashboard. Het doel van AI-prestaties meten is ze verbeteren, en scores die aan bewijs gekoppeld zijn, maken dat direct mogelijk.

Maak de cirkel rond

  • Herleid nauwkeurigheidsfouten tot de prompt, de kennisbron of het gat in de onderbouwing dat ze veroorzaakte.
  • Corrigeer verkeerd ingestelde escalatietriggers als het escalatiepercentage te hoog of te laag wordt.
  • Groepeer terugkerende lage scores per onderwerp of wachtrij, zodat je het patroon één keer bij de bron oplost.
  • Meet na elke wijziging opnieuw over alle gesprekken, om te bevestigen dat de oplossing standhoudt en elders niets is verslechterd.

Omdat de dekking doorlopend is, zie je het effect van een wijziging in de volledige dataset en niet in een steekproef die het zou kunnen missen.

Veelgemaakte fouten

Dit zijn de fouten waardoor prestatiedata van AI er gezonder uitzien dan de werkelijkheid.

  • Alleen op containment sturen: een hoge containment rate met een laag oplossingspercentage betekent afhouden, geen prestatie.
  • Een steekproef nemen bij een agent met veel volume: een kleine steekproef mist systematische fouten bijna altijd.
  • AI en mensen op verschillende schalen vergelijken: zonder één gedeelde scorecard is de vergelijking betekenisloos.
  • Scores vertrouwen die je niet kunt controleren: een score zonder bewijs erachter kan de agent flatteren zonder dat iemand het merkt.
  • Rapporteren zonder te handelen: metrics die nooit een prompt, guardrail of routingregel veranderen, leveren geen verbetering op.

Veelgestelde vragen

Hoe meet je de prestaties van een AI-agent in de klantenservice?

Volg uitkomstmetrics zoals oplossingspercentage, feitelijke nauwkeurigheid, escalatiepercentage, containment en sentiment, en beoordeel daarna elk gesprek dat de AI afhandelt met een kwaliteitsscorecard in plaats van een steekproef. Vergelijk AI en mensen met dezelfde scorecard, koppel elke score aan bewijs, en handel op de resultaten door aan te pakken wat slechte scores veroorzaakt.

Welke metrics zijn het belangrijkst voor AI-agents?

Oplossingspercentage en feitelijke nauwkeurigheid zijn het belangrijkst, omdat ze laten zien of de klant echt geholpen is met juiste informatie. Escalatiepercentage, containment en sentiment geven onmisbare context, maar zijn misleidend als je ze los bekijkt. Hoge containment met een laag oplossingspercentage betekent bijvoorbeeld dat de agent klanten afhoudt in plaats van problemen op te lossen.

Hoe vergelijk je AI-agents eerlijk met menselijke medewerkers?

Beoordeel beide met dezelfde kwaliteitsscorecard op dezelfde criteria, zodat een verschil in scores een echt kwaliteitsverschil weerspiegelt en niet twee verschillende meetlatten. Als je 100% van allebei doorlopend afdekt, zie je bovendien waar AI beter en waar ze slechter presteert, per wachtrij en per onderwerp.

Waarom is bewijs belangrijk voor AI-metrics?

Een score die niet te controleren is, kan ongemerkt te soepel worden, en dat tast elke metric verderop aan. Als elke score naar het bewijs in het transcript linkt, kun je een uitspraak over prestaties controleren door te lezen in plaats van die blind te vertrouwen.

Waarom is een steekproef niet genoeg bij AI-agents?

AI werkt op volumes waar geen team een zinvolle steekproef uit kan trekken, en een systematische fout herhaalt zich in elk gesprek dat een agent behandelt. Een kleine steekproef mist zulke fouten bijna altijd. Pas als je 100% van de AI-gesprekken beoordeelt, worden de cijfers betrouwbaar en zie je het effect van elke wijziging in de volledige dataset.

Verder lezen

Meet AI-agents op elk gesprek

In een live demo laten we je oplossing, nauwkeurigheid en escalatie zien, beoordeeld op 100% van de door AI afgehandelde gesprekken, en elk cijfer is terug te leiden tot het transcript.

Laten we praten Ontdek Agentic Auto QA

Op deze pagina

Verder lezen

Zie dit in een live demo

We nemen je mee door Kaizo met realistische voorbeeldgesprekken, zodat je ziet hoe het voorbeeld wordt gescoord, toegelicht en gecoacht.

Vertrouwd door internationale supportteams

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath