KPI’s voor AI-agents in de klantenservice moeten meten of de AI-agent het probleem correct heeft opgelost, niet of er geen mens aan te pas kwam. De kernset: correct oplossingspercentage, gecontroleerde nauwkeurigheid, naleving van beleid, kwaliteit van de overdracht, herhaalcontact binnen 7 dagen, percentage onveilige automatische acties en kosten per correcte oplossing. Containment en deflection blijven op het dashboard als volume-input.
KPI’s voor de servicekwaliteit van AI meten of een AI-agent het probleem van de klant echt heeft opgelost: oplossingskwaliteit, feitelijke nauwkeurigheid, escalatiekwaliteit, herhaalcontact, stille afhakers, naleving van beleid en kosten per opgelost contact. Containment rate en CSAT na een AI-gesprek, de twee KPI’s voor AI in de klantenservice die de meeste teams rapporteren, zijn ook de meest misleidende. Beoordeel in plaats daarvan elk gesprek, met elke score gekoppeld aan het bewijs, zoals kwaliteitscontrole voor AI-agents doet.
In het kort
- Containment telt een gefrustreerde afhaker als succes.
- CSAT na een AI-gesprek hoort nooit iets van de klanten die het opgaven.
- Herhaalcontacten en stille afhakers vangen op wat containment verbergt.
- Elke score moet terug te leiden zijn tot bewijs in het transcript.
- Het correcte oplossingspercentage hoort de belangrijkste KPI voor AI-agents te zijn, met de kosten per correcte oplossing als financiële tegenhanger.
- Leveranciers definiëren “opgelost” verschillend, dus herschrijf elk cijfer van een leverancier naar je eigen definitie voordat je vergelijkt.
Waarom de twee standaard-KPI’s voor AI in de klantenservice misleiden
Elke supportleider die AI inzet, krijgt van de directie dezelfde vraag: bewijs dat het werkt. De twee cijfers waar als eerste naar wordt gegrepen, zijn de containment rate en CSAT na een AI-gesprek, omdat ze allebei makkelijk op te halen zijn en allebei de goede kant op lijken te gaan als je niet al te goed kijkt. Het zijn ook de twee cijfers die het minst zeggen over wat er werkelijk met je klanten is gebeurd.
Het probleem is structureel, geen kwestie van bijstellen. Containment meet een routeringsuitkomst: heeft een mens dit gesprek aangeraakt? CSAT na een AI-gesprek meet een mening, maar alleen de mening van mensen die ervoor kozen er een te geven. Geen van beide kijkt naar de inhoud van het gesprek, en alleen daar ligt het antwoord. Dat is een heel ander probleem dan wat de standaardmethode om de prestaties van een AI-agent te meten oplost, en een heel ander probleem dan kiezen welke van de algemene KPI’s voor de klantenservice op je dashboard thuishoren. Dit gaat over welke cijfers stilletjes tegen je liegen.
Hier is de korte versie van het argument, metric voor metric, voordat we elk ervan in detail bespreken.
| Metric | Wat hij zou laten zien | Waarom hij misleidt | Wat je in plaats daarvan meet |
|---|---|---|---|
| Containment / deflection rate | De AI heeft het gesprek succesvol afgehandeld | Telt afhaken en afschepen als succes, omdat er geen mens bij betrokken was | Oplossingskwaliteit plus het percentage stille afhakers |
| CSAT na een AI-gesprek | Klanten zijn tevreden over de AI | Ingevuld door een zelfgeselecteerde minderheid, en de kwaadste klanten vertrekken gewoon | Herhaalcontactpercentage en oplossingskwaliteit op 100% van de gesprekken |
| Gemiddelde afhandeltijd van AI-gesprekken | De AI is snel | Een snel fout antwoord is sneller dan een langzaam goed antwoord | Feitelijke nauwkeurigheid en kosten per echt opgelost contact |
| Escalatiepercentage | Minder escalaties betekent dat de AI het redt | Escalaties onderdrukken is makkelijk en schadelijk; timing en overdracht zijn belangrijker | Escalatiekwaliteit: het juiste moment, de volledige context |
| Volume afgehandeld door AI | Schaal en ROI | Zegt niets over wat er binnen dat volume is gebeurd | Naleving van beleid, gescoord op je eigen criteria |
Containment rate: de metric die afschepen beloont
De containment rate, soms deflection rate genoemd, is het aandeel gesprekken dat eindigde zonder dat er een menselijke medewerker bij betrokken raakte. Het werd de standaardmetric voor AI omdat hij direct aansluit op de business case: elk gesprek dat binnen de AI blijft, is een contact waarvoor je geen mens hoefde te betalen.
De fout zit in de definitie. Containment vraagt niet of de klant kreeg waarvoor hij kwam. Het vraagt of er iemand anders bij gehaald moest worden. Dat betekent dat verschillende, heel uiteenlopende uitkomsten allemaal op dezelfde manier als succes worden geteld:
- De echte oplossing: de klant stelde een vraag, de AI antwoordde correct en de klant vertrok tevreden. Dit is de uitkomst waarvoor de metric is ontworpen.
- De afhaker: de klant vroeg het drie keer, kreeg een variant van hetzelfde nutteloze antwoord en sloot het venster. Er was geen mens bij betrokken, dus het telt als containment.
- Het afschepen: de AI kon of wilde niet overdragen, bleef artikelen uit het helpcentrum aanbieden, en de klant gaf het op en ging in plaats daarvan naar social media of de reviews in de app store.
- Het verplaatste contact: de klant sloot de chat en belde de klantenservicelijn, stuurde een e-mail of opende de volgende dag een nieuw ticket. Binnen het ene kanaal gehouden, maar in een ander kanaal kost het je nog steeds geld.
Drie van die vier zijn mislukkingen, en het afschepen is zelfs erger dan niets doen. Toch kan een containmentcijfer ze niet van elkaar onderscheiden, want de informatie die het verschil maakt zit in het gesprek, en containment kijkt daar nooit.
Dit is geen pleidooi om containment los te laten. Het is een nuttige input voor capaciteit en kosten. Het is een pleidooi om het niet als kwaliteitsmetric te rapporteren, want containment direct optimaliseren betekent dat je het klanten moeilijker maakt om een mens te bereiken. Dat is precies het gedrag dat niemand wil en dat iedereen herkent zodra hij zelf klant is.
Deflection heeft dezelfde fout, plus het zelfverzekerde foute antwoord
De deflection rate, het aandeel contacten dat nooit in een wachtrij bij een mens belandt, heeft dezelfde blinde vlek, en beide missen het foute antwoord dat de klant gelooft. Een klant die de verkeerde termijn voor terugbetaling hoort, bedankt en vertrekt: contained, deflected en in de meeste rapporten van leveranciers opgelost. Zie hoe je containment eerlijk meet.
CSAT na een AI-gesprek: de metric die nooit hoort van wie vertrok
CSAT (in het Engels) is een goede metric in zijn oorspronkelijke context: een gesprek met een mens, een redelijk responspercentage, een stabiele groep die hem invult. Vastgeschroefd aan een AI-gesprek ontwikkelt hij een specifieke en ernstige blinde vlek.
Zelfselectie op precies het verkeerde moment
Enquêteantwoorden komen van een minderheid van de klanten, en die minderheid is nooit willekeurig. Mensen die er sterk genoeg over denken om te reageren, zitten vaker aan een van beide uitersten. Maar de faalwijze van AI die het meest telt, de klant die stilletjes concludeert dat dit nergens heen gaat en afhaakt, is precies de klant die achteraf de kleinste kans heeft om een enquête in te vullen. Die is niet gebleven om ondervraagd te worden. Dat zijn de stille afhakers, en CSAT na een AI-gesprek is structureel doof voor hen.
De enquête vraagt naar het verkeerde
Zelfs bij de mensen die wel reageren, haalt een tevredenheidsscore door elkaar of het antwoord klopte, of de toon prettig was en of de uitkomst er een was die de klant wilde horen. Een AI die charmant is en vol overtuiging het verkeerde zegt, kan goed scoren. Een AI die correct een beleidsantwoord geeft waar de klant niet blij mee is, kan slecht scoren. Geen van beide uitkomsten vertelt je of het systeem werkt.
De vergelijking is in beide richtingen oneerlijk
Teams vergelijken vaak de CSAT van de AI met de CSAT van menselijke medewerkers en trekken daar conclusies uit. Die twee groepen zijn niet vergelijkbaar: de AI neemt meestal eerst de eenvoudige contacten met hoog volume die makkelijk tevreden te stellen zijn, en escaleert de moeilijke. Een flatterende AI-CSAT kan simpelweg betekenen dat de AI de makkelijke wachtrij kreeg. Een slechte kan betekenen dat de AI de wachtrij kreeg waarop niemand kon winnen.
Blijf CSAT meten. Behandel hem alleen niet langer als bewijs over je AI. Behandel hem als één signaal tussen meerdere, gewogen met de wetenschap dat hij alleen hoort van de mensen die bleven.
Welke KPI’s voor AI-agents vervangen containment als kopcijfer?
Zeven KPI’s voor AI-agents horen bovenaan het rapport: correct oplossingspercentage, gecontroleerde nauwkeurigheid, naleving van beleid, kwaliteit van de overdracht, herhaalcontact binnen 7 dagen, percentage onveilige automatische acties en kosten per correcte oplossing. Elk ervan leest het gesprek of de systemen erachter, dus geen enkele kun je opdrijven door de mens moeilijker bereikbaar te maken.
Containment, deflection, CSAT en afhandeltijd staan een niveau lager, als input voor capaciteit en sentiment. De secties hieronder leggen elke KPI uit, en de definitietabel verderop geeft de formules. Voor het kopcijfer in detail, zie correct oplossingspercentage.
Hoe definiëren leveranciers “opgelost” verschillend?
Leveranciers gebruiken hetzelfde woord voor verschillende tests. Intercom telt een klant die vertrekt zonder om meer hulp te vragen, Zendesk voegt voor zijn geverifieerde niveau een beoordeling door een taalmodel toe, en Ada vereist een relevant, juist en veilig antwoord. Geen van deze definities, zoals ze gedocumenteerd zijn, controleert backendgegevens of contact via andere kanalen.
| Term van de leverancier | Telt als opgelost als | Controleert of het antwoord juist was? | Wat het niet ziet |
|---|---|---|---|
| Intercom Fin, assumed resolution | De klant “exits the conversation without requesting further assistance” na het laatste antwoord van Fin; afgetrokken als de klant hetzelfde gesprek heropent (Intercom) | Nee | Een fout antwoord dat de klant geloofde; terugkeer via een ander kanaal |
| Intercom Fin, confirmed resolution | De klant bevestigt dat het antwoord hielp (“That helped”) | Alleen vanuit het oogpunt van de klant | Of de klant gelijk had |
| Zendesk, contained resolution | De AI-agent handelde de interactie af “without the customer requesting further assistance” (Zendesk) | Nee; het omvat ook gesprekken die de verificatiecontrole niet doorstonden | Juistheid, backendgegevens |
| Zendesk, verified resolution | Zoals contained, plus een taalmodel beoordeelt de tekst van het gesprek en bevestigt dat de vraag is opgelost | Op basis van de tekst van het transcript | Of de actie in je systemen gebeurde; andere kanalen |
| Ada, automated resolution | Geen mens betrokken, en het gesprek wordt als relevant, juist en veilig beoordeeld | Ja, door beoordeling van het gesprek | Herhaalcontact na het einde van het gesprek |
Twee oplossingspercentages van leveranciers zijn dus pas vergelijkbaar als je ze allebei herschrijft naar één definitie die van jou is; de eigen KPI-gids van Fin zegt dat de definitie “varies enormously across vendors” (Fin). Intercom factureert bovendien elke oplossing van Fin. En de periode is kort: Zendesk sluit een messaginggesprek standaard 2 uur na het eerste bericht af en een e-mailgesprek 72 uur na de eerste e-mail, dus een fout die op dag 4 opduikt, raakt het cijfer van de leverancier nooit. Onze audit van het oplossingspercentage van AI-agents laat zien hoe je een gecorrigeerd percentage naast dat van de leverancier rapporteert.
Oplossingskwaliteit: de ankermetric
Als je containment door één ding vervangt, vervang het dan door oplossingskwaliteit: heeft dit gesprek het probleem van de klant werkelijk opgelost? Het is het anker van het hele geheel, omdat elke andere metric hier ofwel een input ervoor is, ofwel een controle erop.
Wat het is. Een oordeel, gevormd op basis van het transcript, over de vraag of het onderliggende probleem van de klant is aangepakt. Niet of een ticket is gesloten, niet of er een antwoord is verstuurd, niet of de intentie is herkend. Of datgene wat voor de klant moest gebeuren, ook is gebeurd.
Hoe je het meet. Als gescoord criterium in je beoordelingscriteria voor kwaliteitsmonitoring, toegepast op gesprekken die de AI afhandelt precies zoals op gesprekken die mensen afhandelen. Het criterium moet zo geschreven zijn dat een reviewer en een geautomatiseerde beoordelaar het op dezelfde manier zouden lezen: leg per belangrijk contacttype vast welk bewijs in het transcript als oplossing telt. Terugbetaling gevraagd en terugbetaling bevestigd. Adres gewijzigd en wijziging bevestigd aan de klant. Vraag gesteld en juist antwoord gegeven, waarbij de klant aangeeft het te hebben begrepen.
Hoe een slecht cijfer eruitziet. Het signaal om op te letten is geen absolute drempel, maar het gat tussen oplossingskwaliteit en containment. Als een groot deel van de gesprekken binnen de AI blijft, maar een veel kleiner deel als opgelost wordt gescoord, dan is dat gat de omvang van je probleem, uitgedrukt in gesprekken. Het is ook het cijfer dat het waard is om aan de directie voor te leggen, want het is de eerlijke versie van het cijfer dat ze te zien kregen.
Let op: dit is bewust strenger dan first contact resolution (in het Engels), dat een oplossing afleidt uit het uitblijven van een vervolgcontact. FCR is een nuttige benadering. Oplossingskwaliteit leest het transcript in plaats van conclusies te trekken uit stilte, en stilte is precies wat een afhakende klant oplevert.
Feitelijke nauwkeurigheid en hallucinatiepercentage
Een AI-agent (in het Engels) die een terugbetalingstermijn verzint, een levertermijn verkeerd noemt of vol overtuiging een functie beschrijft die je niet hebt, is geen kwaliteitsprobleem maar een aansprakelijkheidsprobleem. Feitelijke nauwkeurigheid is de metric die dat opvangt, en het is de metric waarvoor de meeste teams helemaal geen meting hebben.
Wat het is. Het aandeel AI-antwoorden met een feitelijke bewering die te controleren is aan de hand van je kennisbank, beleidsdocumenten of bestelgegevens, en het aandeel van die beweringen dat klopt. Het hallucinatiepercentage is het omgekeerde: beweringen die vol overtuiging worden gedaan en door geen enkele bron worden ondersteund.
Hoe je het meet. Elke feitelijke bewering in een gesprek wordt gecontroleerd aan de hand van de bron die als waarheid geldt. Dat is alleen haalbaar als het automatisch gebeurt, op volume, en dat is een van de sterkste argumenten om elk gesprek te scoren in plaats van een steekproef te nemen: een hallucinatie in een gesprek dat niemand las, kost precies evenveel als een in een gesprek dat wel iemand las. Volg het apart per contacttype, want nauwkeurigheid is zelden gelijkmatig. Vragen over facturen en vragen over verzending gedragen zich meestal heel verschillend.
Hoe een slecht cijfer eruitziet. Elk percentage boven nul bij beweringen met juridisch, financieel of veiligheidsgewicht is een slecht cijfer, hoe klein ook. Bij beweringen met minder op het spel gaat het om de richting: een hallucinatiepercentage dat stijgt na een wijziging in de kennisbank of een modelupdate vertelt je iets specifieks en dringends over die wijziging.
Eén waarschuwing: het vertrouwen van een AI-agent in zijn eigen antwoord is geen bewijs dat dat antwoord klopte. Nauwkeurigheid moet worden gecontroleerd aan de hand van je kennisbank en je beleid, met het bewijs voor elk oordeel erbij. Dat is het principe achter een goed opgezette evaluatie met LLM as a judge (in het Engels).
Escalatiekwaliteit: niet hoe vaak, maar hoe goed
Het escalatiepercentage wordt gerapporteerd alsof lager beter is. Dat is het niet. Escalatie is een functie, en een AI die nooit escaleert, is geen sterke AI maar een klant die vastzit. Waar het om gaat, is escalatiekwaliteit: vond de overdracht op het juiste moment plaats en kwam ze aan met de juiste context?
Timing
De twee faalwijzen liggen aan weerszijden van het juiste moment. Te vroeg escaleren verspilt de automatisering volledig en irriteert een klant die een eenvoudige vraag had. Te laat escaleren, na drie of vier mislukte rondjes, betekent dat de mens een klant erft die al boos is en een gesprek dat opnieuw moet beginnen. Scoor het moment: was er een herkenbare beurt waarop een competente overdracht had moeten plaatsvinden, en gebeurde het daar?
Overdracht van context
De duurste escalatiefout is die waarbij de menselijke medewerker het gesprek opent en de klant moet vragen alles opnieuw uit te leggen. Dat ene gedrag maakt de goodwill van de hele AI-interactie ongedaan. Scoor of de overdracht het probleem bevatte dat de klant had genoemd, wat er al was geprobeerd en alle account- of bestelcontext die de AI al had opgehaald.
Juistheid
Was escaleren eigenlijk wel de juiste keuze? Een AI die elk dubbelzinnig bericht escaleert, creëert voor niets werk voor mensen, en dat zie je terug in de kosten per opgelost contact in plaats van in de kwaliteitsscores. Beide richtingen moeten gescoord worden, anders verschuif je het probleem bij het optimaliseren alleen van de ene naar de andere kant.
Als één KPI scoor je elke overdracht als geslaagd of niet geslaagd op het juiste moment, de volledige context en de juiste keuze; de kwaliteit van de overdracht is het aandeel dat op alle drie slaagt. Zie de overdracht van AI naar mens scoren.
Hoe een slecht cijfer eruitziet. Een dalend escalatiepercentage samen met een dalende score voor oplossingskwaliteit is het duidelijkste slechte signaal in dit hele artikel. Het betekent dat de AI vasthoudt aan gesprekken die hij niet kan afronden.
Herhaalcontactpercentage en percentage stille afhakers
Deze twee staan bij elkaar omdat het je goedkoopste leugendetectors zijn. Ze vangen allebei mislukkingen op die containment als succes telt, en geen van beide vraagt een klant om iets in te vullen.
Herhaalcontactpercentage na een AI-gesprek
Wat het is. Het aandeel klanten dat binnen een vastgestelde periode, via welk kanaal dan ook, terugkomt over hetzelfde onderliggende probleem na een gesprek dat de AI afhandelde.
Hoe je het meet. Koppel contacten per klant en per probleem, niet per ticket, en kijk specifiek over kanalen heen. Een klant die een chat afbrak en daarna belde, is het allerbelangrijkste geval om op te vangen, en een overzicht per kanaal mist die volledig. Stem de periode af op je product: dezelfde dag bij een leveringsprobleem, een week of langer bij een factuurgeschil. Leg voor de KPI bovenaan het rapport één vaste periode van 7 dagen vast, zodat het cijfer van week tot week vergelijkbaar is; periodes per onderwerp blijven nuttig voor de diagnose.
Hoe een slecht cijfer eruitziet. Een herhaalcontactpercentage dat na afhandeling door AI hoger ligt dan bij vergelijkbare contacten die mensen afhandelen, is een alarmsignaal, wat de absolute waarde ook is. Het betekent dat containment werk heeft verplaatst in plaats van weggenomen.
Percentage stille afhakers
Wat het is. Het aandeel AI-gesprekken dat de klant verlaat zonder oplossing en zonder escalatie. Geen enquête, geen klacht, geen vervolgcontact. Deze gesprekken zien er in elke metric die op routering is gebaseerd precies hetzelfde uit als successen.
Hoe je het meet. Zoek de gesprekken die eindigden met een beurt van de klant, of waarbij het laatste bericht van de AI onbeantwoord bleef, en scoor of het probleem op dat moment was opgelost. Tevreden vertrekkers scheiden van stille afhakers is een oordeel op basis van het transcript, en precies daarom staat deze metric op de meeste dashboards niet: je kunt hem niet tellen, je moet hem lezen.
Hoe een slecht cijfer eruitziet. Elk percentage stille afhakers dat een betekenisvol deel van je containment rate is, betekent dat je containmentcijfer met precies dat deel is opgeblazen. Containment rapporteren zonder dit cijfer is een cijfer rapporteren waarvan je weet dat het niet klopt.
Percentage onveilige automatische acties: de KPI voor AI-agents die acties uitvoeren
Het percentage onveilige automatische acties is het aandeel acties dat een AI-agent zelfstandig uitvoerde, zoals terugbetalingen, opzeggingen, tegoeden of accountwijzigingen, en dat een regel brak: boven een limiet, een verplichte controle overgeslagen, het verkeerde record, een actie waar niemand om vroeg, of een actie die werd geclaimd maar nooit in de backend gebeurde. Nauwkeurigheid scoort de tekst; deze KPI scoort wat de agent deed.
Hoe je het meet. Stem elke uitgevoerde actie af, geen steekproef, op de limieten van het beleid en het gesprek dat haar in gang zette. Volg het percentage overrulingen (acties die een mens tegenhield) ernaast: een dalend percentage onveilige acties met een stijgend percentage overrulingen betekent dat mensen het probleem opvangen, niet dat het verdwenen is. Elke onveilige actie op betalingen, toegang tot accounts of persoonsgegevens is een incident met een vaste eigenaar. De regels horen in je guardrails voor AI-agents.
Naleving van beleid en kosten per echt opgelost contact
De laatste twee sluiten de cirkel tussen kwaliteit en de business case.
Naleving van beleid
Wat het is. Of de AI de regels volgde die hij moet volgen: de identiteit verifiëren voordat accountgegevens worden gedeeld, verplichte mededelingen doen, kortingen buiten het beleid weigeren, een kwetsbare klant of het melden van een klacht correct afhandelen, en binnen de voorgeschreven formuleringen blijven waar die van toepassing zijn.
Hoe je het meet. Dit zijn binaire criteria die met bewijs te controleren zijn, en daarmee het makkelijkste op deze lijst om automatisch te scoren en het schadelijkste om alleen steekproefsgewijs te controleren. Voer ze uit als checks met geslaagd of niet geslaagd op elk gesprek, en behandel elke keer niet geslaagd als een incident om te beoordelen in plaats van een percentage om weg te middelen. Het is dezelfde logica van beoordelingscriteria waarop je menselijke team al wordt gescoord, en daar draait het om: je interne kwaliteitsscore moet ook de AI omvatten, anders heb je twee standaarden en geen vergelijking.
Hoe een slecht cijfer eruitziet. Bij identiteitsverificatie en wettelijk verplichte mededelingen is één keer niet geslaagd al een slecht cijfer. Neem hier geen gemiddelde van.
Kosten per echt opgelost contact
Wat het is. De totale kosten van de AI-gesprekken gedeeld door het aantal gesprekken dat echt is opgelost, niet door het aantal dat binnen de AI is gebleven.
Hoe je het meet. Neem je score voor oplossingskwaliteit, pas die toe op je containmentvolume en gebruik het aantal dat je dan krijgt als noemer. Tel de kosten mee die de AI verderop in de keten veroorzaakte: herhaalcontacten, de extra afhandeltijd bij escalaties die zonder context binnenkwamen, en de tijd die mensen besteden aan het rechtzetten van fouten.
Hoe een slecht cijfer eruitziet. Als de kosten per echt opgelost contact niet duidelijk beter zijn dan bij de vergelijkbare afhandeling door mensen, verdient de inzet zichzelf niet terug, hoe goed de containmentgrafiek er ook uitziet. Dit is het cijfer dat een kwaliteitsargument verandert in een financieel argument, en dat is meestal het argument dat budget oplevert.
De definitietabel voor KPI’s van AI-agents (neem deze over)
Elke KPI bovenaan het rapport heeft een formule en een gegevensbron nodig, anders berekenen twee teams hem op twee manieren. De doelen zijn vertrekpunten voor een eerste kwartaal, geen benchmarks: vervang ze na vier weken scoren door je eigen nulmeting.
| KPI | Formule | Gegevensbron | Voorbeelddoel (vertrekpunt) |
|---|---|---|---|
| Correct oplossingspercentage | AI-gesprekken met een juist antwoord, de actie uitgevoerd, het beleid gevolgd en geen herhaalcontact binnen 7 dagen, gedeeld door alle gesprekken die de AI afhandelde | QA-scoring van transcripts, backendgegevens, contacthistoriek | Binnen 10 punten van het oplossingspercentage dat de leverancier rapporteert, daarna elk kwartaal hoger |
| Gecontroleerde nauwkeurigheid | Feitelijke beweringen die juist bleken, gedeeld door de gecontroleerde feitelijke beweringen | Scoring tegen kennisbank, beleidsdocumenten en bestelgegevens | 98% in totaal; 100% bij beweringen over geld, recht en veiligheid |
| Naleving van beleid | Gesprekken die elke verplichte controle doorstonden die van toepassing was, gedeeld door de gesprekken waarin een controle van toepassing was | Criteria met geslaagd of niet geslaagd op de scorecard (identiteit, verplichte mededelingen, limieten voor terugbetaling) | 100% bij identiteit en wettelijk verplichte mededelingen; elke keer niet geslaagd beoordeeld |
| Kwaliteit van de overdracht | Overdrachten die slagen op timing, context en juistheid, gedeeld door alle overdrachten | Escalatiecriteria op de scorecard plus overdrachtsgebeurtenissen in de helpdesk | 90% van de overdrachten slaagt; minder dan 5% van de klanten moet zichzelf herhalen |
| Herhaalcontact binnen 7 dagen | Klanten die binnen 7 dagen via welk kanaal dan ook terugkomen over hetzelfde probleem, gedeeld door de AI-gesprekken die als opgelost zijn gemarkeerd | Contacthistoriek gekoppeld op klant-ID over kanalen heen | Gelijk aan of lager dan het percentage bij afhandeling door mensen voor hetzelfde contacttype |
| Percentage onveilige automatische acties | Door de AI uitgevoerde acties die een regel braken, gedeeld door alle door de AI uitgevoerde acties | Actielogs afgestemd op de limieten van het beleid en het gesprek dat de actie in gang zette | Nul bij betalingen en toegang tot accounts; elders onder 0,1%, elk geval beoordeeld |
| Kosten per correcte oplossing | Kosten van de AI plus de kosten van de menselijke vervolgcontacten die ze veroorzaakte, gedeeld door de correcte oplossingen | Facturen van het platform, personeelskosten, contacthistoriek | Lager dan je kosten per correcte oplossing door een mens voor hetzelfde contacttype |
Splits elke rij op contacttype, want een totaalgemiddelde verbergt de ene intentie die kapot is. Gebruik dezelfde definities voor je menselijke team, zodat rijen voor AI en mens op één dashboard kunnen staan; heeft een KPI geen menselijke tegenhanger, zoals het percentage onveilige automatische acties, toon dan de dichtstbijzijnde controle (terugbetalingen en tegoeden van medewerkers buiten het beleid).
Rekenvoorbeeld: één maand, twee kopcijfers
Een illustratie met ronde getallen, geen benchmark. Een AI-agent handelt in een maand 10.000 gesprekken af. Het dashboard van de leverancier toont 70% containment (7.000 gesprekken) en 65% oplossing (6.500).
Het team controleert 400 van de “opgeloste” gesprekken. In 14% gaf de AI een fout antwoord of claimde hij een actie die nooit gebeurde, en nog eens 8% kwam binnen 7 dagen terug over hetzelfde probleem. Dat laat 78% correct over.
| Cijfer | Berekening | Resultaat |
|---|---|---|
| Correcte oplossingen | 6.500 x 78% | 5.070 |
| Correct oplossingspercentage | 5.070 / 10.000 | 50,7% (leverancier zegt 65%) |
| Vervolgcontacten veroorzaakt door de AI | 6.500 x 22% | 1.430 |
| Kosten per oplossing volgens de leverancier | 13.000 euro AI-kosten / 6.500 | 2,00 euro |
| Kosten per correcte oplossing | (13.000 euro + 1.430 x 6 euro menselijk vervolgcontact) / 5.070 | 4,26 euro |
Dezelfde maand, dezelfde gesprekken. Het ene rapport zegt dat de AI 65% van de contacten oplost voor 2,00 euro; het andere zegt dat hij de helft oplost voor meer dan het dubbele. Met een steekproef van 400 heeft die 78% een foutmarge van ongeveer 4 punten naar beide kanten (95% betrouwbaarheid); elk gesprek scoren haalt die marge weg.
Welke dashboards containment rate, CSAT en afhandeltijd tonen
De meeste helpdesks en AI-agentplatformen tonen containment rate, CSAT en gemiddelde afhandeltijd al in hun ingebouwde rapportages. Wat die dashboards zelden laten zien, is of elk gesprek echt is opgelost, juist was en volgens de regels verliep.
| Metric | Waar hij meestal vandaan komt | Wat hij je niet kan vertellen |
|---|---|---|
| Containment- of deflectiepercentage | Het AI-agentplatform of de helpdeskrapportage | Of de klant geholpen werd of opgaf |
| CSAT | Enquêtes na het gesprek in de helpdesk | Wat de klanten meemaakten die niet antwoordden |
| Gemiddelde afhandeltijd | Rapportage van de helpdesk of het contactcenter | Of een snel antwoord ook een goed antwoord was |
| Oplossingskwaliteit, nauwkeurigheid, naleving van beleid | Een QA-platform dat de transcripts scoort | (Dit is de laag die de andere drie missen) |
In de praktijk zijn het dus twee lagen. Houd de operationele cijfers uit de tools die ze maken, en voeg een kwaliteitslaag toe die elk gesprek leest, voor menselijke en AI-agents. Kaizo is gebouwd voor die tweede laag: het scoort gesprekken van AI-agents met dezelfde scorecard als die van je team, zodat je kwaliteit per team en per week ziet, mens en AI naast elkaar. Meer over containment lees je in wat containment rate is en waarom het kan misleiden.
Waarom KPI’s voor AI-servicekwaliteit elk gesprek nodig hebben
Loop de metrics hierboven nog eens door en voor elk ervan geldt hetzelfde: je moet het gesprek lezen. Oplossingskwaliteit is een oordeel over het transcript. Het hallucinatiepercentage is een controle van beweringen aan de hand van bronnen. Escalatiekwaliteit is een beoordeling van een specifieke beurt. Een stille afhaker is de afwezigheid van een signaal, en dat betekent dat je hem alleen vindt door te kijken naar gesprekken waarin niets gebeurde.
Dat heeft twee gevolgen die de meeste meetprogramma’s nog niet hebben verwerkt.
Steekproeven werken hier niet
Traditionele kwaliteitscontrole beoordeelt een klein percentage van de gesprekken, en voor een menselijk team van bekende omvang is dat een verdedigbaar statistisch compromis. Voor AI is het om twee redenen niet verdedigbaar. Ten eerste zijn AI-fouten systematisch in plaats van verspreid: een slecht kennisbankartikel of een randgeval in het beleid levert elke keer dat het voorkomt dezelfde fout op, dus een steekproef vangt ofwel het hele cluster, ofwel mist hem volledig. Ten tweede handelt AI veel meer volume af, dus is dezelfde kleine steekproef een kleiner venster op een grotere operatie. Elk gesprek scoren (in het Engels) is de voorwaarde en niet het doel: het haalt de selectiebias weg die de andere cijfers betekenisloos maakt. Het gaat er niet om iemand in de gaten te houden, het gaat erom dat je een steekproefregel niet laat bepalen wat je metrics zeggen.
Je zou een score niet op goed vertrouwen moeten hoeven aannemen
Eis dat elke score verwijst naar het exacte bewijs in het transcript waarop hij is gebaseerd, dat elke score kan worden aangevochten en door een mens kan worden beslecht, en dat de beoordelaar kan worden getest op een set gesprekken die je eigen reviewers hebben gescoord, zodat je per criterium het overeenstemmingspercentage ziet voordat je iets naar boven rapporteert. Een score die je kunt herleiden, is een score die je kunt aanvechten. Een score die je niet kunt herleiden, is een marketingclaim met een getal erbij.
Kaizo scoort AI-agents en je menselijke team op één set criteria die jij bepaalt, waarbij elke score terug te leiden is tot het transcript en te toetsen is aan je eigen referentieset. Kaizo past die criteria toe op al je gesprekken in plaats van op een uitgekozen deel. In de praktijk betekent het dat kwaliteitscontrole van AI-agents en kwaliteitscontrole van mensen niet langer twee aparte programma’s zijn die twee onvergelijkbare reeksen cijfers opleveren.
Zo meet je de prestaties van AI in de klantenservice
Meet de prestaties van AI in de klantenservice in vijf stappen: definieer oplossing per contacttype, scoor elk AI-gesprek met één scorecard, voeg de stille signalen toe, vergelijk met je menselijke team en rapporteer het verschil.
- Definieer oplossing per contacttype. Leg vast welk bewijs in het transcript telt als opgelost voor je belangrijkste contactredenen: terugbetaling bevestigd, adreswijziging gecontroleerd, juist antwoord erkend.
- Scoor elk AI-gesprek met één scorecard. Gebruik dezelfde criteria als voor je menselijke team, plus die voor bots: feitelijke nauwkeurigheid, trouw aan het beleid, binnen de scope blijven en op het juiste moment escaleren.
- Voeg de stille signalen toe. Volg herhaalcontact over kanalen heen en stille afhakers, want geen van beide zie je terug in containment of CSAT.
- Vergelijk met je menselijke team. Zet de kwaliteit van AI en mensen in dezelfde grafiek, per contacttype, zodat je niet de makkelijke wachtrij met de moeilijke vergelijkt.
- Rapporteer het verschil. Laat de directie containment naast oplossingskwaliteit zien, en de kosten per echt opgelost contact naast de kosten per vastgehouden contact.
Test de scoring zelf voor je erover rapporteert: laat hem lopen op gesprekken die je reviewers al scoorden en controleer de overeenstemming per criterium. Onze gids over de prestaties van een AI-agent meten beschrijft de methode uitgebreider.
Wanneer is deze set KPI’s niets voor jou?
Handelt je AI-agent een paar honderd gesprekken per maand af, beantwoordt hij alleen veelgestelde vragen en voert hij geen acties uit, dan zijn zeven KPI’s overbodige ballast: lees wekelijks een steekproef en volg de herhaalcontacten.
Heb je geen geschreven scorecard, schrijf er dan eerst een (scorecard voor een AI-agent). Een AI die alleen antwoorden voorstelt die een persoon verstuurt, is agent assist, dus dan gelden de KPI’s voor je menselijke team. Om te beginnen: scoor 100 willekeurige “opgeloste” gesprekken van vorige maand op juist antwoord, actie uitgevoerd, beleid gevolgd en herhaalcontact binnen 7 dagen, en rapporteer het resultaat naast het percentage van de leverancier (foutmarge ongeveer 10 punten). Voor drempels voor waarschuwingen, zie AI-agent monitoring.
Meet wat je AI-agents echt hebben gedaan
Zie in een live demo met realistische voorbeelddata hoe oplossingskwaliteit naast containment staat, beoordeeld op criteria zoals de jouwe. Elke score leidt terug naar het bewijs in het transcript, en bij je eigen invoering toets je hem aan gesprekken die je reviewers al hebben gescoord.
Laten we praten Bekijk kwaliteitscontrole voor AI-agents Bekijk Kaizo Insights
Veelgestelde vragen
Wat zijn de belangrijkste KPI’s voor AI in de klantenservice?
Correct oplossingspercentage, gecontroleerde nauwkeurigheid, naleving van beleid, kwaliteit van de overdracht, herhaalcontact binnen 7 dagen, percentage onveilige automatische acties en kosten per correcte oplossing, met het percentage stille afhakers als diagnose. Deze beschrijven wat er werkelijk in het gesprek en in je systemen is gebeurd. Containment rate en CSAT na een AI-gesprek, de twee die het vaakst worden gerapporteerd, beschrijven in plaats daarvan routering en een zelfgeselecteerde mening, en daarom misleiden ze.
Wat is het verschil tussen oplossingspercentage, deflection en containment?
Containment is het aandeel gesprekken dat eindigde zonder mens. Deflection is het aandeel contacten dat nooit in een wachtrij bij een mens belandde. Het oplossingspercentage is de eigen test van de leverancier, van “de klant vertrok zonder om meer hulp te vragen” tot een automatische beoordeling van het transcript. Geen van drieën controleert backendgegevens of andere kanalen, en daarom staat het correcte oplossingspercentage erboven.
Wat is de containment rate en waarom is die misleidend?
De containment rate, ook wel deflection rate genoemd, is het aandeel gesprekken dat een AI afhandelde zonder dat er een mens bij betrokken raakte. Hij is misleidend omdat hij meet of er iemand anders bij gehaald moest worden, niet of de klant geholpen is. Een klant die het drie keer vroeg, nergens kwam en gefrustreerd het venster sloot, telt als containment, en een klant die het opgaf en in plaats daarvan belde ook.
Hoe meet je CSAT voor AI-agents en chatbots?
Behandel CSAT als één signaal tussen meerdere, niet als het oordeel. CSAT na een AI-gesprek wordt ingevuld door een kleine, zelfgeselecteerde groep, en de klanten bij wie je AI het zwaarst faalde, blijven het minst vaak hangen om een enquête in te vullen. Hij haalt ook juistheid en toon door elkaar, zodat een AI die vol overtuiging het verkeerde zegt goed kan scoren. Vergelijk hem met metingen op basis van het transcript in plaats van hem op zichzelf als bewijs te behandelen.
Hoe meet je of een AI-agent een probleem echt heeft opgelost?
Scoor oplossing als criterium in je QA-criteria, toegepast op het transcript in plaats van afgeleid uit de ticketstatus. Leg per contacttype vast welk bewijs in het gesprek als oplossing telt: de bevestigde terugbetaling, de aan de klant bevestigde wijziging, het juiste antwoord waarvan de klant aangeeft het te hebben begrepen. Vergelijk dat opgeloste aandeel daarna met je containment rate. Het gat tussen die twee is de omvang van het probleem.
Wat is het percentage stille afhakers?
Het is het aandeel AI-gesprekken dat een klant verlaat zonder oplossing en zonder escalatie: geen klacht, geen enquête, geen vervolgcontact. Deze gesprekken zijn onzichtbaar voor elke metric die op routering is gebaseerd, omdat er geen mens bij betrokken was, en zo blazen ze containment op. Om ze te vinden, moet je gesprekken lezen die eindigden met een beurt van de klant en beoordelen of het probleem echt was aangepakt.
Welk oplossingspercentage kan AI in de klantenservice halen?
Er bestaat geen betrouwbare benchmark, omdat leveranciers onder dezelfde naam verschillende dingen rapporteren: veel tellen elk gesprek zonder overdracht al als opgelost. Het percentage dat telt, is het aandeel AI-gesprekken dat bij een beoordeling van het transcript echt als opgelost wordt gescoord voor jouw contacttypes. Meet dat eerst en vergelijk het daarna met containment; het verschil laat zien hoeveel het kopcijfer het echte cijfer overdrijft.






