Het correcte oplossingspercentage is het aandeel gesprekken van een AI-agent (of een menselijke medewerker) dat eindigde als opgelost, met het juiste antwoord, de juiste actie uitgevoerd en het beleid gevolgd, en zonder herhaalcontact over hetzelfde probleem binnen 7 dagen. De formule is correcte oplossingen gedeeld door afgehandelde gesprekken, maal 100, geschat op basis van een geauditeerde willekeurige steekproef.
In het kort
- Correct oplossingspercentage = correcte oplossingen / afgehandelde gesprekken x 100, waarbij “correct” betekent dat vier controles slagen: juist antwoord, toegestaan door het beleid, actie uitgevoerd in het bronsysteem, geen herhaalcontact binnen 7 dagen.
- Je schat het uit een willekeurige geauditeerde steekproef, dus rapporteer het met een foutmarge bij 95% betrouwbaarheid: 1,96 x √(p x (1 − p) / n).
- Ongeveer 385 beoordeelde gesprekken geven een marge van ongeveer ±5 punten; ongeveer 97 per intent geven ongeveer ±10 punten, genoeg om een kapotte intent te vinden.
- Het is strenger dan containment, deflection, first contact resolution en het oplossingspercentage van de leverancier, omdat geen van die cijfers controleert of het antwoord juist was of de actie echt gebeurde.
- Deel wat de AI-agent kost door het aantal correcte oplossingen, niet door de gefactureerde oplossingen, en je krijgt de kosten per correcte oplossing.
Deze pagina definieert de metric en geeft je de rekentool. De methode om elk gesprek te beoordelen (blinde review, backendcontroles, de oordeelsregel) staat in onze gids over het oplossingspercentage van AI-agents auditen, en beide vallen onder onze hub over AI-agents evalueren.
Wat is het correcte oplossingspercentage?
Het correcte oplossingspercentage is het percentage gesprekken binnen de scope dat een agent, AI of mens, afsloot zonder overdracht en dat slaagt voor vier controles: het antwoord was juist en volledig, het bleef binnen het beleid, elke beloofde actie is zichtbaar in het bronsysteem, en de klant kwam binnen 7 dagen via geen enkel kanaal terug over hetzelfde probleem.
Elk deel van de definitie heeft een functie:
| Onderdeel | Regel | Waarom het erin staat |
|---|---|---|
| Afgehandeld | Elk gesprek dat in de periode bij de agent binnenkwam, min spam, tests en chats met alleen een begroeting | Legt de noemer vast, zodat je het percentage niet kunt opkrikken door moeilijke gesprekken weg te laten |
| Opgelost | De agent sloot het af zonder overdracht aan een mens | Een terechte overdracht is een goede uitkomst, maar geen oplossing door deze agent; volg die apart |
| Juist antwoord | Komt overeen met het beleid, de prijs of de procedure die gold op de datum van het gesprek | Vangt zelfverzekerde verkeerde antwoorden die de klant accepteerde |
| Toegestaan | Geen uitzondering of belofte buiten de geschreven scope van de agent | Vangt antwoorden die “behulpzaam” waren maar tegen het beleid ingingen |
| Actie uitgevoerd | Terugbetaling, opzegging of wijziging staat in het bronsysteem, met het juiste bedrag en artikel | Vangt acties die de agent claimde maar nooit uitvoerde |
| Geen herhaalcontact | Geen contact van dezelfde klant over hetzelfde probleem binnen 7 dagen, via welk kanaal ook | Vangt klanten die opgaven of via een ander kanaal terugkwamen |
Eén mislukte controle maakt het gesprek “niet correct”. Een gesprek waarbij een record ontbreekt is “niet te beoordelen” en valt uit de steekproef, dezelfde oordeelsregel als in de oplossingsaudit.
Wat is de formule voor het correcte oplossingspercentage?
De formule is: correct oplossingspercentage = (correcte oplossingen / afgehandelde gesprekken) x 100. Omdat je niet elk gesprek met de hand kunt beoordelen, schat je het uit een steekproef: het aandeel correct in de beoordeelde steekproef maal 100. Dekt de steekproef alleen gesprekken die de leverancier als opgelost markeerde, vermenigvuldig dat aandeel dan met het aandeel opgeloste gesprekken volgens de leverancier.
Er zijn twee manieren om het te schatten, afhankelijk van wat je in de steekproef neemt:
- Steekproef uit alle afgehandelde gesprekken (directe methode). Trek willekeurig uit alles wat de agent afhandelde, escalaties inbegrepen. Correct oplossingspercentage = correct / beoordeeld. Geëscaleerde gesprekken tellen gewoon als “niet correct”.
- Steekproef alleen uit opgeloste gesprekken volgens de leverancier (tweestapsmethode). Dit doet de oplossingsaudit. Correct oplossingspercentage = aandeel opgelost volgens de leverancier x aandeel correct in de geauditeerde steekproef van opgeloste gesprekken. Voorbeeld: 62% opgelost x 70% correct = 43,4%.
De tweestapsmethode is goedkoper als je oplossingen al audit, maar gaat ervan uit dat geen enkel gesprek dat als niet opgelost staat gemarkeerd in werkelijkheid een correcte oplossing was. De rekentool hieronder gebruikt de directe methode.
Hoe schat je het correcte oplossingspercentage uit een geauditeerde steekproef?
Beoordeel een willekeurige steekproef, bereken het aandeel correct p en tel er een foutmarge bij 95% betrouwbaarheid bij op van 1,96 x √(p x (1 − p) / n), waarbij n het aantal beoordeelde gesprekken is. Met p = 0,48 en n = 385 is de marge ongeveer ±5 punten, dus het echte percentage ligt tussen ongeveer 43% en 53%.
Dit is het meest gebruikte interval voor een proportie, zoals het NIST engineering statistics handbook (in het Engels) opmerkt. Dezelfde pagina geeft de voorkeur aan het Wilson-interval, omdat de eenvoudige formule onmogelijke grenzen kan opleveren (een ondergrens onder 0%) en Wilson niet. Gebruik Wilson voor elke intent met minder dan ongeveer 50 beoordeelde gesprekken of een percentage dicht bij 0% of 100%.
Bepaal de omvang van de steekproef vooraf met n = 1,96² x 0,25 / E², waarbij E de gewenste marge is en 0,25 het slechtste geval (p = 0,5):
| Marge die je nodig hebt (E) | Beoordeelde gesprekken (n) | Formule in Excel (Nederlandse versie) |
|---|---|---|
| ±10 punten | 97 | =AFRONDEN.NAAR.BOVEN(1,96^2*0,25/0,10^2;0) |
| ±5 punten | 385 | =AFRONDEN.NAAR.BOVEN(1,96^2*0,25/0,05^2;0) |
| ±3 punten | 1.068 | =AFRONDEN.NAAR.BOVEN(1,96^2*0,25/0,03^2;0) |
Tel er 3% tot 5% bij op voor oordelen “niet te beoordelen”. Werk je met een Engelstalige Excel of Google Sheets, gebruik dan ROUNDUP, SQRT en SUM met een punt als decimaalteken. Onze pagina over statistiek van QA-steekproeven (in het Engels) legt uit waarom de marge krimpt met de wortel van de steekproef en niet evenredig ermee.
De rekentool voor het correcte oplossingspercentage (kopieer naar een spreadsheet)
De rekentool heeft één rij per intent, zodat je risicovolle intents extra kunt meenemen en toch een eerlijk totaalpercentage krijgt. Zet de kolomletters hieronder in rij 1, de intents vanaf rij 2, en kopieer de formules naar beneden. De cijfers zijn een illustratie, geen klantdata.
Kolommen en formules (rij 2 als voorbeeld; rij 6 is het totaal):
| Kolom | Veld | Formule (rij 2) |
|---|---|---|
| A | Intent | getypt |
| B | Afgehandelde gesprekken (N) | getypt, uit het volledige log van de agent |
| C | Willekeurig in de steekproef (n) | getypt |
| D | Niet te beoordelen | getypt, uit de audit |
| E | Correcte oplossingen in de steekproef | getypt, uit de audit |
| F | Beoordeeld | =C2-D2 |
| G | Aandeel correct (p) | =E2/F2 |
| H | Marge, 95% | =1,96*WORTEL(G2*(1-G2)/F2) (in Excel ook =BETROUWBAARHEID.NORM(0,05;WORTEL(G2*(1-G2));F2)) |
| I | Ondergrens | =MAX(0;G2-H2) |
| J | Bovengrens | =MIN(1;G2+H2) |
| K | Geschatte correcte oplossingen | =B2*G2 |
| L | Aandeel in de variantie | =(B2/$B$6)^2*G2*(1-G2)/F2 |
| Totaalrij 6 | Correct oplossingspercentage | =SOM(K2:K5)/B6, marge =1,96*WORTEL(SOM(L2:L5)) |
De snelkoppeling in kolom H werkt omdat BETROUWBAARHEID.NORM (CONFIDENCE.NORM, in het Engels) de marge teruggeeft voor een gegeven alfa, standaardafwijking en steekproefgrootte. Kolom L weegt elke intent naar zijn aandeel in het volume, en daardoor klopt de totale marge ook als je sommige intents extra meeneemt.
Uitgewerkt voorbeeld (illustratie). Een AI-agent handelt in oktober 20.000 gesprekken af. De leverancier rapporteert een oplossingspercentage van 62%. Het team neemt een steekproef van 440 gesprekken over vier intents, met extra opzeggingen, en beoordeelt elk gesprek met de vier controles.
| Intent | Afgehandeld (N) | Steekproef | Niet te beoordelen | Correct | Aandeel correct | Marge | Bandbreedte | Geschat correct |
|---|---|---|---|---|---|---|---|---|
| Orderstatus | 9.000 | 120 | 2 | 73 | 61,9% | ±8,8 | 53,1% tot 70,6% | 5.568 |
| Retouren en terugbetalingen | 5.000 | 120 | 4 | 46 | 39,7% | ±8,9 | 30,8% tot 48,6% | 1.983 |
| Abonnement opzeggen | 2.000 | 100 | 3 | 29 | 29,9% | ±9,1 | 20,8% tot 39,0% | 598 |
| Factuurvraag | 4.000 | 100 | 1 | 35 | 35,4% | ±9,4 | 25,9% tot 44,8% | 1.414 |
| Totaal | 20.000 | 440 | 10 | 183 | 9.563 |
Het resultaat, stap voor stap:
- Totaal correct oplossingspercentage: 9.563 / 20.000 = 47,8%.
- Totale marge: 1,96 x √(som van kolom L) = ±5,0 punten, dus 42,8% tot 52,8%.
- Verschil met het cijfer van de leverancier: 62% gerapporteerd tegenover 47,8% correct, een verschil van ongeveer 14 punten.
- Waarom niet 183 / 430? Dat ongewogen percentage van 42,6% zou opzeggingen te zwaar laten tellen: die zitten met 5% van hun volume in de steekproef, orderstatus met 1,3%. Wegen naar N lost dat op.
De rijen per intent zijn de takenlijst: opzeggingen en factuurvragen gaan het vaakst mis, dus die krijgen de eerste oplossingen, of gaan terug naar mensen tot ze beter worden.
Wat is het verschil tussen het correcte oplossingspercentage en containment, deflection, FCR en het oplossingspercentage?
Containment, deflection, first contact resolution en het oplossingspercentage van de leverancier tellen allemaal gesprekken die op een bepaalde manier eindigden. Het correcte oplossingspercentage telt gesprekken die goed eindigden: het is de enige van de vijf die vereist dat het antwoord juist was, de actie is uitgevoerd en het probleem 7 dagen opgelost bleef.
| Metric | Telt | Controleert juistheid? | Periode voor herhaalcontact | Wie definieert het |
|---|---|---|---|---|
| Containment rate (in het Engels) | Gesprekken die eindigden zonder mens | Nee | Geen | Jij of de leverancier |
| Deflection rate | Verzoeken die nooit een menselijke wachtrij bereikten | Nee | Geen | Verschilt per team; zie waarom de deflection rate slechte gesprekken verbergt |
| First contact resolution (FCR) (in het Engels) | Problemen die in het eerste contact zijn opgelost | Vaak via een enquête, niet via records | Bepaal je zelf | Jij |
| Oplossingspercentage van de leverancier | Gesprekken die de leverancier als opgelost markeert | Soms, door het transcript te lezen | Kort en aan een kanaal gebonden | De leverancier |
| Correct oplossingspercentage | Opgelost, juist, toegestaan, actie uitgevoerd, geen herhaalcontact | Ja, tegen beleid en backendgegevens | 7 dagen, elk kanaal | Jij |
De definities van leveranciers verschillen. Intercom telt een “assumed resolution” als de klant het gesprek verlaat “without requesting further assistance” (zonder om verdere hulp te vragen) en trekt die alleen af als de klant terugkeert naar hetzelfde gesprek (Intercom, in het Engels). Zendesk onderscheidt “contained” en “verified” oplossingen, waarbij een taalmodel het transcript beoordeelt (Zendesk, in het Engels). Ada telt oplossingen die een LLM-review als relevant, juist en veilig beoordeelt (Ada, in het Engels). Geen van deze definities, zoals ze gedocumenteerd zijn, zoekt naar herhaalcontact via andere kanalen, en een review van alleen het transcript kan niet bevestigen dat een terugbetaling of opzegging echt is doorgevoerd. Daarom heb je een cijfer nodig dat je zelf definieert.
FCR is de naaste verwant: het correcte oplossingspercentage is FCR met de controles op juistheid en actie expliciet gemaakt, zodat het op dezelfde manier werkt voor een AI-agent en voor een mens.
Waarom splits je het correcte oplossingspercentage uit per intent?
Splits uit per intent, omdat één gemengd percentage verbergt waar de agent faalt, en omdat de mix van intents het hoofdcijfer bepaalt. Een agent die deze maand meer eenvoudige vragen over de orderstatus krijgt, toont een hoger percentage zonder beter te worden. Percentages per intent laten echte verandering zien en vertellen je welke intents je moet verbeteren, uitbreiden of terugnemen.
Drie regels houden de vergelijking eerlijk:
- Vergelijk gelijk met gelijk. Vergelijk je maanden, leveranciers of een menselijk team met de AI-agent, doe dat dan intent per intent, of weeg beide naar dezelfde mix van intents.
- Bepaal de omvang per intent op basis van een beslissing. Ongeveer 97 beoordeelde gesprekken per intent geven ±10 punten: genoeg om te zien dat opzeggingen op 30% kapot zijn, niet genoeg om een beweging van 3 punten te zien.
- Let eerst op de risicovolle intents. Intents waarin de agent met geld omgaat of een account wijzigt, verdienen een grotere steekproef, omdat een verkeerde actie daar meer kost dan een verkeerd antwoord over levertijden.
Welke intents de agent überhaupt moet overnemen, is het onderwerp van welke vragen je eerst automatiseert.
Hoe bereken je de kosten per correcte oplossing?
Kosten per correcte oplossing = totale kosten van de AI-agent in de periode / geschatte correcte oplossingen. Neem alles mee wat je betaalt om hem te laten draaien (factuur van de leverancier, platformkosten, interne tijd voor kennisbeheer en QA), en deel door de correcte oplossingen, niet door de oplossingen die de leverancier je factureerde.
Het voorbeeld loopt door, met een illustratieve prijs van € 0,99 per gefactureerde oplossing:
| Regel | Formule | Waarde |
|---|---|---|
| Gefactureerde oplossingen | 20.000 x 62% | 12.400 |
| Factuur van de leverancier | 12.400 x € 0,99 | € 12.276 |
| Interne kosten (illustratief) | kennisbeheer, QA-tijd | € 3.000 |
| Totale kosten | som | € 15.276 |
| Kosten per gefactureerde oplossing | € 15.276 / 12.400 | € 1,23 |
| Kosten per correcte oplossing | € 15.276 / 9.563 | € 1,60 (bandbreedte € 1,45 tot € 1,78) |
De bandbreedte deelt door de onder- en bovengrens van het aantal correcte oplossingen (8.565 en 10.560). Voor een vollediger beeld tel je de menselijke kosten op van het herhaalcontact dat valse oplossingen veroorzaken, en bereken je hetzelfde cijfer voor je menselijke team (volledig belaste kosten van de bestede uren / correcte oplossingen) voordat je beslist wat je automatiseert. Onze bredere set KPI’s voor AI in de klantenservice laat zien waar dit cijfer staat naast de kwaliteit van escalaties en stille afhakers.
Wanneer is het correcte oplossingspercentage de moeite niet waard?
Sla de steekproef over als de agent een paar honderd gesprekken per maand afhandelt: beoordeel ze allemaal en bereken het exacte percentage. De metric doet ook minder ter zake voor een agent die alleen eenvoudige informatieve vragen beantwoordt, zonder acties; daar kunnen een telling van herhaalcontact en een lichte controle op juistheid volstaan.
Het is ook geen manier om individuele fouten te vinden. Een steekproef van 440 geeft het percentage tot op ongeveer 5 punten, maar brengt zelden een fout aan het licht die 1 op de 500 klanten treft; daarvoor moet je elk gesprek scoren.
Hoe je deze week begint met het meten van het correcte oplossingspercentage
Je hebt een spreadsheet nodig, een of twee beoordelaars en alleen-lezen toegang tot je order- of facturatiesysteem. De eerste week levert een eerste percentage op met een marge en een lijst van de intents die je moet verbeteren; de definities tellen meer dan de decimalen.
- Dag 1: schrijf de vier controles op, elk met een voorbeeld van slagen en zakken, en de regel van 7 dagen.
- Dag 2: exporteer de afgehandelde gesprekken van vorige maand met hun intentlabels, en trek per intent een willekeurige steekproef met de tabel met steekproefgroottes hierboven.
- Dag 3 en 4: beoordeel elk gesprek, controleer geclaimde acties tegen backendgegevens en zoek naar herhaalcontact via elk kanaal.
- Dag 5: plak de aantallen in de rekentool, lees de percentages per intent en bereken de kosten per correcte oplossing.
Zodra je weet welke intents falen, is de volgende stap die fouten in elk gesprek opvangen in plaats van in een maandelijkse steekproef. AutoPilot van Kaizo scoort elk opgelost gesprek tegen je eigen scorecard, en elke score linkt naar het bewijs in het gesprek; bekijk kwaliteitscontrole voor AI-agents om te zien hoe het werkt, of boek een demo om het op de gesprekken van je eigen AI-agent te zien.
Veelgestelde vragen
Wat is een goed correct oplossingspercentage?
Er is geen gepubliceerde benchmark, omdat bijna niemand de metric al op dezelfde manier definieert. Volg je eigen percentage per intent van maand tot maand, en let op het verschil met het oplossingspercentage van de leverancier. Een kleiner wordend verschil betekent dat oplossingen werken; een stabiel hoog percentage bij de leverancier met een dalend correct percentage betekent dat het dashboard afdrijft van de werkelijkheid.
Kun je het correcte oplossingspercentage gebruiken voor menselijke medewerkers?
Ja. De vier controles gelden voor elk gesprek, en de formule is dezelfde. Voor mensen betekent “opgelost” dat de medewerker het gesprek afsloot zonder het door te zetten. Vergelijk mensen en de AI-agent intent per intent, nooit op gemengde percentages, omdat ze meestal een heel andere mix afhandelen.
Waarom een periode van 7 dagen voor herhaalcontact?
De periodes van leveranciers zijn kort en meestal beperkt tot hetzelfde gesprek, terwijl veel fouten later opduiken: een terugbetaling die nooit aankomt, een tweede afschrijving bij de volgende facturatierun. Zeven dagen vangt de meeste ervan op. Verleng de periode voor facturatie-intents tot de volgende factuurdatum.
Kan een LLM-beoordelaar het correcte oplossingspercentage berekenen?
Een LLM-beoordelaar kan de controles op het antwoord en het beleid op grote schaal scoren, als je hem kalibreert tegen menselijke oordelen. Door alleen het transcript te lezen kan hij geen backendgegevens of contacten via andere kanalen zien, dus koppel hem aan orderdata en contacthistorie voordat je een gesprek correct noemt.
Tellen gesprekken die “niet te beoordelen” zijn mee tegen het percentage?
Nee. Laat ze buiten het aantal beoordeelde gesprekken, rapporteer hoeveel het er waren, en los de ontbrekende data op als ze boven ongeveer 5% van de steekproef komen. Zitten ze vooral in één intent, dan is het percentage van die intent minder betrouwbaar dan de marge doet vermoeden.
