Oplossingspercentage van AI-agents: zo audit je het

Het oplossingspercentage van een AI-agent telt de gesprekken die de leverancier als opgelost markeert: geen overdracht, geen opvolging binnen een bepaalde periode. Het controleert niet of het antwoord juist was, de actie is uitgevoerd of de klant wegbleef. Om het te auditen, neem je een steekproef van “opgeloste” gesprekken, beoordeel je elk tegen geschreven criteria en backendgegevens, en rapporteer je een gecorrigeerd percentage naast dat van de leverancier.

In het kort

• Een “oplossing” volgens de leverancier betekent meestal dat de klant niet om meer hulp vroeg voordat een timer afliep; een zelfverzekerd verkeerd antwoord en een klant die opgaf, slagen allebei voor die test.
• Vier fouten verbergen zich in opgeloste gesprekken: een verkeerd antwoord dat de klant accepteerde, een klant die opgaf, een klant die via een ander kanaal terugkwam, en een actie die de agent claimde maar nooit uitvoerde.
• Een correcte oplossing vraagt vier keer ja: juist antwoord, toegestaan door het beleid, actie uitgevoerd in het bronsysteem, en geen herhaalcontact over hetzelfde probleem binnen 7 dagen.
• Een willekeurige steekproef van ongeveer 400 opgeloste gesprekken per maand geeft een gecorrigeerd percentage tot op ongeveer 5 punten nauwkeurig, genoeg om naast het cijfer van de leverancier te rapporteren.
• Rapporteer beide cijfers, de verdeling van de fouten en de kosten per correcte oplossing, en stuur elk type fout naar een eigenaar.

Deze gids is een spoke van onze hub over AI-agents evalueren, geschreven voor het hoofd CX of de AI-lead die de resultaten van de AI-agent aftekent. Wil je eerst de basis van de metric die meestal naast het oplossingspercentage staat, begin dan met containment rate (in het Engels).

Wat betekent “opgelost” in het oplossingspercentage van een AI-agent?

In de meeste rapporten van leveranciers betekent “opgelost” dat de AI-agent antwoordde en de klant niet om meer hulp of om een mens vroeg voordat het gesprek verliep. Sommige leveranciers voegen een modelcontrole op het transcript toe. Geen van deze definities kijkt, zoals ze gedocumenteerd zijn, naar backendgegevens of naar een klant die via een ander kanaal opnieuw contact opneemt.

De definities zijn openbaar, en het loont om ze woord voor woord te lezen voordat je een dashboard vertrouwt:

Daar volgen twee dingen uit. Ten eerste is “opgelost” een definitie voor facturatie en rapportage die de leverancier vastlegt, vaak gekoppeld aan wat je betaalt. Ten tweede verschuift de definitie: Intercom rapporteert nu “outcomes” naast oplossingen en schrijft dat “success” niet langer binair is (blog van Intercom, maart 2026, in het Engels), en Zendesk voerde op 18 mei 2026 niveaus voor oplossingen in (oude definitie van Zendesk, in het Engels). Een audit geeft je een definitie waarvan jij eigenaar bent.

Wat is het verschil tussen opgelost en correct opgelost?

Een opgelost gesprek eindigde zonder overdracht of opvolging. Een correct opgelost gesprek gaf daarnaast het juiste antwoord, voerde de juiste actie uit, bleef binnen het beleid en zorgde dat de klant niet terugkwam over hetzelfde probleem. Het verschil tussen de twee is je echte automatiseringsgraad, en dat is op het dashboard van de leverancier meestal onzichtbaar.

De leverancier vraagt: eindigde het gesprek rustig? Je audit vraagt: verdween het probleem? Die tweede vraag vraagt bewijs van buiten het transcript. Ons artikel over stille fouten van AI-agents behandelt de bredere familie van fouten die geen foutmelding geven, en waarom AI-gesprekken mislukken behandelt de oorzaken erachter.

Welke fouten verbergen zich in opgeloste gesprekken?

Vier soorten fouten gaan door voor oplossingen: een verkeerd antwoord dat de klant accepteerde, een klant die opgaf, een klant die via een ander kanaal terugkwam, en een actie die de agent claimde maar niet uitvoerde. Elk ervan ziet er in het transcript uit als een rustig, geslaagd gesprek, en elk vraagt een andere controle om het te vinden.

Het laatste type is het duurst om te missen, en geen review die alleen het transcript leest, door een mens of een LLM, kan het vinden. AI-agent guardrails op acties verminderen hoe vaak het gebeurt; de audit vertelt je of ze werken.

Hoe zet je een steekproef voor een oplossingsaudit op?

Trek een willekeurige steekproef van ongeveer 400 gesprekken die de leverancier in één maand als opgelost markeerde, gestratificeerd naar intent, met extra gesprekken uit intents met hoog risico zoals terugbetalingen, opzeggingen en accountwijzigingen. Verberg de status van de leverancier voor beoordelaars, en laat 10% dubbel scoren om de overeenstemming te meten.

1. Leg de periode en de populatie vast. Eén kalendermaand, elk gesprek met de status “opgelost” bij de leverancier.
2. Kies willekeurig binnen elke intent, in verhouding tot het volume. Met de hand gekozen “interessante” gesprekken drukken het percentage omlaag.
3. Neem intents met hoog risico extra mee. Voeg minstens 50 gesprekken toe uit intents waarin de agent een actie uitvoert of met geld omgaat; weeg ze terug naar hun echte aandeel voor het totaalpercentage.
4. Bepaal de omvang op basis van de beslissing. 400 gesprekken geven een marge van ongeveer ±5 punten bij 95% betrouwbaarheid (zie de betrouwbaarheidsintervallen voor een proportie in het NIST engineering statistics handbook, in het Engels). 100 per intent geeft ongeveer ±10 punten: genoeg om een kapotte intent te zien. De berekening staat in onze gids over statistiek van QA-steekproeven (in het Engels).
5. Maak de beoordelaar blind. Toon het transcript en de backenddata, niet het label van de leverancier.
6. Meet de overeenstemming. Een tweede beoordelaar scoort 40 van de 400. Verschillen de oordelen meer dan 1 op de 10 keer, verbeter dan de criteria voordat je rapporteert.
7. Wacht op de periode. Trek de steekproef minstens 7 dagen na het einde van de maand.

Wat zijn de criteria voor een “correcte” oplossing?

Een gesprek is alleen een correcte oplossing als vier controles allemaal slagen: het antwoord was juist en volledig, het bleef binnen het beleid, elke actie die de agent beloofde staat in het bronsysteem, en de klant nam binnen 7 dagen geen contact meer op over hetzelfde probleem. Eén mislukte controle maakt het oordeel “niet correct”.

Schrijf de criteria op vóór de eerste beoordeling, met een voorbeeld van slagen en zakken voor elk:

Houd een vijfde oordeel aan, “niet te beoordelen”, voor gesprekken waarbij een record ontbreekt of de klant anoniem is. Laat ze buiten het percentage en rapporteer hoeveel het er waren; gaan ze boven 5% van de steekproef, los dan de data op vóór de volgende audit. Het juiste antwoord hangt af van beleid dat geschreven en actueel is, en dat is het onderwerp van beleid voor AI-agents.

Hoe controleer je backendgegevens voor geclaimde acties?

Zet elke actie die de agent in het gesprek noemde op een lijst, en zoek elke actie op in het systeem dat er eigenaar van is: de terugbetaling in de facturatie, de opzegging in het abonnementensysteem, het adres in het orderrecord. Het eigen toollog van de agent is niet genoeg, want een tool-call kan succes melden terwijl het bronsysteem niets toont.

Een praktische volgorde voor elk gesprek in de steekproef:

1. Haal de claims eruit. Markeer elke zin waarin de agent zegt dat hij iets deed: “ik heb terugbetaald”, “je abonnement is opgezegd”, “ik heb je adres bijgewerkt”.
2. Koppel op identificaties. Gebruik het klant-ID, het ordernummer of het e-mailadres uit het gesprek om het record te vinden.
3. Vergelijk vier velden. Gebeurde het, voor het juiste artikel, voor het juiste bedrag, vóór of kort na het einde van het gesprek?
4. Noteer verschillen precies. “Terugbetaling van € 40 beloofd, € 0 in de facturatie” is op te lossen; “actie mislukt” niet.

Geen toegang tot het bronsysteem? Vraag de eigenaar ervan om een alleen-lezen export, gefilterd op de 400 klant-ID’s uit de steekproef.

Hoe meet je herhaalcontact na een oplossing door AI?

Tel een herhaalcontact als dezelfde klant je opnieuw bereikt over hetzelfde probleem, via welk kanaal ook, binnen 7 dagen na het einde van het AI-gesprek. Koppel op een klantidentificatie over chat, e-mail, telefoon en social heen, en lees daarna het opvolgcontact om te bevestigen dat het om hetzelfde probleem gaat en niet om een nieuw.

Waarom 7 dagen: de periodes van leveranciers zijn kort en aan een kanaal gebonden. Zendesk sluit een messaginggesprek standaard 2 uur na het eerste bericht af, en een e-mailgesprek na 72 uur; Intercom trekt een oplossing alleen af als de klant terugkeert naar hetzelfde gesprek. Veel fouten komen later naar boven: de terugbetaling die niet binnen 3 tot 5 werkdagen binnenkomt, de tweede afschrijving bij de volgende facturatierun. Zeven dagen vangt de meeste ervan op; verleng de periode voor facturatie-intents tot de volgende factuurdatum.

Is de contacthistorie verdeeld over tools, begin dan met de identificaties die je hebt (account-ID, e-mailadres) en vermeld in het rapport dat je sommige herhaalcontacten zult missen. Eén klant over kanalen heen volgen is de kern van customer journey QA.

Het werkblad voor de oplossingsaudit (kopieer dit)

Het werkblad hieronder heeft één rij per gesprek in de steekproef. Vul de vier controles in en laat de oordeelsregel beslissen; beoordelaars kiezen het oordeel niet op gevoel. De rijen zijn een illustratie van hoe elk type fout eruitziet als het is ingevuld, geen klantdata.

Oordeelsregel. Correct = antwoord juist (ja), actie uitgevoerd (ja of geen actie nodig), geen herhaalcontact, en toegestaan door het beleid. Elke “nee” = niet correct. Elk ontbrekend bewijs = niet te beoordelen. Zijn twee fouten van toepassing, noteer dan de fout die de klant als eerste merkte.

Voeg een kolom “Toegestaan?” toe als je agent uitzonderingen mag toestaan, en houd elke notitie bij het bewijs zo specifiek dat je die in twee minuten kunt controleren.

Uitgewerkt voorbeeld: oplossingspercentage van de leverancier versus de audit

In deze illustratie rapporteert een leverancier een oplossingspercentage van 68% op 10.000 gesprekken. Een audit van 400 opgeloste gesprekken vindt dat 69% van de te beoordelen gesprekken correct is opgelost, dus het gecorrigeerde oplossingspercentage is ongeveer 47%, met een bandbreedte bij 95% betrouwbaarheid van ongeveer 44% tot 50%.

Illustratie (geen klantdata). Een AI-agent handelt in oktober 10.000 gesprekken af. De leverancier markeert er 6.800 als opgelost: een oplossingspercentage van 68%. Het team audit een willekeurige steekproef van 400 opgeloste gesprekken met het werkblad hierboven.

De berekening, stap voor stap:

1. Te beoordelen gesprekken: 400 min 12 = 388.
2. Aandeel correct volgens de audit: 268 / 388 = 69,1%.
3. Foutmarge: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 punten, dus het aandeel correct ligt tussen ongeveer 64,5% en 73,7%.
4. Gecorrigeerd aantal opgeloste gesprekken: 6.800 x 69,1% = ongeveer 4.700.
5. Gecorrigeerd oplossingspercentage: 4.700 / 10.000 = 47,0%, met een bandbreedte van ongeveer 43,8% tot 50,1%.
6. Kosten per correcte oplossing: bij een illustratieve prijs van € 1,00 per gefactureerde oplossing kosten 6.800 gefactureerde oplossingen € 6.800. Gedeeld door 4.700 correcte oplossingen kost elke oplossing ongeveer € 1,45, niet € 1,00.

Lees de verdeling van de fouten als een takenlijst: verkeerde antwoorden gaan naar de eigenaar van kennis en prompt, opgevers naar het ontwerp van de escalatie, en de 12 geclaimde acties komen eerst, omdat elk ervan een klant is die iets onwaars over zijn geld of account te horen kreeg.

Hoe rapporteer je een gecorrigeerd oplossingspercentage naast het cijfer van de leverancier?

Toon het oplossingspercentage van de leverancier en je percentage uit de audit naast elkaar, elke maand, met de definities, de omvang van de steekproef, de foutmarge en de verdeling van de fouten eronder. Vervang het cijfer van de leverancier niet: het verschil tussen de twee is de bevinding, en de trend ervan vertelt je of oplossingen werken.

Een maandrapport op één scherm:

Houd de definities stabiel, toon de bandbreedte zodat een beweging van 2 punten binnen de ruis geen discussie start, en zet het gecorrigeerde percentage waar het management het cijfer van de leverancier al ziet. Het hoort ook in je bredere set metrics voor de prestaties van AI-agents en in het wekelijkse overzicht dat we beschrijven in AI-agent monitoring.

Wanneer is een volledige oplossingsaudit niets voor jou?

Een formele audit is overdreven als je AI-agent een paar honderd gesprekken per maand afhandelt: lees ze dan allemaal in plaats van een steekproef te nemen. Ze doet ook minder ter zake als de agent alleen informatieve vragen beantwoordt, zonder acties en met weinig geld op het spel; dan kunnen een lichtere controle op juistheid en een telling van herhaalcontacten volstaan.

Ze is ook geen vervanging voor het scoren van elk gesprek. Een steekproef van 400 gesprekken vertelt je het percentage; ze toont je zelden een fout die 1 op de 500 klanten treft. Moet je die afzonderlijk vinden, dan heb je volledige dekking nodig, wat onze hub over AI-agents in productie evalueren uitlegt met de berekening van steekproefgroottes.

Hoe je deze week een oplossingsaudit start

Je kunt de eerste audit in één week draaien met een spreadsheet, een beoordelaar en alleen-lezen toegang tot twee systemen. Het doel van week één is geen perfect cijfer, maar een eerste gecorrigeerd percentage en een lijst van de fouten erachter.

1. Maandag: schrijf de definitie van een oplossing van je leverancier op, en je vier controles met elk een voorbeeld van slagen en zakken.
2. Dinsdag: exporteer de opgeloste gesprekken van vorige maand, stratificeer naar intent en trek er 400 willekeurig uit.
3. Woensdag: vraag alleen-lezen exports aan uit de facturatie of het ordersysteem, en de contacthistorie voor de klant-ID’s in de steekproef.
4. Donderdag en vrijdag: vul het werkblad in; laat 40 gesprekken dubbel scoren en vergelijk de oordelen.
5. Volgende maandag: bereken het gecorrigeerde percentage en de kosten per correcte oplossing, en stuur elk type fout naar een eigenaar.

Zodra de audit laat zien waar oplossingen breken, is de volgende stap die fouten in elk gesprek opvangen, niet alleen in een maandelijkse steekproef. AutoPilot van Kaizo scoort elk opgelost gesprek tegen je eigen scorecard, en elke score linkt naar het bewijs in het gesprek; onze pagina over kwaliteitscontrole van AI-agents laat zien hoe het werkt. Zie het op de gesprekken van je eigen AI-agent. Boek een demo.

Veelgestelde vragen

Is het oplossingspercentage hetzelfde als de containment rate?

Nee. De containment rate telt gesprekken die eindigden zonder overdracht aan een mens. Het oplossingspercentage, zoals leveranciers het definiëren, voegt meestal de voorwaarde toe dat de klant binnen een bepaalde periode niet om meer hulp vroeg. Geen van beide controleert of het antwoord juist was, en daarom hebben ze allebei een audit ernaast nodig.

Wat is een goed oplossingspercentage voor een AI-agent?

Er is geen betrouwbare benchmark, want leveranciers definiëren een oplossing verschillend en passen hun definities in de loop van de tijd aan. Vergelijk in plaats daarvan je eigen gecorrigeerde oplossingspercentage van maand tot maand. Een lager percentage bij de leverancier met een klein verschil tot het percentage uit de audit is gezonder dan een hoog percentage dat bij een audit halveert.

Kan een LLM-controle een menselijke oplossingsaudit vervangen?

Ze kan meer gesprekken dekken, en sommige leveranciers gebruiken er al een om oplossingen te verifiëren. Maar een controle die alleen de tekst van het gesprek leest, kan geen backendgegevens of latere contacten via andere kanalen zien. Kalibreer elke LLM-beoordelaar tegen menselijke oordelen, en houd de controles op backend en herhaalcontact in de audit.

Hoe vaak moet je de oplossingen van een AI-agent auditen?

Maandelijks is een goede standaard, met een extra audit na elke wijziging in de prompts, kennis, acties of scope van de agent. Trek de steekproef minstens 7 dagen na het einde van de maand, zodat elk gesprek zijn volledige periode voor herhaalcontact heeft. Intents met hoog risico kunnen een wekelijkse controle rechtvaardigen.

Moet je betalen voor assumed resolutions die zakken voor je audit?

Dat hangt af van je contract, en daarom telt de audit bij de verlenging. Je gecorrigeerde percentage en de kosten per correcte oplossing geven je bewijs voor het gesprek met de leverancier. Vraag hoe de definitie van de leverancier omgaat met terugkeer via andere kanalen en met acties die nooit gebeurden.

Wie moet eigenaar zijn van de oplossingsaudit?

Het team dat verantwoordelijk is voor de uitkomsten voor klanten, meestal CX-kwaliteit of support operations. De eigenaar houdt de definities stabiel en stuurt elk type fout naar wie het kan oplossen: kennis, engineering of het ontwerp van de escalatie.