Je AI-agent evalueren doe je in een maandelijkse review: een overleg waarin de eigenaren van je AI-agent een maand aan gescoorde gesprekken bekijken, die vergelijken met de doelen en beslissen wat er verandert. Het werkt als de beoordeling van een menselijke medewerker: dezelfde scorecard, echt bewijs, duidelijke doelen. Het verschil zit in de uitkomst: een aanpassing aan content, scope of routering, geen coachingsplan.
In het kort
- Een maandelijkse evaluatie van je AI-agent maakt van scores beslissingen: de bot uitbreiden, laten zoals hij is of onderwerpen bij hem weghalen.
- Ze verschilt van de beoordeling van een medewerker in wie aanschuift, wat het bewijs is en wat de gevolgen zijn.
- Vijf rollen horen aan tafel, en QA presenteert de bevindingen, niet het team dat de bot heeft ingezet.
- Een rapport van één pagina en een agenda van 60 minuten houden het kort genoeg om elke maand door te gaan.
- Een vastgelegde beslisregel voor uitbreiden, aanhouden of inperken voorkomt dat de review een discussie wordt.
Deze gids gaat over het ritueel: frequentie, mensen, rapport en beslissingen. Welke metrics je volgt, lees je in onze gids over de prestaties van een AI-agent meten. Voor het scoren zelf laat onze pagina over kwaliteitscontrole voor AI-agents zien hoe Kaizo elk gesprek van een AI-agent scoort op dezelfde scorecard als je team.
Waarom zou je je AI-agent evalueren?
Je AI-agent evalueren is nodig omdat dashboards rapporteren en mensen beslissen. Iemand moet eigenaar zijn van de beslissing om de bot meer werk te geven, hem te laten waar hij is of werk bij hem weg te halen.
De meeste teams hebben de data al. De helpdesk telt geautomatiseerde oplossingen, de leverancier toont intenties en afhakers, en QA scoort de gesprekken. Wat vaak ontbreekt, is een vast moment waarop iemand met zeggenschap alles samen bekijkt en een knoop doorhakt. Zonder dat moment kan een bekend probleem met antwoorden over terugbetalingen wekenlang in een chatdraad blijven liggen.
Richtlijnen voor AI-risico verwachten dat moment ook. Het NIST AI Risk Management Framework (januari 2023) noemt onder Manage 4.1 dat er na de ingebruikname monitoringplannen worden uitgevoerd, met mechanismen voor input van gebruikers, bezwaar en overrulen, buitengebruikstelling, incidentrespons, herstel en wijzigingsbeheer. Een maandelijkse review is een eenvoudige manier om elk daarvan een plek te geven.
Er is ook een reden van eerlijkheid. Je medewerkers worden beoordeeld, gecoacht en aan een standaard gehouden. Als de bot een groeiend deel van je gesprekken afhandelt, maakt dezelfde discipline voor hem de vergelijking eerlijk, en daar gaat je directie naar vragen.
Hoe verschilt de evaluatie van een AI-agent van die van een medewerker?
De evaluatie van een AI-agent kijkt naar patronen in duizenden gesprekken en eindigt in aanpassingen aan content en configuratie. De beoordeling van een medewerker kijkt naar het werk van één persoon en eindigt in coaching.
| Beoordeling van een medewerker | Evaluatie van een AI-agent | |
|---|---|---|
| Wat wordt beoordeeld | Een steekproef of alle gesprekken van één persoon | Elk gesprek dat de AI-agent die maand heeft afgehandeld |
| Eenheid van analyse | De persoon | Het onderwerp, het artikel, de regel |
| Wie schuift aan | De medewerker en zijn teamleider | QA, de eigenaar van de bot, de eigenaar van de content, supportoperations, de CX-leider |
| Typische bevinding | Een gat in vaardigheden of een gewoonte | Een verouderd artikel, een ontbrekende regel, een late overdracht |
| Uitkomst | Coaching, een doel, een ontwikkelplan | Een contentcorrectie, een scopewijziging, een aanpassing in routering of escalatie |
| Gevolg van een slechte maand | Een verbeterplan | Onderwerpen ingeperkt of aan mensen gegeven tot ze zijn opgelost |
| Zorg over eerlijkheid | Gescoord op dingen buiten zijn invloed | Fouten van de bot die in de score van een medewerker belanden |
Eén regel uit die laatste rij is het waard om in je proces vast te leggen: een fout van de bot belandt nooit in de score van een medewerker. Beloofde de AI-agent een terugbetaling en moest de medewerker die intrekken, dan hoort het gezakte criterium bij de bot.
Wie hoort er aan tafel?
Vijf rollen horen bij de evaluatie van een AI-agent: QA presenteert, de eigenaren van de bot en de content nemen de correcties mee, supportoperations spreekt voor de wachtrijen en de CX-leider beslist.
| Rol | Wat ze meebrengen | Waarmee ze vertrekken |
|---|---|---|
| QA-lead (presenteert) | De scores, de trends, de transcripten achter elke bevinding | Aanpassingen in de criteria voor de volgende maand |
| Eigenaar van de AI-agent | Hoe de bot is ingesteld, wat er deze maand veranderde | Aanpassingen in prompt, routering en escalatie |
| Eigenaar van de kenniscontent | Uit welke artikelen de bot antwoordt | Correcties van artikelen, met een datum |
| Lead supportoperations | Volume van overdrachten, impact op wachtrijen, herhaalde contacten | Aanpassingen in bezetting of routering |
| CX-leider (beslist) | Doelen en risicobereidheid | De beslissingen om uit te breiden, aan te houden of in te perken |
QA presenteert omdat de bevinding moet komen van de mensen die de bot niet hebben gebouwd. Het team dat de bot heeft ingezet, is ook het team wiens project er goed uitziet als de cijfers er goed uitzien. Ons artikel over wie je AI-agent controleert (in het Engels) legt uit hoe je de bevinding, de correctie en de bevoegdheid om een flow uit te zetten verdeelt.
Nodig risk of compliance uit als de maand een kritieke fout bevat op een gereguleerd onderwerp. Nodig de leverancier uit als je hulp nodig hebt bij een correctie, niet om de resultaten te presenteren.
Het rapport van één pagina voor de evaluatie van je AI-agent
Het rapport past op één pagina: een hoofdcijfer tegenover het doel, de criteria die veranderden, de onderwerpen met risico, de oorzaken achter de fouten en de beslissingen die je nodig hebt.
Kopieer deze template en vul hem elke maand vanuit je QA-tool en helpdesk:
| Onderdeel | Wat erin staat | Waar het vandaan komt |
|---|---|---|
| 1. Hoofdcijfer | Percentage opgelost en juist tegenover het doel, deze maand en vorige maand | QA-scores plus herhaalde contacten |
| 2. Volume en scope | Gesprekken van de AI-agent, aandeel van alle gesprekken, onderwerpen die hij afhandelt | Helpdesk |
| 3. Gedeelde criteria | Scores op de criteria die mensen en de bot delen, naast die van het menselijke team | QA-scorecard |
| 4. Criteria voor de bot | Slagingspercentages op onderbouwing, grenzen van het beleid, scope en escalatie | QA-scorecard |
| 5. Onderwerpen met risico | Elk onderwerp onder zijn doel, met het aantal gesprekken | QA-scores per onderwerp |
| 6. Kritieke fouten | Aantal, wat er gebeurde, getroffen klanten, status | QA-bevindingen |
| 7. Drie belangrijkste oorzaken | Het artikel, de regel of de instelling achter de meeste fouten, met telkens één transcript | Grondoorzaakanalyse |
| 8. Correcties van vorige maand | Wat is doorgevoerd en of de scores bewogen | Opnieuw gescoorde gesprekken |
| 9. Overdracht | Late of ontbrekende overdrachten, meegegeven context | Criteria voor overdracht |
| 10. Benodigde beslissingen | Uitbreiden, aanhouden of inperken, per onderwerp | De beslisregel hieronder |
Houd het bij de cijfers die tot een beslissing leiden. Heeft een rij in drie maanden geen beslissing veranderd, haal hem dan van de pagina en bewaar hem in de bijlage.
In Kaizo komen de scores voor onderdeel 3 tot 9 uit dezelfde scorecard. Kaizo Insights brengt QA, sentiment en coaching samen in één weergave die klaar is om te presenteren of te exporteren, en grondoorzaakanalyse groepeert de fouten achter een dip.
Uitgewerkt voorbeeld: een review in oktober
In dit voorbeeld verbeterde de AI-agent over het geheel maar faalde hij op één onderwerp, dus breidt de review één onderwerp uit, houdt ze er drie aan en perkt ze er één in. De cijfers zijn een illustratie die we hebben gemaakt, geen data van een klant.
Het onderdeel met het hoofdcijfer uit het rapport van oktober:
| Meting | September | Oktober | Doel |
|---|---|---|---|
| Gesprekken van de AI-agent | 11.200 | 12.400 | |
| Opgelost en juist | 70,4% | 73,1% | 75% |
| Onderbouwd met onze content (slagingspercentage) | 95,8% | 98,0% | 98% |
| Grenzen van het beleid (slagingspercentage) | 97,2% | 98,1% | 99% |
| Geëscaleerd op de juiste trigger | 91,0% | 89,5% | 93% |
| Herhaald contact binnen 7 dagen | 6,8% | 6,1% | 5% |
| Kritieke fouten | 4 | 1 | 0 |
Het hoofdcijfer ging de goede kant op, met 2,7 procentpunt, maar escalatie ging de verkeerde kant op. Dat is het soort gemengde maand waarin een review zijn uur waard is: het totaalcijfer zou als goed nieuws zijn gerapporteerd, terwijl de daling in juiste escalaties een eigenaar nodig heeft.
Uit het onderdeel per onderwerp komen de beslissingen:
| Onderwerp | Gesprekken | Slagingspercentage onderbouwing en beleid | Kritieke fouten | Beslissing |
|---|---|---|---|---|
| Bestellingen volgen | 4.900 | 99,3% (september 99,1%) | 0 | Uitbreiden: verzoeken om de levering te wijzigen toevoegen |
| Retouren | 2.600 | 97,8% | 0 | Aanhouden |
| Productvragen | 2.700 | 97,1% | 0 | Aanhouden, de twee artikelen achter de meeste fouten corrigeren |
| Terugbetalingen | 1.300 | 94,6% | 1 | Inperken: gedeeltelijke terugbetalingen naar mensen tot het is opgelost |
| Accountwijzigingen | 900 | 98,4% (september 97,6%) | 0 | Nog een maand aanhouden voor uitbreiding |
Het overleg eindigt met vijf beslissingen, elk met een eigenaar en een datum. De inperking bij terugbetalingen komt in november opnieuw op tafel, nadat de eigenaar van de content het artikel over gedeeltelijke terugbetalingen heeft herschreven en QA het onderwerp opnieuw heeft gescoord.
Een beslisregel voor uitbreiden, aanhouden of inperken
Leg de beslisregel vast voor de eerste review: drempels om elk onderwerp uit te breiden, aan te houden of in te perken. Dan past het overleg de regel toe in plaats van erover te discussiëren.
Een regel om mee te beginnen, aan te passen aan je eigen risicobereidheid:
| Beslissing | Wanneer | Wat er gebeurt |
|---|---|---|
| Uitbreiden | Slagingspercentage voor onderbouwing en beleid op of boven 98% twee maanden op rij, en geen kritieke fout | De bot neemt een nieuwe intentie of een bredere versie van het onderwerp op zich |
| Aanhouden | Slagingspercentage tussen 96% en 98%, of één goede maand na een zwakke | Geen wijziging in scope; los de belangrijkste oorzaken op |
| Inperken | Slagingspercentage onder 96%, of een kritieke fout bij een geldonderwerp | Geef het onderwerp, of het risicovolle deel ervan, aan mensen tot een nieuwe scoring het vrijgeeft |
De drempels hierboven zijn ons voorstel, geen standaard in de sector. Stel ze zo nodig per onderwerp in: hetzelfde slagingspercentage kan prima zijn bij productvragen en te laag bij terugbetalingen. Waar het om gaat, is dat de regel bestaat voordat iemand de cijfers ziet.
De agenda van 60 minuten
Zestig minuten is genoeg als het rapport twee werkdagen voor het overleg wordt verstuurd en de tijd naar beslissingen gaat, niet naar het voorlezen van cijfers.
| Minuten | Punt | Geleid door |
|---|---|---|
| 0 tot 5 | Hoofdcijfer tegenover het doel, en de beslissingen van vorige maand: uitgevoerd of niet | QA-lead |
| 5 tot 20 | Onderwerpen met risico en kritieke fouten, met telkens één transcript | QA-lead |
| 20 tot 35 | Drie belangrijkste oorzaken en voorgestelde correcties | Eigenaar van de content en eigenaar van de bot |
| 35 tot 45 | Correcties van vorige maand: zijn de scores bewogen? | QA-lead |
| 45 tot 55 | Beslissingen per onderwerp, volgens de regel | CX-leider |
| 55 tot 60 | Eigenaren, datums en aanpassingen in de criteria voor de volgende maand | QA-lead |
Een echt transcript bij elke bevinding tonen weegt zwaarder dan welke grafiek ook. Het maakt van “onderbouwing daalde bij terugbetalingen” een zin die de hele zaal kan lezen, en het beslecht discussies over de vraag of de beoordelaar gelijk had. Onze gids over herleidbare QA-scores (in het Engels) legt uit waarom elke score de regels uit het transcript erachter nodig heeft.
Wekelijks, maandelijks, per kwartaal: wat hoort waar
De maandelijkse review zit tussen een wekelijkse operationele check en een kwartaalrapport aan de directie. Elk ritme heeft zijn eigen taak, en wie ze door elkaar haalt, maakt alle drie slechter.
| Ritme | Wie | Wat het behandelt | Wat het beslist |
|---|---|---|---|
| Wekelijks (15 minuten) | QA-lead, eigenaar van de bot | Kritieke fouten, nieuwe patronen, of de correcties van vorige week standhielden | Dringende correcties en overdrachten |
| Maandelijks (60 minuten) | De vijf rollen hierboven | Het rapport van één pagina | Uitbreiden, aanhouden of inperken per onderwerp |
| Per kwartaal | CX-leider aan de directie | Trend van het hoofdcijfer, groei van de scope, kosten van vermeden fouten | Budget en roadmap voor de AI-agent |
Houd het kwartaalrapport bij drie cijfers die de directie in de tijd kan volgen: het percentage opgelost en juist, het aandeel van de bot in de gesprekken en de kritieke fouten. Onze gids over rapportage over klantenservice voor de directie (in het Engels) behandelt hoe je een kwaliteitscijfer presenteert aan een VP of CFO. Voor het wekelijkse ritme vind je de details in ons artikel over de frequentie van QA-monitoring (in het Engels).
Zo houd je je eerste evaluatie van je AI-agent
Houd je eerste evaluatie van je AI-agent met een maand aan gescoorde gesprekken, de template van één pagina en een vooraf afgesproken beslisregel. Daar kom je in vijf stappen.
Stap 1: scoor een volledige maand
Scoor een maand lang elk gesprek van de AI-agent tegen een scorecard met de criteria voor de bot: onderbouwing, grenzen van het beleid, scope en escalatie. AutoPilot van Kaizo scoort elk gesprek tegen jouw criteria zodra het is afgehandeld.
Stap 2: spreek doelen en de beslisregel af
Stel een doel voor het hoofdcijfer en voor elk criterium van de bot, en spreek de drempels voor uitbreiden, aanhouden en inperken af voordat iemand het eerste rapport ziet.
Stap 3: wijs de vijf rollen toe
Zet namen naast QA-lead, eigenaar van de bot, eigenaar van de content, lead supportoperations en CX-leider. Plan een terugkerend blok van 60 minuten in de eerste week van elke maand.
Stap 4: verstuur het rapport twee dagen vooraf
Vul de template van één pagina en verstuur hem twee werkdagen voor het overleg, zodat het uur naar beslissingen gaat.
Stap 5: sluit af met eigenaren en datums
Elke beslissing verlaat de zaal met een eigenaar en een datum, en het volgende rapport opent met de vraag of ze is uitgevoerd.
Bekijk het in een live demo. Kaizo scoort elk gesprek van een AI-agent op dezelfde scorecard als je team en toont de trends per week, onderwerp en team, klaar voor je maandelijkse review. Plan een gesprek.
Veelgestelde vragen
Hoe vaak moet je de prestaties van een AI-agent evalueren?
Evalueer maandelijks voor beslissingen, met een korte wekelijkse check op kritieke fouten en correcties. Een maand geeft je genoeg gesprekken per onderwerp om een echte trend te zien, en het is vaak genoeg om te voorkomen dat een probleem bij een geldonderwerp een heel kwartaal doorloopt. Rapporteer de trend elk kwartaal aan de directie.
Wat hoort er in de evaluatie van een AI-agent?
Een hoofdcijfer voor kwaliteit tegenover het doel, slagingspercentages op de eigen criteria van de bot, de onderwerpen onder hun doel, eventuele kritieke fouten, de belangrijkste oorzaken achter fouten met telkens een transcript, of de correcties van vorige maand werkten en de beslissingen die nodig zijn. Houd het bij één pagina en verplaats alles wat niet tot een beslissing leidt naar een bijlage.
Kun je de AI-agent in de review vergelijken met je medewerkers?
Ja, op de criteria die ze delen, zoals een juist antwoord en de juiste toon, op dezelfde manier gescoord. Vergelijk per onderwerp en niet over het geheel, omdat de bot meestal de eenvoudigere onderwerpen afhandelt. Vergelijk niet op criteria die maar één van beide heeft, en laat een fout van de bot nooit meetellen in de score van een medewerker.
Wat gebeurt er als een AI-agent zakt voor zijn evaluatie?
Hij verliest scope tot hij die terugverdient. De onderwerpen onder de drempel, of met een kritieke fout, gaan naar medewerkers of krijgen een verplichte overdracht. De eigenaar van de content corrigeert de bron, QA scoort het onderwerp opnieuw en de volgende review beslist of de bot het onderwerp terugkrijgt.
Moet de leverancier van de AI-agent de resultaten presenteren?
Nee. De leverancier kan uitleggen hoe de bot werkt en helpen bij correcties, maar de resultaten moeten van je eigen QA komen, op je eigen scorecard. Een leverancier die de beoordeling van zijn eigen product presenteert, heeft belang bij een goed resultaat, en je directie wil een cijfer dat je team zelf heeft gemaakt en kan verdedigen.
