Delen mensen en AI-agents de supportwachtrij, houd ze dan aan één kwaliteitsstandaard en herstel ze daarna op verschillende manieren. Mensen verbeteren door coaching, oefening en feedback. AI-agents verbeteren door aanpassingen in de kennis, wijzigingen in beleid en instructies, strakkere toolrechten en een regressietest die bewijst dat de oplossing werkt. Dezelfde scorecard, twee herstelroutes, één wekelijkse cyclus.
In het kort
- Scoor mensen en AI-agents op dezelfde kerncriteria (uitkomst, juistheid, beleid, toon, overdracht), zodat hun resultaten vergelijkbaar zijn en de klant één standaard krijgt.
- Voeg per type behandelaar een klein blok checks toe: verankering in je content en scope voor de AI-agent, casenotities en opvolging voor mensen.
- Een gemiste score bij een mens is meestal één persoon op één dag; een gemiste score bij een AI-agent herhaalt zich in elk gesprek dat dezelfde opzet raakt, dus de oplossing gaat in de opzet, niet in een gesprek.
- Vergelijk de twee alleen intent per intent en op dezelfde mix van intents, anders lijkt de AI-agent beter alleen omdat hij het makkelijke werk krijgt.
- Elke oplossing heeft een benoemde eigenaar en een check: de volgende gescoorde gesprekken van de persoon, of de regressieset van de AI-agent en de live scores van volgende week.
Het opbouwen van de gedeelde scorecard behandelen we in één scorecard voor medewerkers en AI-agents, en het voeren van een coachingsgesprek in wat agent coaching is. Deze gids gaat over wat er gebeurt nadat een gemiste score zichtbaar wordt.
Waarom moeten mensen en AI-agents één kwaliteitsstandaard delen?
Mensen en AI-agents moeten één kwaliteitsstandaard delen omdat de klant één service ervaart: een verkeerd terugbetaalbedrag doet evenveel pijn, of een mens of een bot het gaf. Een gedeelde standaard laat je ook op basis van bewijs beslissen welke intents de AI-agent houdt, in plaats van op basis van containmentcijfers.
Zonder die standaard krijgt de AI-agent een zachtere toets (containment telt een succes als de klant geen mens bereikte, niet als het antwoord juist was), krijgen mensen de schuld van late overdrachten zonder context, en kan niemand beslissen of de bot garantieclaims mag houden.
Helpdesks bieden dit nu als functie aan. Kustomer beschrijft één gewogen scorecard waarbij “diezelfde scorecard elk gesprek scoort, van AI-agent en menselijke medewerker gelijk” (Kustomer, in het Engels). De scorecard is het makkelijke deel; het moeilijke deel is wat je doet met een gezakt criterium.
Welke scorecardcriteria gelden voor beide, en welke voor maar één?
Uitkomst, juistheid, beleid, identiteitscontroles, toon en overdracht gelden voor beide, met dezelfde formulering en weging. Verankering in je content, binnen de scope blijven en onzekerheid toegeven horen in een blok voor de AI-agent. Casenotities en nagekomen beloftes horen in een blok voor mensen. Scoor de gedeelde kern om te vergelijken en rapporteer de blokken ernaast.
| Criterium | Mensen | AI-agent | Waarom |
|---|---|---|---|
| Probleem opgelost of duidelijke volgende stap | Ja | Ja | De uitkomst voor de klant is hetzelfde werk |
| Elk feit juist | Ja | Ja | Een fout feit kost in beide gevallen hetzelfde |
| Beleid gevolgd (terugbetalingen, tegoeden, uitzonderingen) | Ja | Ja | Beleid verandert niet met de behandelaar |
| Identiteit geverifieerd vóór accountgegevens | Ja | Ja | Zelfde risico, zelfde regel |
| Toon past bij de klant en het merk | Ja | Ja | Zelfde tone of voice |
| Overdracht geeft context mee | Ja | Ja | Beide dragen over, beide ontvangen |
| Antwoord verankerd in je gepubliceerde content | Nee | Ja | Mensen gebruiken hun oordeel; een model kan verzinnen |
| Blijft binnen toegestane intents en acties | Nee | Ja | Scope is een instelling voor de bot |
| Zegt “ik weet het niet” in plaats van te gokken | Zelden | Ja | Gokken is de typische fout van de AI-agent |
| Casenotities laten de volgende persoon verder | Ja | Nee | De overdrachtsgegevens van de AI-agent dekken dit |
| Beloofde opvolging is gebeurd | Ja | Nee | Meestal beloven alleen mensen terugbellen |
Sommige criteria voor mensen hebben voor een bot geen zin (roosterdiscipline, nawerk na het contact); onze scorecard voor AI-agents noemt wat je weglaat en toevoegt. De regel die ertoe doet: een gedeeld criterium krijgt één definitie. Betekent “beleid gevolgd” iets ruimers voor de AI-agent, dan is de vergelijking weg.
Waarom vraagt dezelfde fout om twee verschillende oplossingen?
Omdat de oorzaak op verschillende plekken zit. Een mens die een terugbetaalregel verkeerd toepast, heeft een hiaat in kennis, vaardigheid of gewoonte, en coaching dicht dat. Een AI-agent die het verkeerd doet, draait op een opzet die de fout veroorzaakt (content, instructies, tools of routering), en alleen het veranderen van die opzet lost het op.
| Menselijke medewerker | AI-agent | |
|---|---|---|
| Hoe een fout zich verspreidt | Eén persoon, een deel van de tijd | Elk gesprek dat dezelfde opzet raakt |
| Waar de oorzaak zit | Kennis, vaardigheid, oordeel, werkdruk | Kennisbron, instructies, beleidsregels, toolrechten, routering |
| Hoe het verbetert | Feedback, oefening, een voorbeeld om na te doen, tijd | Een wijziging in de opzet, getest vóór de release |
| Hoe een oplossing kan terugslaan | Zelden; een gecoachte vaardigheid blijft | Vaak; een nieuwe instructie kan drie intents breken die eerst slaagden |
De laatste rij is de reden dat oplossingen voor AI-agents een regressietest nodig hebben: een gewijzigde instructie of een gewijzigd artikel kan één case oplossen en cases breken die eerst slaagden. De richtlijnen van Anthropic over evals voor agents zeggen dat regressie-evals “een slagingspercentage van bijna 100% moeten hebben”, en dat om een evalset te beginnen “20 tot 50 eenvoudige taken uit echte fouten een prima start zijn” (Anthropic, in het Engels). Voor een supportteam komen die taken uit je eigen gescoorde gesprekken.
Mensen leren daarentegen van wat bij anderen werkt. Een studie onder 5.179 klantenservicemedewerkers vond dat een AI-assistent het aantal opgeloste problemen per uur gemiddeld met 14% verhoogde, en met 34% voor beginnende en minder ervaren medewerkers, met aanwijzingen dat de werkwijze van de sterkste medewerkers zich zo verspreidde (Brynjolfsson, Li en Raymond, NBER, in het Engels). Coachen met het beste gesprek van een collega gebruikt hetzelfde mechanisme.
Eén gedeelde oorzaak wordt makkelijk over het hoofd gezien: mensen en AI-agents lezen vaak dezelfde pagina’s in het helpcenter en hetzelfde beleid. Zakken beide op dezelfde intent, dan is de oplossing meestal één artikel of één beleid. Onze gids over waarom AI-gesprekken mislukken spoort die grondoorzaken op.
Dezelfde fout, twee oplossingen (neem deze tabel over)
Deze tabel koppelt een gezakt criterium aan de oplossing voor een mens, de oplossing voor een AI-agent en de manier om te bewijzen dat elk werkte. Gebruik haar als triageblad in je wekelijkse review; de kolom met de check maakt van een oplossing een afgesloten punt in plaats van een hoop.
| Fout op de scorecard | Oplossing voor de mens | Oplossing voor de AI-agent | Hoe je het controleert |
|---|---|---|---|
| Fout feit (retourtermijn genoemd als 60 dagen, beleid zegt 30) | Laat het beleid en het gesprek zien; twee oefencases op dezelfde intent; pas de macro aan als die fout is | Corrigeer of trek het verouderde artikel in dat de agent las; verwijder tegenstrijdige versies | Mens: juistheid op de volgende 20 gescoorde gesprekken van die intent. AI: het gezakte gesprek wordt een testcase, de volledige set slaagt, live juistheid op de intent volgende week |
| Beleidsovertreding (coulancetegoed boven de goedgekeurde limiet) | Coaching op de limiet en de goedkeuringsroute; een stap met akkoord van de manager voor uitzonderingen | Begrens het bedrag in de terugbetaaltool zelf, niet alleen in de instructies; herformuleer de beleidsregel | Mens: geen overtreding in 4 weken. AI: een testcase die aandringt op een hoger tegoed faalt veilig; toollogs tonen niets boven het maximum |
| Gemiste of late escalatie (een juridisch dreigement bij de bot gehouden) | Oefen de escalatietriggers in een rollenspel; voeg ze toe aan de checklist | Voeg de trigger toe aan de escalatieregels; stuur de intent naar mensen als de trigger afgaat | Mens: escalatiecriterium slaagt op gemarkeerde cases. AI: testcases met elke triggerzin dragen over bij de eerste vermelding |
| Overdracht zonder context (de klant herhaalt het verhaal) | Template voor casenotities; samen één overdracht doornemen | Voeg ordernummer, intent en geprobeerde stappen toe aan de overdrachtssamenvatting | De ontvangende medewerker vraagt niet opnieuw, gescoord op de volgende 20 overdrachten |
| Kille toon bij een boze klant | Luister naar een sterk voorbeeld van een collega; oefen eerst erkennen | Voeg toonsinstructies en twee voorbeeldantwoorden voor negatief sentiment toe | Slagingspercentage voor toon op gesprekken met negatief sentiment, ervoor en erna |
| Gesloten maar niet opgelost | Gewoonte om vóór het sluiten te bevestigen; de heropende cases doornemen | Definieer per intent in de instructies wat “opgelost” betekent; stop met eindigen op een algemene afsluiter | Heropeningspercentage binnen 7 dagen op die intent, plus het oplossingscriterium |
| Accountgegevens gedeeld vóór de identiteitscontrole (knock-out) | Dezelfde dag een een-op-eengesprek; opfrisser over compliance | Laat de tool voor het opzoeken van accounts een verificatievlag vereisen, afgedwongen in de integratie, niet in de prompt | Mens: geen herhaling. AI: adversariële testcases bereiken geen accountgegevens; nul live gevallen |
| Een antwoord gegokt dat hij niet wist | Maak “ik zoek het uit en kom erop terug” acceptabel; laat zien waar je zoekt | Instrueer en test het terugvalantwoord; leg de vraag vast als kennishiaat | Testvragen zonder antwoord in de kennisbank krijgen het terugvalantwoord; het hiaat wordt gedicht |
Twee patronen vallen op. De oplossingen voor de AI-agent leunen op harde limieten (een maximum in de tool, een verplichte vlag) waar een fout duur is, zoals de richtlijnen van OWASP over te veel handelingsvrijheid aanraden: minimale functies en rechten, en “vereis dat een mens acties met grote impact goedkeurt voordat ze worden uitgevoerd” (OWASP, in het Engels); onze gids over guardrails voor AI-agents behandelt welke limieten in code thuishoren. En de oplossingen voor mensen zijn klein: één intent, één voorbeeld, één oefencase. Een sessie die tien criteria tegelijk behandelt, verandert er geen enkele.
Zie beide op één scorecard. Kaizo scoort gesprekken van AI-agents op dezelfde scorecard als je team en koppelt elke score aan de regels erachter, zodat elke fout een voorbeeld is dat iemand kan oplossen. Demo boeken.
Hoe vergelijk je de resultaten van mensen en AI-agents eerlijk?
Vergelijk de resultaten van mensen en AI-agents intent per intent op de gedeelde kern, en weeg beide daarna met dezelfde mix van intents. Een ruw gemiddelde laat vooral zien wie het makkelijke werk kreeg. Vergelijk alleen intents waarop beide genoeg gesprekken afhandelden, en wijs een mislukte overdracht toe aan de kant waar de fout begon.
Hier is een illustratie met getallen die we hebben verzonnen om de rekensom te laten zien, geen klantgegevens. Het criterium is “beleid gevolgd”, als slagingspercentage:
| Intent | Gesprekken AI-agent | Slagingspercentage AI-agent | Gesprekken mensen | Slagingspercentage mensen |
|---|---|---|---|---|
| Retouren | 4.000 | 97% | 500 | 95% |
| Garantieclaims | 500 | 80% | 2.000 | 92% |
| Ruw totaal | 4.500 | 95,1% | 2.500 | 92,6% |
De ruwe totalen zeggen dat de AI-agent 2,5 punt beter is. Weeg beide nu met de gecombineerde mix, 4.500 retouren en 2.500 garantieclaims van de 7.000:
| Slagingspercentage gecorrigeerd voor de mix | Berekening | Resultaat |
|---|---|---|
| AI-agent | (4.500 x 97 + 2.500 x 80) / 7.000 | 90,9% |
| Team van mensen | (4.500 x 95 + 2.500 x 92) / 7.000 | 93,9% |
Op dezelfde mix is het team van mensen 3,0 punt beter. De nuttige lezing is per intent, en die wijst naar een oplossing, niet naar een oordeel: de AI-agent doet het prima op retouren, maar zakt op één op de vijf garantieclaims, dus garantie gaat de wekelijkse cyclus in. Is het artikel duidelijk, heeft de agent de aankoopdatum, moet de intent naar mensen tot hij slaagt?
Drie extra regels houden de vergelijking eerlijk:
- Minimaal volume. Onder ongeveer 50 gescoorde gesprekken aan één kant in de periode rapporteer je “te weinig gegevens” (ons voorgestelde startpunt, geen statistische wet).
- Toewijzing bij overdracht. Gaat een gesprek van de AI-agent naar een mens, tag dan de kant waar het eerste gezakte criterium gebeurde, anders absorberen mensen de fouten van de bot. Customer journey QA behandelt het scoren van een case over behandelaars heen.
- Dezelfde beoordelaar. Scoor beide kanten op dezelfde manier. Een team dat door mensen wordt beoordeeld tegenover een bot die automatisch wordt gescoord, zijn weer twee standaarden.
Wie is eigenaar van elke oplossing?
Elke oplossing heeft één benoemde eigenaar nodig: teamleiders voor hiaten in de vaardigheden van mensen, de eigenaar van de AI-agent (vaak een conversation designer of een lead CX operations) voor instructies en toolinstellingen, de kennismanager voor artikelen die beide kanten lezen, de beleidseigenaar voor de regel zelf, en de QA-lead voor de scorecard.
| Gevonden oorzaak | Eigenaar | Akkoord nodig van | Geldt voor |
|---|---|---|---|
| De vaardigheid of gewoonte van één persoon | Teamleider | Niemand | Mens |
| Dezelfde fout bij meerdere mensen | Teamleider plus eigenaar van proces of kennis | Supportmanager | Mens (en vaak AI) |
| Fout, ontbrekend of tegenstrijdig artikel | Kennismanager | Beleidseigenaar als de regel verandert | Beide |
| Onduidelijk of tegenstrijdig beleid | Beleidseigenaar (finance, juridisch, CX) | Head of CX | Beide |
| Instructies of prompt van de AI-agent | Eigenaar AI-agent | QA-lead tekent af voor de regressierun | AI-agent |
| Toolrechten en limieten | Eigenaar AI-agent | IT of security | AI-agent |
| Escalatie- en routeringsregels | CX operations | Head of CX | Beide |
| Een criterium dat het verkeerde scoort | QA-lead | Kalibratiegroep | Beide |
De kolom met het akkoord weegt het zwaarst bij wijzigingen aan AI-agents: een promptwijziging bereikt de minuut daarna elk gesprek, dus ze krijgt dezelfde releasediscipline als een beleidswijziging (beleid voor AI-agents behandelt wie welke regel aftekent). Het AI Risk Management Framework van NIST is gebouwd op vier functies, govern, map, measure en manage (NIST, in het Engels); deze tabel is de versie van govern voor een supportteam.
Hoe ziet de wekelijkse verbetercyclus eruit?
Eén ritme voor beide kanten: haal de fouten van de week op per criterium en intent, beslis of elke fout bij een persoon, een proces of de opzet van de AI-agent ligt, wijs de eigenaar toe, los het op en controleer de oplossingen van vorige week. Mensen krijgen binnen enkele dagen coaching; wijzigingen aan de AI-agent gaan pas live als hun regressieset slaagt.
| Dag | Stap | Kant van de mensen | Kant van de AI-agent |
|---|---|---|---|
| Maandag | Fouten ophalen | Gezakte criteria per persoon en intent | Gezakte criteria per intent, met de gesprekken |
| Maandag | Triage | Eén persoon of veel mensen? | Opzet, kennis of beleid? |
| Dinsdag | Toewijzen | Coachingkaart per persoon, met één of twee criteria | Eén ticket per patroon, met de gezakte gesprekken erbij |
| Dinsdag tot woensdag | Oplossen | Een-op-eengesprekken van 15 minuten, oefencases, voorbeelden van collega’s | Wijziging doorgevoerd; gezakte gesprekken toegevoegd als testcases; volledige regressieset gedraaid |
| Donderdag | Release | Niet nodig | Alleen live als de drempel gehaald is; leg de wijziging en de datum vast |
| Volgende maandag | Controleren | Zelfde criterium, zelfde persoon, laatste 7 dagen | Zelfde criterium, zelfde intent, laatste 7 dagen |
De triagestap heeft een beslisregel nodig. De onze:
- Eén persoon zakt, anderen op dezelfde intent slagen: coach de persoon.
- Drie of meer mensen zakken op hetzelfde criterium op dezelfde intent: stop met coachen en kijk naar het artikel, de macro of het proces. Tien mensen coachen om een kapot artikel heen is de duurste oplossing die er bestaat.
- De AI-agent zakt en mensen slagen: los het op in de opzet van de AI-agent.
- Beide zakken op dezelfde intent: los de gedeelde bron (het artikel of het beleid) één keer op, en controleer beide kanten volgende week.
Coaching die door AI wordt opgesteld bespaart het zoeken naar voorbeelden, als een manager elke kaart nakijkt (AI-coaching in de klantenservice heeft de checklist); de testdiscipline aan de AI-kant staat in AI-agents testen.
Hoe bewijs je dat een oplossing werkte, bij een mens en bij een AI-agent?
Bewijs een oplossing bij een mens door hetzelfde criterium te scoren op de volgende gesprekken van die persoon over dezelfde intent, gedurende 2 tot 4 weken. Bewijs een oplossing bij een AI-agent twee keer: vóór de release slagen de gezakte gesprekken en de volledige regressieset; na de release slaagt hetzelfde criterium op dezelfde intent in de live scores van de week erna.
| Oplossing bij een mens | Oplossing bij een AI-agent | |
|---|---|---|
| Voordat de oplossing telt | Niets; coaching kun je niet vooraf testen | De regressieset slaagt, met kritieke cases die 3 keer draaien en elke keer slagen |
| Daarna | Zelfde criterium, zelfde intent, de volgende 20 of meer gescoorde gesprekken | Zelfde criterium, zelfde intent, de volgende week live gesprekken |
| Verwacht | Geleidelijke verandering over 2 tot 4 weken | Een sprong, of niets |
| Als het niet werkte | Een tweede sessie met een ander voorbeeld, dan kijken naar werkdruk of het proces | Heropen het ticket; de oorzaak zat waarschijnlijk ergens anders in de opzet |
Kritieke cases draaien meerdere keren omdat een model een case één keer kan halen en de volgende run kan zakken. Anthropic noemt de maat “alle runs slagen” pass^k en merkt op dat die daalt naarmate het aantal runs stijgt (Anthropic, in het Engels); voor een identiteitscontrole is “slaagt elke keer” de enige acceptabele lat. Deze drempels zijn voorgestelde startpunten; stel je eigen drempels vast vóór de eerste review. Live scoring van elk gesprek maakt de cirkel rond, want een steekproef van 2% geeft je misschien drie meetpunten per intent per week. AI-agents evalueren behandelt hoe evals vóór de release en live scoring samengaan.
Gaan AI-agents menselijke supportmedewerkers vervangen?
AI-agents nemen intents met veel volume en goede documentatie over, en het werk van mensen verschuift naar uitzonderingen, afwegingen, boze klanten en overdrachten. Rond de AI-agent groeien nieuwe rollen (een eigenaar voor de opzet, een kennismanager, QA voor beide kanten), en de kwaliteitsstandaard blijft dezelfde.
Die verschuiving verandert coaching. Gaan routinematige retouren naar de AI-agent, dan behandelen mensen gemiddeld moeilijkere gesprekken, en kunnen hun scores dalen zonder dat hun vaardigheid verandert. Rapporteer de scores van mensen per intent, anders coach je mensen voor een verandering in de mix.
Wanneer deze aanpak niet voor jou is
Deze cyclus gaat uit van wekelijks volume, een scorecard die je vertrouwt en een AI-agent waarvan je content, instructies en tools kunt veranderen. Hij is meer dan je nodig hebt als je AI-agent een paar dozijn gesprekken per week afhandelt (lees ze allemaal en los op wat je ziet), als je nog geen scorecard hebt (bouw eerst de gedeelde kern), of als je team uit minder dan vijf mensen bestaat.
Is de AI-agent een gesloten doos, dan wordt zijn kant van de cyclus een ticket aan je leverancier: blijf scoren en zet het bewijs in dat ticket.
Hoe je deze week begint
Begin klein: twee intents, één gedeelde kern, de gesprekken van vorige maand en één reviewmoment volgende maandag. Dat is genoeg om de triageregel op echte fouten toe te passen en binnen een week je eerste oplossingen aan beide kanten af te sluiten.
- Kies twee intents die zowel mensen als de AI-agent afhandelen, één makkelijke en één moeilijke.
- Spreek de gedeelde kern af voor die intents: uitkomst, juistheid, beleid, identiteit, toon, overdracht. Eén definitie per criterium.
- Scoor de gesprekken van vorige maand aan beide kanten en vul de tabel met de correctie voor de mix hierboven in.
- Pas de triageregel toe op de drie grootste fouten. Schrijf de eigenaar naast elke fout.
- Gebruik de tabel met dezelfde fout en twee oplossingen voor elke fout, inclusief de kolom met de check.
- Plan voor volgende maandag een review van 30 minuten om de oplossingen van deze week te controleren op hetzelfde criterium.
Kaizo is één manier om de scoringkant van deze cyclus te draaien. AutoPilot scoort elk gesprek tegen je eigen scorecard zodra het is afgehandeld, met een toelichting bij de score; in Zendesk zijn dat ook de gesprekken die de AI-agents van Zendesk afhandelen, op dezelfde scorecard als je team. Voor mensen stelt de coaching van Kaizo de coachingkaart van elke medewerker op uit zijn beoordelingen, gekoppeld aan de gesprekken erachter, en keurt een manager die goed voordat de medewerker hem ziet. Wil je dat op je eigen gesprekken zien, dan laat kwaliteitscontrole van AI-agents zien hoe de kant van de AI-agent werkt.
Veelgestelde vragen
Wat is samenwerking tussen mens en AI in de klantenservice?
Het is een opzet waarin AI-agents en mensen het werk delen: AI-agents nemen meestal intents met veel volume en goede documentatie, en mensen nemen uitzonderingen, emotionele cases en overdrachten. Het werkt wanneer beide aan één kwaliteitsstandaard worden gehouden en de overdracht de context meegeeft.
Kun je een AI-agent coachen?
Niet in de menselijke zin: een AI-agent leert niet van een feedbackgesprek. Hij verbetert wanneer iemand zijn kennisbron, instructies, beleidsregels, toolrechten of routering verandert, en test dat de wijziging de case oploste zonder andere te breken.
Leren AI-agents in productie van hun eigen fouten?
De meeste AI-agents in support veranderen hun gedrag niet uit zichzelf van het ene gesprek op het andere, dus een fout herhaalt zich tot iemand de opzet verandert. Maak van het gezakte gesprek een testcase, zodat de oplossing te bewijzen is en de fout niet ongemerkt terugkomt.
Moeten AI-agents en menselijke medewerkers op dezelfde scorecard worden gescoord?
Ja, op een gedeelde kern met dezelfde formulering en weging, plus een klein blok checks per type behandelaar voor fouten die maar één kant maakt, zoals verzonnen antwoorden bij de AI-agent.
Hoeveel gesprekken van AI-agents moet een mens beoordelen?
Dekt een geautomatiseerde beoordelaar elk gesprek, dan beoordelen mensen de fouten, elke knock-out en een steekproef van geslaagde gesprekken om de beoordelaar te controleren. Zonder zo’n beoordelaar beoordeel je per intent genoeg om wekelijkse patronen te zien; een paar procent over alle intents mist meestal herhaalde fouten op de kleinere intents.
