Kwaliteitscontrole voor Zendesk AI-agents betekent dat je de gesprekken die je Zendesk AI-agent afhandelt leest en scoort tegen een vastgelegde standaard, zodat je weet of de antwoorden klopten en niet alleen of de klant vertrok. Daarvoor heb je een scorecard nodig die voor de bot is gemaakt, een manier om elk gesprek van de AI-agent te scoren en een werkwijze die elke fout omzet in een aanpassing in Zendesk.
In het kort
- Een geautomatiseerde oplossing in Zendesk vertelt je dat de klant geen mens heeft gesproken, niet dat het antwoord klopte.
- Begin met de gesprekken van de AI-agent waarin een fout antwoord geld kost: terugbetalingen, prijzen, uitzonderingen op beleid en accountwijzigingen.
- Scoor de bot op juistheid, onderbouwing met je eigen content, escalatie en overdracht, niet alleen op begroeting en empathie.
- Elke fout moet eindigen in een concrete wijziging: een helpcentrumartikel, een procedure, een escalatieregel of een geblokkeerd onderwerp.
- Scoor opnieuw na elke wijziging, want de correctie van het ene antwoord kan een ander antwoord verslechteren.
Deze gids is de Zendesk-versie van onze algemene gids over kwaliteitscontrole van AI-agents. Zoek je de tool zelf, dan laat de pagina over de QA-tool voor Zendesk zien hoe Kaizo Zendesk-gesprekken scoort, ook de gesprekken die de AI-agents van Zendesk afhandelen.
Wat laat Zendesk je zien over de kwaliteit van de AI-agent?
Zendesk laat je volume en uitkomsten zien: hoeveel gesprekken de AI-agent heeft opgelost, welke niet, en de transcripten van allebei. Op zichzelf vertelt Zendesk je niet of elk antwoord juist was of je beleid volgde. Daarvoor heb je een beoordeling nodig, in Zendesk QA of in een aparte QA-tool.
In de praktijk heeft een Zendesk-beheerder vandaag drie plekken om te kijken:
| Waar | Wat je krijgt | Wat je er niet uit haalt |
|---|---|---|
| Insights en transcripten van de AI-agent | Geautomatiseerde oplossingen en niet-opgeloste gesprekken, met transcripten | Of een opgelost gesprek een juist antwoord was |
| Aantal geautomatiseerde oplossingen | Hoeveel verzoeken de AI-agent oploste zonder escalatie naar een mens | Of de klant terugkwam, of opgaf |
| Zendesk QA (betaalde add-on) | Beoordelingen en automatische scoring van gesprekken, ook van bots die je als beoordeelbaar markeert | Of het antwoord je eigen beleid volgde, tenzij je scorecard daarop controleert |
Twee details zijn goed om te weten. Volgens het helpcentrum van Zendesk toont de transcriptweergave, die je opent via het tabblad Insights in de instellingen van de AI-agent, de eerste 100 berichten tussen een AI-agent en een gebruiker, en verschijnen alleen gesprekken die langer dan 72 uur inactief zijn bij de geautomatiseerde oplossingen. Hetzelfde artikel noemt die weergave verouderd (legacy) en zegt dat ze na 10 december 2026 niet meer beschikbaar is. Ga dus na waar je team na die datum transcripten gaat lezen.
Waarom is een geautomatiseerde oplossing geen kwaliteitsscore?
Zendesk meet het gebruik van de AI-agent in geautomatiseerde oplossingen en factureert alleen klantverzoeken die een AI-agent succesvol heeft opgelost, zonder escalatie naar een menselijke agent. Die definitie vertelt je dat het gesprek eindigde zonder mens. Ze kan je niet vertellen of het antwoord juist, volledig of toegestaan was.
Dat gat zie je op drie manieren:
- De klant gaf het op. Een fout of algemeen antwoord, daarna stilte. Geen escalatie, dus het telt als opgelost.
- Het antwoord was bijna goed. De bot noemt het juiste beleid maar laat een voorwaarde weg, of het juiste product maar de oude prijs. Alle systeemcijfers blijven groen.
- De bot beloofde iets wat je niet aanbiedt. Een terugbetaling buiten de termijn, kwijtgescholden kosten, een leverdatum die niemand kan halen. De klant is tevreden tot de belofte niet wordt nagekomen.
Supportteams beschrijven hetzelfde patroon openlijk. In een draad op r/Zendesk schreef een team dat tickets beoordeelde die “started and finished with the AI Agent (no human touch)”, dat het “high value customers getting iffy or bad answers and then abandoning the chat” zag: waardevolle klanten die twijfelachtige of slechte antwoorden kregen en daarna de chat verlieten. Dat is de uitspraak van één team, maar het is precies het geval dat een telling van geautomatiseerde oplossingen niet kan laten zien. De bredere lijst van zulke stille fouten behandelen we in ons artikel over stille fouten van AI-agents.
Hoe zet je kwaliteitscontrole voor Zendesk AI-agents op?
Zet kwaliteitscontrole voor Zendesk AI-agents op in zes stappen: kies eerst de risicovolle onderwerpen, schrijf een scorecard voor de bot, scoor elk gesprek van de AI-agent, controleer de overdracht naar je medewerkers, herleid elke fout naar een aanpassing in Zendesk en scoor opnieuw na elke wijziging. De eerste twee stappen doe je één keer; de rest is een wekelijkse routine.
Stap 1: bepaal welke gesprekken van de AI-agent het zwaarst wegen
Niet elk botgesprek draagt hetzelfde risico. Een fout antwoord over openingstijden is vervelend. Een fout antwoord over een terugbetaling, opzegkosten of een verzoek over persoonsgegevens kost geld of zorgt voor een complianceprobleem. Maak een lijst van de onderwerpen waarin een fout antwoord schade doet en zorg dat je beoordeling die als eerste dekt:
- Terugbetalingen, tegoeden, compensaties en kwijtgescholden kosten
- Prijzen, abonnementen en alles waarin een getal staat
- Uitzonderingen op beleid en regels over wie waar recht op heeft
- Accountwijzigingen, opzeggingen en persoonsgegevens
- Klachten en dreigingen om op te zeggen
Markeer ook gesprekken met waardevolle klanten en elk gesprek waarin dezelfde klant binnen een paar dagen terugkomt over hetzelfde onderwerp.
Stap 2: schrijf een scorecard voor de AI-agent
De scorecard voor je medewerkers is een vertrekpunt, niet het antwoord. Begroeting en spelling gaan bij een bot zelden mis. Waar het misgaat: juistheid, onderbouwing met je eigen content en weten wanneer hij moet stoppen. Houd het bij 6 tot 8 criteria, elk iets wat een reviewer in het transcript kan controleren. Het volgende onderdeel geeft een uitgewerkt voorbeeld, en onze gids over de scorecard voor een AI-agent legt uit welke criteria voor medewerkers je schrapt.
Stap 3: scoor elk gesprek van de AI-agent, geen steekproef
Een bot herhaalt vaak dezelfde fout in alle gesprekken over hetzelfde onderwerp, omdat hij elke keer uit dezelfde content antwoordt. Een steekproef van 2% mist die fout misschien helemaal, of vindt hem één keer en ziet hem aan voor ruis. Als je elk gesprek van de AI-agent scoort, zie je het patroon: één artikel, één procedure of één regel achter tientallen slechte antwoorden.
Met Kaizo koppel je Zendesk, kies je een scorecard en zet je AutoPilot aan. AutoPilot scoort elk gesprek tegen jouw criteria zodra het is afgehandeld en zet een opmerking bij het ticket die de score uitlegt. Je bepaalt zelf welke wachtrijen, kanalen of teams worden gescoord.
Stap 4: controleer de overdracht naar je medewerkers
Als de AI-agent escaleert, kunnen er twee dingen misgaan: hij escaleert te laat, als de klant al gefrustreerd is, of hij draagt over zonder context, zodat de klant alles moet herhalen. Scoor beide aan de kant van de bot (escaleerde hij op de juiste trigger, gaf hij een samenvatting mee) en aan de kant van de medewerker (las die de samenvatting). Onze gids over het scoren van de overdracht behandelt beide richtingen.
Stap 5: herleid elke fout naar een aanpassing in Zendesk
Een QA-score die de bot niet verandert, is alleen een rapport. Bepaal voor elk criterium waarop de bot faalde wat de oorzaak was en waar de oplossing zit:
| Wat ging er mis | Waarschijnlijke oorzaak | Waar je het oplost |
|---|---|---|
| Fout of verouderd feit | Het bronartikel klopt niet, is oud of ontbreekt | Het helpcentrumartikel waaruit de bot antwoordt bijwerken of toevoegen |
| Juist beleid, ontbrekende voorwaarde | Het artikel verstopt de voorwaarde, of twee artikelen spreken elkaar tegen | Het artikel herschrijven zodat de voorwaarde in het antwoord zelf staat |
| Iets beloofd wat niet mag | Niets houdt de bot tegen bij dat onderwerp | Dat onderwerp aan een mens geven, of de bot verhinderen erop te antwoorden |
| Te laat geëscaleerd | De voorwaarden voor overdracht zijn te krap | Ze verruimen: onderwerp, tekenen van frustratie, dezelfde vraag twee keer gesteld |
| Overdracht zonder context | Geen samenvatting voor de medewerker | De overdracht zo aanpassen dat de medewerker een samenvatting van het gesprek krijgt |
Groepeer fouten op oorzaak voordat je iets aanpast. Tien slechte antwoorden die uit één artikel komen, vragen om één aanpassing, niet tien.
Stap 6: scoor opnieuw na elke wijziging
Contentwijzigingen hebben bijwerkingen. Een herschreven artikel over terugbetalingen kan de antwoorden over terugbetalingen verbeteren en de verwante antwoorden over opzeggingen verslechteren. Bekijk na elke wijziging de scores voor het betrokken onderwerp in de week erna en vergelijk ze met de week ervoor. Als je elk gesprek scoort, heb je die vergelijking al.
Hoe ziet een scorecard voor een Zendesk AI-agent eruit?
Een scorecard voor een Zendesk AI-agent controleert of het antwoord van de bot juist was, onderbouwd met je eigen content, toegestaan volgens het beleid, en of hij op het juiste moment overdroeg. Je hebt minder criteria voor soft skills nodig dan in een scorecard voor medewerkers en meer criteria over feiten en escalatie. Hier is een uitgewerkt voorbeeld voor een supportteam in retail.
| Criterium | Vraag die de reviewer beantwoordt | Type |
|---|---|---|
| Juist antwoord | Klopte elk feit in het antwoord voor de situatie van deze klant? | Voldoet / voldoet niet, knock-out bij geldonderwerpen |
| Onderbouwd met onze content | Is elke bewering te herleiden tot een helpcentrumartikel of een procedure? | Voldoet / voldoet niet |
| Beleid gevolgd | Bleef de bot binnen de regels voor terugbetalingen, kosten en voorwaarden? | Voldoet / voldoet niet, knock-out |
| Vraag begrepen | Beantwoordde hij de vraag die de klant stelde, en niet een vergelijkbare? | 1 tot 3 |
| Op tijd geëscaleerd | Droeg hij over op de juiste trigger, voordat de klant zich herhaalde? | Voldoet / voldoet niet |
| Context bij overdracht | Kreeg de medewerker een samenvatting waarmee hij verder kon? | Voldoet / voldoet niet |
| Toon | Paste de toon bij een ontevreden klant? | 1 tot 3 |
En zo ziet een opmerking eruit die een reviewer, of AutoPilot, bij het ticket hoort te zetten:
Beleid gevolgd: voldoet niet. De klant vroeg op dag 34 om een terugbetaling. De AI-agent bevestigde de terugbetaling, maar het retourbeleid staat 30 dagen toe. Bron: helpcentrumartikel “Retouren en terugbetalingen”, dat de termijn van 30 dagen pas in de laatste alinea noemt. Voorgestelde aanpassing: zet de termijn in de eerste zin van het artikel en voeg een escalatieregel toe voor terugbetalingsverzoeken na dag 30.
Zo’n opmerking maakt de score bruikbaar: ze noemt het criterium, het bewijs in het transcript, de bron van de fout en de oplossing. Voordat je een automatische score vertrouwt, laat je hem los op gesprekken die je team al heeft beoordeeld en kijk je waar hij afwijkt. Onze gids over het valideren van AI-gestuurde QA-scores (Engels) loopt die test met je door.
Welke resultaten kun je verwachten van volledige dekking?
De gepubliceerde resultaten komen uit QA op supportgesprekken in het algemeen. Bij UiPath automatiseerde Kaizo 100% van de QA, met 200% ROI en een stijging van 8% in de kwaliteitsscore. Bij SteelSeries, een supportteam van 30 mensen dat met Zendesk begon, halveerden AI-samenvattingen de tijd die QA kostte, zonder dat er minder werd gevonden.
Geen van beide resultaten gaat alleen over gesprekken van AI-agents. Het mechanisme is wel hetzelfde: zodra elk gesprek wordt gescoord, is een terugkerende fout geen anekdote meer, maar een getal dat je kunt oplossen en volgen.
Bekijk het in je eigen Zendesk. Kaizo scoort elk Zendesk-gesprek tegen jouw eigen criteria, ook de gesprekken die de AI-agents van Zendesk afhandelen, en zet de uitleg bij het ticket. Boek een demo.
Gebruik je Zendesk QA of een aparte QA-tool?
Gebruik Zendesk QA als je de add-on al betaalt en de scorecards passen bij hoe je de bot wilt beoordelen. Gebruik een aparte QA-tool als je één scorecard en één set rapportages wilt voor gesprekken van medewerkers en AI-agents, opgebouwd rond je eigen criteria. Beide kunnen werken; de scorecard en de opvolging zijn belangrijker dan de tool.
Wat Zendesk QA volgens het helpcentrum van Zendesk voor bots biedt:
- Je markeert elke bot als beoordeelbaar of niet. Beoordeelbare bots worden meegenomen in automatische scoring en handmatige beoordelingen.
- Je kunt gesprekken filteren op deelnemer, bot, type bot (workflow of generatief) en het aantal antwoorden van de bot.
- De AutoQA-categorieën zijn begroeting, empathie, spelling en grammatica, afsluiting, aangeboden oplossing, toon, leesbaarheid en begrip, en agents en bots worden apart beoordeeld.
- Het vereist de add-on Quality Assurance of Workforce Engagement Management.
Vragen om aan elke tool te stellen, Zendesk QA inbegrepen:
- Kan de tool de criteria scoren die voor een bot tellen, zoals juistheid ten opzichte van je eigen content en beleid, en niet alleen de standaardcategorieën?
- Krijgt elke score een uitleg die naar het transcript verwijst?
- Kun je de tool testen op je eigen eerdere beoordelingen voordat hij live gaat scoren?
- Scoort de tool elk gesprek van de AI-agent, of een steekproef?
- Zien de mensen die de bot aanpassen de fouten gegroepeerd op oorzaak?
Vergelijk je de twee rechtstreeks, dan zet onze pagina over het Zendesk QA-alternatief de verschillen op een rij, en de pagina Kaizo voor Zendesk laat zien hoe de implementatie werkt.
Wanneer dit niet voor jou is
Formele kwaliteitscontrole van AI-agents is niet overal de moeite waard. Handelt je Zendesk AI-agent enkele tientallen gesprekken per week af, lees ze dan zelf: een uur per week met de transcripten en een korte checklist vindt de meeste problemen. Beantwoordt de bot alleen vragen met weinig risico, zoals openingstijden en links om een bestelling te volgen, dan is een maandelijkse steekproef genoeg.
Het is ook te vroeg als je nog geen vastgelegde standaard hebt voor wat een goed antwoord is. Schrijf die eerst op, al is het een lijst van één pagina, want geen enkele tool kan scoren tegen een standaard die niet bestaat. En is de content in je helpcentrum over de hele linie verouderd, breng dan eerst de content op orde voordat je de bot meet: anders vertelt QA je vooral wat je al weet.
Veelgestelde vragen
Kan Zendesk QA gesprekken beoordelen die AI-agents hebben afgehandeld?
Ja. Zendesk QA kan bots die je als beoordeelbaar markeert meenemen in automatische scoring en handmatige beoordelingen, en je kunt gesprekken filteren op bot en type bot. Het vereist de add-on Quality Assurance of Workforce Engagement Management.
Werkt Kaizo met Zendesk AI-agents?
Ja. Kaizo maakt verbinding met Zendesk en AutoPilot scoort elk Zendesk-gesprek tegen jouw eigen criteria, ook de gesprekken die de AI-agents van Zendesk afhandelen. Bij elke score hoort een opmerking die hem uitlegt.
Hoeveel gesprekken van een Zendesk AI-agent moet je beoordelen?
Scoor ze allemaal als dat kan, want een bot herhaalt vaak dezelfde fout in gesprekken over hetzelfde onderwerp. Beoordeel je handmatig, begin dan met de risicovolle onderwerpen zoals terugbetalingen, prijzen en uitzonderingen op beleid, en lees die gesprekken eerst allemaal.
Kun je dezelfde scorecard gebruiken voor je medewerkers en je AI-agent?
Je kunt de criteria delen die voor allebei gelden, zoals juist antwoord en toon, zodat de resultaten vergelijkbaar blijven. De AI-agent heeft extra criteria nodig voor onderbouwing met je content, de grenzen van het beleid en escalatie, en minder gewicht op begroeting en spelling.
Hoe lang duurt het om kwaliteitscontrole voor een Zendesk AI-agent op te zetten?
Het meeste werk zit in het kiezen van de risicovolle onderwerpen en het schrijven van de eerste scorecard, en dat doe je één keer. Met Kaizo duurt het koppelen van Zendesk en het aanzetten van AutoPilot dagen, geen connectorproject, en je kunt de scoring testen op je eerdere beoordelingen voordat die live gaat.
Wat doe je als de AI-agent een fout antwoord geeft?
Zoek eerst de bron van het antwoord: meestal een helpcentrumartikel dat fout, verouderd of onduidelijk is. Pas het artikel aan of voeg een escalatieregel toe voor dat onderwerp, en bekijk daarna de scores voor dat onderwerp in de week erna om te bevestigen dat de aanpassing werkt.
Verder lezen
- Kwaliteitscontrole van AI-agents en chatbots, de algemene gids voor elke AI-agent
- Your AI agent is closing tickets. Who is checking it? (Engels), over welke gesprekken je eerst bekijkt
- QA inside the Zendesk ticket view (Engels), over waarom feedback in het ticket thuishoort
- Kaizo voor Zendesk, de Zendesk QA-tool voor gesprekken van medewerkers en AI-agents
