Kwaliteitscontrole van AI-voicebots betekent dat je de telefoongesprekken die je voicebot afhandelt na afloop scoort tegen een vastgelegde standaard. Zo weet je of hij de beller begreep, een juist en toegestaan antwoord gaf en op het juiste moment doorverbond met een mens.
Je hebt een scorecard nodig met controles die specifiek zijn voor spraak, een transcript van elk gesprek en een manier om ze allemaal te scoren in plaats van een steekproef.
In het kort
- Een voicebot faalt op manieren die een chatbot niet kent (verkeerd verstane getallen, door de beller heen praten, mislukte doorverbindingen), dus zijn scorecard krijgt extra controles op spraakherkenning, herhalen ter bevestiging, escalatie en AI-melding.
- Een kleine willekeurige steekproef van gesprekken mist de fouten van een voicebot vaak, omdat ze zich op één onderwerp concentreren en zich herhalen.
- Zes stappen dekken het werk: eerst de risicovolle onderwerpen, dan de scorecard, de transcripten, elk gesprek scoren, de doorverbinding en opnieuw scoren na elke correctie.
- Sinds 2 augustus 2026 verplicht de AI-verordening van de EU dat bellers horen dat ze met een AI praten, en de Amerikaanse regels voor het opnemen van gesprekken blijven gelden.
- Testen voor de lancering en kwaliteitscontrole van echte gesprekken zijn verschillende fases, en je hebt ze allebei nodig.
Deze gids is de spraakversie van onze algemene gids over kwaliteitscontrole van AI-agents. Voor de productkant laat de pagina over kwaliteitscontrole van AI-agents zien hoe Kaizo gesprekken van AI-agents scoort op dezelfde scorecard als die van je team.
Wat is er anders aan kwaliteitscontrole van AI-voicebots?
Kwaliteitscontrole van een AI-voicebot controleert wat de bot hoorde én wat hij zei, omdat een voicebot spraak eerst omzet in tekst voordat hij antwoordt. Een fout in die eerste stap verandert alles wat erna komt. Een chatbot leest wat de klant typte; een voicebot gokt.
Daardoor komen er drie soorten fouten bij die kwaliteitscontrole van tekst nooit ziet:
- Herkenningsfouten. De bot hoort “vijftien” als “vijftig”, heeft één cijfer van een ordernummer fout of verhaspelt een achternaam. Het antwoord dat volgt kan perfect op je eigen content steunen en toch over de verkeerde bestelling gaan.
- Timing in het gesprek. De bot antwoordt voordat de beller is uitgepraat, laat lange stiltes vallen of blijft praten als de beller hem probeert te onderbreken. In een chattranscript bestaat niets daarvan.
- De doorverbinding. Een overdracht bij spraak is een live doorverbinding. Als de context niet met het gesprek meegaat, herhaalt de beller alles tegen iemand die al onvoorbereid klinkt.
De rest is hetzelfde als bij elke AI-agent: het antwoord moet juist zijn, uit je eigen content komen, binnen je beleid blijven en escaleren op het juiste signaal. Die gedeelde controles behandelen we in de scorecard voor een AI-agent, en de doorverbinding in detail in de overdracht van AI-agent naar medewerker beoordelen.
Welke fouten moet de scorecard van een voicebot vangen?
De scorecard van een voicebot moet foute antwoorden, verzonnen beleid, verkeerd verstane gegevens, onbevestigde acties, gemiste escalaties en een ontbrekende AI-melding vangen. Per controle staat er ook of een transcript volstaat of dat je de audio nodig hebt, want dat bepaalt hoe je beoordeelt.
Hier is een scorecard die je kunt overnemen en aanpassen. De eerste vier rijen zijn de criteria waarop je medewerkers al worden gescoord, zodat de twee sets resultaten vergelijkbaar blijven.
| Criterium | Wat het controleert | Gescoord voor | Volstaat het transcript? |
|---|---|---|---|
| Juist antwoord | Het antwoord lost de vraag van de beller op | Medewerkers en AI-agents | Ja |
| Grenzen van het beleid | Geen verzonnen terugbetaling, kwijtgescholden kosten of uitzondering | Medewerkers en AI-agents | Ja |
| Identiteit geverifieerd | De verplichte controles liepen voordat accountgegevens werden gedeeld | Medewerkers en AI-agents | Ja |
| Toon | Het klinkt als je merk, niet als een script | Medewerkers en AI-agents | Deels: tempo en door de beller heen praten vragen de audio |
| Belangrijke gegevens herhaald | Getallen, datums, namen en bedragen werden ter bevestiging aan de beller herhaald | AI-agents | Ja |
| Herkenning | Waar de bot op handelde, komt overeen met wat de beller zei | AI-agents | Nee: vergelijk bij mislukte gesprekken de audio met het transcript |
| Gebaseerd op je content | Elk feit komt uit je kennisbank | AI-agents | Ja |
| Escalatie | Hij bood een mens aan op het juiste signaal, ook als de beller twee keer “medewerker” of “mens” zei | AI-agents | Ja |
| Doorverbinding | De context ging mee met de doorverbinding en de medewerker pakte die op | AI-agents en medewerkers | Ja, als beide delen van het gesprek in één record staan |
| AI-melding | De beller hoorde aan het begin dat hij met een AI sprak | AI-agents | Ja |
De rij over herhalen ter bevestiging is de goedkoopste correctie met het grootste effect. Een voicebot die zegt “Dus dat is bestelling 4-8-1-7, een terugbetaling van 15 dollar, klopt dat?” maakt van een stille herkenningsfout een correctie die de beller voor je doet. Scoor het bij elk gesprek waarin een account wordt gewijzigd, een betaling wordt gedaan of iets wordt geboekt.
Waarom mist een steekproef de fouten van een voicebot?
Een willekeurige steekproef mist de fouten van een voicebot omdat ze zich op één onderwerp concentreren en zich herhalen. Een fout die een groot deel van één soort gesprek verpest, is nog altijd een klein deel van alle gesprekken. De berekening hieronder laat zien hoe vaak een gewone steekproef niets ziet.
Rekenvoorbeeld (illustratieve cijfers, geen data van Kaizo). Stel dat je voicebot 12.000 gesprekken per maand afhandelt en je team een willekeurige steekproef van één op de 50 gesprekken beoordeelt, dus 240 gesprekken. Eén op de 20 gesprekken gaat over een terugbetaling, dus 600 gesprekken.
Na een beleidswijziging noemt de bot in één op de tien gesprekken over terugbetalingen de verkeerde termijn: 60 gesprekken, of één op de 200.
| Waarde | |
|---|---|
| Gesprekken per maand | 12.000 |
| Beoordeelde gesprekken (steekproef van 2%) | 240 |
| Gesprekken over terugbetalingen met het verkeerde antwoord | 60 (0,5% van alle gesprekken) |
| Verwacht aantal foute terugbetalingsgesprekken in de steekproef | 1,2 |
| Kans dat de steekproef er geen enkel bevat | ongeveer 30% |
| Kans dat ze er hoogstens één bevat | ongeveer 66% |
De laatste twee rijen volgen uit de binomiale formule: de kans dat je er geen trekt is 0,995 tot de macht 240, ongeveer 0,30.
In ongeveer twee op de drie maanden zien je beoordelaars één slecht terugbetalingsgesprek of geen enkel, en dat lijkt op ruis. Als je elk gesprek scoort, wordt dezelfde fout 60 mislukte gesprekken op één criterium, met de transcripten erbij.
De algemene versie van deze redenering, met de formules, staat in waarom een QA-steekproef van 3% geen beslissingen per medewerker kan dragen (Engelstalig).
Kwaliteitscontrole van AI-voicebots in zes stappen
Voor kwaliteitscontrole van AI-voicebots begin je met de dure onderwerpen, schrijf je een scorecard met spraakcontroles, zorg je voor een transcript van elk gesprek, scoor je alle gesprekken, controleer je de doorverbindingen en scoor je opnieuw na elke correctie.
Stap 1: maak een lijst van de risicovolle onderwerpen
Haal de onderwerpen op die je voicebot afhandelt en markeer die waarbij een fout geld of vertrouwen kost: terugbetalingen, betalingen, opzeggingen, adreswijzigingen, het boeken van afspraken en alles wat met identiteit te maken heeft. Die scoor je eerst en lees je het vaakst.
Stap 2: schrijf de scorecard
Begin bij de tabel hierboven. Houd de criteria die je medewerkers met de bot delen, voeg de spraakcontroles toe en schrijf elk criterium als een ja-neevraag die een AI of een beoordelaar uit het gesprek kan beantwoorden. Onze gids over een QA-rubric schrijven die een AI kan scoren (Engelstalig) laat zien hoe je ze formuleert.
Stap 3: zorg voor een transcript van elk gesprek
Scoren vraagt om tekst. Controleer of elk gesprek van de voicebot eindigt met een opname en een transcript in het systeem waar ook de gesprekken van je team staan, en of het transcript aangeeft wie wat zei. Als botgesprekken in een aparte console van de leverancier staan, komen de resultaten van je medewerkers en je AI nooit in één rapport samen.
Stap 4: scoor elk gesprek, geen steekproef
Scoor alle gesprekken van de voicebot tegen de scorecard, met bij elke score een opmerking die verwijst naar de zin waarop ze steunt.
Zet beoordelaars in voor de gesprekken die zakken op een zwaarwegend criterium en voor een set geslaagde gesprekken, om de scoring zelf te controleren. Test automatische scores tegen je eigen eerdere beoordelingen voordat je erop vertrouwt, zoals beschreven in hoe je AI-scoring in QA valideert (Engelstalig).
Stap 5: controleer de doorverbindingen
Filter op gesprekken die de voicebot doorverbond en gesprekken waarin de beller om een mens vroeg. Scoor of de bot op het juiste signaal escaleerde, of de context bij de medewerker aankwam en of de beller zichzelf moest herhalen.
Kijk daarna naar de gesprekken die eindigden zonder doorverbinding en zonder oplossing: een beller die ophangt, wordt vaak geteld als afgehandeld door de bot.
Stap 6: corrigeer en scoor opnieuw
Herleid elke fout naar de oorzaak: een artikel in de kennisbank, een prompt, een ontbrekende herhaling ter bevestiging, een escalatieregel of een probleem met spraakherkenning bij één soort gegeven. Corrigeer het en volg dat criterium op hetzelfde onderwerp de week erna.
Een correctie van het ene antwoord kan een ander antwoord breken, en dat zie je alleen als je alle gesprekken blijft scoren.
Bekijk het in een live demo. Kaizo scoort telefoongesprekken, chats en e-mails tegen één scorecard, en scoort gesprekken van AI-agents op dezelfde scorecard als die van je team. Plan een gesprek.
Wat vraagt de wet van een AI-voicebot?
In de EU moet een voicebot sinds 2 augustus 2026 vanaf het begin van het gesprek duidelijk maken dat de beller met een AI praat. In de VS gelden de gewone regels voor het opnemen van gesprekken, en uitgaande AI-gesprekken vallen onder de regels voor robocalls.
| Regel | Wat het betekent voor een voicebot | Bron |
|---|---|---|
| AI-verordening van de EU, artikel 50, lid 1 | Aanbieders moeten AI-systemen die rechtstreeks met mensen communiceren zo ontwerpen dat die mensen weten dat ze met een AI te maken hebben, tenzij dat duidelijk is. Geldt vanaf 2 augustus 2026. | Verordening (EU) 2024/1689 op EUR-Lex |
| Richtsnoeren van de Commissie over artikel 50 | De melding moet er zijn vanaf het begin van de eerste interactie, duidelijk en toegankelijk; chatbots en AI-agents worden als voorbeeld genoemd. | FAQ van de Europese Commissie over artikel 50 |
| Amerikaanse federale wet op opnames | Opnemen mag met toestemming van één partij, op grond van 18 U.S.C. § 2511(2)(d). | Cornell LII |
| Amerikaanse wetten per staat | Sommige staten, waaronder Californië, vereisen de toestemming van alle partijen. | California Penal Code § 632 |
| Uitgaande gesprekken in de VS | De FCC besliste op 8 februari 2024 dat door AI gegenereerde stemmen als “artificial” gelden onder de TCPA, zodat de toestemmingsregels voor robocalls van toepassing zijn. | Aankondiging van de FCC |
Deze tabel is een samenvatting, geen juridisch advies.
Voor kwaliteitscontrole is het praktische gevolg eenvoudig: maak van de AI-melding en de melding dat het gesprek wordt opgenomen criteria op de scorecard, zodat je kunt aantonen dat ze in elk gesprek zijn gegeven in plaats van het aan te nemen.
Richtsnoeren en nationale regels kunnen nog veranderen, dus controleer de actuele stand met je juridisch adviseur voordat je in een nieuwe markt start.
Testen voor de lancering vs kwaliteitscontrole na het gesprek
Testen voor de lancering controleert de voicebot met gescripte gesprekken in een gecontroleerde omgeving; kwaliteitscontrole na het gesprek controleert wat hij echt deed met echte bellers. Ze vangen verschillende problemen, en een voicebot heeft ze allebei nodig.
| Testen voor de lancering | Kwaliteitscontrole van echte gesprekken | |
|---|---|---|
| Input | Gescripte of gesimuleerde testgesprekken | Echte gesprekken van echte klanten |
| Wanneer | Voor de release en na elke wijziging aan prompts of flows | Na afloop van elk gesprek |
| Vangt | Kapotte flows, achteruitgang door promptwijzigingen, vertraging onder belasting | Echte accenten en achtergrondgeluid, nieuwe vragen, afwijkingen van het beleid, mislukte doorverbindingen |
| Eigenaar | Het team dat de bot bouwt | QA en supportoperaties |
| Gebruikelijke tool | Een testsuite of simulatietool | Een QA-platform met een scorecard |
Kaizo zit in de tweede kolom. Het scoort gesprekken nadat ze zijn afgelopen, en de site van Kaizo zegt dat ook duidelijk: een voicebot voor de lancering testen met gescripte testgesprekken is een andere fase dan kwaliteitscontrole van echte gesprekken.
Wil je gesprekken live meeluisteren of tijdens het gesprek suggesties geven, dan is dat real-time agent assist (Engelstalig), weer een andere categorie.
Zo begin je met kwaliteitscontrole van je voicebot
Begin deze week met één onderwerp: kies het meest risicovolle onderwerp dat je voicebot afhandelt, schrijf tien scorecardcriteria op basis van de tabel hierboven en scoor twee weken lang elk gesprek over dat onderwerp. Je leert meer van die gesprekken dan van een maand steekproeven over alle onderwerpen.
Breid daarna onderwerp per onderwerp uit. Wil je zien hoe één scorecard medewerkers, chatbots en telefoongesprekken dekt, ga dan naar de pagina over kwaliteitscontrole voor AI-agents.
Veelgestelde vragen
Hoe test je een AI-voicebot voordat hij live gaat?
Voer gescripte testgesprekken uit die je belangrijkste en risicovolle onderwerpen dekken, plus de moeilijke gevallen: achtergrondgeluid, accenten, onderbrekingen, snel uitgesproken getallen en bellers die om een mens vragen. Controleer de flows, de antwoorden en de reactietijd. Herhaal dezelfde testset na elke wijziging aan de prompt of de flow, want een correctie op de ene plek kan iets anders breken.
Welke metrics tellen voor een AI-voicebot?
Volg uitkomstmetrics zoals containment, doorverbindingen en herhaalde oproepen, maar beoordeel de kwaliteit op een scorecard: juist antwoord, grenzen van het beleid, herhaling van belangrijke gegevens, escalatie en doorverbinding. Containment alleen telt een beller die het opgaf en ophing als een succes. Onze gids over containment rate (Engelstalig) legt uit hoe je dat cijfer eerlijk leest.
Kun je voicebotgesprekken en gesprekken van medewerkers op dezelfde scorecard scoren?
Ja, voor de criteria die voor allebei gelden, zoals juist antwoord, grenzen van het beleid, identiteitscontroles en toon. Zo blijven de resultaten vergelijkbaar en zie je waar de bot sterker of zwakker is dan je team. De voicebot krijgt daarnaast extra criteria voor herkenning, herhalen ter bevestiging, escalatie en de AI-melding.
Scoort Kaizo telefoongesprekken?
Ja. Kaizo scoort telefoongesprekken tegen dezelfde scorecard als chat en e-mail, en elk abonnement bevat AI-samenvattingen en transcriptie op aanvraag. Kaizo beoordeelt een gesprek nadat het is afgelopen en de case is afgehandeld. Het is dus een QA-tool voor echte gesprekken achteraf, geen tool om gesprekken live te monitoren.
Hoeveel gesprekken van een voicebot moet je met de hand beoordelen?
Scoor als het kan elk gesprek automatisch en beoordeel daarna met de hand de gesprekken die zakken op een zwaarwegend criterium, plus een kleine set geslaagde gesprekken om de scoring te controleren. Beoordeel je alleen met de hand, lees dan eerst elk gesprek over je meest risicovolle onderwerp, want fouten van een voicebot concentreren zich op één onderwerp en herhalen zich.
