Naar de inhoud

Best practice

Overdracht van chatbot naar medewerker: meten en scoren

Zo meet je de kwaliteit van de overdracht van chatbot naar medewerker: metrics met definities, een scorecard voor de bot en de medewerker, en ontwerpregels.

· Bijgewerkt · 16 min. lezen

Kwaliteitscontrole van de overdracht van chatbot naar medewerker scoort het moment waarop een gesprek overgaat tussen een AI-agent of chatbot en een mens, in beide richtingen. Daar loopt gemengde klantenservice het vaakst stuk, en scores per agent missen dat, omdat de fout bij de overgang hoort. Meet het met een paar overdrachtsmetrics en een scorecard die beide kanten beoordeelt.

In het kort

  • Overdrachten van AI naar mens en van mens naar AI gaan op verschillende manieren mis.
  • Van AI naar mens gaat het mis door een late escalatie, verloren context, een genegeerd verzoek om een persoon of geen bruikbare reden.
  • Van mens naar AI gaat het mis wanneer een onopgeloste case teruggaat naar de automatisering.
  • Containment en afhandeltijd zien het niet. Meet het overdrachtspercentage per intent, late overdrachten, meegegeven context, herhaalde vragen en oplossing na de overdracht.
  • Scoor beide kanten van de naad: de beslissing van de bot om over te dragen en de manier waarop de medewerker het oppakt.

Waarom de overdracht een eigen faalpunt is

Als je een menselijke medewerker en een AI-agent beoordeelt, scoor je twee helften van een gesprek dat steeds minder uit twee helften bestaat. In een gemengd model kan een klant beginnen bij een AI-agent (in het Engels), naar een persoon geëscaleerd worden en voor een opvolging teruggestuurd worden naar de automatisering, allemaal in één thread. Elke deelnemer kan op zijn eigen stuk goed scoren terwijl het gesprek als geheel een slechte ervaring is, want de schade ontstond bij de overgang en hoort bij geen van beiden.

Dat is de blinde vlek. Een scorecard per agent beoordeelt wat elke partij met het gesprek deed zolang ze het had. Over het moment waarop ze het doorgaf zegt die niets, en juist daar loopt gemengde klantenservice meestal stuk. De overdracht moet als afzonderlijk moment gescoord worden, en ze is één stap in de bredere praktijk van customer journey QA, die het hele pad scoort dat een klant aflegt langs bots en mensen.

Wat gaat er mis bij een overdracht van chatbot naar medewerker?

De meeste slechte overdrachten van chatbot naar medewerker komen neer op een paar fouten: de bot escaleert te laat, de context gaat verloren zodat de klant zich herhaalt, een verzoek om een mens wordt genegeerd, de klant draait rondjes tussen bot en wachtrij, de overdracht is koud, of de beloofde persoon komt nooit.

Toezichthouders hebben het gezien. Het rapport over chatbots in de consumentenfinanciering van het Amerikaanse Consumer Financial Protection Bureau (juni 2023, in het Engels) beschrijft “doom loops” wanneer een probleem buiten de mogelijkheden van de chatbot valt, citeert een klacht (“I am being sent in an endless loop with no way out”, ik word in een eindeloze loop gestuurd zonder uitweg) en waarschuwt dat chatbots die de toegang tot live menselijke support verhinderen tot wetsovertredingen kunnen leiden.

FoutWat de klant ervaartHoe het eruitziet in het transcriptMetric die het opvangt
Te laat escalerenMeerdere rondes van hetzelfde onbruikbare antwoord voordat er een persoon komtDe bot herhaalt of herformuleert hetzelfde antwoord 3 of meer keer, of de klant vraagt twee keer om hulpPercentage late overdrachten
Verloren context“Mag ik je ordernummer?” van de medewerker, nadat de klant het al aan de bot gafDe medewerker vraagt iets wat al in de thread staatPercentage meegegeven context, percentage herhaalde vragen
“Ik wil een mens spreken” genegeerdDe bot beantwoordt een andere vraag, of biedt de FAQ opnieuw aanEen expliciet verzoek om een persoon zonder overdracht in die beurtPercentage genegeerde verzoeken om een mens
OverdrachtsloopsNaar een wachtrij gestuurd, dan terug naar de bot, dan weer naar een wachtrijMeer dan één overdracht voor hetzelfde probleem, of de bot neemt een onopgeloste case terugPercentage overdrachtsloops
Koude overdrachtStilte, dan een nieuwe naam, zonder te weten waarom of hoe lang het wachten isGeen bericht dat een persoon het overneemt, waarom, en wanneerPercentage koude overdrachten, tijd tot een mens
Doodlopend“Ik verbind je met een medewerker” buiten de openingstijden, en dan nietsEen overdracht zonder antwoord van een mens en zonder alternatiefAfhaken tijdens de overdracht

Het doodlopende pad is het stille. De gids van Zendesk over escalatieflows voor AI-agents (in het Engels) zet een beschikbaarheidscontrole vóór een escalatie via messaging, met e-mail als alternatief buiten werktijd. Zonder die controle belooft de overdracht een persoon die nooit komt.

Overdracht van AI-agent naar medewerker: wat je scoort bij een escalatie

Als een AI-agent naar een persoon escaleert, scoor je drie dingen: timing (droeg hij over toen hij geen voortgang meer boekte), context (kreeg de medewerker de geschiedenis en de diagnose) en reden (kan de medewerker er iets mee). Elke faalwijze verdient een eigen criterium.

Timing: escaleerde de agent op het juiste moment?

Te laat komt het meest voor. Een agent die blijft proberen terwijl hij duidelijk vastzit, laat de klant rondjes draaien voordat hij een gefrustreerde klant overdraagt. Te vroeg escaleren verspilt de automatisering en de tijd van de medewerker. Het criterium is of de escalatie plaatsvond op het punt waarop de agent geen voortgang meer boekte, en dat zie je in het transcript.

Context: kreeg de medewerker wat hij nodig heeft?

De slechtste overdracht laat de klant opnieuw beginnen. Scoor of de escalatie de geschiedenis, de diagnose tot dan toe en wat de klant echt wil meegaf, zodat de medewerker de case geïnformeerd opent in plaats van blanco. Een overdracht die context verliest, maakt van één gesprek er twee.

Reden: was de escalatie begrijpelijk?

Een escalatie met alleen het label ‘geëscaleerd naar mens’ zegt de medewerker niets. Scoor of de reden van de overdracht is vastgelegd in een vorm waar de ontvangende persoon iets mee kan. Dit is een van de criteria op een scorecard voor AI-agents, maar het wordt pas zichtbaar als je over de naad heen leest.

Hoe ontwerp je een overdracht van chatbot naar medewerker?

Ontwerp de overdracht rond acht regels: honoreer een verzoek om een persoon bij de eerste vraag, escaleer als er geen voortgang is, stuur onderwerpen op de rode lijst direct naar een mens, controleer de beschikbaarheid, geef een contextpakket mee, vertel de klant wat er gebeurt, stuur een onopgeloste case nooit terug, en leg de reden vast.

  1. Honoreer “ik wil een mens spreken” bij de eerste vraag. De documentatie van Intercom over escalatierichtlijnen (in het Engels) noemt drie standaardtriggers voor Fin: de klant vraagt duidelijk om een mens, sterke frustratie of boosheid, en een klant die vastzit in een herhalende loop. Je eigen richtlijnen en regels kunnen dat standaardgedrag overschrijven, dus controleer of die van jou er geen hebben uitgezet.
  2. Escaleer als er geen voortgang is. Schrijf een regel die je in een transcript kunt controleren, zoals twee keer hetzelfde antwoord.
  3. Houd een rode lijst bij. Sommige intents gaan altijd naar een persoon: betwistingen, juridische klachten, kwetsbare klanten, alles buiten de acties die de bot alleen mag uitvoeren (een beslissing over het autonomieniveau).
  4. Controleer de beschikbaarheid. Bied buiten de openingstijden terugbellen, e-mail of een ticket aan en zeg wanneer een mens antwoordt.
  5. Geef een contextpakket mee. Minimaal: een korte samenvatting, het doel van de klant, de stappen die al geprobeerd zijn, de geverifieerde identiteit en de reden voor de overdracht. De documentatie van Microsoft Copilot Studio over overdragen aan een live medewerker (in het Engels) zegt dat de agent de volledige gespreksgeschiedenis en alle relevante variabelen kan delen, plus een optioneel privébericht aan de live medewerker. Je kwaliteitscontrole checkt of het aankwam en bruikbaar was.
  6. Maak het warm. Vertel de klant dat een persoon het overneemt, waarom, en ongeveer hoe lang het wachten is.
  7. Niet terugsturen. De bot neemt geen gesprek terug dat een mens niet heeft opgelost; een tweede overdracht over hetzelfde probleem gaat naar een wachtrij met ervaren medewerkers.
  8. Leg de reden vast als veld. “Mens gevraagd”, “buiten de scope”, “beleid”, “frustratie”, “mislukte actie”. Zonder dat veld kun je het overdrachtspercentage per reden niet berekenen.

Hoe meet je de kwaliteit van de overdracht van AI naar mens?

Meet de kwaliteit van de overdracht van AI naar mens per intent: overdrachtspercentage, late overdrachten, genegeerde verzoeken om een mens, meegegeven context, herhaalde vragen na de overdracht, tijd tot een mens, overdrachtsloops en oplossing na de overdracht. Volumemetrics komen uit je helpdesk; kwaliteitsmetrics vragen een gescoord transcript.

De drempels hieronder zijn vertrekpunten om af te stemmen op je eigen data, geen benchmarks uit de sector.

MetricDefinitieDatabronStartdrempel voor een alert
Overdrachtspercentage per intentOverdrachten aan een mens ÷ AI-gesprekken, per intentOverdrachtsevent in de helpdesk plus intent-labelBeweegt meer dan 5 punten van week tot week op één intent
Percentage late overdrachtenOverdrachten die na het escalatiepunt kwamen (de klant vroeg twee keer, of de bot herhaalde zich 3 of meer keer) ÷ alle overdrachtenScoren van transcriptenBoven 10%
Percentage genegeerde verzoeken om een mensExpliciete verzoeken om een persoon waarop bij de eerste vraag niet is gehandeld ÷ expliciete verzoekenScoren van transcriptenBoven 2%
Percentage meegegeven contextOverdrachten waarbij samenvatting, doel, geprobeerde stappen en geverifieerde identiteit de medewerker bereikten ÷ overdrachtenOverdrachtsgegevens of ticketvelden, gecontroleerd in het transcriptOnder 90%
Percentage herhaalde vragen na de overdrachtOverdrachten waarbij de medewerker vroeg om informatie die al gegeven was ÷ overdrachtenScoren van transcriptenBoven 10%
Percentage koude overdrachtenOverdrachten zonder bericht aan de klant over wie het overneemt en wanneer ÷ overdrachtenScoren van transcriptenBoven 5%
Tijd tot een mensTijd van de overdracht tot het eerste antwoord van een mens, als mediaan en 90e percentielTijdstempels in de helpdesk90e percentiel boven je servicelevel voor chat
Afhaken tijdens de overdrachtKlanten die vertrekken vóór het eerste antwoord van een mens ÷ overdrachtenTijdstempels in de helpdesk2 weken op rij stijgend
Percentage overdrachtsloopsGesprekken met meer dan één overdracht voor hetzelfde probleem, of een terugkeer naar de bot terwijl het onopgelost is ÷ overdrachtenGesprekslog plus scorenBoven 3%
Oplossing na de overdrachtOverdrachten opgelost zonder herhaalcontact over hetzelfde probleem binnen 7 dagen ÷ overdrachtenHelpdesk plus contacthistorie2 weken op rij dalend

Twee hiervan verdelen de verantwoordelijkheid zuiver. Kwam de context niet aan, dan ligt de oplossing bij de bot of de integratie. Kwam de context wel aan en vroeg de medewerker het toch, dan is de oplossing coaching (zie mensen coachen versus AI-agents verbeteren). Voor dashboards en alerts, zie AI-agent monitoring; voor de bredere set metrics, KPI’s voor AI in de klantenservice.

De overdrachtsscorecard: criteria voor de bot en de medewerker

Scoor een overdracht in twee blokken: de beslissing van de bot (trigger, timing, verzoek gehonoreerd, contextpakket, klant ingelicht, beschikbaarheid) en het oppakken door de medewerker (eerst lezen, niet opnieuw vragen, op tijd opgepakt, eigenaar tot de oplossing). Elk criterium is geslaagd of gezakt, met bewijs dat een tweede beoordelaar in het transcript kan aanwijzen. Kopieer het naar je scorecard als een sectie die alleen geldt voor gesprekken met een overdracht.

KantCriteriumGeslaagdVoorbeeld van zakkenDatabron
BotJuiste triggerEscaleerde op een regel die je hebt opgeschreven (verzoek, geen voortgang, intent op de rode lijst), en bleef nooit bij de bot als aan een regel was voldaanHield een betwisting van de rode lijst vast, of escaleerde een gewone vraag over de orderstatus die hij kon beantwoordenTranscript plus veld met de overdrachtsreden
BotJuiste momentDroeg over op het eerste punt waarop aan de regel was voldaanDe klant vroeg twee keer om hulp en kreeg drie keer hetzelfde artikelTranscript
BotVerzoek gehonoreerdOp “ik wil een mens spreken” is bij de eerste vraag gehandeld“Daar kan ik je mee helpen!” gevolgd door opnieuw de FAQTranscript
BotContextpakketSamenvatting, doel, geprobeerde stappen, geverifieerde identiteit en reden bereikten de medewerkerHet ticket toont alleen “geëscaleerd naar medewerker”Ticketvelden of overdrachtsgegevens
BotKlant ingelichtDe klant wist dat een persoon het overnam, waarom, en hoe lang het wachten zou zijn9 minuten stilte, dan “Hoi, waarmee kan ik helpen?”Transcript
BotBeschikbaarheid gecontroleerdLive overdracht alleen als er iemand online is, anders een alternatief met een antwoordtermijn“Ik verbind je nu” om 2 uur ‘s nachts zonder antwoord tot de ochtendTranscript plus tijdstempels
MedewerkerEerst gelezenHet eerste antwoord verwijst naar wat de klant al zei“Hoi, wat is het probleem?”Transcript
MedewerkerNiet opnieuw gevraagdGeen vraag naar informatie die al in de thread staatVraagt het ordernummer dat de bot al heeft geverifieerdTranscript
MedewerkerOp tijd opgepaktEerste antwoord van de medewerker binnen je servicelevel voor chatDe klant wachtte langer dan de norm en vertrokTijdstempels in de helpdesk
MedewerkerEigenaar geblevenOpgelost, of een duidelijke volgende stap afgesproken, zonder het onopgelost terug te sturen naar de botGesloten met “de assistent kan je met de rest helpen”Transcript plus contacthistorie
MedewerkerSlechte overdracht gemeldLabelde de overdracht als de context ontbrak of fout wasWerkte om een kapotte samenvatting heen zonder het iemand te vertellenTicketlabel

Twee scoringsregels houden het eerlijk. Behandel “verzoek gehonoreerd” en “eigenaar gebleven” (niet terugsturen) als knock-outcriteria: een klant die om een persoon vroeg en die niet kreeg, is een mislukt gesprek, hoe beleefd de bot ook was. En wijs elk gezakt criterium toe aan zijn kant, zodat het blok van de bot naar de eigenaar van de AI-agent gaat en het blok van de medewerker naar coaching. Voor het geëscaleerde ticket zodra een persoon het heeft, zie een geëscaleerd ticket scoren.

Een uitgewerkt voorbeeld: wat overdrachtsmetrics tonen en steekproeven missen

Illustratie: de cijfers zijn verzonnen om de berekening te tonen. Een team draait 20.000 gesprekken met een AI-agent per maand; 3.000 eindigen in een overdracht, een overdrachtspercentage van 15%. Het team scoort elke overdracht met de scorecard hierboven.

  • Late overdrachten: 480 van de 3.000, of 16%, vooral bij terugbetalingen en betwiste leveringen.
  • Meegegeven context: 2.550 van de 3.000, of 85%. 450 overdrachten bereikten de medewerker zonder samenvatting.
  • Herhaalde vragen: 690 overdrachten, of 23%: 400 waarbij de context nooit aankwam, 290 waarbij die wel aankwam en de medewerker het toch vroeg.
  • Genegeerde verzoeken: 900 klanten vroegen om een persoon; 90 van hen, of 10%, werden bij de eerste vraag niet overgedragen.
  • Oplossing na de overdracht: 2.340 van de 3.000, of 78%, zonder herhaalcontact binnen 7 dagen.

De verdeling vertelt het team waar het moet handelen. De 400 herhaalde vragen zonder context zijn een integratieoplossing. De 290 met context zijn een coachingsonderwerp. De 90 genegeerde verzoeken gaan deze week naar de eigenaar van de escalatieregels van de bot.

Vergelijk dat met een willekeurige steekproef van 2%: 400 gesprekken, ongeveer 60 met een overdracht (15%), zo’n 10 late overdrachten en ongeveer 2 genegeerde verzoeken (90 van de 20.000 is 0,45%; 0,45% van 400 is 1,8). Twee gevallen lezen als een anekdote. Negentig, gegroepeerd per intent, lezen als een kapotte regel.

Zie het op je eigen gesprekken. Kaizo scoort 100% van je supportgesprekken en zet de resultaten om in coaching. Boek een demo.

Van mens naar AI: de richting die niemand scoort

Een overdracht van mens naar AI gaat mis wanneer een persoon een case teruggeeft aan de automatisering voordat die is opgelost, een taak delegeert die de AI niet kan oppakken, of een opvolging start die ingaat tegen wat de medewerker net deed. De omgekeerde overdracht is nieuwer, minder onderzocht en makkelijk te missen.

Overdracht van mens naar AIZo ziet het er goed uitDe fout waarop je scoort
Een case teruggeven aan de automatisering voor opvolgingDe AI heeft de oplossing en de volgende stap is echt routineDe medewerker geeft een onopgeloste case terug om de eigen wachtrij leeg te maken
Een deeltaak delegeren midden in het gesprekDe AI kan de specifieke taak afronden en netjes teruggevenDe AI kan de draad niet oppakken en de klant verliest de continuïteit
Geautomatiseerde opvolging na de oplossingDe opvolging klopt met wat er echt is opgelostDe automatisering gaat in tegen wat de medewerker net heeft gedaan, of vergeet het

Dragen AI-agents ook aan elkaar over, dan vermenigvuldigen dezelfde naden zich; onze gids over AI-agent orkestratie behandelt overdrachten van agent naar agent.

Zo scoor je een overdracht in de praktijk

Om een overdracht in de praktijk te scoren, beoordeel je de hele thread over de overgang heen, dek je elke overdracht af in plaats van een steekproef, en wijs je elke fout toe aan de kant die hem veroorzaakte.

Beoordeel de hele thread

Scoor de continuïteit over de naad: bleef de context behouden, hoefde de klant zich niet te herhalen, ging de tweede partij verder waar de eerste stopte? Dat is onmogelijk als je kwaliteitscontrole het AI-deel en het menselijke deel als aparte records bekijkt, en zo slaan de meeste tools ze op.

Dek elke overdracht af: zeldzaam per tweetal, overal in totaal

Twee specifieke agents dragen misschien zelden aan elkaar over, dus een steekproef per agent mist overdrachten bijna per definitie. Over de hele operatie zijn ze overal. 100% van de gesprekken scoren (in het Engels) is wat overdrachtsfouten zichtbaar maakt als patroon in plaats van als incidentele klacht. Bij UiPath heeft Kaizo 100% van de QA geautomatiseerd, met 200% ROI en een stijging van 8% in de kwaliteitsscore.

Wijs elke fout toe aan één kant

Lag het aan de AI, die slecht escaleerde, of aan de medewerker, die een rommeltje teruggaf? Scoor het blok van de bot en het blok van de medewerker als aparte criteria, en laat elke bevinding wijzen naar de exacte beurten waar de continuïteit brak, zodat je de routeringsregel, het contextpakket of het coachingsonderwerp aanpakt. De volledige werkwijze staat in kwaliteitscontrole van AI-agents en chatbots.

Wanneer scoren van overdrachten niets voor jou is

Sla een aparte overdrachtsscorecard over als je bot een paar dozijn gesprekken per maand overdraagt: lees ze dan allemaal met de hand. Het is ook te vroeg als de bot geen geschreven escalatieregels heeft, want “juiste trigger” en “juiste moment” hebben een regel nodig om tegen te scoren, of als de overdracht een link naar een contactformulier is: er is geen naad tot de bot en de medewerker een gesprek delen.

Zo begin je deze week met het meten van de overdrachtskwaliteit

Begin met een handmatige ronde: tel de overdrachten van vorige maand per intent, lees er 30 van begin tot eind, label elk tegen de scorecard hierboven, en splits de herhaalde vragen naar oorzaak. Een paar uur geeft je een basislijn voordat je iets automatiseert.

  1. Haal de overdrachten van vorige maand op uit je helpdesk en tel ze per intent.
  2. Lees 30 gesprekken met een overdracht van begin tot eind en label elk tegen de scorecard hierboven.
  3. Splits de herhaalde vragen in “context ontbrak” en “context aanwezig”. Stuur de eerste lijst naar de eigenaar van de bot en de tweede naar je teamleiders.
  4. Schrijf je escalatieregels op en voeg een veld voor de reden toe aan de overdracht.

Bewijst de handmatige ronde het patroon, automatiseer het dan. Kwaliteitscontrole van AI-agents met Kaizo scoort gesprekken van AI-agents op dezelfde scorecard als die van je team en controleert de overdracht als criteria daarop: escaleerde de AI-agent op de juiste trigger, gaf hij de context door, en pakte de medewerker het op. AutoPilot scoort elk gesprek zodra het is opgelost. Om het hele pad te scoren, zie customer journey QA.

Veelgestelde vragen

Wat is kwaliteitscontrole van de overdracht?

Kwaliteitscontrole van de overdracht is het beoordelen van het moment waarop een gesprek overgaat tussen een AI-agent en een mens, in beide richtingen. Ze behandelt de overgang als een eigen beoordelingseenheid, omdat een overdracht kan mislukken (verloren context, late escalatie, een onopgeloste case die wordt teruggegeven) zelfs als zowel de mens als de AI goed scoort op het eigen segment.

Wat scoor je bij een escalatie van AI naar medewerker?

Drie dingen: timing (escaleerde de agent op het punt waarop hij geen voortgang meer boekte, in plaats van te laat of te vroeg), context (kreeg de medewerker de geschiedenis en de diagnose, zodat de klant niet opnieuw hoeft te beginnen) en reden (is de escalatie vastgelegd in een vorm waar de ontvangende persoon iets mee kan).

Wat gaat er mis bij een overdracht van mens naar AI?

De belangrijkste fouten zijn een medewerker die een onopgeloste case teruggeeft aan de automatisering om de eigen wachtrij leeg te maken, delegeren aan een AI die de draad niet kan oppakken en zo de continuïteit breekt, en geautomatiseerde opvolging na de oplossing die ingaat tegen wat de medewerker net deed of het vergeet. Deze richting is nieuwer en wordt zelden gescoord.

Waarom missen QA-scores per agent problemen bij de overdracht?

Omdat de fout tussen de records zit. Een scorecard per agent beoordeelt wat elke partij deed zolang ze het gesprek had, niet wat er bij de overgang gebeurde. Om de overdracht te scoren moet je de hele thread over de naad heen lezen. Daarom moet het gesprek als één eenheid worden opgeslagen en beoordeeld, niet als twee.

Wat is het verschil tussen een warme en een koude overdracht?

Bij een warme overdracht hoort de klant dat een persoon het overneemt, waarom, en hoe lang het wachten is, en krijgt de medewerker een samenvatting voordat hij antwoordt. Bij een koude overdracht belandt het gesprek in een wachtrij: de klant wacht zonder te weten wat er gebeurt, en de medewerker begint bij nul.

Wat is een goed overdrachtspercentage van chatbot naar medewerker?

Er is geen eenduidig goed percentage, want het hangt af van de intent: 40% kan juist zijn voor betwiste facturen en alarmerend voor het resetten van wachtwoorden. Volg het percentage per intent, let op veranderingen, en beoordeel het samen met late overdrachten en oplossing na de overdracht.

Verder lezen

Op deze pagina

Verder lezen

Zie dit in een live demo

We nemen je mee door Kaizo met realistische voorbeeldgesprekken, zodat je ziet hoe het voorbeeld wordt gescoord, toegelicht en gecoacht.

Vertrouwd door internationale supportteams

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath