Om de kwaliteit van de Fin AI-agent te controleren, lees en scoor je een geplande steekproef van Fin-gesprekken tegen je eigen scorecard, met het bewijs dat Intercom je al geeft: de answer debugger, de bronnen die Fin vond, beoordelingen en escalatielogs. Het oplossingspercentage van Fin vertelt je dat de klant vertrok zonder om meer hulp te vragen. Het vertelt je niet dat het antwoord juist was.
In het kort
- Intercom telt een oplossing door Fin als de klant bevestigt dat het antwoord hielp of vertrekt zonder om meer hulp te vragen, dus een oplossing is een factuurmoment, geen oordeel over kwaliteit.
- De CX Score van Fin is gebouwd voor gesprekken met minstens twee antwoorden van de klant en twee van een medewerker of bot, waardoor veel Fin-gesprekken met één vraag geen beoordeling krijgen.
- Neem de steekproef in twee delen: een willekeurige steekproef van opgeloste gesprekken om het oplossingspercentage te corrigeren, en gerichte reviews van risicovolle onderwerpen, escalaties en slechte beoordelingen.
- Controleer elk gesprek met een vaste checklist: juistheid van het antwoord tegenover de bron, echte oplossing, procedure afgerond, overdracht, herhaling, toon en beleid.
- Elke fout eindigt als één wijziging in Fin (content, doelgroep, guidance, procedure of escalatieregel), getest in een preview of eval voordat die live gaat.
Dit is de Fin-versie van onze algemene gids over kwaliteitscontrole van AI-agents, en ze volgt dezelfde stappen als onze gids over kwaliteitscontrole van Zendesk AI-agents. Kies je nog hoe je de agent voor de lancering meet, begin dan met AI-agents evalueren, dat evals voor de lancering scheidt van het scoren van live gesprekken.
Wat vertellen de eigen rapporten van Fin je over kwaliteit?
De rapporten van Fin vertellen je iets over volume, dekking en sentiment: aan hoeveel gesprekken Fin deelnam, hoeveel het oploste, hoe klanten ze beoordeelden en welke onderwerpen het volume bepalen. Ze vertellen je niet, gesprek per gesprek, of een antwoord juist, toegestaan door het beleid of volledig was. Daarvoor heb je een review tegen een geschreven norm nodig.
Dit geeft elke functie van Intercom een QA-lead, zoals beschreven in het helpcenter van Intercom op 13 november 2026:
| Waar in Intercom | Wat het je vertelt | Wat het je niet vertelt |
|---|---|---|
| Performance-dashboard (Fin AI Agent > Analyze > Performance) | Automatiseringsgraad, betrokkenheidsgraad, oplossingspercentage, en links naar de gesprekken achter elk pad | Of een opgelost gesprek een juist antwoord had |
| Fin CSAT (beoordelingen van gesprekken) | Het aandeel positieve beoordelingen voor Fin, van de klanten die de enquête invullen | Wat de zwijgende meerderheid vond, of waarom een beoordeling werd gegeven |
| CX Score (Pro-add-on, in het Engels) | Een beoordeling van 1 tot 5 door een machine learning-model, opgebouwd uit redenen zoals de kwaliteit van het antwoord en de moeite voor de klant | Iets over korte gesprekken die niet aan de voorwaarden voldoen |
| Topics Explorer en Recommendations (Pro-add-on) | Onderwerpen en subonderwerpen achter het volume, en wekelijkse suggesties om gaten in de content van Fin te dichten | Of de antwoorden van Fin op een goed gedekt onderwerp juist zijn |
| Monitors en Scorecards (Pro-add-on, in het Engels) | Selectie op basis van regels van gesprekken om te reviewen, gescoord tegen criteria die je zelf bepaalt | Of de AI-score overeenkomt met je beoordelaars, tenzij je dat test |
| Answer debugger (“Improve answer” in de Inbox, in het Engels) | De vraag, het antwoord van Fin en de contentitems die Fin relevant vond | Of die items juist of actueel zijn |
Twee details tellen voor kwaliteitscontrole. Ten eerste beoordeelt de CX Score alleen een gesprek dat is afgesloten, via chat of e-mail liep, door de klant werd gestart, en minstens twee antwoorden van de klant en twee van een medewerker of chatbot heeft. Intercom zegt dat het de criteria heeft verbreed, zodat sommige korte gesprekken met een duidelijk signaal nu gescoord kunnen worden, maar een klant die één vraag stelt, één antwoord krijgt en vertrekt, blijft vaak zonder beoordeling, en dat zijn precies de gesprekken die als assumed resolution tellen.
Ten tweede heeft Intercom aangepast hoe het dashboard telt (in het Engels). Sinds juli 2026 (uitrol van 1 tot 8 juli) tellen gesprekken waarin Fin actief was maar geen kans kreeg om te antwoorden (“Fin Constrained”) niet meer als gesprekken waarbij Fin betrokken was. Daardoor gingen oplossingspercentages omhoog en betrokkenheidsgraden omlaag, zonder enige verandering in kwaliteit of in het aantal oplossingen. Vergelijk je maanden over juli 2026 heen, noteer dan de breuk in de reeks.
Hoe telt Fin een oplossing, en waarom is dat geen kwaliteitsscore?
Intercom telt een oplossing als de klant na het laatste antwoord van Fin bevestigt dat het antwoord hielp (een bevestigde oplossing) of vertrekt zonder om meer hulp te vragen (een aangenomen oplossing, of assumed resolution). Het wordt gefactureerd als uitkomst. Geen van beide paden controleert of het antwoord juist was, dus een klant die opgaf telt hetzelfde als een klant die geholpen werd.
Uit het artikel van Intercom over Fin-uitkomsten (in het Engels), opgehaald op 13 november 2026:
- Een oplossing telt alleen als Fin een echt antwoord geeft, en je betaalt voor één uitkomst per gesprek.
- Oplossingen, overdrachten via procedures en enkele andere uitkomsten staan genoteerd op $0,99 per stuk voor Fin via chat en e-mail.
- Komt de klant voor meer hulp terug naar hetzelfde gesprek, ook in een latere factuurperiode, dan wordt de oplossing afgetrokken.
- Vraagt de klant uitdrukkelijk om een mens, of escaleert Fin via zijn standaardgedrag, bijvoorbeeld omdat het frustratie detecteert, dan is dat geen uitkomst en wordt het niet gefactureerd.
De definitie dekt een klant die terugkeert naar hetzelfde gesprek. Ze dekt geen klant die een nieuw gesprek opent over hetzelfde probleem, belt of vertrekt als klant. Dat zijn de gevallen die een kwaliteitsreview moet vangen.
Daarom zet een audit een tweede cijfer naast dat van Fin: het aandeel opgeloste gesprekken dat echt correct was. Onze gids over het oplossingspercentage van AI-agents auditen legt de backendcontroles en de periode voor herhaalcontact uit, en onze pagina over het correcte oplossingspercentage legt uit hoe je het gecorrigeerde cijfer definieert en rapporteert.
Hoe neem je een steekproef van Fin-gesprekken voor review?
Neem de steekproef van Fin-gesprekken in twee delen. Een willekeurige steekproef van opgeloste gesprekken geeft je een eerlijk percentage correcte oplossingen. Gerichte reviews van risicovolle onderwerpen, escalaties, negatieve beoordelingen en heropende gesprekken vinden de fouten die het meest kosten. Houd de twee gescheiden: gerichte reviews zijn scheef verdeeld richting problemen, dus ze mogen het percentage niet voeden.
Een steekproefplan voor een middelgroot team kan er zo uitzien (een illustratie, met cijfers gekozen voor het voorbeeld):
| Stroom | Wat je ophaalt | Per week | Gebruikt voor |
|---|---|---|---|
| Willekeurige basis | Opgeloste Fin-gesprekken, willekeurig gekozen | 60 | Percentage correcte oplossingen |
| Risicovolle onderwerpen | Terugbetalingen, prijzen, opzeggingen, wijzigingen in account en data | 25 | Fouten in beleid en geld |
| Escalaties | Gesprekken die Fin aan een mens overdroeg | 20 | Timing en context van de overdracht |
| Slechte signalen | Negatieve CSAT, lage CX Score, heropende gesprekken | 15 | Grondoorzaken |
| Totaal | 120 |
Uitgewerkt voorbeeld (illustratie). Fin is betrokken bij 6.000 gesprekken per week en het dashboard toont een oplossingspercentage van 65%, dus 3.900 oplossingen. Je beoordelaars vinden dat 9 van de 60 willekeurige opgeloste gesprekken fout of onvolledig waren: 15%. Het gecorrigeerde percentage is 65% x 0,85 = ongeveer 55%. Met 60 gesprekken is de marge op die 15% ongeveer plus of min 9 punten (1,96 x de wortel van 0,15 x 0,85 / 60), dus zie één week als een signaal en de trend over vier weken als het cijfer. Bij ongeveer 5 minuten per review kosten 120 reviews 10 uur per week, of 5 uur elk voor twee beoordelaars.
Wil je een kleinere marge, vergroot dan de willekeurige steekproef, niet de gerichte stromen. Onze gids over statistiek van QA-steekproeven (in het Engels) laat zien hoe de steekproefgrootte de marge verandert.
Met de Pro-add-on kunnen de Monitors van Intercom het ophalen voor je doen: Intercom beschrijft dat ze “a random sample for baseline quality” (een willekeurige steekproef voor de basiskwaliteit) of “a targeted set based on higher-risk or higher-impact signals” (een gerichte set op basis van signalen met meer risico of impact) reviewen. Zonder Pro bouw je dezelfde stromen met opgeslagen filters in de Inbox en een spreadsheet.
Wat controleer je in een Fin-gesprek?
Controleer of het antwoord van Fin overeenkwam met je broncontent en je beleid, of de oplossing echt was, of een procedure werd afgerond, of de overdracht op het juiste moment en met context kwam, en of Fin in herhaling viel of je toonregels brak. Schrijf elke controle als een slagingsregel die een beoordelaar in minder dan een minuut kan toepassen, met een vaste plek om het bewijs te vinden.
De checklist voor kwaliteitscontrole van Fin
Kopieer dit naar je scorecard of spreadsheet. De kolom “waar” gaat ervan uit dat Fin in de eigen Inbox van Intercom draait.
| # | Criterium | Waar je het bewijs vindt in Intercom | Slagingsregel |
|---|---|---|---|
| 1 | Antwoord juist tegenover de bron | “Improve answer” bij het antwoord van Fin: de contentitems die Fin relevant vond | Elk feit in het antwoord komt overeen met een actueel item in je content. Elk verkeerd feit over geld, voorwaarden of data is een kritieke fout. |
| 2 | Juiste bron gebruikt | Dezelfde lijst in de debugger, plus de doelgroepinstelling van de content | Het beste item voor de situatie van deze klant staat in de lijst, en het is gericht op de doelgroep van deze klant. |
| 3 | Beantwoordde de gestelde vraag | Het transcript | Fin beantwoordde de eigenlijke vraag van de klant, geen vergelijkbare vraag, of stelde eerst één verduidelijkende vraag. |
| 4 | Oplossing was echt | Status van het gesprek, plus een zoekopdracht naar dezelfde klant in de 7 dagen erna | Bevestigd door de klant, of aangenomen zonder nieuw gesprek of contact over hetzelfde probleem binnen 7 dagen. |
| 5 | Procedure afgerond | De stappen van de procedure in het gesprek, en het record in de backend (bestelling, terugbetaling, account) | De actie die de procedure beloofde bestaat in je systeem. Een belofte zonder record is een kritieke fout. |
| 6 | Geëscaleerd op de juiste trigger | Escalatieregels en guidance, en het moment van overdracht in het transcript | Fin droeg over wanneer je regels dat voorschrijven, en voordat de klant er twee keer om vroeg. |
| 7 | Overdracht met context | Het overdrachtsbericht en het eerste antwoord van de collega | De collega hoefde niet te vragen naar iets wat de klant al had gezegd. |
| 8 | Geen herhaling of rondjes | Het transcript | Fin herhaalde of herformuleerde hetzelfde antwoord niet meer dan één keer. |
| 9 | Beleid gerespecteerd | Je beleidspagina’s en het antwoord | Geen belofte buiten je regels voor terugbetalingen, kosten, levering of voorwaarden. Kritieke fout. |
| 10 | Toon en guidance gevolgd | Je guidance voor communicatiestijl en het antwoord | De toon past bij de toestand van de klant, en de termen komen overeen met je guidance. |
Markeer criteria 1, 5 en 9 als kritiek, zodat één fout het hele gesprek laat zakken. De Scorecards (in het Engels) van Intercom ondersteunen dat rechtstreeks: een criterium dat als Critical is gemarkeerd, zet de hele review op 0% als het zakt.
Criterium 8 verdient een eigen regel, omdat teams die met Fin werken het melden. Intercom zegt dat Fin standaard escaleert als een klant “stuck in a repetitive loop” is (vastzit in een herhalende lus), maar in een discussie in de community van Intercom (in het Engels) schreef een beheerder: “Something is going wrong with my anti-repetition guidance.” (Er gaat iets mis met mijn guidance tegen herhaling.) Dat is de melding van één team, maar het is het soort fout dat alleen een review van het transcript laat zien.
Voor de criteria over overdracht (6 en 7) heeft onze gids over de overdracht van AI-agent naar medewerker de metrics en een scorecard voor zowel de beslissing van de bot als de overname door de mens.
Hoe scoor je Fin-gesprekken tegen je scorecard?
Scoor Fin-gesprekken met dezelfde opbouw van de scorecard die je voor mensen gebruikt, plus de Fin-specifieke controles hierboven, en leg het bewijs vast voor elk criterium dat zakt. Dat kan in de Scorecards van Intercom met de Pro-add-on, in een spreadsheet, of in een QA-tool die gekoppeld is aan de helpdesk waar de gesprekken staan. Wat je ook gebruikt, test het scoren eerst tegen je eigen beoordelaars.
Drie manieren om het te doen:
- Monitors en Scorecards van Intercom (Pro-add-on). Je kiest per criterium of AI of een persoon het scoort. Met auto-review aan markeert Intercom een gesprek als geslaagd als elk criterium dat AI scoort is gehaald, en stuurt het fouten en randgevallen naar een persoon. De helppagina van Intercom noemt kalibratieworkflows als gepland, nog niet beschikbaar, dus kalibreer met de hand.
- Een spreadsheet. Eén rij per gesprek, één kolom per item op de checklist, plus oorzaak en oplossing. Prima tot een paar honderd reviews per week.
- Een QA-tool in je helpdesk. Fin draait ook op andere helpdesks: fin.ai (in het Engels) zegt dat het werkt met Salesforce, Zendesk en andere. Werkt je team in Zendesk of Salesforce, dan kan een QA-tool die daar gekoppeld is die gesprekken scoren.
Voordat je een AI-score vertrouwt, laat je twee beoordelaars dezelfde 30 tot 50 gesprekken scoren, los je meningsverschillen op en vergelijk je daarna de oordelen van de AI criterium per criterium met die van hen. Onze gids over AI-scores voor kwaliteitscontrole valideren (in het Engels) loopt die test door.
Hoe stuur je bevindingen uit de kwaliteitscontrole terug naar Fin?
Maak van elk criterium dat zakt één wijziging in het deel van Fin dat de fout veroorzaakte: de content, de doelgroepinstelling, de guidance, een procedure of een escalatieregel. Groepeer fouten naar oorzaak voordat je iets oplost, test elke wijziging in een preview of eval voordat ze live gaat, en scoor het betrokken onderwerp de week erna opnieuw.
| Wat zakte | Waarschijnlijke oorzaak | Waar je het oplost in Fin |
|---|---|---|
| Verkeerd of verouderd feit | Het artikel, snippet of gesynchroniseerde pagina is fout of oud | Pas het aan via “Improve answer”, of voeg een snippet toe. Externe content kun je daar niet aanpassen; los het op bij de bron, en houd er rekening mee dat websitesyncs wekelijks draaien. |
| Juist artikel, verkeerde klant | Content niet op de juiste doelgroep gericht | Stel de doelgroep in op de content, zodat Fin die alleen voor die klanten gebruikt |
| Stelde de verkeerde vervolgvraag, of geen | Ontbrekende guidance voor context en verduidelijking | Voeg één gerichte guidance-regel toe voor dat type vraag |
| Beloofde een actie die niet gebeurde | Een stap in de procedure of een dataconnector faalde stil | Voeg na de call van de dataconnector een voorwaarde toe die fouten en lege antwoorden afvangt |
| Te laat of helemaal niet geëscaleerd | Escalatieregels of guidance te smal | Voeg een regel toe op een data-attribuut, of gerichte guidance voor het onderwerp |
| Te vaak geëscaleerd | Guidance voor escalatie te breed | Herschrijf ze voor één specifieke situatie |
| Rondjes en herhaalde antwoorden | Overlappende guidance-regels | Verwijder regels die elkaar tegenspreken; geef elke regel één doel |
Test daarna voordat je publiceert. Het overzicht van de testtools van Intercom (in het Engels) noemt er vier:
- Previews: een handmatig testpaneel voor alle trainingsgebieden van Fin, zonder limieten.
- Batch tests: tot 50 vragen tegelijk, beoordeeld door een persoon; de beoordelingen trainen Fin niet. Nieuwe workspaces vanaf 5 november 2026 krijgen in plaats daarvan Evals.
- Evals: geautomatiseerde end-to-end tests van de volledige configuratie van Fin, tot 50 simulaties per eval, uit een maandelijks tegoed.
- Procedure Simulations: geautomatiseerde tests van één procedure, zonder output naar klanten.
Eén waarschuwing uit de documentatie van Intercom over procedures: een procedure die al live is in preview bekijken, kan berichten naar echte klanten sturen, dus gebruik een simulatie voor live procedures. Bewaar je mislukte gesprekken als testcases: elke oplossing moet slagen voor het gesprek dat de fout blootlegde.
Hoe ziet een wekelijks ritme voor kwaliteitscontrole van Fin eruit?
Een wekelijks ritme voor kwaliteitscontrole van Fin heeft vijf vaste momenten: op maandag de steekproef ophalen, tegen woensdag scoren, op donderdag fouten groeperen naar oorzaak, op vrijdag oplossingen live zetten en testen, en de oplossingen van vorige week toetsen aan de scores van deze week. Wijs één eigenaar aan voor de content en één voor guidance en procedures, anders blijven oplossingen tussen teams hangen.
| Dag | Taak | Eigenaar | Tijd |
|---|---|---|---|
| Maandag | Haal de vier stromen op; controleer het dashboard op verschuivingen in oplossingen, betrokkenheid en CSAT | QA-lead | 30 min |
| Maandag tot woensdag | Scoor de steekproef met de checklist; leg het bewijs vast voor elke fout | 2 beoordelaars | 5 uur elk |
| Donderdag | Groepeer fouten naar oorzaak; kies de top 3 oorzaken op aantal en kosten | QA-lead en Fin-eigenaar | 45 min |
| Vrijdag | Zet de oplossingen live; test elke oplossing in een preview, eval of simulatie | Contenteigenaar, Fin-eigenaar | 2 uur |
| Elke week | Vergelijk de scores op de opgeloste onderwerpen van vorige week met de week ervoor | QA-lead | 20 min |
| Maandelijks | Rapporteer het gecorrigeerde oplossingspercentage naast dat van Fin, met de trend over 4 weken | QA-lead aan hoofd CX | 1 uur |
Waar past Kaizo?
Kaizo is QA en governance-oversight voor supportteams waar mensen en AI-agents het werk delen. De live integraties zijn Zendesk en Salesforce: AutoPilot scoort elk opgelost gesprek in die helpdesks tegen je eigen scorecard en voegt een opmerking toe die elke score uitlegt. Draait Fin bovenop een van die twee, controleer dan welke Fin-gesprekken in je helpdeskrecords terechtkomen voordat je er een kwaliteitsproces omheen plant.
Zie het op je eigen gesprekken. Kaizo scoort 100% van je supportgesprekken in Zendesk en Salesforce en maakt van de bevindingen coaching. Boek een demo.
Wanneer dit niets voor jou is
Een formeel programma voor kwaliteitscontrole van Fin is overdreven als Fin een paar dozijn gesprekken per week afhandelt: lees ze dan allemaal zelf, met de checklist, in een uur. Het is ook te vroeg als je helpcenter over de hele lijn verouderd is. Breng eerst de content op orde, anders meldt elke review dezelfde grondoorzaak. Beantwoordt Fin alleen vragen met weinig risico, zoals openingstijden, dan volstaat een maandelijkse steekproef van 20 gesprekken.
Hoe je deze week begint
- Zet je vijf meest risicovolle Fin-onderwerpen op een rij, met de beleidspagina achter elk ervan.
- Kopieer de checklist hierboven naar een spreadsheet of een scorecard in Intercom, en markeer criteria 1, 5 en 9 als kritiek.
- Haal 30 willekeurige opgeloste Fin-gesprekken op en 20 uit je meest risicovolle onderwerpen.
- Laat ze door twee beoordelaars scoren en vergelijk waar ze het oneens zijn.
- Los de meest voorkomende oorzaak op die je vindt, test de oplossing in een preview of eval, en scoor dat onderwerp volgende week opnieuw.
Veelgestelde vragen
Heeft Intercom een eigen kwaliteitscontrole voor Fin-gesprekken?
Ja, met de Pro-add-on. Monitors selecteren welke gesprekken je reviewt, Scorecards bepalen hoe ze worden gescoord, en elk criterium kan door AI of door een persoon worden gescoord. De helppagina van Intercom noemt kalibratieworkflows als gepland, dus test de AI-scores tegen je eigen beoordelaars.
Is het oplossingspercentage van Fin een betrouwbare kwaliteitsmetric?
Nee. Het telt gesprekken waarin de klant bevestigde dat het antwoord hielp of vertrok zonder om meer hulp te vragen, dus een klant die opgaf telt als opgelost. Rapporteer het naast een gecorrigeerd percentage uit een willekeurige steekproef van opgeloste gesprekken die je hebt gecontroleerd.
Trainen beoordelingen uit batch tests Fin?
Nee. Intercom zegt dat beoordelingen uit batch tests alleen bedoeld zijn voor menselijke review en oorzaakanalyse. Workspaces die vanaf 5 november 2026 zijn aangemaakt, krijgen geen batch tests en gebruiken in plaats daarvan Evals.
Kan de CX Score een kwaliteitsreview vervangen?
Niet op zichzelf. De voorwaarden draaien om gesprekken met minstens twee antwoorden van de klant en twee van een medewerker of chatbot, dus veel korte Fin-gesprekken krijgen geen beoordeling. De score beoordeelt ook hoe de klant zich voelde, niet of het antwoord overeenkwam met je beleid.
Wie wordt beoordeeld als Fin en een collega samen een gesprek afhandelen?
Dat hangt af van waar de CSAT-stap in je workflow staat. Intercom zegt dat een enquête die na het escalatiepunt staat, wordt verstuurd of nu Fin, een collega of beide betrokken waren. Op de abonnementen Advanced en Expert laten de beoordelingsdata zien welk type agent werd beoordeeld.
