Per fare il controllo qualità dell’agente AI Fin, legga e valuti un campione pianificato di conversazioni di Fin con la sua scheda di valutazione, usando le prove che Intercom le dà già: l’answer debugger, le fonti trovate da Fin, le valutazioni dei clienti e i log delle escalation. Il tasso di risoluzione di Fin le dice che il cliente se n’è andato senza chiedere altro aiuto. Non le dice che la risposta era giusta.
In breve
- Intercom conta una risoluzione di Fin quando il cliente conferma che la risposta è stata utile o se ne va senza chiedere altro aiuto: una risoluzione è quindi un evento di fatturazione, non un giudizio sulla qualità.
- Il CX Score di Fin è pensato per conversazioni con almeno due risposte del cliente e due risposte di un operatore o del bot, quindi molte conversazioni di Fin con una sola domanda non ricevono alcuna valutazione.
- Campioni in due parti: un campione casuale di conversazioni risolte per correggere il tasso di risoluzione, e revisioni mirate su temi a rischio, escalation e valutazioni negative.
- Verifichi ogni conversazione con una checklist fissa: accuratezza della risposta rispetto alla fonte, risoluzione corretta, procedura completata, passaggio a un operatore, loop, tono e policy.
- Ogni errore si chiude con una modifica in Fin (contenuto, pubblico, guidance, procedura o regola di escalation), testata in un’anteprima o in un eval prima di andare in produzione.
Questa è la versione per Fin della nostra guida generale al controllo qualità degli agenti AI, e segue gli stessi passi della nostra guida al controllo qualità degli agenti AI di Zendesk. Se sta ancora scegliendo come misurare l’agente prima del lancio, parta dalla valutazione degli agenti AI, che distingue gli eval prima del lancio dalla valutazione delle conversazioni in produzione.
Che cosa dicono i report di Fin sulla qualità?
I report di Fin le dicono volume, copertura e sentiment: in quante conversazioni Fin è intervenuto, quante ne ha risolte, come le hanno valutate i clienti e quali temi generano il volume. Non le dicono, conversazione per conversazione, se una risposta era accurata, consentita dalla policy o completa. Per questo serve una revisione rispetto a uno standard scritto.
Ecco che cosa dà a un responsabile QA ogni funzione di Intercom, così come è descritta nel centro assistenza di Intercom al 13 novembre 2026:
| Dove in Intercom | Che cosa le dice | Che cosa non le dice |
|---|---|---|
| Dashboard delle prestazioni (Fin AI Agent > Analyze > Performance) | Tasso di automazione, tasso di coinvolgimento, tasso di risoluzione e link alle conversazioni dietro ogni percorso | Se una conversazione risolta aveva una risposta corretta |
| CSAT di Fin (valutazioni delle conversazioni) | La quota di valutazioni positive per Fin, dai clienti che rispondono al sondaggio | Che cosa pensa la maggioranza silenziosa, o perché è stata data una valutazione |
| CX Score (in inglese; add-on Pro) | Una valutazione da 1 a 5 prodotta da un modello di machine learning, costruita su motivi come la qualità della risposta e lo sforzo del cliente | Nulla sulle conversazioni brevi che non rispettano i suoi criteri di idoneità |
| Topics Explorer e Recommendations (add-on Pro) | Temi e sottotemi dietro il volume, e suggerimenti settimanali per colmare le lacune nei contenuti di Fin | Se le risposte di Fin su un tema ben coperto sono giuste |
| Monitors (in inglese) e Scorecards (add-on Pro) | Selezione basata su regole delle conversazioni da rivedere, valutate su criteri che definisce lei | Se la valutazione dell’AI concorda con i suoi revisori, a meno che non lo verifichi |
| Answer debugger (in inglese; “Improve answer” nell’Inbox) | La domanda, la risposta di Fin e i contenuti che Fin ha trovato pertinenti | Se quei contenuti sono corretti o aggiornati |
Due dettagli contano per il QA. Primo, il CX Score valuta solo una conversazione chiusa, via chat o email, avviata dal cliente e con almeno due risposte del cliente e due risposte di un operatore o del chatbot. Intercom dice di aver ampliato i criteri, così alcune conversazioni brevi con un segnale chiaro ora possono essere valutate, ma un cliente che fa una domanda, riceve una risposta e se ne va spesso resta senza valutazione, e sono proprio queste le conversazioni che contano come risoluzioni presunte.
Secondo, Intercom ha cambiato il modo in cui la dashboard conta (in inglese). Da luglio 2026 (rilascio dal 1 all’8 luglio), le conversazioni in cui Fin era attivo ma non ha avuto modo di rispondere (“Fin Constrained”) non contano più come conversazioni con Fin coinvolto: i tassi di risoluzione sono quindi saliti e i tassi di coinvolgimento sono scesi senza alcun cambiamento nella qualità né nel numero di risoluzioni. Se confronta mesi a cavallo di luglio 2026, annoti l’interruzione della serie.
Come conta Fin una risoluzione, e perché non è un punteggio di qualità?
Intercom conta una risoluzione quando, dopo l’ultima risposta di Fin, il cliente conferma che la risposta è stata utile (una risoluzione confermata) oppure se ne va senza chiedere altro aiuto (una risoluzione presunta). Viene fatturata come un esito. Nessuno dei due percorsi verifica se la risposta era corretta, quindi un cliente che ha rinunciato conta come un cliente che è stato aiutato.
Dall’articolo di Intercom sugli esiti di Fin (in inglese), consultato il 13 novembre 2026:
- Una risoluzione viene contata solo quando Fin dà una risposta vera e propria, e le viene addebitato un solo esito per conversazione.
- Le risoluzioni, i passaggi di consegne delle procedure e alcuni altri esiti sono a listino a 0,99 USD ciascuno per Fin su chat ed email.
- Se il cliente torna nella stessa conversazione per avere altro aiuto, anche in un periodo di fatturazione successivo, la risoluzione viene stornata.
- Se il cliente chiede esplicitamente un operatore, o Fin fa escalation con il suo comportamento predefinito, per esempio quando rileva frustrazione, non è un esito e non viene fatturato.
La definizione copre il cliente che torna nella stessa conversazione. Non copre quello che apre una nuova conversazione sullo stesso problema, che telefona o che abbandona il servizio. Sono questi i casi che una revisione QA deve intercettare.
Per questo un audit mette un secondo numero accanto a quello di Fin: la quota di conversazioni risolte che erano davvero corrette. La nostra guida all’audit del tasso di risoluzione degli agenti AI spiega i controlli nei sistemi e la finestra di ricontatto, e la nostra pagina sul tasso di risoluzione corretta spiega come definire e riportare il dato corretto.
Come si campionano le conversazioni di Fin da rivedere?
Campioni le conversazioni di Fin in due parti. Un campione casuale di conversazioni risolte le dà un tasso di risoluzione corretta onesto. Le revisioni mirate su temi a rischio, escalation, valutazioni negative e conversazioni riaperte trovano gli errori che costano di più. Tenga separate le due parti: le revisioni mirate sono sbilanciate verso i problemi, quindi non devono entrare nel calcolo del tasso.
Un piano di campionamento per un team di medie dimensioni potrebbe essere questo (un’illustrazione, con numeri scelti per l’esempio):
| Flusso | Che cosa estrae | A settimana | Serve per |
|---|---|---|---|
| Base casuale | Conversazioni di Fin risolte, scelte a caso | 60 | Tasso di risoluzione corretta |
| Temi a rischio | Rimborsi, prezzi, disdette, modifiche all’account e ai dati | 25 | Errori di policy e di denaro |
| Escalation | Conversazioni che Fin ha passato a una persona | 20 | Tempismo e contesto del passaggio |
| Segnali negativi | CSAT negativo, CX Score basso, conversazioni riaperte | 15 | Cause radice |
| Totale | 120 |
Esempio pratico (illustrazione). Fin interviene in 6.000 conversazioni a settimana e la dashboard mostra un tasso di risoluzione del 65%, quindi 3.900 risoluzioni. I suoi revisori trovano che 9 delle 60 conversazioni risolte del campione casuale erano sbagliate o incomplete: il 15%. Il tasso corretto è 65% x 0,85 = circa 55%. Con 60 conversazioni il margine su quel 15% è di circa 9 punti in più o in meno (1,96 x la radice quadrata di 0,15 x 0,85 / 60), quindi consideri una settimana come un segnale e l’andamento su quattro settimane come il numero. A circa 5 minuti per revisione, 120 revisioni richiedono 10 ore a settimana, ovvero 5 ore ciascuno per due revisori.
Per un margine più stretto, aumenti il campione casuale, non i flussi mirati. La nostra guida alla statistica del campionamento QA (in inglese) mostra come la dimensione del campione cambia il margine.
Con l’add-on Pro, i Monitors di Intercom possono fare l’estrazione al posto suo: Intercom li descrive come strumenti per rivedere “un campione casuale per la qualità di base” o “un insieme mirato basato su segnali a rischio più alto o a impatto più alto”. Senza Pro, costruisca gli stessi flussi con filtri salvati nell’Inbox e un foglio di calcolo.
Che cosa verificare in una conversazione di Fin?
Verifichi se la risposta di Fin corrispondeva ai suoi contenuti di riferimento e alla sua policy, se la risoluzione era reale, se l’eventuale procedura è stata completata, se il passaggio a un operatore è arrivato al momento giusto e con il contesto, e se Fin è andato in loop o ha violato le sue regole sul tono. Scriva ogni controllo come una regola di superamento che un revisore può applicare in meno di un minuto, indicando dove trovare la prova.
La checklist QA per Fin
La copi nella sua scheda di valutazione o nel suo foglio di calcolo. La colonna “dove” presuppone che Fin giri nell’Inbox di Intercom.
| # | Criterio | Dove trovare la prova in Intercom | Regola di superamento |
|---|---|---|---|
| 1 | Risposta accurata rispetto alla fonte | “Improve answer” sulla risposta di Fin: i contenuti che Fin ha trovato pertinenti | Ogni fatto nella risposta corrisponde a un contenuto aggiornato. Qualsiasi fatto sbagliato su denaro, idoneità o dati è un errore critico. |
| 2 | Fonte giusta usata | Lo stesso elenco del debugger, più l’impostazione del pubblico del contenuto | Il contenuto migliore per il caso di questo cliente è nell’elenco ed è destinato al pubblico di questo cliente. |
| 3 | Ha risposto alla domanda posta | La trascrizione | Fin ha risposto alla domanda reale del cliente, non a una simile, oppure ha prima fatto una domanda di chiarimento. |
| 4 | La risoluzione era reale | Stato della conversazione, più una ricerca dello stesso cliente nei 7 giorni successivi | Confermata dal cliente, oppure presunta senza nuove conversazioni o contatti sullo stesso problema entro 7 giorni. |
| 5 | Procedura completata | I passaggi della procedura nella conversazione e il record nei sistemi (ordine, rimborso, account) | L’azione promessa dalla procedura esiste nel suo sistema. Una promessa senza record è un errore critico. |
| 6 | Escalation sul trigger giusto | Regole di escalation e guidance, e il punto del passaggio nella trascrizione | Fin ha passato la conversazione quando le sue regole lo prevedono, e prima che il cliente lo chiedesse due volte. |
| 7 | Passaggio con il contesto | Il messaggio di passaggio e la prima risposta del collega | Il collega non ha dovuto chiedere nulla che il cliente avesse già detto. |
| 8 | Nessun loop o ripetizione | La trascrizione | Fin non ha ripetuto o riformulato la stessa risposta più di una volta. |
| 9 | Policy rispettata | Le sue pagine di policy e la risposta | Nessuna promessa fuori dalle sue regole su rimborsi, commissioni, consegne o idoneità. Errore critico. |
| 10 | Tono e guidance rispettati | La sua guidance sullo stile di comunicazione e la risposta | Il tono è adatto allo stato d’animo del cliente e i termini corrispondono alla sua guidance. |
Segni i criteri 1, 5 e 9 come critici, così che un solo errore faccia fallire l’intera conversazione. Le Scorecards di Intercom (in inglese) lo supportano direttamente: un criterio segnato come Critical porta l’intera revisione allo 0% quando non è superato.
Il criterio 8 merita una riga a parte perché lo segnalano i team che usano Fin. Intercom dice che Fin fa escalation per impostazione predefinita quando un cliente è “bloccato in un loop ripetitivo”, eppure in una discussione della community di Intercom (in inglese) un amministratore ha scritto: “Qualcosa non funziona nella mia guidance contro le ripetizioni.” È la segnalazione di un solo team, ma è il tipo di errore che solo una revisione della trascrizione mostra.
Per i criteri sul passaggio (6 e 7), la nostra guida al QA del passaggio dal chatbot all’operatore ha le metriche e una scheda di valutazione sia per la decisione del bot sia per la presa in carico da parte della persona.
Come si valutano le conversazioni di Fin con la sua scheda di valutazione?
Valuti le conversazioni di Fin con la stessa struttura di scheda di valutazione che usa per le persone, più i controlli specifici per Fin visti sopra, e registri la prova per ogni criterio non superato. Può farlo nelle Scorecards di Intercom con l’add-on Pro, in un foglio di calcolo o in uno strumento di QA collegato all’helpdesk in cui si trovano le conversazioni. Qualunque cosa usi, verifichi prima la valutazione rispetto ai suoi revisori.
Tre modi per farlo:
- Monitors e Scorecards di Intercom (add-on Pro). Sceglie per ogni criterio se lo valuta l’AI o una persona. Con la revisione automatica attiva, Intercom segna una conversazione come superata quando ogni criterio valutato dall’AI è soddisfatto e invia a una persona gli errori e i casi limite. La pagina di assistenza di Intercom indica i flussi di calibrazione come previsti, non ancora disponibili, quindi calibri a mano.
- Un foglio di calcolo. Una riga per conversazione, una colonna per ogni voce della checklist, più causa e correzione. Va bene fino a qualche centinaio di revisioni a settimana.
- Uno strumento di QA nel suo helpdesk. Fin gira anche su altri helpdesk: fin.ai (in inglese) dice che funziona con Salesforce, Zendesk e altri. Se il suo team lavora in Zendesk o Salesforce, uno strumento di QA collegato lì può valutare quelle conversazioni.
Prima di fidarsi di un punteggio dell’AI, faccia valutare a due revisori le stesse 30 a 50 conversazioni, risolva i disaccordi, poi confronti i verdetti dell’AI con i loro criterio per criterio. La nostra guida su come validare la valutazione QA con AI (in inglese) descrive passo per passo questo test.
Come si riportano in Fin i risultati del QA?
Trasformi ogni criterio non superato in una modifica nella parte di Fin che l’ha causato: il contenuto, il pubblico di destinazione, la guidance, una procedura o una regola di escalation. Raggruppi gli errori per causa prima di correggere qualsiasi cosa, testi ogni modifica in un’anteprima o in un eval prima che vada in produzione e rivaluti il tema interessato la settimana successiva.
| Che cosa non ha funzionato | Causa probabile | Dove correggerlo in Fin |
|---|---|---|
| Fatto sbagliato o non aggiornato | L’articolo, lo snippet o la pagina sincronizzata è sbagliata o vecchia | La modifichi da “Improve answer”, o aggiunga uno snippet. I contenuti esterni non si possono modificare lì; li corregga alla fonte, tenendo conto che le sincronizzazioni del sito web avvengono ogni settimana. |
| Articolo giusto, cliente sbagliato | Contenuto non destinato al pubblico giusto | Imposti il pubblico sul contenuto, così che Fin lo usi solo per quei clienti |
| Domanda di approfondimento sbagliata, o assente | Mancano contesto e guidance sui chiarimenti | Aggiunga una regola di guidance mirata per quel tipo di domanda |
| Ha promesso un’azione che non è avvenuta | Un passaggio della procedura o un data connector è fallito in silenzio | Aggiunga, dopo la chiamata al data connector, una condizione che gestisca errori e risposte vuote |
| Escalation troppo tardiva, o assente | Regole di escalation o guidance troppo strette | Aggiunga una regola su un attributo dei dati, o una guidance mirata per il tema |
| Escalation troppo frequenti | Guidance sulle escalation troppo ampia | La riscriva per una situazione specifica |
| Loop e risposte ripetute | Regole di guidance sovrapposte | Elimini le regole in conflitto; ogni regola deve avere un solo obiettivo |
Poi testi prima di pubblicare. Il confronto di Intercom tra i suoi strumenti di test (in inglese) ne elenca quattro:
- Previews: un pannello di test manuale sulle aree di addestramento di Fin, senza limiti.
- Batch tests: fino a 50 domande alla volta, valutate da una persona; le valutazioni non addestrano Fin. I nuovi workspace creati dal 5 novembre 2026 ricevono invece gli Evals.
- Evals: test automatici end-to-end dell’intera configurazione di Fin, fino a 50 simulazioni per eval, da una quota mensile.
- Procedure Simulations: test automatici di una singola procedura, senza alcun output verso i clienti.
Un avvertimento dalla documentazione di Intercom sulle procedure: l’anteprima di una procedura già attiva può inviare messaggi a clienti reali, quindi per le procedure attive usi una simulazione. Conservi le conversazioni fallite come casi di test: ogni correzione deve superare la conversazione che ha fatto emergere il problema.
Com’è una routine settimanale di QA per Fin?
Una routine settimanale di QA per Fin ha cinque momenti fissi: estrarre il campione il lunedì, valutarlo entro il mercoledì, raggruppare gli errori per causa il giovedì, rilasciare e testare le correzioni il venerdì e verificare le correzioni della settimana precedente con i punteggi di questa settimana. Nomini un responsabile per i contenuti e uno per guidance e procedure, altrimenti le correzioni si bloccano tra un team e l’altro.
| Giorno | Attività | Responsabile | Tempo |
|---|---|---|---|
| Lunedì | Estrarre i quattro flussi; controllare nella dashboard le variazioni di risoluzione, coinvolgimento e CSAT | Responsabile QA | 30 min |
| Da lunedì a mercoledì | Valutare il campione con la checklist; registrare la prova di ogni errore | 2 revisori | 5 ore ciascuno |
| Giovedì | Raggruppare gli errori per causa; scegliere le 3 cause principali per numero e costo | Responsabile QA e responsabile di Fin | 45 min |
| Venerdì | Rilasciare le correzioni; testare ciascuna in un’anteprima, un eval o una simulazione | Responsabile dei contenuti, responsabile di Fin | 2 ore |
| Ogni settimana | Confrontare i punteggi sui temi corretti la settimana scorsa con quelli della settimana precedente | Responsabile QA | 20 min |
| Ogni mese | Riportare il tasso di risoluzione corretto accanto a quello di Fin, con l’andamento su 4 settimane | Responsabile QA all’Head of CX | 1 ora |
Dove si inserisce Kaizo?
Kaizo offre QA e supervisione della governance per i team di assistenza in cui persone e agenti AI si dividono il lavoro. Le sue integrazioni attive sono Zendesk e Salesforce: AutoPilot valuta ogni conversazione risolta in quegli helpdesk con la sua scheda di valutazione e allega un commento che spiega ogni punteggio. Se Fin gira sopra uno di questi, verifichi quali conversazioni di Fin arrivano nei record del suo helpdesk prima di pianificarci intorno un processo di QA.
Lo veda sulle sue conversazioni. Kaizo valuta il 100% delle sue conversazioni di assistenza in Zendesk e Salesforce e trasforma i risultati in coaching. Prenoti una demo.
Quando non fa per lei
Un programma formale di QA per Fin è eccessivo se Fin gestisce qualche decina di conversazioni a settimana: le legga tutte lei, con la checklist, in un’ora. È anche troppo presto se il suo help center è superato quasi ovunque. Sistemi prima i contenuti, altrimenti ogni revisione riporterà la stessa causa radice. Se Fin risponde solo a domande a basso rischio come gli orari di apertura, basta un controllo a campione mensile di 20 conversazioni.
Come iniziare questa settimana
- Elenchi i cinque temi più a rischio per Fin e la pagina di policy dietro ciascuno.
- Copi la checklist qui sopra in un foglio di calcolo o in una scorecard di Intercom, e segni i criteri 1, 5 e 9 come critici.
- Estragga 30 conversazioni di Fin risolte a caso e 20 dai temi più a rischio.
- Le faccia valutare a due revisori e confronti i punti di disaccordo.
- Corregga la causa più frequente che trova, la testi in un’anteprima o in un eval e rivaluti quel tema la settimana prossima.
Domande frequenti
Intercom ha un proprio QA per le conversazioni di Fin?
Sì, con l’add-on Pro. I Monitors selezionano le conversazioni da rivedere, le Scorecards definiscono come vengono valutate e ogni criterio può essere valutato dall’AI o da una persona. La pagina di assistenza di Intercom indica i flussi di calibrazione come previsti, quindi verifichi i punteggi dell’AI rispetto ai suoi revisori.
Il tasso di risoluzione di Fin è una metrica di qualità affidabile?
No. Conta le conversazioni in cui il cliente ha confermato che la risposta è stata utile o se n’è andato senza chiedere altro aiuto, quindi un cliente che ha rinunciato conta come risolto. Lo riporti accanto a un tasso corretto ricavato da un campione casuale di conversazioni risolte che ha verificato.
Le valutazioni dei batch test addestrano Fin?
No. Intercom dice che le valutazioni dei batch test servono solo alla revisione umana e all’analisi delle cause radice. I workspace creati dal 5 novembre 2026 non hanno i batch test e usano invece gli Evals.
Il CX Score può sostituire una revisione QA?
Non da solo. I suoi criteri di idoneità ruotano intorno alle conversazioni con almeno due risposte del cliente e due risposte di un operatore o del chatbot, quindi molte conversazioni brevi di Fin non vengono valutate. Inoltre valuta come si è sentito il cliente, non se la risposta corrispondeva alla sua policy.
Chi viene valutato quando Fin e un collega gestiscono la stessa conversazione?
Dipende da dove si trova il passaggio del CSAT nel suo flusso di lavoro. Intercom dice che un sondaggio posizionato dopo il punto di escalation viene inviato sia che siano intervenuti Fin, un collega o entrambi. Nei piani Advanced ed Expert, i dati delle valutazioni mostrano quale tipo di agente è stato valutato.
