Il controllo qualità degli agenti vocali AI consiste nel valutare le chiamate gestite dal suo voicebot rispetto a uno standard scritto, al termine di ogni chiamata, per sapere se ha capito chi chiamava, se ha dato una risposta corretta e consentita e se ha passato la chiamata a una persona quando doveva.
Le servono una scheda di valutazione con controlli specifici per la voce, una trascrizione di ogni chiamata e un modo per valutarle tutte invece di un campione.
In sintesi
- Un agente vocale sbaglia in modi che un chatbot non conosce (numeri capiti male, interruzioni di chi chiama, trasferimenti persi), quindi la sua scheda aggiunge controlli su riconoscimento, ripetizione dei dati, escalation e trasparenza.
- Un piccolo campione casuale di chiamate tende a non vedere gli errori di un agente vocale, perché si concentrano su un solo intento e si ripetono.
- Sei passi coprono il lavoro: prima gli intenti a rischio, poi la scheda, le trascrizioni, la valutazione di ogni chiamata, il passaggio all’operatore e una nuova valutazione dopo ogni correzione.
- Dal 2 agosto 2026 il regolamento sull’IA (AI Act) richiede che chi chiama sia informato di parlare con un’AI, e negli Stati Uniti restano valide le regole sulla registrazione delle chiamate.
- Il test prima del lancio e il controllo qualità delle chiamate reali sono fasi diverse, e servono entrambe.
Questa guida è la versione vocale della nostra guida generale su come fare il controllo qualità degli agenti AI. Per il lato prodotto, la pagina sul controllo qualità degli agenti AI mostra come Kaizo valuta le conversazioni degli agenti AI con la stessa scheda di valutazione del suo team.
Che cosa cambia nel controllo qualità degli agenti vocali AI?
Il controllo qualità di un agente vocale AI verifica che cosa il bot ha sentito oltre a che cosa ha detto, perché un agente vocale trasforma la voce in testo prima di rispondere. Un errore in quel primo passaggio cambia tutto ciò che segue.
Un chatbot legge ciò che il cliente ha scritto; un agente vocale tira a indovinare. Questo aggiunge tre tipi di errore che il controllo qualità sul testo non vede mai:
- Errori di riconoscimento. Il bot sente “quindici” invece di “cinquanta”, sbaglia una cifra del numero d’ordine o storpia un cognome. La risposta che segue può basarsi perfettamente sui suoi contenuti e riguardare comunque l’ordine sbagliato.
- Tempi della conversazione. Il bot risponde prima che chi chiama abbia finito, lascia lunghi silenzi o continua a parlare quando chi chiama prova a interromperlo. In una trascrizione di chat niente di tutto questo esiste.
- Il trasferimento. Il passaggio a una persona in una chiamata è un trasferimento dal vivo. Se il contesto non segue la chiamata, chi chiama ripete tutto a un operatore che sembra già impreparato.
Il resto è uguale a qualsiasi agente AI: la risposta deve essere corretta, venire dai suoi contenuti, restare entro le policy e passare a una persona al momento giusto. Trattiamo questi controlli comuni nella scheda di valutazione per agenti AI, e il trasferimento in dettaglio in come valutare il passaggio tra AI e operatore.
Quali errori deve intercettare la scheda di un agente vocale?
La scheda di un agente vocale deve intercettare risposte sbagliate, policy inventate, dati capiti male, azioni non confermate, escalation mancate e l’assenza dell’avviso di AI. Per ogni controllo deve anche dire se basta la trascrizione o serve l’audio.
Questo decide come fa la revisione. Ecco una scheda che può copiare e adattare. Le prime quattro righe sono quelle su cui i suoi operatori vengono già valutati, così i due gruppi di risultati restano confrontabili.
| Criterio | Che cosa verifica | Si applica a | Basta la trascrizione? |
|---|---|---|---|
| Risposta corretta | La risposta risolve la domanda di chi chiama | Operatori e agenti AI | Sì |
| Limiti delle policy | Nessun rimborso, annullamento di commissioni o eccezione inventati | Operatori e agenti AI | Sì |
| Identità verificata | I controlli richiesti sono stati fatti prima di condividere i dati dell’account | Operatori e agenti AI | Sì |
| Tono | Suona come il suo brand, non come un copione | Operatori e agenti AI | In parte: ritmo e sovrapposizioni con chi chiama richiedono l’audio |
| Ripetizione dei dati chiave | Numeri, date, nomi e importi sono stati ripetuti a chi chiama per conferma | Agenti AI | Sì |
| Riconoscimento | Ciò su cui il bot ha agito corrisponde a ciò che ha detto chi chiama | Agenti AI | No: confronti audio e trascrizione nelle chiamate non superate |
| Basato sui suoi contenuti | Ogni informazione viene dalla sua knowledge base | Agenti AI | Sì |
| Escalation | Ha offerto una persona al momento giusto, anche quando chi chiama ha detto due volte “operatore” o “persona” | Agenti AI | Sì |
| Passaggio all’operatore | Il contesto ha seguito il trasferimento e la persona lo ha ripreso | Agenti AI e operatori | Sì, se entrambe le parti della chiamata sono in un unico record |
| Avviso di AI | Chi chiama è stato informato all’inizio di parlare con un’AI | Agenti AI | Sì |
La riga sulla ripetizione dei dati è la correzione più economica con l’effetto più grande.
Un agente vocale che ripete “Quindi si tratta dell’ordine 4-8-1-7, un rimborso di 15 euro, giusto?” trasforma un errore di riconoscimento silenzioso in una correzione che chi chiama fa al suo posto. La valuti in ogni chiamata che modifica un account, prende un pagamento o fissa una prenotazione.
Perché un campione di chiamate non vede gli errori del voicebot?
Un campione casuale non vede gli errori del voicebot perché si concentrano su un solo intento e si ripetono. Un difetto che rovina una grossa quota di un tipo di chiamata resta una piccola quota di tutte le chiamate.
Il calcolo qui sotto mostra quanto spesso un campione tipico non vede nulla.
Esempio pratico (numeri illustrativi, non dati di Kaizo). Supponiamo che il suo agente vocale gestisca 12.000 chiamate al mese e che il suo team riveda un campione casuale di una chiamata su 50, cioè 240 chiamate. Una chiamata su 20 riguarda un rimborso, quindi 600 chiamate.
Dopo una modifica alla policy, il bot indica il termine di rimborso sbagliato in una chiamata di rimborso su dieci: 60 chiamate, cioè una chiamata su 200.
| Valore | |
|---|---|
| Chiamate al mese | 12.000 |
| Chiamate riviste (campione del 2%) | 240 |
| Chiamate di rimborso con la risposta sbagliata | 60 (0,5% di tutte le chiamate) |
| Chiamate di rimborso sbagliate attese nel campione | 1,2 |
| Probabilità che il campione non ne contenga nessuna | circa 30% |
| Probabilità che ne contenga al massimo una | circa 66% |
Le ultime due righe seguono dalla formula binomiale: la probabilità di non estrarne nessuna è 0,995 elevato alla 240, circa 0,30.
In circa due mesi su tre i suoi revisori vedono una sola chiamata di rimborso sbagliata o nessuna, e sembra rumore. Valutare ogni chiamata trasforma lo stesso difetto in 60 chiamate non superate su un solo criterio, con le trascrizioni allegate.
La versione generale di questo ragionamento, con le formule, è in why a 3% QA sample cannot support agent-level decisions (in inglese).
Come fare il controllo qualità degli agenti vocali AI in sei passi
Parta dagli intenti costosi, scriva una scheda con controlli vocali, ottenga la trascrizione di ogni chiamata, le valuti tutte, controlli i trasferimenti e rivaluti dopo ogni correzione.
Passo 1: elencare gli intenti a rischio
Estragga gli intenti che il suo agente vocale gestisce e segni quelli in cui un errore costa denaro o fiducia: rimborsi, pagamenti, disdette, cambi di indirizzo, prenotazioni di appuntamenti e tutto ciò che tocca l’identità. Questi vengono valutati per primi e letti più spesso.
Passo 2: scrivere la scheda di valutazione
Parta dalla tabella qui sopra. Tenga i criteri che i suoi operatori condividono con il bot, aggiunga i controlli vocali e scriva ogni criterio come una domanda sì o no a cui un’AI o un revisore può rispondere dalla chiamata. La nostra guida su come scrivere una rubrica che un’AI può valutare (in inglese) mostra come formularli.
Passo 3: ottenere la trascrizione di ogni chiamata
Per valutare serve il testo. Verifichi che ogni chiamata dell’agente vocale finisca con una registrazione e una trascrizione nel sistema in cui vivono le chiamate del suo team, e che la trascrizione indichi chi ha detto che cosa.
Se le chiamate del bot restano in una console separata del fornitore, i risultati di operatori e AI non finiranno mai nello stesso report.
Passo 4: valutare ogni chiamata, non un campione
Valuti tutte le chiamate dell’agente vocale con la scheda, con un commento su ogni punteggio che rimanda alla frase da cui nasce.
Usi i revisori per le chiamate che non superano un criterio ad alto peso e per un gruppo di chiamate superate, così da verificare la valutazione stessa. Prima di affidarsi ai punteggi automatici, li confronti con le sue valutazioni passate, come descritto in how to validate AI QA scoring (in inglese).
Passo 5: controllare i trasferimenti
Filtri le chiamate che l’agente vocale ha trasferito e quelle in cui chi chiama ha chiesto una persona. Valuti se il bot ha passato la chiamata al momento giusto, se il contesto è arrivato all’operatore e se chi chiama ha dovuto ripetersi.
Poi guardi le chiamate finite senza trasferimento e senza soluzione: chi riaggancia viene spesso contato come contenuto.
Passo 6: correggere, poi rivalutare
Risalga alla causa di ogni errore: un articolo della knowledge base, un prompt, una ripetizione dei dati mancante, una regola di escalation o un problema di riconoscimento vocale con un tipo di dato. Lo corregga, poi segua quel criterio sullo stesso intento per la settimana successiva.
Una correzione su una risposta può romperne un’altra, e lo vede solo se continua a valutare tutte le chiamate.
Lo veda in una demo dal vivo. Kaizo valuta chiamate, chat ed email con una sola scheda di valutazione, e valuta le conversazioni degli agenti AI con la stessa scheda del suo team. Prenoti un incontro.
Che cosa chiede la legge a un agente vocale AI?
Nell’UE, dal 2 agosto 2026, un agente vocale deve far capire a chi chiama, fin dall’inizio della chiamata, che sta parlando con un’AI. Negli Stati Uniti valgono le consuete regole sulla registrazione, e le chiamate vocali AI in uscita rientrano nelle regole sulle robocall.
| Regola | Che cosa significa per un agente vocale | Fonte |
|---|---|---|
| AI Act, articolo 50, paragrafo 1 | I fornitori devono progettare i sistemi di IA che interagiscono direttamente con le persone in modo che queste siano informate di interagire con un’IA, salvo che sia evidente. Si applica dal 2 agosto 2026. | Regolamento (UE) 2024/1689 su EUR-Lex |
| Orientamenti della Commissione sull’articolo 50 | L’informazione va data dall’inizio della prima interazione, in modo chiaro e accessibile; chatbot e agenti AI sono citati come esempi. | FAQ della Commissione europea sull’articolo 50 |
| Legge federale USA sulla registrazione | La registrazione è consentita con il consenso di una sola parte in base al 18 U.S.C. § 2511(2)(d). | Cornell LII (in inglese) |
| Leggi statali USA sulla registrazione | Alcuni Stati, tra cui la California, richiedono il consenso di tutte le parti. | California Penal Code § 632 (in inglese) |
| Chiamate in uscita negli USA | L’8 febbraio 2024 la FCC ha stabilito che le voci generate dall’AI sono “artificial” ai sensi del TCPA, quindi si applicano le regole sul consenso per le robocall. | Comunicato della FCC (in inglese) |
Questa tabella è una sintesi, non una consulenza legale.
Per il controllo qualità la conseguenza pratica è semplice: metta l’avviso di AI e l’avviso di registrazione tra i criteri della scheda, così può dimostrare che sono stati dati in ogni chiamata invece di supporlo. Orientamenti e norme nazionali possono ancora cambiare, quindi verifichi la situazione attuale con il suo legale prima di partire in un nuovo mercato.
Test prima del lancio e controllo qualità dopo la chiamata
Il test prima del lancio verifica l’agente vocale con chiamate scriptate in un ambiente controllato; il controllo qualità dopo la chiamata verifica che cosa ha fatto davvero con chi chiama. Trovano problemi diversi, e servono entrambi.
| Test prima del lancio | Controllo qualità delle chiamate reali | |
|---|---|---|
| Input | Chiamate di prova scriptate o simulate | Chiamate reali di clienti reali |
| Quando | Prima del rilascio e dopo ogni modifica a prompt o flussi | Al termine di ogni chiamata |
| Che cosa trova | Flussi rotti, regressioni dei prompt, latenza sotto carico | Accenti e rumori reali, domande nuove, policy che slittano, trasferimenti falliti |
| Chi ne è responsabile | Il team che costruisce il bot | Controllo qualità e operations dell’assistenza |
| Strumento tipico | Una suite di test o uno strumento di simulazione | Una piattaforma di controllo qualità con una scheda di valutazione |
Kaizo sta nella seconda colonna. Valuta le conversazioni dopo che sono finite, e il suo sito lo dice chiaramente: testare un agente vocale prima del lancio con chiamate di prova scriptate è una fase diversa dal controllo qualità delle conversazioni reali.
Se le servono l’ascolto delle chiamate dal vivo o suggerimenti in tempo reale durante la chiamata, si tratta di real-time agent assist (in inglese), un’altra categoria ancora.
Come avviare il controllo qualità del suo agente vocale
Parta questa settimana con un solo intento: scelga il più rischioso che il suo agente vocale gestisce, scriva dieci criteri dalla tabella qui sopra e valuti ogni chiamata su quell’intento per due settimane. Imparerà di più da quelle chiamate che da un mese di campionamento su tutti gli intenti.
Poi allarghi il perimetro un intento alla volta. Per vedere come una sola scheda copre operatori, chatbot e chiamate, vada alla pagina sul controllo qualità per agenti AI.
Domande frequenti
Come si testa un agente vocale AI prima che vada in produzione?
Faccia chiamate di prova scriptate che coprano gli intenti principali e quelli a rischio, più i casi difficili: rumore di fondo, accenti, interruzioni, numeri detti in fretta e chiamanti che chiedono una persona. Controlli flussi, risposte e tempi. Ripeta gli stessi test dopo ogni modifica a prompt o flusso, perché una correzione in un punto può romperne un altro.
Quali metriche contano per un agente vocale AI?
Segua metriche di esito come contenimento, tasso di trasferimento e chiamate ripetute, ma giudichi la qualità con una scheda di valutazione: risposta corretta, limiti delle policy, ripetizione dei dati chiave, escalation e passaggio all’operatore. Il solo contenimento conta come successo anche chi ha rinunciato e ha riagganciato. La nostra guida sul containment rate (in inglese) spiega come leggerlo senza illudersi.
Si possono valutare le chiamate del voicebot e quelle degli operatori con la stessa scheda?
Sì, per i criteri che valgono per entrambi, come risposta corretta, limiti delle policy, verifica dell’identità e tono. Così i risultati restano confrontabili e vede dove il bot è più forte o più debole del suo team. L’agente vocale riceve poi criteri aggiuntivi su riconoscimento, ripetizione dei dati, escalation e avviso di AI.
Kaizo valuta le telefonate?
Sì. Kaizo valuta le chiamate con la stessa scheda di valutazione di chat ed email, e ogni piano include riepiloghi AI e trascrizione su richiesta. Kaizo rivede una conversazione dopo che è finita e il caso è risolto, quindi è uno strumento di controllo qualità per le chiamate reali a posteriori, non uno strumento di monitoraggio dal vivo.
Quante chiamate dell’agente vocale bisogna rivedere a mano?
Valuti ogni chiamata in automatico, se può, poi riveda a mano quelle che non superano un criterio ad alto peso e un piccolo gruppo di chiamate superate, per verificare la valutazione. Se rivede solo a mano, legga prima tutte le chiamate sull’intento più rischioso, perché gli errori di un agente vocale si concentrano su un intento e si ripetono.
