Il controllo qualità degli agenti AI di Zendesk consiste nel leggere e valutare le conversazioni gestite dal suo agente AI di Zendesk rispetto a uno standard scritto, per sapere se le risposte erano corrette e non solo se il cliente se n’è andato. Le servono una scheda di valutazione pensata per il bot, un modo per valutare ogni conversazione dell’agente AI e un ciclo che trasformi ogni errore in una correzione in Zendesk.
In sintesi
- Una risoluzione automatizzata in Zendesk le dice che il cliente non è arrivato a un operatore, non che la risposta era corretta.
- Parta dalle conversazioni dell’agente AI in cui una risposta sbagliata costa denaro: rimborsi, prezzi, eccezioni alle policy e modifiche all’account.
- Valuti il bot su accuratezza, aderenza ai contenuti, escalation e passaggio all’operatore, non solo su saluto ed empatia.
- Ogni errore deve finire in una modifica precisa: un articolo del centro assistenza, una procedura, una regola di escalation o un argomento bloccato.
- Rivaluti dopo ogni modifica, perché correggere una risposta può romperne un’altra.
Questa guida è la versione Zendesk della nostra guida generale su come fare il controllo qualità degli agenti AI. Se cerca lo strumento, la pagina dello strumento di controllo qualità per Zendesk mostra come Kaizo valuta le conversazioni di Zendesk, comprese quelle gestite dagli agenti AI di Zendesk.
Che cosa mostra Zendesk sulla qualità dell’agente AI?
Zendesk mostra volumi ed esiti: quante conversazioni l’agente AI ha risolto, quali no e le trascrizioni dietro entrambe. Da solo non le dice se ogni risposta era accurata o rispettava le sue policy. Per questo serve una revisione, in Zendesk QA o in uno strumento di QA separato.
In pratica, oggi un amministratore Zendesk ha tre posti in cui guardare:
| Dove | Che cosa ottiene | Che cosa non le dice |
|---|---|---|
| Insight e trascrizioni dell’agente AI | Risoluzioni automatizzate e conversazioni non risolte, con le trascrizioni | Se una conversazione risolta ha avuto una risposta corretta |
| Conteggio delle risoluzioni automatizzate | Quante richieste l’agente AI ha risolto senza escalation a un operatore | Se il cliente è tornato, o ha rinunciato |
| Zendesk QA (componente aggiuntivo a pagamento) | Revisioni e valutazione automatica delle conversazioni, compresi i bot che lei segna come revisionabili | Se la risposta ha rispettato le sue policy, a meno che la sua scheda di valutazione non lo verifichi |
Due dettagli meritano attenzione. Secondo il centro assistenza di Zendesk, la vista delle trascrizioni, che si apre dalla scheda Insights nelle impostazioni dell’agente AI, mostra i primi 100 messaggi scambiati tra un agente AI e un utente, e solo le conversazioni inattive da più di 72 ore compaiono tra le risoluzioni automatizzate. Lo stesso articolo indica questa vista come legacy e dice che non sarà più disponibile dopo il 10 dicembre 2026, quindi verifichi dove il suo team leggerà le trascrizioni dopo quella data.
Perché una risoluzione automatizzata non è un punteggio di qualità?
Zendesk misura l’uso dell’agente AI in risoluzioni automatizzate e fattura solo le richieste dei clienti risolte con successo da un agente AI, senza alcuna escalation a un operatore umano. Questa definizione le dice che la conversazione si è chiusa senza un operatore. Non può dirle se la risposta era giusta, completa o consentita.
Il divario si vede in tre modi:
- Il cliente ha rinunciato. Una risposta sbagliata o generica, poi silenzio. Nessuna escalation, quindi conta come risolta.
- La risposta era quasi giusta. Il bot cita la policy giusta ma salta una condizione, o il prodotto giusto ma con il prezzo vecchio. Tutte le metriche di sistema restano verdi.
- Il bot ha promesso qualcosa che lei non offre. Un rimborso fuori termine, una commissione annullata, una data di consegna che nessuno può rispettare. Il cliente è contento finché la promessa non salta.
I team di assistenza descrivono lo stesso schema in pubblico. In una discussione su r/Zendesk, un team che rivedeva i ticket “started and finished with the AI Agent (no human touch)”, cioè aperti e chiusi dall’agente AI senza alcun intervento umano, ha scritto di aver visto “high value customers getting iffy or bad answers and then abandoning the chat” (clienti di alto valore che ricevevano risposte dubbie o sbagliate e poi abbandonavano la chat). È l’affermazione di un solo team, ma è esattamente il caso che un conteggio delle risoluzioni automatizzate non può mostrare. L’elenco più ampio di questi errori silenziosi è nella nostra guida sugli errori silenziosi degli agenti AI.
Come impostare il controllo qualità degli agenti AI di Zendesk?
Il controllo qualità degli agenti AI di Zendesk si imposta in sei passi: scegliere prima gli argomenti a rischio, scrivere una scheda di valutazione per il bot, valutare ogni conversazione dell’agente AI, verificare il passaggio ai suoi operatori, ricondurre ogni errore a una correzione in Zendesk e rivalutare dopo ogni modifica. I primi due passi si fanno una volta sola; il resto è una routine settimanale.
Passo 1: decidere quali conversazioni dell’agente AI contano di più
Non tutte le conversazioni del bot hanno lo stesso rischio. Una risposta sbagliata sugli orari di apertura è fastidiosa. Una risposta sbagliata su un rimborso, una penale di cancellazione o una richiesta sui dati personali costa denaro o crea un problema di conformità. Elenchi gli argomenti in cui una risposta sbagliata fa danni, poi si assicuri che la sua revisione copra prima quelli:
- Rimborsi, crediti, indennizzi e commissioni annullate
- Prezzi, piani e tutto ciò che contiene un numero
- Eccezioni alle policy e regole di idoneità
- Modifiche all’account, cancellazioni e dati personali
- Reclami e minacce di abbandono
Segnali anche le conversazioni degli account di alto valore e ogni conversazione in cui lo stesso cliente torna entro pochi giorni sullo stesso argomento.
Passo 2: scrivere una scheda di valutazione per l’agente AI
La scheda di valutazione dei suoi operatori è un punto di partenza, non la risposta. Saluto e ortografia raramente sono un problema per un bot. Gli errori stanno nell’accuratezza, nell’aderenza ai suoi contenuti e nel sapere quando fermarsi. Tenga da 6 a 8 criteri, ognuno verificabile da un revisore sulla trascrizione. La sezione successiva contiene un esempio completo, e la nostra guida alla scheda di valutazione per agenti AI spiega quali criteri degli operatori eliminare.
Passo 3: valutare ogni conversazione dell’agente AI, non un campione
Un bot tende a ripetere lo stesso errore in tutte le conversazioni sullo stesso argomento, perché risponde ogni volta dagli stessi contenuti. Un campione del 2% può non vederlo affatto, oppure trovarlo una volta e trattarlo come rumore. Valutare ogni conversazione dell’agente AI mostra lo schema: un articolo, una procedura o una regola dietro decine di risposte sbagliate.
Con Kaizo collega Zendesk, sceglie una scheda di valutazione e attiva AutoPilot. AutoPilot valuta ogni conversazione rispetto ai suoi criteri quando viene risolta e allega al ticket un commento che spiega il punteggio. Può definire quali code, canali o team valutare.
Passo 4: verificare il passaggio ai suoi operatori
Quando l’agente AI fa escalation, due cose possono andare storte: la fa troppo tardi, quando il cliente è già frustrato, oppure passa la conversazione senza contesto e il cliente deve ripetere tutto. Valuti entrambi i lati: quello del bot (ha fatto escalation al momento giusto, ha passato un riepilogo?) e quello dell’operatore (l’ha letto?). La nostra guida su come valutare il passaggio all’operatore copre entrambe le direzioni.
Passo 5: ricondurre ogni errore a una correzione in Zendesk
Un punteggio di QA che non cambia il bot è solo un report. Per ogni criterio non superato, stabilisca la causa e dove si trova la correzione:
| Che cosa è andato storto | Causa probabile | Dove correggere |
|---|---|---|
| Informazione sbagliata o superata | L’articolo di origine è sbagliato, vecchio o mancante | Aggiorni o aggiunga l’articolo del centro assistenza da cui risponde il bot |
| Policy giusta, condizione mancante | L’articolo nasconde la condizione, o due articoli si contraddicono | Riscriva l’articolo in modo che la condizione sia nella risposta stessa |
| Ha promesso qualcosa di non consentito | Nulla ferma il bot su quell’argomento | Passi quell’argomento a un operatore, o impedisca al bot di rispondere |
| Escalation troppo tardiva | Le condizioni per il passaggio sono troppo strette | Le allarghi: argomento, segnali di frustrazione, la stessa domanda posta due volte |
| Passaggio senza contesto | Nessun riepilogo passato all’operatore | Modifichi il passaggio in modo che l’operatore riceva un riepilogo della conversazione |
Raggruppi gli errori per causa prima di correggere qualsiasi cosa. Dieci risposte sbagliate che vengono da un solo articolo richiedono una correzione, non dieci.
Passo 6: rivalutare dopo ogni modifica
Le modifiche ai contenuti hanno effetti collaterali. Un articolo sui rimborsi riscritto può correggere le risposte sui rimborsi e rompere quelle collegate sulle cancellazioni. Dopo ogni modifica, guardi i punteggi dell’argomento interessato nella settimana successiva e li confronti con quelli della settimana precedente. Se valuta ogni conversazione, quel confronto è già pronto.
Com’è fatta una scheda di valutazione per un agente AI di Zendesk?
Una scheda di valutazione per un agente AI di Zendesk verifica se la risposta del bot era corretta, basata sui suoi contenuti, consentita dalle policy e passata a un operatore al momento giusto. Ha bisogno di meno criteri sulle soft skill rispetto alla scheda degli operatori e di più criteri su fatti ed escalation. Ecco un esempio completo per un team di assistenza nel retail.
| Criterio | Domanda a cui risponde il revisore | Tipo |
|---|---|---|
| Risposta corretta | Ogni informazione nella risposta era vera per il caso di questo cliente? | Superato / non superato, errore bloccante sugli argomenti che riguardano denaro |
| Basata sui nostri contenuti | Ogni affermazione è riconducibile a un articolo del centro assistenza o a una procedura? | Superato / non superato |
| Policy rispettata | Il bot è rimasto dentro le regole su rimborsi, commissioni e idoneità? | Superato / non superato, errore bloccante |
| Ha capito la richiesta | Ha risposto alla domanda che il cliente ha fatto, non a una simile? | Da 1 a 3 |
| Escalation quando necessaria | Ha passato la conversazione al momento giusto, prima che il cliente dovesse ripetersi? | Superato / non superato |
| Contesto nel passaggio | L’operatore ha ricevuto un riepilogo su cui poter agire? | Superato / non superato |
| Tono | Il tono era adatto a un cliente arrabbiato? | Da 1 a 3 |
Ed ecco il tipo di commento che un revisore, o AutoPilot, dovrebbe lasciare sul ticket:
Policy rispettata: non superato. Il cliente ha chiesto un rimborso al 34° giorno. L’agente AI ha confermato il rimborso, ma la policy sui resi prevede 30 giorni. Origine: l’articolo del centro assistenza “Resi e rimborsi”, che indica il termine di 30 giorni solo nell’ultimo paragrafo. Correzione suggerita: spostare il termine nella prima frase dell’articolo e aggiungere una regola di escalation per le richieste di rimborso dopo il 30° giorno.
È un commento così a rendere utile il punteggio: indica il criterio, la prova nella trascrizione, l’origine dell’errore e la correzione. Prima di fidarsi di un punteggio automatico, lo provi su conversazioni che il suo team ha già valutato e veda dove non concorda. La nostra guida su come convalidare la valutazione QA con l’AI (in inglese) spiega il test passo per passo.
Quali risultati aspettarsi dalla copertura completa?
I risultati pubblicati vengono dal controllo qualità delle conversazioni di assistenza in generale. In UiPath, Kaizo ha automatizzato il 100% del controllo qualità con un ROI del 200% e un aumento dell’8% del punteggio di qualità. In SteelSeries (in inglese), un team di assistenza di 30 persone che all’inizio usava Zendesk, i riepiloghi AI hanno dimezzato il tempo dedicato al controllo qualità senza ridurre ciò che individuava.
Nessuno dei due risultati riguarda solo le conversazioni degli agenti AI. Il meccanismo però è lo stesso: quando ogni conversazione viene valutata, un errore ricorrente smette di essere un aneddoto e diventa un numero che si può correggere e monitorare.
Lo veda sul suo Zendesk. Kaizo valuta ogni conversazione di Zendesk rispetto ai suoi criteri, comprese quelle gestite dagli agenti AI di Zendesk, e allega la spiegazione al ticket. Prenota una demo.
Meglio Zendesk QA o uno strumento di QA separato?
Usi Zendesk QA se paga già il componente aggiuntivo e le sue schede di valutazione si adattano al modo in cui vuole rivedere il bot. Usi uno strumento di QA separato se vuole una sola scheda di valutazione e un solo insieme di report per le conversazioni di operatori e agenti AI, costruiti sui suoi criteri. Entrambe le strade possono funzionare; la scheda di valutazione e il seguito contano più dello strumento.
Che cosa offre Zendesk QA per i bot, secondo il centro assistenza di Zendesk:
- Lei segna ogni bot come revisionabile o no. I bot revisionabili rientrano nella valutazione automatica e nelle revisioni manuali.
- Può filtrare le conversazioni per partecipante, bot, tipo di bot (flusso di lavoro o generativo) e numero di risposte del bot.
- Le categorie AutoQA sono saluto, empatia, ortografia e grammatica, chiusura, soluzione offerta, tono, leggibilità e comprensione, e operatori e bot vengono valutati separatamente.
- Richiede il componente aggiuntivo Quality Assurance o Workforce Engagement Management.
Domande da fare a qualsiasi strumento, Zendesk QA compreso:
- Può valutare i criteri che contano per un bot, come l’accuratezza rispetto ai suoi contenuti e alle sue policy, e non solo le categorie standard?
- Ogni punteggio è accompagnato da una spiegazione legata alla trascrizione?
- Può provarlo sulle sue valutazioni passate prima che valuti dal vivo?
- Valuta ogni conversazione dell’agente AI, o un campione?
- Chi corregge il bot può vedere gli errori raggruppati per causa?
Se sta confrontando i due direttamente, la nostra pagina sull’alternativa a Zendesk QA illustra le differenze, e la pagina Kaizo per Zendesk mostra come funziona la configurazione.
Quando non fa per lei
Un controllo qualità formale degli agenti AI non conviene ovunque. Se il suo agente AI di Zendesk gestisce qualche decina di conversazioni a settimana, le legga personalmente: un’ora alla settimana con le trascrizioni e una breve checklist trovano la maggior parte dei problemi. Se il bot risponde solo a domande a basso rischio, come orari di apertura e link per il tracciamento degli ordini, basta un controllo a campione mensile.
È anche troppo presto se non ha ancora uno standard scritto di come deve essere una buona risposta. Lo scriva prima, anche come elenco di una pagina, perché nessuno strumento può valutare rispetto a uno standard che non esiste. E se i contenuti del suo centro assistenza sono superati in generale, sistemi i contenuti prima di misurare il bot: il controllo qualità le direbbe soprattutto ciò che sa già.
Domande frequenti
Zendesk QA può rivedere le conversazioni gestite dagli agenti AI?
Sì. Zendesk QA può includere nella valutazione automatica e nelle revisioni manuali i bot che lei segna come revisionabili, e può filtrare le conversazioni per bot e tipo di bot. Richiede il componente aggiuntivo Quality Assurance o Workforce Engagement Management.
Kaizo funziona con gli agenti AI di Zendesk?
Sì. Kaizo si collega a Zendesk e AutoPilot valuta ogni conversazione di Zendesk rispetto ai suoi criteri, comprese quelle gestite dagli agenti AI di Zendesk. Ogni punteggio è accompagnato da un commento che lo spiega.
Quante conversazioni dell’agente AI di Zendesk dobbiamo rivedere?
Le valuti tutte, se può, perché un bot tende a ripetere lo stesso errore in tutte le conversazioni sullo stesso argomento. Se la revisione è manuale, parta dagli argomenti a rischio come rimborsi, prezzi ed eccezioni alle policy, e legga prima tutte quelle conversazioni.
Possiamo usare la stessa scheda di valutazione per gli operatori e per l’agente AI?
Può condividere i criteri che valgono per entrambi, come risposta corretta e tono, e così i risultati restano confrontabili. L’agente AI ha bisogno di criteri aggiuntivi su aderenza ai contenuti, limiti delle policy ed escalation, e di meno peso su saluto e ortografia.
Quanto tempo serve per impostare il controllo qualità di un agente AI di Zendesk?
La maggior parte del lavoro sta nello scegliere gli argomenti a rischio e scrivere la prima scheda di valutazione, cosa che si fa una volta sola. Con Kaizo, collegare Zendesk e attivare AutoPilot richiede giorni, non un progetto di integrazione, e può provare la valutazione sulle sue valutazioni passate prima che entri in produzione.
Che cosa fare quando l’agente AI dà una risposta sbagliata?
Prima trovi l’origine della risposta: di solito un articolo del centro assistenza sbagliato, superato o poco chiaro. Corregga l’articolo o aggiunga una regola di escalation per quell’argomento, poi controlli i punteggi di quell’argomento nella settimana successiva per confermare che la correzione regge.
Continua a leggere
- Come fare il controllo qualità di agenti AI e chatbot, la guida generale per qualsiasi agente AI
- Your AI agent is closing tickets. Who is checking it? (in inglese), su che cosa campionare per primo
- QA inside the Zendesk ticket view (in inglese), sul perché il feedback va nel ticket
- Kaizo per Zendesk, lo strumento di controllo qualità per Zendesk che valuta le conversazioni di operatori e agenti AI
