Valutazione agenti AI nell'assistenza: metodi e metriche

La valutazione degli agenti AI è il modo in cui un team di assistenza dimostra che il suo agente AI dà risposte corrette, consentite e utili. Ha due fasi: le eval prima del lancio, in cui si eseguono conversazioni di test con criteri di successo scritti, e la valutazione in produzione, in cui si valutano le conversazioni reali dei clienti con una scheda di valutazione. Servono entrambe, un valutatore calibrato e un responsabile nominativo.

In breve

• Le eval prima del lancio dicono se una modifica si può rilasciare in sicurezza; la valutazione in produzione dice che cosa ha fatto davvero l’agente AI ai clienti.
• Misuri la risoluzione corretta, il rispetto delle policy, l’accuratezza delle azioni, la qualità delle escalation e il tono; il contenimento è un dato di contesto, mai il punteggio qualità.
• Usi un LLM judge per il volume e revisori umani per la calibrazione e i casi ad alto rischio, e verifichi la loro concordanza criterio per criterio.
• I campioni piccoli non vedono gli errori rari ma costosi: con 40.000 conversazioni al mese, un campione dell’1% ha il 45% di probabilità di non mostrare nemmeno un caso di un errore che colpisce 80 clienti.
• Dia a ogni metrica un responsabile, una soglia e una cadenza; la tabella del framework qui sotto è un punto di partenza da copiare.

Questa guida è per chi guida l’assistenza e risponde dell’agente quando parla con i clienti, non per gli ingegneri che lo costruiscono. Per le basi, veda come fare il controllo qualità degli agenti AI; se sta ancora decidendo fin dove automatizzare, parta dall’assistenza clienti agentica.

Che cos’è la valutazione degli agenti AI nel servizio clienti?

La valutazione degli agenti AI nel servizio clienti è il processo ripetibile con cui si confrontano le conversazioni di un agente AI con criteri di successo scritti: la risposta era corretta, era consentita dalla policy, l’azione promessa è avvenuta davvero, l’agente ha passato la conversazione a un operatore quando doveva, e il tono era giusto? Si svolge prima del lancio su casi di test e dopo il lancio su conversazioni reali.

Il suo team AI userà questi termini, presi dalle guide per sviluppatori:

L’ultima riga è quella che conta di più per l’assistenza. Una trascrizione in cui l’agente dice “il suo rimborso è in arrivo” non equivale a un rimborso registrato nel sistema. Chi gestisce agenti di assistenza descrive proprio questo errore: l’agente dichiara completata un’azione quando la chiamata API che la eseguiva è fallita.

Che cosa significa “Demystifying evals for AI agents” di Anthropic per i team di assistenza?

L’articolo tecnico di Anthropic Demystifying evals for AI agents (in inglese) è la guida che molti cercano per nome. Per i team di assistenza si riduce a cinque punti: partire in piccolo da errori reali, verificare gli esiti e non solo le parole, misurare la costanza, testare entrambi i lati di ogni decisione e continuare a leggere le trascrizioni.

1. Partire da 20 a 50 errori reali. L’articolo definisce un ottimo inizio da 20 a 50 task semplici tratti da errori reali e cita la coda dell’assistenza come fonte. Il suo team QA li ha già.
2. Valutare l’esito, non il racconto. L’esempio del rimborso nell’articolo combina una verifica dello stato (ticket risolto, rimborso elaborato), verifiche sulle azioni dell’agente (identità verificata, rimborso entro i limiti) e una rubrica valutata da un LLM per empatia e chiarezza.
3. Misurare la costanza con pass^k, la probabilità che tutte le k esecuzioni di un task riescano. L’articolo osserva che conta soprattutto per gli agenti a contatto con i clienti, dove gli utenti si aspettano ogni volta un comportamento affidabile. Un agente che supera un task il 75% delle volte supera tutte e 3 le esecuzioni solo nel 42% circa dei casi.
4. Testare entrambe le direzioni. Verifichi quando l’agente deve agire e quando non deve. Un set pieno di casi “deve rimborsare” produce un agente che rimborsa troppo spesso.
5. Leggere le trascrizioni. Secondo l’articolo, non si sa se i grader funzionano bene finché non si leggono le trascrizioni e i voti di molte esecuzioni.

L’articolo definisce anche il monitoraggio in produzione reattivo: i clienti incontrano il problema prima di lei. I team di assistenza hanno bisogno di entrambe le fasi.

Eval prima del lancio e valutazione in produzione: qual è la differenza?

Le eval prima del lancio fanno girare il suo agente AI su conversazioni di test prima che una modifica vada in produzione, per bloccare un prompt, un modello o un aggiornamento della knowledge base sbagliati. La valutazione in produzione valuta le conversazioni reali avute dai clienti, così trova gli errori che il suo set di test non aveva previsto. Le prime sono un cancello; la seconda è il controllo qualità continuo.

Le due fasi si alimentano a vicenda: ogni errore trovato in produzione diventa un nuovo caso di test. La simulazione, in cui un secondo modello interpreta il cliente, sta dalla parte delle eval prima del lancio; benchmark come τ-bench (in inglese) la usano per task di assistenza nel retail e nel trasporto aereo.

Come si scrivono le eval per un agente AI?

Per scrivere le eval di un agente AI, raccolga da 20 a 50 conversazioni reali in cui l’agente o il suo team hanno sbagliato, scriva per ciascuna com’è un esito corretto, aggiunga casi in cui la scelta giusta è rifiutare o passare a un operatore, dia a ogni criterio il suo grader ed esegua ogni caso più volte prima di ogni modifica.

Il team di assistenza lo definisce; il lato AI lo mette in opera:

1. Prenda i casi dal QA. Conversazioni fallite o passate a un operatore negli ultimi 90 giorni, raggruppate per intento.
2. Scriva l’esito atteso in una frase. “Rifiuta il rimborso, cita la policy dei 30 giorni, offre un buono, non passa a un operatore.”
3. Aggiunga i casi speculari. Per ogni caso “deve rifiutare”, un caso “deve farlo”; per ogni caso “deve passare a un operatore”, uno in cui l’escalation sarebbe sbagliata.
4. Separi i criteri. Correttezza, policy, azione, escalation e tono hanno ciascuno la propria verifica; l’articolo di Anthropic raccomanda un valutatore per ogni dimensione della rubrica.
5. Verifichi il sistema, non la frase. Quando l’agente compie un’azione, il grader legge il record dell’ordine o dell’helpdesk, non ciò che l’agente dichiara.
6. Esegua ogni caso da 3 a 5 volte e lo consideri superato solo quando tutte le esecuzioni lo superano. È pass^k nella pratica.
7. Tenga due set. Un set di regressione che dovrebbe passare quasi il 100% delle volte e un set di capacità più difficile per gli intenti che intende automatizzare dopo.

La versione minima, come la descrive chi lo fa ogni giorno, è qualche decina di ticket reali andati male, rieseguiti ogni volta che cambia il prompt. La nostra guida sui test degli agenti AI approfondisce la progettazione dei test, le esecuzioni di regressione e la simulazione.

Quali metriche di valutazione degli agenti AI contano nel servizio clienti?

Le metriche di valutazione degli agenti AI che contano nel servizio clienti sono la risoluzione corretta, la correttezza delle risposte, il rispetto delle policy, l’accuratezza delle azioni, la qualità delle escalation e il tono, sostenute dai contatti ripetuti e dal feedback dei clienti. Contenimento e deflessione dicono solo che il cliente non è arrivato a una persona, quindi vanno nella colonna del contesto, non nel punteggio qualità.

Abbini il tasso di contenimento (in inglese) a una verifica della risoluzione, veda come misurare le prestazioni degli agenti AI per confrontare in modo equo la gestione dell’AI e quella delle persone, e metta i criteri in una scheda di valutazione per agenti AI.

LLM as a judge o revisione umana: come si calibrano?

Usi un LLM judge per valutare ogni conversazione e revisori umani per calibrarlo e per gestire i casi ad alto rischio. La calibrazione si fa facendo valutare alla cieca le stesse 100-200 conversazioni a due revisori e al judge, poi misurando la concordanza per ogni criterio separatamente e correggendo la formulazione del criterio ovunque judge e persone non concordano.

LLM as a judge significa che un modello linguistico valuta una conversazione in base ai suoi criteri scritti (la nostra definizione, in inglese). L’articolo scientifico Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (in inglese) ha rilevato che GPT-4 raggiunge oltre l’80% di concordanza con le preferenze umane, lo stesso livello di concordanza tra persone. Elenca anche i punti deboli del judge: bias di posizione, di prolissità e di autopromozione, e capacità di ragionamento limitate.

Una routine di calibrazione che regge:

• Valutare alla cieca. Due revisori e il judge valutano lo stesso set separatamente. Prima i revisori si mettono d’accordo, poi confrontano il risultato con il judge.
• Misurare per criterio. Un 90% complessivo può nascondere un criterio di tono al 70%. Per i criteri superato o non superato, misuri la recall: delle violazioni di policy reali, quante ne ha intercettate il judge?
• Lasciare che il judge dica “non so”. L’articolo di Anthropic consiglia di dare al judge una via d’uscita per ridurre i voti inventati. Passi i “non so” a una persona.
• Ricalibrare dopo ogni modifica alla scheda di valutazione, al modello del judge o al perimetro dell’agente, e almeno una volta al mese.

Il nostro protocollo di una settimana per validare la valutazione QA con l’AI (in inglese) lo trasforma in un piano giorno per giorno con soglie di concordanza.

Quante conversazioni bisogna valutare?

Per le eval prima del lancio, da 20 a 50 casi di errore reali bastano per iniziare, e diventano qualche centinaio man mano che si automatizzano più intenti. Per la valutazione in produzione di un agente AI, valuti ogni conversazione se può, perché gli errori più costosi sono rari, e gli errori rari si nascondono nei campioni. Mantenga la doppia valutazione umana su 100-200 conversazioni al mese.

Illustrazione (non dati di clienti). Un agente AI gestisce 40.000 conversazioni al mese. Il team QA rivede un campione dell’1%: 400 conversazioni.

La probabilità di non vederne nessuno è (1 meno il tasso) elevato alla 400. Anche due errori di rimborso intercettati sembrano rumore; valutare tutte le 40.000 conversazioni mostra 200 e 80 casi, raggruppati per intento.

Tre regole pratiche:

• Margine di errore. Un tasso di risoluzione corretta del 90% misurato su 400 conversazioni è preciso a circa ±3 punti (confidenza del 95%), quindi un calo all’88% rientra nel rumore. Su 40.000 conversazioni il margine è di circa ±0,3 punti.
• Zero errori non significa zero rischio. Se non vede errori in n conversazioni, il tasso reale può comunque arrivare a circa 3 diviso n: per dimostrare un tasso sotto l’1% servono circa 300 conversazioni pulite, sotto lo 0,1% circa 3.000.
• I set di calibrazione sono piccoli di proposito. 200 conversazioni valutate due volte con l’85% di concordanza fissano quella concordanza entro circa ±5 punti: abbastanza per trovare un criterio formulato male, non per fare una classifica dei revisori.

La matematica è spiegata nel nostro articolo sulla statistica del campionamento QA (in inglese).

Il framework di valutazione degli agenti AI (copi questa tabella)

Questo framework elenca che cosa valutare, il metodo, la metrica, una soglia di esempio, il responsabile e la cadenza per un agente AI del servizio clienti. Le soglie sono esempi da discutere, non benchmark di settore: fissi le sue partendo dal suo livello di riferimento e da quanto le costa un singolo errore.

Perché la soglia di costanza è severa: un task che supera il 98% delle singole esecuzioni supera tutte e 5 le esecuzioni circa il 90% delle volte, e uno al 95% solo il 77% circa delle volte. Al cliente tocca l’esecuzione che capita.

Chi deve essere responsabile della valutazione degli agenti AI?

La valutazione degli agenti AI richiede tre responsabili: il responsabile AI o automazione gestisce le eval prima del lancio e corregge prompt e strumenti, il responsabile QA gestisce la valutazione in produzione e la calibrazione del judge, e il responsabile CX fissa le soglie e decide se l’agente si estende, resta com’è o viene limitato. I responsabili dei contenuti e delle policy correggono i contenuti a cui puntano i punteggi.

L’errore comune è lasciare la valutazione solo al team che costruisce l’agente: chi costruisce misura ciò che può cambiare, mentre chi guida l’assistenza deve vedere che cosa hanno ricevuto i clienti. Metta una persona dell’assistenza a capo dei numeri di produzione; la tabella del framework qui sopra indica un responsabile per ogni metrica. La valutazione è una parte di un modello di supervisione più ampio, trattato nella nostra guida sulla governance degli agenti AI.

Quali strumenti di valutazione degli agenti AI usano i team di assistenza?

I team di assistenza usano quattro tipi di strumenti di valutazione degli agenti AI: piattaforme di eval e observability per sviluppatori, per i test prima del lancio e le tracce; strumenti di simulazione che interpretano il cliente; gli analytics integrati nella piattaforma dell’agente; e piattaforme di controllo qualità delle conversazioni che valutano le conversazioni reali con una scheda di valutazione. La maggior parte dei team enterprise finisce con uno strumento per fase.

Kaizo sta nell’ultima riga. AutoPilot valuta ogni conversazione risolta con la sua scheda di valutazione, e ogni punteggio rimanda alle prove nella conversazione. Prima della messa in produzione si confronta la valutazione con i giudizi storici del suo team, e i revisori tengono per sé le conversazioni che richiedono giudizio. La nostra pagina sul controllo qualità degli agenti AI mostra come funziona dentro Zendesk e Salesforce.

Lo veda sulle sue conversazioni. Kaizo valuta il 100% delle sue conversazioni di assistenza e trasforma quanto emerge in coaching. Prenoti una demo.

Quando questo livello di valutazione non fa per lei

Se il suo agente AI gestisce qualche decina di conversazioni a settimana, lasci perdere il framework, il judge e lo strumento: legga lei stessa ogni trascrizione per un’ora a settimana con una breve checklist (corretta, consentita, passaggio giusto, tono giusto). Avvii il programma completo quando il volume supera ciò che una persona riesce a leggere, o quando l’agente inizia a compiere azioni come rimborsi o modifiche all’account.

Se le serve una suite di test per sviluppatori nella pipeline di rilascio, è un altro strumento; la piattaforma QA di Kaizo valuta le conversazioni dopo che si sono chiuse e può lavorare accanto a quella suite.

Come iniziare la valutazione degli agenti AI questa settimana

Può iniziare la valutazione degli agenti AI questa settimana senza acquistare nulla. In cinque giorni un team di assistenza può scegliere tre intenti, raccogliere 30 errori reali, scrivere cinque criteri sì o no, valutare 100 conversazioni recenti come riferimento e concordare responsabili e soglie. Tutto il resto del framework cresce da lì.

1. Lunedì: scelga l’intento con più volume, quello più rischioso (di solito rimborsi o modifiche all’account) e quello di cui i clienti si lamentano di più.
2. Martedì: prenda 10 conversazioni andate male per intento da QA, reclami ed escalation; scriva per ciascuna l’esito corretto in una frase.
3. Mercoledì: scriva cinque criteri (risposta corretta, policy, azione che corrisponde al sistema, escalation, tono), ciascuno come domanda sì o no con la prova che lo dimostra.
4. Giovedì: due revisori valutano alla cieca 100 conversazioni recenti. È il suo riferimento e il primo set di calibrazione.
5. Venerdì: compili la tabella del framework con i nomi, i valori di riferimento e una data per la prima revisione mensile.

Consegni i 30 errori al suo team AI come primo set di regressione: nulla va in produzione finché non lo supera.

Domande frequenti

Qual è un buon tasso di accuratezza per un agente AI del servizio clienti?

Non esiste un numero universale; dipende da quanto costa una risposta sbagliata. Come soglia di esempio, punti al 98% o più di conversazioni senza errori di fatto e a zero violazioni critiche delle policy sul set di regressione. Fissi la soglia in produzione partendo dal suo riferimento e indaghi su qualsiasi calo di 3 punti o più.

Ogni quanto vanno rieseguite le eval di un agente AI?

Riesegua il set di regressione prima di ogni modifica a prompt, modello, strumenti o knowledge base, perché ognuna può rompere qualcosa che funzionava. Valuti in continuo le conversazioni di produzione, riveda i numeri ogni settimana e calibri il judge ogni mese e dopo le modifiche alla scheda di valutazione.

Gli agenti AI vanno valutati con la stessa scheda di valutazione degli operatori?

Usi criteri condivisi dove valgono per entrambi, come la risposta corretta e il tono giusto, così i risultati restano confrontabili. Poi aggiunga i criteri che servono solo a un agente AI: aderenza ai suoi contenuti, accuratezza delle azioni, perimetro e segnali di escalation. Un unico standard con verifiche specifiche per l’AI funziona meglio di due schede scollegate.

Qual è la differenza tra pass@k e pass^k?

pass@k è la probabilità che almeno una di k esecuzioni riesca, adatta agli strumenti in cui basta una buona risposta. pass^k è la probabilità che tutte le k esecuzioni riescano. Il servizio clienti ha bisogno di pass^k, perché ogni cliente riceve una sola esecuzione e si aspetta ogni volta la risposta giusta.

La valutazione degli agenti AI è la stessa cosa del monitoraggio?

No. Il monitoraggio osserva volumi, errori e allerte in tempo reale perché lei si accorga presto di un problema. La valutazione giudica se ogni risposta era corretta, consentita e ben gestita, prima del lancio sui casi di test e dopo il lancio sulle conversazioni reali. La valutazione in produzione alimenta il monitoraggio, e ogni errore che trova diventa un nuovo caso di test.