La revisione delle performance dell’agente AI è una riunione mensile in cui chi è responsabile del suo agente AI esamina un mese di conversazioni valutate, lo confronta con gli obiettivi e decide che cosa cambiare. Funziona come la revisione di un operatore: stessa scheda di valutazione, prove concrete, obiettivi chiari. La differenza sta nell’esito: una modifica a contenuti, ambito o instradamento, non un piano di coaching.
In sintesi
- Una revisione mensile delle performance dell’agente AI trasforma i punteggi in decisioni: ampliare il bot, mantenerlo com’è o togliergli argomenti.
- Si distingue dalla revisione di un operatore per chi partecipa, per le prove esaminate e per le conseguenze.
- Nella riunione servono cinque ruoli, e i risultati li presenta il QA, non il team che ha messo in produzione il bot.
- Un report di una pagina e un’agenda di 60 minuti la tengono abbastanza breve da farla davvero ogni mese.
- Una regola scritta per ampliare, mantenere o limitare gli argomenti evita che la revisione diventi un dibattito.
Questa guida riguarda il rituale: cadenza, persone, report e decisioni. Per le metriche da monitorare, veda la nostra guida su come misurare le prestazioni degli agenti AI. Per la valutazione vera e propria, la nostra pagina sul controllo qualità degli agenti AI mostra come Kaizo valuta ogni conversazione dell’agente AI con la stessa scheda di valutazione del suo team.
Perché fare una revisione delle performance a un agente AI?
Perché le dashboard riportano e le persone decidono. Qualcuno deve essere responsabile della decisione di dare più lavoro al bot, lasciarlo dov’è o togliergliene.
La maggior parte dei team ha già i dati. L’helpdesk conta le risoluzioni automatizzate, il fornitore mostra intenti e abbandoni, e il QA valuta le conversazioni. Spesso manca un momento fisso in cui qualcuno con autorità guarda tutto insieme e prende una decisione. Senza quel momento, un problema noto sulle risposte ai rimborsi può restare per settimane in una chat interna.
Anche le linee guida sul rischio dell’AI prevedono quel momento. Il NIST AI Risk Management Framework (gennaio 2023) indica, alla voce Manage 4.1, che i piani di monitoraggio dopo il rilascio vengono attuati, compresi meccanismi per il feedback degli utenti, il ricorso e l’override, la dismissione, la risposta agli incidenti, il ripristino e la gestione delle modifiche. Una revisione mensile è un modo semplice per dare a ciascuno di questi punti una sede.
C’è anche una ragione di equità. I suoi operatori vengono valutati, seguiti con il coaching e tenuti a uno standard. Quando il bot gestisce una quota crescente delle sue conversazioni, applicargli la stessa disciplina rende il confronto onesto, ed è ciò che le chiederà la sua direzione.
In che cosa la revisione di un agente AI differisce da quella di un operatore?
La revisione di un agente AI esamina schemi su migliaia di conversazioni e si conclude con modifiche a contenuti e configurazione. La revisione di un operatore esamina il lavoro di una persona e si conclude con il coaching.
| Revisione di un operatore | Revisione delle performance dell’agente AI | |
|---|---|---|
| Che cosa si esamina | Un campione o tutte le conversazioni di una persona | Ogni conversazione gestita dall’agente AI nel mese |
| Unità di analisi | La persona | L’argomento, l’articolo, la regola |
| Chi partecipa | L’operatore e il suo team leader | QA, responsabile del bot, responsabile dei contenuti, support operations, responsabile CX |
| Riscontro tipico | Una lacuna di competenze o un’abitudine | Un articolo superato, una regola mancante, un passaggio all’operatore tardivo |
| Esito | Coaching, un obiettivo, un piano di sviluppo | Una correzione ai contenuti, una modifica dell’ambito, una modifica di instradamento o escalation |
| Conseguenza di un mese negativo | Un piano di miglioramento | Argomenti limitati o passati alle persone fino alla correzione |
| Questione di equità | Valutato per fattori fuori dal suo controllo | Gli errori del bot che finiscono nel punteggio di una persona |
Dall’ultima riga nasce una regola da scrivere nel suo processo: un errore del bot non finisce mai nel punteggio di un operatore. Se l’agente AI ha promesso un rimborso e l’operatore ha dovuto ritirarlo, il criterio non superato appartiene al bot.
Chi deve partecipare alla riunione?
Alla revisione delle performance dell’agente AI servono cinque ruoli: il QA presenta, il responsabile del bot e il responsabile dei contenuti si fanno carico delle correzioni, le support operations parlano per le code e il responsabile CX decide.
| Ruolo | Che cosa porta | Con che cosa esce |
|---|---|---|
| QA lead (presenta) | I punteggi, le tendenze, le trascrizioni dietro ogni riscontro | Modifiche ai criteri per il mese successivo |
| Responsabile dell’agente AI | Come è configurato il bot, che cosa è cambiato nel mese | Modifiche a prompt, instradamento ed escalation |
| Responsabile dei contenuti della knowledge base | Da quali articoli risponde il bot | Correzioni agli articoli, con una data |
| Responsabile support operations | Volume dei passaggi all’operatore, impatto sulle code, contatti ripetuti | Adeguamenti di organico o di instradamento |
| Responsabile CX (decide) | Obiettivi e propensione al rischio | Le decisioni di ampliare, mantenere o limitare |
Presenta il QA perché il riscontro deve venire da chi non ha costruito il bot. Il team che lo ha messo in produzione è anche il team il cui progetto fa bella figura quando i numeri sono buoni. Il nostro articolo su chi controlla il suo agente AI (in inglese) spiega come separare il riscontro, la correzione e l’autorità di disattivare un flusso.
Inviti il risk management o la compliance quando il mese include un errore critico su un argomento regolamentato. Inviti il fornitore quando le serve il suo aiuto per una correzione, non per presentare i risultati.
Il report di una pagina sulle performance dell’agente AI
Il report sta in una pagina: un numero principale rispetto al suo obiettivo, i criteri che sono cambiati, gli argomenti a rischio, le cause dietro gli errori e le decisioni da prendere.
Copi questo modello e lo compili ogni mese con i dati del suo strumento di QA e dell’helpdesk:
| Sezione | Che cosa contiene | Da dove viene |
|---|---|---|
| 1. Numero principale | Tasso di conversazioni risolte e corrette rispetto all’obiettivo, questo mese e il precedente | Punteggi QA più contatti ripetuti |
| 2. Volume e ambito | Conversazioni dell’agente AI, quota sul totale delle conversazioni, argomenti gestiti | Helpdesk |
| 3. Criteri condivisi | Punteggi sui criteri comuni a persone e bot, affiancati a quelli del team umano | Scheda di valutazione QA |
| 4. Criteri del bot | Tassi di superamento su aderenza ai contenuti, limiti di policy, ambito ed escalation | Scheda di valutazione QA |
| 5. Argomenti a rischio | Ogni argomento sotto il suo obiettivo, con il numero di conversazioni | Punteggi QA per argomento |
| 6. Errori critici | Numero, che cosa è successo, clienti coinvolti, stato | Riscontri QA |
| 7. Le tre cause principali | L’articolo, la regola o l’impostazione dietro la maggior parte degli errori, con una trascrizione ciascuna | Analisi della causa radice |
| 8. Correzioni del mese scorso | Che cosa è stato rilasciato e se i punteggi si sono mossi | Conversazioni rivalutate |
| 9. Passaggio all’operatore | Passaggi tardivi o mancanti, contesto trasmesso | Criteri sul passaggio di consegne |
| 10. Decisioni da prendere | Ampliare, mantenere o limitare, per argomento | La regola decisionale qui sotto |
Tenga solo i numeri che portano a una decisione. Se una riga non ha cambiato nessuna decisione in tre mesi, la tolga dalla pagina e la sposti in appendice.
In Kaizo, i punteggi delle sezioni da 3 a 9 vengono dalla stessa scheda di valutazione. Kaizo Insights riunisce QA, sentiment e coaching in un’unica vista pronta da presentare o esportare, e l’analisi della causa radice raggruppa gli errori dietro un calo.
Esempio pratico: una revisione di ottobre
In questo esempio l’agente AI è migliorato nel complesso ma ha fallito su un argomento, quindi la revisione amplia un argomento, ne mantiene tre e ne limita uno. I numeri sono un’illustrazione che abbiamo costruito, non dati di un cliente.
La sezione principale del report di ottobre:
| Misura | Settembre | Ottobre | Obiettivo |
|---|---|---|---|
| Conversazioni dell’agente AI | 11.200 | 12.400 | |
| Risolte e corrette | 70,4% | 73,1% | 75% |
| Aderenza ai nostri contenuti (tasso di superamento) | 95,8% | 98,0% | 98% |
| Limiti di policy (tasso di superamento) | 97,2% | 98,1% | 99% |
| Escalation sul segnale giusto | 91,0% | 89,5% | 93% |
| Contatto ripetuto entro 7 giorni | 6,8% | 6,1% | 5% |
| Errori critici | 4 | 1 | 0 |
Il numero principale è andato nella direzione giusta, di 2,7 punti, ma l’escalation è andata in quella sbagliata. È il tipo di mese misto in cui una revisione vale la sua ora: il dato complessivo sarebbe stato comunicato come una buona notizia, mentre il calo delle escalation corrette ha bisogno di un responsabile.
È dalla sezione per argomento che nascono le decisioni:
| Argomento | Conversazioni | Tasso di superamento su aderenza e policy | Errori critici | Decisione |
|---|---|---|---|---|
| Tracciamento ordini | 4.900 | 99,3% (settembre 99,1%) | 0 | Ampliare: aggiungere le richieste di modifica della consegna |
| Resi | 2.600 | 97,8% | 0 | Mantenere |
| Domande sui prodotti | 2.700 | 97,1% | 0 | Mantenere, correggere i due articoli dietro la maggior parte degli errori |
| Rimborsi | 1.300 | 94,6% | 1 | Limitare: passare i rimborsi parziali alle persone fino alla correzione |
| Modifiche all’account | 900 | 98,4% (settembre 97,6%) | 0 | Mantenere un altro mese prima di ampliare |
La riunione si chiude con cinque decisioni, ognuna con un responsabile e una data. La limitazione sui rimborsi viene riesaminata a novembre, dopo che il responsabile dei contenuti ha riscritto l’articolo sui rimborsi parziali e il QA ha rivalutato l’argomento.
Una regola decisionale per ampliare, mantenere o limitare
Metta per iscritto la regola decisionale prima della prima revisione: le soglie per ampliare, mantenere e limitare ogni argomento. Così la riunione applica la regola invece di discuterla.
Una regola di partenza, da adattare alla sua propensione al rischio:
| Decisione | Quando | Che cosa succede |
|---|---|---|
| Ampliare | Tasso di superamento su aderenza e policy pari o superiore al 98% per due mesi di fila, e nessun errore critico | Il bot prende un nuovo intento o una versione più ampia dell’argomento |
| Mantenere | Tasso di superamento tra il 96% e il 98%, o un mese buono dopo uno debole | Nessuna modifica dell’ambito; si correggono le cause principali |
| Limitare | Tasso di superamento sotto il 96%, o qualsiasi errore critico su un argomento legato al denaro | L’argomento, o la sua parte rischiosa, passa alle persone finché una rivalutazione non lo sblocca |
Le soglie qui sopra sono un nostro suggerimento, non uno standard di settore. Se serve, le fissi per argomento: lo stesso tasso di superamento può andare bene sulle domande sui prodotti ed essere troppo basso sui rimborsi. Ciò che conta è che la regola esista prima che qualcuno veda i numeri.
L’agenda di 60 minuti
Sessanta minuti bastano se il report viene inviato due giorni lavorativi prima della riunione e il tempo va alle decisioni, non alla lettura dei numeri ad alta voce.
| Minuti | Punto | Guidato da |
|---|---|---|
| Da 0 a 5 | Numero principale rispetto all’obiettivo, e decisioni del mese scorso: fatte o no | QA lead |
| Da 5 a 20 | Argomenti a rischio ed errori critici, con una trascrizione ciascuno | QA lead |
| Da 20 a 35 | Le tre cause principali e le correzioni proposte | Responsabile dei contenuti e responsabile del bot |
| Da 35 a 45 | Correzioni del mese scorso: i punteggi si sono mossi? | QA lead |
| Da 45 a 55 | Decisioni per argomento, applicando la regola | Responsabile CX |
| Da 55 a 60 | Responsabili, date e modifiche ai criteri per il mese successivo | QA lead |
Mostrare una trascrizione reale per ogni riscontro conta più di qualsiasi grafico. Trasforma “l’aderenza è calata sui rimborsi” in una frase che tutta la sala può leggere, e chiude le discussioni sul fatto che il valutatore avesse ragione. La nostra guida sulla tracciabilità dei punteggi QA (in inglese) spiega perché ogni punteggio ha bisogno delle righe che lo motivano.
Settimanale, mensile, trimestrale: che cosa va dove
La revisione mensile si colloca tra un controllo operativo settimanale e un report trimestrale alla direzione. Ogni ritmo ha il suo compito, e mescolarli peggiora tutti e tre.
| Ritmo | Chi | Che cosa copre | Che cosa decide |
|---|---|---|---|
| Settimanale (15 minuti) | QA lead, responsabile del bot | Errori critici, nuovi schemi, tenuta delle correzioni della settimana precedente | Correzioni urgenti e passaggi all’operatore |
| Mensile (60 minuti) | I cinque ruoli indicati sopra | Il report di una pagina | Ampliare, mantenere o limitare per argomento |
| Trimestrale | Dal responsabile CX alla direzione | Andamento del numero principale, crescita dell’ambito, costo degli errori evitati | Budget e roadmap per l’agente AI |
Per il report trimestrale, si limiti a tre numeri che la direzione può seguire nel tempo: il tasso di conversazioni risolte e corrette, la quota di conversazioni del bot e gli errori critici. La nostra guida al reporting del servizio clienti per il management (in inglese) spiega come presentare un dato di qualità a un VP o a un CFO. Per il ritmo settimanale, il nostro articolo sulla cadenza del monitoraggio QA (in inglese) entra nei dettagli.
Come fare la prima revisione delle performance dell’agente AI
Faccia la prima revisione delle performance dell’agente AI con un mese di conversazioni valutate, il modello di una pagina e una regola decisionale concordata in anticipo. Bastano cinque passi.
Passo 1: valutare un mese intero
Valuti ogni conversazione dell’agente AI per un mese con una scheda di valutazione che includa i criteri del bot: aderenza ai contenuti, limiti di policy, ambito ed escalation. AutoPilot di Kaizo valuta ogni conversazione rispetto ai suoi criteri quando viene risolta.
Passo 2: concordare obiettivi e regola decisionale
Fissi un obiettivo per il numero principale e per ogni criterio del bot, e concordi le soglie per ampliare, mantenere e limitare prima che qualcuno veda il primo report.
Passo 3: assegnare i cinque ruoli
Metta un nome accanto a QA lead, responsabile del bot, responsabile dei contenuti, responsabile support operations e responsabile CX. Prenoti uno slot ricorrente di 60 minuti nella prima settimana di ogni mese.
Passo 4: inviare il report due giorni prima
Compili il modello di una pagina e lo invii due giorni lavorativi prima della riunione, così l’ora va alle decisioni.
Passo 5: chiudere con responsabili e date
Ogni decisione esce dalla riunione con un responsabile e una data, e il report successivo si apre dicendo se è stata attuata.
Lo veda in una demo dal vivo. Kaizo valuta ogni conversazione dell’agente AI con la stessa scheda di valutazione del suo team e mostra le tendenze per settimana, argomento e team, pronte per la sua revisione mensile. Parliamone.
Domande frequenti
Ogni quanto rivedere le performance di un agente AI?
La riveda ogni mese per le decisioni, con un breve controllo settimanale su errori critici e correzioni. Un mese le dà abbastanza conversazioni per argomento da vedere una tendenza reale, ed è abbastanza frequente perché un problema su un argomento legato al denaro non duri un trimestre. Riporti l’andamento alla direzione ogni trimestre.
Che cosa deve includere una revisione delle performance dell’agente AI?
Un numero principale di qualità rispetto al suo obiettivo, i tassi di superamento sui criteri propri del bot, gli argomenti sotto obiettivo, gli eventuali errori critici, le cause principali degli errori con una trascrizione ciascuna, l’esito delle correzioni del mese scorso e le decisioni da prendere. Lo tenga in una pagina e sposti in appendice tutto ciò che non porta a una decisione.
Si può confrontare l’agente AI con gli operatori durante la revisione?
Sì, sui criteri che condividono, come una risposta corretta e il tono giusto, valutati allo stesso modo. Confronti per argomento e non sul totale, perché di solito il bot gestisce gli argomenti più semplici. Non confronti su criteri che ha solo uno dei due, e non lasci mai che un errore del bot pesi sul punteggio di un operatore.
Che cosa succede quando un agente AI non supera la revisione?
Perde ambito finché non lo riconquista. Gli argomenti sotto la soglia, o con un errore critico, passano agli operatori o ricevono un passaggio forzato a una persona. Il responsabile dei contenuti corregge la fonte, il QA rivaluta l’argomento e la revisione successiva decide se il bot riprende quell’argomento.
Deve essere il fornitore dell’agente AI a presentare i risultati?
No. Il fornitore può spiegare come funziona il bot e aiutare con le correzioni, ma i risultati devono venire dal suo QA, con la sua scheda di valutazione. Un fornitore che presenta il voto del proprio prodotto ha interesse a un buon risultato, e la sua direzione vorrà un numero che il suo team ha prodotto e sa difendere.
