Una scheda di valutazione unica per operatori e agenti AI è un solo standard di qualità su due livelli: un nucleo comune di criteri su cui entrambi vengono valutati, con le stesse definizioni e gli stessi pesi, e un breve blocco per ciascuno, dedicato agli errori che solo uno dei due commette. Persone e bot si confrontano solo sul nucleo comune, argomento per argomento, ed entrambi compaiono in un unico report di una pagina.
In sintesi
- Una scheda di valutazione unica per operatori e agenti AI significa un nucleo comune più un piccolo blocco per ciascuno, non un elenco identico per entrambi.
- Il nucleo comune funziona solo se ogni criterio ha una sola definizione, una sola scala e un solo peso per entrambi.
- Sette regole la mantengono equa, dallo scrivere criteri verificabili sulla trascrizione al decidere a chi appartiene ogni riga non superata.
- Il confronto si fa sul nucleo comune per argomento: in un esempio pratico, la media grezza fa sembrare il bot migliore di 7,9 punti, mentre su una base equa le persone sono migliori di 3,8 punti.
- Si costruisce in sei passi, partendo dalla scheda di valutazione che il suo team usa già.
Questa pagina riguarda lo standard comune. Se cerca l’elenco dei criteri che servono a un bot e non a una persona, legga prima la nostra guida alla scorecard per agenti AI. Per vedere come Kaizo applica una sola scheda di valutazione al suo team e ai suoi agenti AI, consulti la pagina sul controllo qualità degli agenti AI.
Perché usare una sola scheda di valutazione per operatori e agenti AI?
Perché i suoi clienti ricevono un unico standard di servizio, chiunque risponda. Due schede separate producono due numeri che nessuno può confrontare, e due discussioni su quale dei due conti.
In ogni team che gestisce entrambi emergono tre ragioni pratiche:
- La direzione fa una sola domanda. “Il bot è bravo quanto le nostre persone?” ha una risposta solo su una misura comune. Con due schede, la risposta dipende dalle definizioni di chi si usano.
- Le decisioni di instradamento richiedono un confronto. Decidere quali argomenti deve gestire l’agente AI e quali vanno alle persone richiede che entrambi siano valutati allo stesso modo sullo stesso argomento.
- Uno standard unico è più facile da mantenere. Quando una policy cambia, si aggiorna un criterio, non due schede gestite da due team che si allontanano sempre di più.
La trappola è l’errore opposto: applicare al bot la scheda degli operatori senza modifiche. Saluti e ortografia raramente sono un problema per un bot, mentre una policy inventata raramente lo è per una persona. Uno standard unico significa un unico nucleo, non un unico elenco identico.
Che cosa va nel nucleo comune, e che cosa no?
Il nucleo comune contiene i criteri che descrivono un buon esito per il cliente, chiunque abbia risposto. I criteri che descrivono come sbaglia un certo tipo di interlocutore vanno nel blocco dedicato a quell’interlocutore.
Ecco un modello da copiare. I pesi sono un esempio; il punto è che il nucleo comune ha lo stesso peso per entrambi:
| Blocco | Criterio | Superato quando | Peso |
|---|---|---|---|
| Nucleo comune | Risposta corretta | Ogni fatto della risposta è giusto per il caso di questo cliente | 25 |
| Nucleo comune | Risposta completa | Tutte le parti della domanda hanno risposta, comprese le condizioni | 15 |
| Nucleo comune | Policy rispettata | Nulla viene offerto, promesso o rifiutato al di fuori della policy scritta | 20 |
| Nucleo comune | Passo successivo chiaro | Il cliente sa che cosa succede dopo, oppure il problema è risolto | 15 |
| Nucleo comune | Identità e dati | L’identità viene verificata prima di condividere i dati dell’account | 10 |
| Nucleo comune | Tono in linea con il brand | La risposta suona come il suo brand ed è adatta alla situazione del cliente | 5 |
| Nucleo comune | Passaggio di consegne | Il contesto viene trasmesso a ogni trasferimento, e chi lo riceve lo usa | 10 |
| Blocco agente AI | Aderenza ai nostri contenuti | Ogni fatto viene da un articolo di assistenza o da una policy che pubblica | Superato o non superato |
| Blocco agente AI | Ambito | Resta negli argomenti e nelle azioni che è autorizzato a gestire | Superato o non superato |
| Blocco agente AI | Segnale di escalation | Passa la conversazione sui segnali definiti, e non troppo tardi | Superato o non superato |
| Blocco agente AI | Incertezza | Dice di non sapere, invece di tirare a indovinare | Superato o non superato |
| Blocco operatore | Note sul caso | Note e tag permettono a chi segue di continuare senza richiedere nulla | Superato o non superato |
| Blocco operatore | Follow-up rispettato | Una richiamata o un aggiornamento promesso è avvenuto in tempo | Superato o non superato |
Il nucleo comune somma 100, il che le dà un punteggio confrontabile per ogni conversazione. I blocchi dedicati sono superato o non superato e si riportano accanto al punteggio come tassi di superamento a sé. Un criterio dedicato non superato può comunque far scattare un’azione, come un fallimento automatico per il bot su un rimborso inventato, senza falsare il confronto.
Le schede di valutazione di Kaizo accettano i suoi criteri, scritti con le sue parole, e si possono applicare per team, coda o cliente. È così che un nucleo comune e due blocchi dedicati convivono in un unico standard invece che in due documenti.
Sette regole per mantenere equa una scheda unica
Una scheda di valutazione comune resta equa quando entrambi vengono valutati con le stesse parole, la stessa scala e gli stessi pesi, si confrontano situazioni simili e a ciascuno si addebitano solo le proprie righe.
Regola 1: una sola definizione per ogni criterio comune
Scriva ogni criterio comune una volta sola, con parole che non presuppongano una persona o un bot.
“L’operatore ha dimostrato di conoscere il prodotto” presuppone una persona. “Ogni fatto della risposta è giusto per il caso di questo cliente” funziona per entrambi. La nostra guida su come scrivere una rubrica di QA che un’AI può valutare (in inglese) mostra come formulare i criteri in modo che si possano verificare sulla trascrizione.
Regola 2: una sola scala
Valuti il nucleo comune sulla stessa scala per entrambi, che sia superato o non superato per criterio oppure un punteggio per criterio. Mescolare una scala da 1 a 5 per le persone con superato o non superato per il bot fa sembrare confrontabili totali che non lo sono.
Regola 3: un solo insieme di pesi sul nucleo
Dia a ogni criterio comune lo stesso peso per entrambi. Se pesa di più il tono per le persone, il totale degli operatori sale per ragioni che non hanno nulla a che fare con il cliente. Il nostro articolo su come pesare i criteri della scheda di valutazione spiega come fissare i pesi in base ai risultati, non all’abitudine.
Regola 4: confrontare sul nucleo, per argomento
Confronti persone e bot solo sul nucleo comune, argomento per argomento. L’esempio pratico qui sotto mostra perché una media complessiva trae in inganno.
Regola 5: ogni riga non superata appartiene a chi l’ha scritta
Un errore del bot non finisce mai nel punteggio di un operatore. Se l’agente AI ha promesso un rimborso e l’operatore ha dovuto ritirarlo, il criterio “policy rispettata” non superato appartiene alla conversazione del bot, e l’operatore viene valutato su come ha gestito il ritiro.
Regola 6: valutare il passaggio di consegne come un trasferimento
Il criterio sul passaggio di consegne sta nel nucleo comune perché entrambe le parti possono non superarlo: il bot non trasmettendo alcun contesto, la persona non leggendolo. Valuti ciascuna parte sulla propria metà. La nostra guida sul passaggio tra agente AI e operatore copre entrambe le direzioni.
Regola 7: una sola calibrazione, un solo processo di modifica
Calibri i suoi revisori e il suo valutatore automatico su un insieme misto di conversazioni umane e dell’AI, così “risposta corretta” significa la stessa cosa per entrambi. Quando un criterio comune cambia, cambia per entrambi lo stesso giorno. In Kaizo, modificare la descrizione di un criterio vale per tutte le valutazioni future, e le sessioni di calibrazione mantengono i revisori allineati sui casi limite.
Come confrontare in modo equo operatori e agenti AI?
Confronti operatori e agenti AI sul nucleo comune, argomento per argomento, poi pesi entrambi con lo stesso mix di argomenti. Una media complessiva grezza misura soprattutto quali argomenti riceve ciascuno.
Il motivo è semplice: di solito il bot gestisce gli argomenti facili e le persone quelli difficili. Ecco un esempio pratico con numeri che abbiamo scelto per mostrare il calcolo, non dati di un cliente. I punteggi sono il punteggio del nucleo comune su 100:
| Argomento | Conversazioni dell’agente AI | Punteggio dell’agente AI | Conversazioni degli operatori | Punteggio degli operatori |
|---|---|---|---|---|
| Tracciamento ordini | 6.000 | 96 | 1.000 | 94 |
| Contestazioni di fatturazione | 1.000 | 70 | 4.000 | 82 |
| Media grezza | 7.000 | 92,3 | 5.000 | 84,4 |
Sulle medie grezze, il bot sembra migliore di 7,9 punti. Argomento per argomento, il bot è migliore di 2 punti sul tracciamento ordini e peggiore di 12 punti sulle contestazioni di fatturazione.
Per un confronto equo, pesi entrambi con lo stesso mix. Qui usiamo il mix combinato: 7.000 conversazioni sul tracciamento ordini e 5.000 sulla fatturazione, su 12.000.
| Punteggio corretto per il mix | Calcolo | Risultato |
|---|---|---|
| Agente AI | (7.000 x 96 + 5.000 x 70) / 12.000 | 85,2 |
| Team di operatori | (7.000 x 94 + 5.000 x 82) / 12.000 | 89,0 |
Con lo stesso mix, il team di operatori è migliore di 3,8 punti. La decisione che ne segue non è “il bot è migliore” o “il bot è peggiore”. È “lasciare il bot sul tracciamento ordini e tenere le contestazioni di fatturazione alle persone finché il punteggio del bot sulla fatturazione non migliora”. È il tipo di risposta che un nucleo comune rende possibile.
Altre due verifiche mantengono onesto il confronto. Confronti solo gli argomenti in cui entrambi hanno abbastanza conversazioni da dare un dato stabile, e lo segnali quando uno dei due non ne ha quasi nessuna. E guardi i blocchi dedicati accanto al punteggio: un bot con un punteggio alto sul nucleo che però non supera l’aderenza ai contenuti su un argomento ha comunque bisogno di una correzione.
Come riportare la qualità di operatori e agenti AI in una pagina
Prepari una pagina con il punteggio del nucleo comune per argomento per entrambi, i totali corretti per il mix e, accanto, i tassi di superamento dei blocchi dedicati. La direzione legge il confronto; i team leggono i propri blocchi.
| Sezione | Team di operatori | Agente AI |
|---|---|---|
| Nucleo comune, corretto per il mix | Punteggio e tendenza | Punteggio e tendenza |
| Nucleo comune per argomento | Punteggio per argomento | Punteggio per argomento |
| Blocco dedicato | Note sul caso, follow-up rispettato: tassi di superamento | Aderenza, ambito, escalation, incertezza: tassi di superamento |
| Passaggio di consegne | Ha ripreso il contesto | Ha trasmesso il contesto |
| Cause principali | Lacune di competenze, lacune di processo | Articoli, regole, impostazioni |
È nell’ultima riga che i due divergono. Gli errori di una persona di solito indicano coaching o un processo; quelli di un bot di solito indicano un articolo o un’impostazione.
Il nostro articolo su errore dell’operatore o errore di processo (in inglese) mostra come distinguere i due prima di agire. In Kaizo, valutare le conversazioni umane e dell’AI con la stessa scheda di valutazione le permette di vedere le performance di entrambi una accanto all’altra.
Come costruire una scheda di valutazione unica per operatori e agenti AI
La costruisca in sei passi, partendo dalla scheda di valutazione che il suo team di operatori usa già. I primi tre passi richiedono una sessione di lavoro; il resto avviene mentre valuta.
Passo 1: dividere i criteri attuali in tre gruppi
Prenda la scheda di valutazione degli operatori e segni ogni criterio come comune, solo per operatori o non necessario. La maggior parte dei team scopre che risposta corretta, policy e passo successivo sono comuni, mentre saluto e frasi da copione sono solo per operatori o si possono eliminare.
Passo 2: riscrivere i criteri comuni con parole neutre
Riscriva ogni criterio comune in modo che non presupponga una persona o un bot, e che un revisore possa indicare la riga che lo supera o non lo supera.
Passo 3: aggiungere il blocco dell’agente AI
Aggiunga i quattro criteri del bot del modello: aderenza ai suoi contenuti, ambito, segnale di escalation e incertezza. Li mantenga come superato o non superato.
Passo 4: fissare pesi e scala del nucleo
Stabilisca una sola scala e un solo insieme di pesi per il nucleo comune, con un totale di 100, e li metta per iscritto dove entrambi i team possano vederli.
Passo 5: calibrare su conversazioni miste
Organizzi una sessione di calibrazione su un mix di conversazioni umane e dell’AI, e continui ad affinare le descrizioni dei criteri finché i revisori non concordano su entrambe.
Passo 6: valutare tutto e riportare per argomento
Valuti ogni conversazione, umana e dell’AI, con la scheda di valutazione, e riporti il nucleo comune per argomento con la correzione per il mix. AutoPilot di Kaizo valuta ogni conversazione rispetto ai suoi criteri quando viene risolta, su chiamate, chat ed email.
Lo veda in una demo dal vivo. Kaizo valuta il suo team e i suoi agenti AI con una sola scheda di valutazione, con le prove dietro ogni punteggio, e mostra entrambi uno accanto all’altro. Parliamone.
Domande frequenti
L’agente AI va tenuto a uno standard più alto degli operatori?
Sul nucleo comune, tenga entrambi allo stesso standard, altrimenti il confronto non significa nulla. Dove può essere più severo è nel blocco dell’agente AI e nelle conseguenze: un rimborso inventato può essere un fallimento automatico per il bot, e un solo errore critico può costargli un argomento, perché un bot ripete lo stesso errore in molte conversazioni.
Chi deve valutare le conversazioni degli operatori e dell’AI?
Lo stesso valutatore per entrambi, sul nucleo comune. Se le persone rivedono le conversazioni degli operatori e un valutatore automatico rivede il bot, le differenze tra i due valutatori appaiono come differenze tra operatori e bot. Valuti entrambi automaticamente sugli stessi criteri, e faccia controllare ogni mese ai revisori una parte mista di conversazioni di entrambi.
E se l’agente AI ottiene un punteggio più alto del suo team?
Verifichi prima il mix, perché di solito il bot gestisce gli argomenti più facili. Se ottiene ancora un punteggio più alto sullo stesso argomento dopo la correzione per il mix, è una notizia utile: potrebbe essere pronto per una parte maggiore di quell’argomento, e le sue risposte possono mostrare dove il processo o i contenuti del team di operatori vanno migliorati.
Quanti criteri deve avere una scheda di valutazione comune?
Tenga il nucleo comune intorno ai sei-otto criteri e ogni blocco dedicato tra due e quattro. Oltre questo numero i revisori smettono di valutare in modo coerente e il confronto diventa rumoroso. Se un criterio non viene mancato da mesi e non orienta alcuna decisione, lo elimini o lo trasformi in una verifica superato o non superato.
Una sola scheda può coprire chiamate, chat ed email?
Sì, se i criteri descrivono l’esito e non il canale. Una risposta corretta, una policy rispettata e un passo successivo chiaro significano la stessa cosa in una chiamata, in una chat o in un’email. Aggiunga verifiche specifiche per canale solo dove il canale cambia l’aspetto di una buona conversazione, come la verifica dell’identità nelle chiamate.
