Vai al contenuto

Best practice

Handoff da chatbot a operatore: metriche e scheda QA

Come misurare la qualità dell'handoff da chatbot a operatore: le metriche con le definizioni, una scheda per la decisione del bot e la presa in carico umana.

· Aggiornato · 17 min di lettura

Il QA dell’handoff da chatbot a operatore valuta il momento in cui una conversazione passa da un agente AI o da un chatbot a un operatore, o dall’operatore di nuovo all’AI. È il punto in cui l’assistenza ibrida si rompe più spesso, e i punteggi per singolo operatore non lo vedono, perché l’errore appartiene alla transizione. Lo si misura con poche metriche di handoff e una scheda di valutazione che giudica entrambi i lati.

In breve

  • Il passaggio dall’AI all’operatore e quello dall’operatore all’AI falliscono in modi diversi.
  • Dall’AI all’operatore, fallisce per un’escalation tardiva, un contesto perso, una richiesta di parlare con una persona ignorata o nessun motivo utilizzabile.
  • Dall’operatore all’AI, fallisce quando un caso non risolto torna all’automazione.
  • Tasso di contenimento e tempo medio di gestione non lo vedono. Misuri il tasso di handoff per intento, gli handoff tardivi, il contesto trasmesso, le domande ripetute e la risoluzione dopo l’handoff.
  • Valuti entrambi i lati del passaggio: la decisione del bot di passare la mano e la presa in carico dell’operatore.

Perché il passaggio è un punto di errore a sé

Quando valuta un operatore e valuta un agente AI, sta valutando due metà di una conversazione che sempre più spesso non è fatta di due metà. In un modello ibrido un cliente può iniziare con un agente AI (in inglese), passare a una persona tramite escalation e tornare all’automazione per un follow-up, tutto nella stessa conversazione. Ogni partecipante può ottenere un buon punteggio sul proprio tratto mentre la conversazione nel suo insieme è un’esperienza negativa, perché il danno è avvenuto nella transizione e non appartiene a nessuno dei due.

È questo il punto cieco. Una scheda di valutazione per operatore valuta ciò che ciascuna parte ha fatto con la conversazione mentre la gestiva. Non dice nulla di ciò che è successo nel momento in cui l’ha passata, che è proprio il punto in cui l’assistenza ibrida tende a rompersi. Il passaggio va valutato come un elemento a sé, ed è un passo della pratica più ampia del QA della customer journey, che valuta l’intero percorso del cliente tra bot e persone.

Che cosa va storto in un handoff da chatbot a operatore?

La maggior parte degli handoff da chatbot a operatore mal riusciti si riduce a pochi errori: il bot fa escalation troppo tardi, il contesto si perde e il cliente deve ripetersi, una richiesta di parlare con una persona viene ignorata, il cliente gira in tondo tra bot e coda, il trasferimento avviene a freddo, oppure la persona promessa non arriva mai.

Le autorità di vigilanza se ne sono accorte. Il rapporto sui chatbot nel credito al consumo del Consumer Financial Protection Bureau statunitense (giugno 2023, in inglese) descrive i “doom loop” che si creano quando un problema esce da ciò che il chatbot sa fare, cita un reclamo (“I am being sent in an endless loop with no way out”, cioè “mi rimandano in un circolo senza fine, senza via d’uscita”) e avverte che i chatbot che impediscono l’accesso a un’assistenza umana dal vivo possono portare a violazioni di legge.

ErroreChe cosa vive il clienteCome si presenta nella trascrizioneMetrica che lo intercetta
Escalation troppo tardivaDiversi giri della stessa risposta inutile prima che compaia una personaIl bot ripete o riformula la stessa risposta 3 o più volte, oppure il cliente chiede aiuto due volteTasso di handoff tardivi
Contesto perso“Mi dà il numero d’ordine?” dall’operatore, dopo averlo già dato al botL’operatore chiede qualcosa che è già nella conversazioneTasso di contesto trasmesso, tasso di domande ripetute
“Voglio parlare con un operatore” ignoratoIl bot risponde a un’altra domanda, o ripropone le FAQUna richiesta esplicita di una persona senza handoff in quel turnoTasso di richieste di operatore ignorate
Loop di handoffMandato in coda, poi di nuovo al bot, poi di nuovo in codaPiù di un handoff per lo stesso problema, oppure il bot riprende un caso non risoltoTasso di loop di handoff
Trasferimento a freddoSilenzio, poi un nome nuovo, senza sapere perché né quanto aspettareNessun messaggio che dica al cliente che una persona sta subentrando, perché e quandoTasso di trasferimenti a freddo, tempo fino all’operatore
Vicolo cieco“La sto mettendo in contatto con un operatore” fuori orario, poi nullaUn handoff senza risposta umana e senza alternativa offertaAbbandono durante l’handoff

Il vicolo cieco è quello silenzioso. La guida di Zendesk sui flussi di escalation per agenti AI (in inglese) mette un controllo di disponibilità prima di un’escalation in messaggistica, con l’email come alternativa fuori dall’orario di lavoro. Senza quel controllo, l’handoff promette una persona che non arriva mai.

Dall’AI all’operatore: cosa valutare quando l’agente passa la mano

Quando un agente AI passa la conversazione a una persona, valuti tre cose: la tempistica (ha passato la mano quando ha smesso di fare progressi), il contesto (l’operatore ha ricevuto la cronologia e la diagnosi) e il motivo (l’operatore può usarlo). Ogni modalità di errore merita un criterio a sé.

Tempistica: l’escalation è avvenuta al momento giusto

Troppo tardi è il caso più comune. Un agente che continua a provarci quando è chiaramente bloccato fa girare il cliente in tondo prima di passare all’operatore una persona già frustrata. Troppo presto spreca l’automazione e il tempo dell’operatore. Il criterio è se l’escalation è avvenuta nel punto in cui l’agente ha smesso di fare progressi, cosa che si vede nella trascrizione.

Contesto: l’operatore ha ricevuto ciò che gli serve

Il passaggio peggiore costringe il cliente a ricominciare da capo. Valuti se l’escalation ha portato con sé la cronologia, la diagnosi fatta fin lì e ciò che il cliente vuole davvero, così che l’operatore apra il caso già informato e non al buio. Un passaggio che perde il contesto trasforma una conversazione in due.

Motivo: l’escalation era comprensibile

Un’escalation etichettata solo come “passata a un operatore” non dice nulla all’operatore. Valuti se il motivo del passaggio è stato registrato in una forma che la persona che lo riceve può usare. È uno dei criteri di una scheda di valutazione per agenti AI, ma diventa visibile solo quando si legge la conversazione a cavallo della transizione.

Come si progetta un handoff da chatbot a operatore?

Progetti l’handoff intorno a otto regole: accogliere la richiesta di una persona alla prima domanda, fare escalation quando non ci sono progressi, mandare gli argomenti della lista rossa direttamente a un operatore, verificare la disponibilità, trasmettere un pacchetto di contesto, dire al cliente che cosa succede dopo, non rimandare mai indietro un caso non risolto e registrare il motivo.

  1. Accolga “voglio parlare con un operatore” alla prima richiesta. La documentazione di Intercom sulla guida all’escalation (in inglese) elenca tre segnali predefiniti per Fin: il cliente chiede chiaramente una persona, una forte frustrazione o rabbia, e un cliente bloccato in un loop ripetitivo. Le sue indicazioni e regole possono sovrascrivere questo comportamento predefinito, quindi verifichi di non averne disattivato uno.
  2. Faccia escalation quando non ci sono progressi. Scriva una regola verificabile in una trascrizione, come la stessa risposta data due volte.
  3. Tenga una lista rossa. Alcuni intenti vanno sempre a una persona: contestazioni, reclami legali, clienti vulnerabili, tutto ciò che esce dalle azioni che il bot può compiere da solo (una decisione sui livelli di autonomia).
  4. Verifichi la disponibilità. Fuori orario, offra una richiamata, un’email o un ticket e dica quando risponderà una persona.
  5. Trasmetta un pacchetto di contesto. Come minimo: un breve riepilogo, l’obiettivo del cliente, i tentativi già fatti, l’identità verificata e il motivo dell’handoff. La documentazione di Microsoft Copilot Studio sul passaggio a un operatore dal vivo (in inglese) indica che l’agente può condividere l’intera cronologia della conversazione e tutte le variabili rilevanti, più un messaggio privato facoltativo per l’operatore. Il suo QA verifica che sia arrivato e che sia stato utile.
  6. Lo renda caldo. Dica al cliente che una persona sta subentrando, perché e quanto durerà all’incirca l’attesa.
  7. Nessun rimbalzo. Il bot non riprende una conversazione che un operatore non ha risolto; un secondo handoff sullo stesso problema va a una coda senior.
  8. Registri il motivo come campo. “Richiesta di operatore”, “fuori perimetro”, “policy”, “frustrazione”, “azione fallita”. Senza questo campo non può calcolare il tasso di handoff per motivo.

Come si misura la qualità dell’handoff dall’AI all’operatore?

Misuri la qualità dell’handoff dall’AI all’operatore per intento: tasso di handoff, handoff tardivi, richieste di operatore ignorate, contesto trasmesso, domande ripetute dopo l’handoff, tempo fino all’operatore, loop di handoff e risoluzione dopo l’handoff. Le metriche di volume vengono dal suo helpdesk; quelle di qualità richiedono la valutazione della trascrizione.

Le soglie qui sotto sono punti di partenza da adattare ai suoi dati, non benchmark di settore.

MetricaDefinizioneFonte dei datiSoglia di allerta iniziale
Tasso di handoff per intentoHandoff a un operatore ÷ conversazioni con l’AI, per intentoEvento di handoff nell’helpdesk più tag di intentoVaria di più di 5 punti da una settimana all’altra su un intento
Tasso di handoff tardiviHandoff arrivati dopo il punto di escalation (il cliente ha chiesto due volte, o il bot si è ripetuto 3 o più volte) ÷ tutti gli handoffValutazione della trascrizioneOltre il 10%
Tasso di richieste di operatore ignorateRichieste esplicite di una persona non accolte alla prima domanda ÷ richieste espliciteValutazione della trascrizioneOltre il 2%
Tasso di contesto trasmessoHandoff in cui riepilogo, obiettivo, tentativi fatti e identità verificata sono arrivati all’operatore ÷ handoffContenuto dell’handoff o campi del ticket, verificati nella trascrizioneSotto il 90%
Tasso di domande ripetute dopo l’handoffHandoff in cui l’operatore ha chiesto informazioni già date ÷ handoffValutazione della trascrizioneOltre il 10%
Tasso di trasferimenti a freddoHandoff senza un messaggio che dica al cliente chi subentra e quando ÷ handoffValutazione della trascrizioneOltre il 5%
Tempo fino all’operatoreTempo dall’handoff alla prima risposta umana, come mediana e 90° percentileMarcature temporali dell’helpdesk90° percentile oltre il suo livello di servizio in chat
Abbandono durante l’handoffClienti che se ne vanno prima della prima risposta umana ÷ handoffMarcature temporali dell’helpdeskIn crescita per 2 settimane
Tasso di loop di handoffConversazioni con più di un handoff per lo stesso problema, o un ritorno al bot senza risoluzione ÷ handoffRegistro delle conversazioni più valutazioneOltre il 3%
Risoluzione dopo l’handoffHandoff risolti senza ricontatto sullo stesso problema entro 7 giorni ÷ handoffHelpdesk più storico dei contattiIn calo per 2 settimane

Due di queste metriche separano nettamente le responsabilità. Quando il contesto non è arrivato, la correzione riguarda il bot o l’integrazione. Quando il contesto è arrivato e l’operatore ha chiesto lo stesso, la correzione è il coaching (veda coaching delle persone e correzione degli agenti AI). Per dashboard e avvisi, veda il monitoraggio degli agenti AI; per l’insieme più ampio di metriche, le metriche dell’AI nel customer care.

La scheda di valutazione dell’handoff: criteri per il bot e per l’operatore

Valuti un handoff su due blocchi: la decisione del bot (segnale, tempistica, richiesta accolta, pacchetto di contesto, cliente informato, disponibilità) e la presa in carico dell’operatore (ha letto prima di rispondere, nessuna domanda ripetuta, presa in carico in tempo, gestione fino alla risoluzione). Ogni criterio è superato o fallito, con prove che un secondo revisore può indicare nella trascrizione. La copi nella sua scheda come sezione che si applica solo alle conversazioni con un handoff.

LatoCriterioSuperatoEsempio di erroreFonte dei dati
BotSegnale giustoHa fatto escalation su una regola scritta (richiesta, nessun progresso, intento della lista rossa) e non è mai rimasto al bot quando una regola era soddisfattaHa tenuto una contestazione della lista rossa, oppure ha passato una domanda di routine sullo stato dell’ordine a cui poteva rispondereTrascrizione più campo del motivo dell’handoff
BotMomento giustoHa passato la mano al primo punto in cui la regola era soddisfattaIl cliente ha chiesto aiuto due volte e ha ricevuto lo stesso articolo tre volteTrascrizione
BotRichiesta accolta“Voglio parlare con un operatore” accolto alla prima richiesta“Posso aiutarla io!” seguito di nuovo dalle FAQTrascrizione
BotPacchetto di contestoRiepilogo, obiettivo, tentativi fatti, identità verificata e motivo sono arrivati all’operatoreIl ticket mostra solo “passato a un operatore”Campi del ticket o contenuto dell’handoff
BotCliente informatoIl cliente sapeva che una persona stava subentrando, perché e l’attesa previstaSilenzio per 9 minuti, poi “Buongiorno, come posso aiutarla?”Trascrizione
BotDisponibilità verificataHandoff dal vivo solo quando qualcuno è online, altrimenti un’alternativa con un tempo di risposta“La metto subito in contatto” alle 2 di notte, senza risposta fino al mattinoTrascrizione più marcature temporali
OperatoreHa letto prima di rispondereLa prima risposta si riferisce a ciò che il cliente ha già detto“Buongiorno, qual è il problema?”Trascrizione
OperatoreNessuna domanda ripetutaNessuna richiesta di informazioni già presenti nella conversazioneChiede il numero d’ordine che il bot aveva già verificatoTrascrizione
OperatorePresa in carico in tempoPrima risposta umana entro il suo livello di servizio in chatIl cliente ha aspettato oltre l’obiettivo e se n’è andatoMarcature temporali dell’helpdesk
OperatoreSe n’è fatto caricoHa risolto, o ha fissato un passo successivo chiaro, senza rimandarlo al bot irrisoltoChiuso con “l’assistente può aiutarla con il resto”Trascrizione più storico dei contatti
OperatoreHa segnalato un handoff difettosoHa etichettato l’handoff quando il contesto mancava o era sbagliatoHa aggirato un riepilogo sbagliato senza dirlo a nessunoTag del ticket

Due regole di valutazione mantengono la scheda onesta. Tratti “richiesta accolta” e “se n’è fatto carico” (nessun rimbalzo) come criteri di errore bloccante: un cliente che ha chiesto una persona e non l’ha avuta è una conversazione fallita, per quanto cortese sia stato il bot. E attribuisca ogni criterio fallito al suo lato, così che il blocco del bot alimenti il responsabile dell’agente AI e il blocco dell’operatore alimenti il coaching. Per il ticket in escalation una volta che lo gestisce una persona, veda come valutare un ticket in escalation.

Un esempio pratico: che cosa mostrano le metriche di handoff che i campioni non vedono

Illustrazione: i numeri sono inventati per mostrare il calcolo. Un team gestisce 20.000 conversazioni con l’agente AI al mese; 3.000 finiscono con un handoff, un tasso di handoff del 15%. Valuta ogni handoff con la scheda qui sopra.

  • Handoff tardivi: 480 su 3.000, cioè il 16%, soprattutto su rimborsi e contestazioni sulle consegne.
  • Contesto trasmesso: 2.550 su 3.000, cioè l’85%. 450 handoff sono arrivati all’operatore senza il riepilogo.
  • Domande ripetute: 690 handoff, cioè il 23%: 400 in cui il contesto non è mai arrivato, 290 in cui è arrivato e l’operatore ha chiesto lo stesso.
  • Richieste ignorate: 900 clienti hanno chiesto una persona; 90 di loro, cioè il 10%, non hanno avuto l’handoff alla prima richiesta.
  • Risoluzione dopo l’handoff: 2.340 su 3.000, cioè il 78%, senza ricontatto entro 7 giorni.

La suddivisione dice al team dove intervenire. Le 400 domande ripetute senza contesto sono una correzione dell’integrazione. Le 290 con il contesto presente sono un tema di coaching. Le 90 richieste ignorate vanno al responsabile delle regole di escalation del bot, questa settimana.

Ora confronti un campione casuale del 2%: 400 conversazioni, circa 60 con un handoff (15%), all’incirca 10 handoff tardivi e circa 2 richieste ignorate (90 su 20.000 è lo 0,45%; lo 0,45% di 400 è 1,8). Due casi si leggono come un aneddoto. Novanta, raggruppati per intento, si leggono come una regola che non funziona.

Lo veda sulle sue conversazioni. Kaizo valuta il 100% delle sue conversazioni di assistenza e trasforma quanto emerge in coaching. Prenoti una demo.

Dall’operatore all’AI: la direzione che nessuno valuta

Un handoff dall’operatore all’AI fallisce quando una persona restituisce un caso all’automazione prima che sia risolto, delega un’attività che l’AI non riesce a riprendere o avvia un follow-up che contraddice ciò che l’operatore ha appena fatto. Il passaggio inverso è più recente, meno esaminato e facile da non notare.

Passaggio dall’operatore all’AICome si presenta quando funzionaL’errore da valutare
Restituire un caso all’automazione per il follow-upL’AI ha la soluzione e il passo successivo è davvero di routineL’operatore restituisce un caso non risolto per svuotare la propria coda
Delegare un’attività a metà conversazioneL’AI può completare l’attività specifica e restituire la conversazione in modo pulitoL’AI non riesce a riprendere il filo e il cliente perde la continuità
Follow-up automatico dopo la risoluzioneIl follow-up corrisponde a ciò che è stato davvero risoltoL’automazione contraddice o dimentica ciò che l’operatore ha appena fatto

Quando anche gli agenti AI si passano le conversazioni tra loro, gli stessi punti di passaggio si moltiplicano; la nostra guida all’orchestrazione degli agenti AI tratta i passaggi da agente ad agente.

Come valutare un passaggio nella pratica

Per valutare un handoff nella pratica, valuti l’intera conversazione a cavallo della transizione, copra ogni handoff invece di un campione e attribuisca ogni errore al lato che lo ha causato. L’unità di valutazione è la conversazione a cavallo della transizione, non il tratto da una parte o dall’altra.

Valuti l’intera conversazione

Valuti la continuità a cavallo della transizione: il contesto è sopravvissuto, il cliente ha evitato di ripetersi, la seconda parte ha ripreso da dove si era fermata la prima. È impossibile se il suo QA guarda la parte dell’AI e la parte dell’operatore come record separati, che è il modo in cui la maggior parte degli strumenti li archivia.

Copra ogni passaggio, perché sono rari per coppia ma frequenti nel complesso

Una singola coppia di agente e operatore può passarsi conversazioni di rado, quindi un campione per operatore lascia fuori i passaggi quasi per definizione. Sull’intera operatività, invece, sono ovunque. Valutare il 100% delle conversazioni (in inglese) è ciò che rende visibili gli errori di passaggio come uno schema ricorrente e non come il reclamo occasionale. In UiPath, Kaizo ha automatizzato il 100% del QA con un ROI del 200% e un aumento dell’8% del punteggio di qualità.

Attribuisca ogni errore a un solo lato

La colpa è dell’AI, che ha fatto un’escalation sbagliata, o dell’operatore, che ha restituito un caso in disordine? Valuti il blocco del bot e il blocco dell’operatore come criteri separati, e colleghi ogni rilievo ai turni esatti in cui la continuità si è interrotta, così da correggere la regola di instradamento, il pacchetto di contesto o il tema di coaching. Il flusso completo è in controllo qualità degli agenti AI e dei chatbot.

Quando la valutazione degli handoff non fa per lei

Rinunci a una scheda dedicata agli handoff quando il suo bot passa a un operatore qualche decina di conversazioni al mese: in quel caso le legga tutte a mano. È prematura anche quando il bot non ha regole di escalation scritte, perché “segnale giusto” e “momento giusto” richiedono una regola rispetto a cui valutare, oppure quando l’handoff è un link a un modulo di contatto: non c’è alcun punto di passaggio finché il bot e l’operatore non condividono una conversazione.

Come iniziare a misurare la qualità degli handoff questa settimana

Inizi con un passaggio manuale: conti gli handoff del mese scorso per intento, ne legga 30 dall’inizio alla fine, etichetti ciascuno con la scheda qui sopra e divida le domande ripetute per causa. Poche ore le danno una base di riferimento prima di automatizzare qualsiasi cosa.

  1. Estragga gli handoff del mese scorso dal suo helpdesk e li conti per intento.
  2. Legga 30 conversazioni con handoff dall’inizio alla fine ed etichetti ciascuna con la scheda qui sopra.
  3. Divida le domande ripetute in “contesto mancante” e “contesto presente”. Mandi il primo elenco al responsabile del bot e il secondo ai suoi team leader.
  4. Metta per iscritto le sue regole di escalation e aggiunga un campo per il motivo dell’handoff.

Quando il passaggio manuale conferma lo schema, lo automatizzi. Il controllo qualità degli agenti AI di Kaizo valuta le conversazioni degli agenti AI con la stessa scheda di valutazione del suo team e verifica l’handoff come criteri di quella scheda: l’agente AI ha fatto escalation sul segnale giusto, ha trasmesso il contesto, e l’operatore lo ha preso in carico? AutoPilot valuta ogni conversazione nel momento in cui si risolve. Per valutare l’intero percorso, veda il QA della customer journey.

Domande frequenti

Che cos’è il QA del passaggio tra AI e operatore?

È la valutazione del momento in cui una conversazione passa tra un agente AI e un operatore, in entrambe le direzioni. Tratta la transizione come un’unità di valutazione a sé, perché un passaggio può fallire (contesto perso, escalation tardiva, un caso non risolto restituito) anche quando sia l’operatore sia l’AI ottengono un buon punteggio sui propri tratti.

Cosa dobbiamo valutare in un’escalation dall’AI all’operatore?

Tre cose: la tempistica (l’escalation è avvenuta nel punto in cui l’agente ha smesso di fare progressi, non troppo tardi né troppo presto), il contesto (l’operatore ha ricevuto la cronologia e la diagnosi, così che il cliente non debba ricominciare da capo) e il motivo (l’escalation è stata registrata in una forma che la persona che la riceve può usare).

Cosa va storto nel passaggio dall’operatore all’AI?

Gli errori principali sono un operatore che restituisce all’automazione un caso non risolto per svuotare la propria coda, la delega a un’AI che non riesce a riprendere il filo e quindi interrompe la continuità, e follow-up automatici dopo la risoluzione che contraddicono o dimenticano ciò che l’operatore ha appena fatto. Questa direzione è più recente e viene valutata di rado.

Perché i punteggi QA per operatore non vedono i problemi di passaggio?

Perché l’errore vive tra i record. Una scheda di valutazione per operatore valuta ciò che ciascuna parte ha fatto mentre gestiva la conversazione, non ciò che è successo nella transizione. Valutare il passaggio richiede di leggere l’intera conversazione a cavallo della transizione, ed è per questo che la conversazione va archiviata e valutata come un’unica unità e non come due.

Qual è la differenza tra un handoff caldo e un handoff a freddo?

In un handoff caldo il cliente viene informato che una persona sta subentrando, del perché e di quanto durerà l’attesa, e l’operatore riceve un riepilogo prima di rispondere. In un handoff a freddo la conversazione finisce in una coda: il cliente aspetta senza sapere che cosa succede, e l’operatore parte da zero.

Qual è un buon tasso di handoff da chatbot a operatore?

Non esiste un unico tasso buono, perché dipende dall’intento: il 40% può essere giusto per le contestazioni di fatturazione e allarmante per il reset della password. Misuri il tasso per intento, osservi le variazioni e lo giudichi insieme agli handoff tardivi e alla risoluzione dopo l’handoff.

Termini correlati

In questa pagina

Letture correlate

Lo veda in una demo dal vivo

Le presenteremo Kaizo con conversazioni di esempio realistiche, così vedrà l'esempio valutato, spiegato e trasformato in coaching.

Scelto da team di assistenza clienti in tutto il mondo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath