Vai al contenuto

Best practice

Coaching delle persone o correzione degli agenti AI

Se persone e agenti AI condividono la coda, li valuti con un unico standard ma li corregga diversamente: coaching per le persone, modifiche testate per l'AI.

· 17 min di lettura

Quando persone e agenti AI condividono la coda dell’assistenza, li valuti con un unico standard di qualità, poi li corregga in modo diverso. Le persone migliorano con coaching, esercizio e feedback. Gli agenti AI migliorano con correzioni alla knowledge base, modifiche a policy e istruzioni, permessi degli strumenti più stretti e un test di regressione che dimostra la correzione. Stessa scheda di valutazione, due percorsi di correzione, un solo ciclo settimanale.

In breve

  • Valuti operatori e agenti AI sugli stessi criteri di base (esito, accuratezza, policy, tono, passaggio a una persona), così i risultati sono confrontabili e il cliente riceve un unico standard.
  • Aggiunga un piccolo blocco di verifiche per ciascun tipo: grounding e ambito per l’agente AI, note sul caso e follow-up per le persone.
  • L’errore di una persona riguarda di solito una persona in un giorno; l’errore di un agente AI si ripete in ogni conversazione che incontra la stessa configurazione, quindi la correzione va nella configurazione, non in una conversazione.
  • Confronti i due solo motivo di contatto per motivo di contatto e sullo stesso mix di motivi, altrimenti l’agente AI sembra migliore solo perché riceve il lavoro facile.
  • Ogni correzione ha un responsabile nominativo e una verifica: le successive conversazioni valutate della persona, oppure la serie di regressione dell’agente AI e i punteggi reali della settimana dopo.

Come costruire la scheda condivisa è spiegato in un’unica scheda di valutazione per operatori e agenti AI, e come condurre una sessione di coaching in che cos’è il coaching degli operatori. Questa guida tratta ciò che succede dopo che emerge un errore.

Perché persone e agenti AI dovrebbero condividere un unico standard di qualità?

Persone e agenti AI dovrebbero condividere un unico standard di qualità perché il cliente vive un unico servizio: un importo di rimborso sbagliato fa lo stesso danno che lo dia una persona o un bot. Uno standard condiviso le permette anche di decidere quali motivi di contatto tiene l’agente AI sulla base delle prove, invece che dei tassi di contenimento.

Senza di esso, l’agente AI riceve una prova più morbida (il contenimento conta come successo il fatto che il cliente non sia arrivato a una persona, non che la risposta fosse giusta), le persone vengono incolpate per passaggi tardivi e senza contesto, e nessuno sa decidere se il bot debba continuare a gestire le richieste di garanzia.

Gli helpdesk ora lo offrono come funzionalità. Kustomer descrive un’unica scheda di valutazione ponderata in cui “la stessa scheda valuta ogni conversazione, agente AI e operatore allo stesso modo” (Kustomer, in inglese). La scheda è la parte facile; la parte difficile è che cosa fare con un criterio non superato.

Quali criteri della scheda valgono per entrambi, e quali per uno solo?

Esito, accuratezza, policy, verifica dell’identità, tono e passaggio a una persona valgono per entrambi, con la stessa formulazione e lo stesso peso. Il grounding sui suoi contenuti, il rispetto dell’ambito e l’ammissione dell’incertezza vanno in un blocco per l’agente AI. Note sul caso e promesse mantenute vanno in un blocco per le persone. Valuti il nucleo condiviso per il confronto e riporti i blocchi accanto.

CriterioPersoneAgente AIPerché
Problema risolto o passo successivo chiaroSìSìL’esito per il cliente è lo stesso lavoro
Ogni fatto correttoSìSìUn fatto sbagliato costa lo stesso in entrambi i casi
Policy rispettata (rimborsi, crediti, eccezioni)SìSìLa policy non cambia con chi gestisce il caso
Identità verificata prima dei dati dell’accountSìSìStesso rischio, stessa regola
Tono adatto al cliente e al brandSìSìStessa voce del brand
Il passaggio trasmette il contestoSìSìEntrambi passano casi, entrambi li ricevono
Risposta basata sui contenuti pubblicatiNoSìLe persone usano il giudizio; un modello può inventare
Resta entro motivi di contatto e azioni consentitiNoSìPer il bot l’ambito è un’impostazione
Dice “non lo so” invece di tirare a indovinareRaramenteSìTirare a indovinare è l’errore tipico dell’agente AI
Le note sul caso permettono alla persona successiva di continuareSìNoPer l’agente AI ci pensa il contenuto del passaggio
Il follow-up promesso è avvenutoSìNoDi solito solo le persone promettono di richiamare

Alcuni criteri pensati per le persone non hanno senso per un bot (aderenza ai turni, lavoro dopo il contatto); la nostra scorecard per agenti AI elenca che cosa togliere e che cosa aggiungere. La regola che conta: un criterio condiviso ha una sola definizione. Se “policy rispettata” significa qualcosa di più permissivo per l’agente AI, il confronto non vale più.

Perché lo stesso errore richiede due correzioni diverse?

Perché la causa sta in punti diversi. Una persona che sbaglia una regola di rimborso ha una lacuna di conoscenza, competenza o abitudine, e il coaching la colma. Un agente AI che la sbaglia funziona con una configurazione che produce l’errore (contenuti, istruzioni, strumenti o smistamento), e solo cambiare la configurazione lo corregge.

OperatoreAgente AI
Come si diffonde un erroreUna persona, a volteOgni conversazione che incontra la stessa configurazione
Dove sta la causaConoscenza, competenza, giudizio, carico di lavoroFonte di conoscenza, istruzioni, regole di policy, permessi degli strumenti, smistamento
Come miglioraFeedback, esercizio, un esempio da imitare, tempoUna modifica alla configurazione, testata prima del rilascio
Come una correzione può ritorcersi controRaramente; una competenza acquisita con il coaching restaSpesso; una nuova istruzione può rompere tre motivi di contatto che prima passavano

L’ultima riga spiega perché le correzioni degli agenti AI richiedono un test di regressione: un’istruzione o un articolo modificato può correggere un caso e rompere casi che prima passavano. La guida di Anthropic sulle valutazioni degli agenti dice che le valutazioni di regressione “dovrebbero avere un tasso di superamento vicino al 100%” e che, per avviare una serie di valutazioni, “da 20 a 50 compiti semplici tratti da errori reali sono un ottimo inizio” (Anthropic, in inglese). Per un team di assistenza, quei compiti vengono dalle sue conversazioni valutate.

Le persone, invece, imparano da ciò che funziona per gli altri. Uno studio su 5.179 operatori dell’assistenza clienti ha rilevato che un assistente AI ha aumentato i problemi risolti per ora del 14% in media e del 34% per gli operatori alle prime armi e meno esperti, con indizi che abbia diffuso le pratiche degli operatori migliori (Brynjolfsson, Li e Raymond, NBER, in inglese). Il coaching con la conversazione migliore di un collega usa lo stesso meccanismo.

Una causa condivisa è facile da non vedere: persone e agenti AI leggono spesso le stesse pagine del centro assistenza e delle policy. Quando entrambi falliscono sullo stesso motivo di contatto, la correzione di solito è un articolo o una policy. La nostra guida sul perché le conversazioni AI falliscono ricostruisce queste cause radice.

Lo stesso errore, due correzioni (copi questa tabella)

Questa tabella collega un criterio non superato alla correzione per una persona, alla correzione per un agente AI e al modo di dimostrare che ciascuna ha funzionato. La usi come scheda di smistamento nella sua revisione settimanale; la colonna della verifica trasforma una correzione in un punto chiuso invece che in una speranza.

Errore visto sulla schedaCorrezione per la personaCorrezione per l’agente AICome verificare
Fatto sbagliato (finestra di rimborso indicata in 60 giorni, la policy dice 30)Mostrare la policy e la conversazione; due casi di esercizio sullo stesso motivo di contatto; correggere la macro se è sbagliataCorreggere o ritirare l’articolo superato letto dall’agente; eliminare le versioni contraddittoriePersona: accuratezza sulle successive 20 conversazioni valutate di quel motivo. AI: la conversazione fallita diventa un caso di test, l’intera serie passa, accuratezza reale sul motivo la settimana dopo
Violazione della policy (credito di cortesia oltre il limite approvato)Coaching sul limite e sul percorso di approvazione; un passaggio di approvazione del responsabile per le eccezioniFissare il tetto all’importo nello strumento di rimborso, non solo nelle istruzioni; riformulare la regola della policyPersona: nessuna violazione in 4 settimane. AI: un caso di test che spinge per un credito più alto fallisce in modo sicuro; i log dello strumento non mostrano nulla oltre il tetto
Escalation mancata o tardiva (una minaccia legale rimasta al bot)Role play sulle condizioni di escalation; aggiungerle alla checklistAggiungere la condizione alle regole di escalation; indirizzare il motivo di contatto alle persone se la condizione scattaPersona: il criterio di escalation passa sui casi segnalati. AI: i casi di test con ogni frase che fa scattare la condizione passano a una persona alla prima menzione
Passaggio senza contesto (il cliente ripete la storia)Modello per le note sul caso; rivedere insieme un passaggioAggiungere numero d’ordine, motivo di contatto e passi già tentati alla sintesi del passaggioL’operatore che riceve non chiede di nuovo, valutato sui 20 passaggi successivi
Tono freddo con un cliente arrabbiatoAscoltare un buon esempio di un collega; esercitarsi a riconoscere prima il problemaAggiungere istruzioni sul tono e due risposte di esempio per il sentiment negativoTasso di superamento del tono sulle conversazioni con sentiment negativo, prima e dopo
Chiusa ma non risoltaAbitudine di confermare prima di chiudere; rivedere i casi riapertiDefinire nelle istruzioni che cosa significa “risolto” per ogni motivo di contatto; smettere di chiudere con un saluto genericoTasso di riapertura entro 7 giorni su quel motivo, più il criterio di risoluzione
Dati dell’account condivisi prima della verifica dell’identità (errore bloccante)Colloquio individuale in giornata; ripasso di complianceFare in modo che lo strumento di ricerca dell’account richieda un contrassegno di verifica, applicato nell’integrazione, non nel promptPersona: zero ripetizioni. AI: i casi di test avversariali non raggiungono i dati dell’account; zero casi reali
Ha tirato a indovinare una risposta che non sapevaRendere accettabile “verifico e la ricontatto”; mostrare dove cercareIstruire e testare la risposta di riserva; registrare la domanda come lacuna nella knowledge baseLe domande di test senza risposta nella knowledge base ricevono la risposta di riserva; la lacuna viene colmata

Spiccano due schemi. Le correzioni dell’agente AI si appoggiano a limiti rigidi (un tetto nello strumento, un contrassegno obbligatorio) ovunque un errore costi caro, come consiglia la guida di OWASP sull’autonomia eccessiva: funzioni e permessi minimi, e “richiedere che una persona approvi le azioni ad alto impatto prima che vengano eseguite” (OWASP, in inglese); la nostra guida sui guardrail per agenti AI spiega quali limiti vanno nel codice. E le correzioni per le persone sono piccole: un motivo di contatto, un esempio, un caso di esercizio. Una sessione che copre dieci criteri insieme non ne cambia nessuno.

Veda entrambi su un’unica scheda. Kaizo valuta le conversazioni degli agenti AI con la stessa scheda del suo team e collega ogni punteggio alle righe che lo motivano, così ogni errore diventa un esempio che qualcuno può correggere. Prenoti una demo.

Come si confrontano in modo equo i risultati di persone e agenti AI?

Confronti i risultati di persone e agenti AI motivo di contatto per motivo di contatto sul nucleo condiviso, poi ponderi entrambi sullo stesso mix di motivi. Una media grezza mostra soprattutto chi ha ricevuto il lavoro facile. Confronti solo i motivi in cui entrambi hanno gestito abbastanza conversazioni, e attribuisca un passaggio fallito alla parte da cui è partito l’errore.

Ecco un’illustrazione con numeri inventati per mostrare il calcolo, non dati di clienti. Il criterio è “policy rispettata”, come tasso di superamento:

Motivo di contattoConversazioni dell’agente AITasso di superamento dell’agente AIConversazioni delle personeTasso di superamento delle persone
Resi4.00097%50095%
Richieste di garanzia50080%2.00092%
Totale grezzo4.50095,1%2.50092,6%

I totali grezzi dicono che l’agente AI è migliore di 2,5 punti. Ora ponderi entrambi sul mix combinato, 4.500 resi e 2.500 richieste di garanzia su 7.000:

Tasso di superamento ponderato sul mixCalcoloRisultato
Agente AI(4.500 x 97 + 2.500 x 80) / 7.00090,9%
Team di operatori(4.500 x 95 + 2.500 x 92) / 7.00093,9%

Sullo stesso mix, il team di operatori è migliore di 3,0 punti. La lettura utile è per motivo di contatto, e indica una correzione, non un verdetto: l’agente AI va bene sui resi ma sbaglia una richiesta di garanzia su cinque, quindi la garanzia entra nel ciclo settimanale. L’articolo è chiaro, l’agente ha la data di acquisto, il motivo dovrebbe andare alle persone finché non passa?

Altre tre regole mantengono il confronto onesto:

  1. Volume minimo. Sotto circa 50 conversazioni valutate su uno dei due lati nel periodo, riporti “dati insufficienti” (il nostro punto di partenza suggerito, non una legge statistica).
  2. Attribuzione dei passaggi. Quando una conversazione passa dall’agente AI a una persona, etichetti il lato in cui si è verificato il primo criterio non superato, altrimenti le persone assorbono gli errori del bot. Il QA della customer journey spiega come valutare un caso che passa per più mani.
  3. Stesso valutatore. Valuti entrambi i lati allo stesso modo. Un team valutato da persone contro un bot valutato in automatico sono di nuovo due standard.

Chi è responsabile di ogni correzione?

Ogni correzione ha bisogno di un responsabile nominativo: i team leader per le lacune di competenza delle persone, il responsabile dell’agente AI (spesso un conversation designer o un responsabile delle CX operations) per istruzioni e impostazioni degli strumenti, il knowledge manager per gli articoli che leggono entrambi, il responsabile della policy per la regola stessa e il QA lead per la scheda di valutazione.

Causa trovataResponsabileServe l’approvazione diSi applica a
Competenza o abitudine di una personaTeam leaderNessunoPersone
Lo stesso errore in più personeTeam leader più responsabile del processo o della knowledge baseSupport managerPersone (e spesso AI)
Articolo sbagliato, mancante o contraddittorioKnowledge managerResponsabile della policy se la regola cambiaEntrambi
Policy poco chiara o contraddittoriaResponsabile della policy (finanza, ufficio legale, CX)Head of CXEntrambi
Istruzioni o prompt dell’agente AIResponsabile dell’agente AIIl QA lead approva l’esecuzione della regressioneAgente AI
Permessi e limiti degli strumentiResponsabile dell’agente AIIT o sicurezzaAgente AI
Regole di escalation e smistamentoCX operationsHead of CXEntrambi
Un criterio che valuta la cosa sbagliataQA leadGruppo di calibrazioneEntrambi

La colonna delle approvazioni conta soprattutto per le modifiche all’agente AI: una modifica al prompt raggiunge ogni conversazione il minuto dopo, quindi richiede la stessa disciplina di rilascio di una modifica alla policy (la gestione delle policy per gli agenti AI spiega chi approva quale regola). L’AI Risk Management Framework del NIST si basa su quattro funzioni, govern, map, measure e manage (NIST, in inglese); questa tabella è la versione di govern per un team di assistenza.

Come funziona il ciclo di miglioramento settimanale?

Un solo ritmo per entrambi i lati: raccolga gli errori della settimana per criterio e motivo di contatto, decida se ognuno riguarda una persona, un processo o la configurazione dell’agente AI, assegni il responsabile, corregga e verifichi le correzioni della settimana precedente. Le persone ricevono il coaching entro pochi giorni; le modifiche all’agente AI vengono rilasciate solo dopo che la loro serie di regressione è passata.

GiornoPassoLato personeLato agente AI
LunedìRaccogliere gli erroriCriteri non superati per persona e motivo di contattoCriteri non superati per motivo di contatto, con le conversazioni
LunedìSmistamentoUna persona o molte?Configurazione, knowledge base o policy?
MartedìAssegnazioneScheda di coaching per persona, uno o due criteri ciascunaUn ticket per schema, con le conversazioni fallite allegate
Da martedì a mercoledìCorrezioneColloqui individuali di 15 minuti, casi di esercizio, esempi di colleghiModifica fatta; conversazioni fallite aggiunte come casi di test; intera serie di regressione eseguita
GiovedìRilascioNon serveRilascio solo se la verifica passa; registrare la modifica e la data
Lunedì successivoVerificaStesso criterio, stessa persona, ultimi 7 giorniStesso criterio, stesso motivo di contatto, ultimi 7 giorni

Lo smistamento ha bisogno di una regola decisionale. La nostra:

  • Una persona sbaglia, gli altri sullo stesso motivo di contatto passano: coaching alla persona.
  • Tre o più persone sbagliano lo stesso criterio sullo stesso motivo di contatto: smetta di fare coaching e guardi l’articolo, la macro o il processo. Fare coaching a dieci persone per aggirare un articolo sbagliato è la correzione più costosa che esista.
  • L’agente AI sbaglia e le persone passano: corregga la configurazione dell’agente AI.
  • Entrambi sbagliano sullo stesso motivo di contatto: corregga una volta la fonte condivisa (l’articolo o la policy) e verifichi entrambi i lati la settimana dopo.

Il coaching redatto con l’AI fa risparmiare la ricerca degli esempi se un responsabile rivede ogni scheda (il coaching con l’IA per gli operatori ha la checklist); la disciplina dei test sul lato AI è nei test degli agenti AI.

Come si dimostra che una correzione ha funzionato, per una persona e per un agente AI?

Dimostri una correzione per una persona valutando lo stesso criterio sulle sue conversazioni successive dello stesso motivo di contatto, per 2 a 4 settimane. Dimostri due volte la correzione di un agente AI: prima del rilascio, le conversazioni fallite e l’intera serie di regressione passano; dopo il rilascio, lo stesso criterio sullo stesso motivo di contatto passa nella valutazione delle conversazioni reali della settimana successiva.

Correzione per la personaCorrezione per l’agente AI
Prima che la correzione contiNiente; il coaching non si può testare in anticipoLa serie di regressione passa, con i casi critici eseguiti 3 volte e superati ogni volta
DopoStesso criterio, stesso motivo di contatto, le successive 20 o più conversazioni valutateStesso criterio, stesso motivo di contatto, la settimana successiva di conversazioni reali
Che cosa aspettarsiUn cambiamento graduale in 2 a 4 settimaneUn salto netto, oppure niente
Se non ha funzionatoUna seconda sessione con un esempio diverso, poi guardare carico di lavoro o processoRiaprire il ticket; la causa era probabilmente altrove nella configurazione

I casi critici si eseguono più volte perché un modello può superare un caso una volta e fallirlo all’esecuzione successiva. Anthropic chiama la misura “tutte le esecuzioni passano” pass^k e osserva che diminuisce all’aumentare del numero di esecuzioni (Anthropic, in inglese); per una verifica dell’identità, “passa ogni volta” è l’unico livello accettabile. Queste soglie sono punti di partenza suggeriti; fissi le sue prima della prima revisione. La valutazione di ogni conversazione reale chiude il ciclo, perché un campione del 2% può darle tre dati per motivo di contatto a settimana. La valutazione degli agenti AI spiega come si combinano le valutazioni prima del rilascio e la valutazione delle conversazioni reali.

Gli agenti AI sostituiranno gli operatori dell’assistenza?

Gli agenti AI stanno prendendo in carico i motivi di contatto ad alto volume e ben documentati, e il lavoro delle persone si sposta verso eccezioni, decisioni che richiedono giudizio, clienti arrabbiati e passaggi. Intorno all’agente AI nascono nuovi ruoli (un responsabile della sua configurazione, un knowledge manager, un QA per entrambi i lati), e lo standard di qualità resta lo stesso.

Questo spostamento cambia il coaching. Quando i resi di routine passano all’agente AI, le persone gestiscono in media conversazioni più difficili, e i loro punteggi possono scendere senza alcun cambiamento nelle competenze. Riporti i punteggi delle persone per motivo di contatto, altrimenti farà coaching per un cambiamento del mix.

Quando questo approccio non fa per lei

Questo ciclo presuppone un volume settimanale, una scheda di valutazione di cui si fida e un agente AI di cui può modificare contenuti, istruzioni e strumenti. È più di quanto le serve se il suo agente AI gestisce poche decine di conversazioni a settimana (le legga tutte e corregga ciò che vede), se non ha ancora una scheda di valutazione (costruisca prima il nucleo condiviso) o se il suo team ha meno di cinque persone.

Se l’agente AI è una scatola chiusa, il suo lato del ciclo diventa un ticket al fornitore: mantenga la valutazione e metta le prove in quel ticket.

Come iniziare questa settimana

Inizi in piccolo: due motivi di contatto, un nucleo condiviso, le conversazioni del mese scorso e uno slot di revisione lunedì prossimo. Basta per applicare la regola di smistamento a errori reali e chiudere le prime correzioni su entrambi i lati entro una settimana.

  1. Scelga due motivi di contatto gestiti sia dalle persone sia dall’agente AI, uno facile e uno difficile.
  2. Concordi il nucleo condiviso per quei motivi: esito, accuratezza, policy, identità, tono, passaggio. Una definizione per ciascuno.
  3. Valuti le conversazioni del mese scorso di entrambi i lati e compili la tabella ponderata sul mix qui sopra.
  4. Applichi la regola di smistamento ai tre errori più grandi. Scriva il responsabile accanto a ciascuno.
  5. Usi la tabella “lo stesso errore, due correzioni” per ogni errore, compresa la colonna della verifica.
  6. Fissi una revisione di 30 minuti per lunedì prossimo per verificare le correzioni di questa settimana sullo stesso criterio.

Kaizo è un modo per gestire il lato della valutazione in questo ciclo. AutoPilot valuta ogni conversazione con la sua scheda di valutazione quando viene risolta, con un commento che spiega il punteggio; in Zendesk questo include le conversazioni gestite dagli agenti AI di Zendesk, con la stessa scheda del suo team. Per le persone, il coaching di Kaizo redige la scheda di coaching di ogni operatore partendo dalle sue valutazioni, collegata alle conversazioni che la motivano, e un responsabile la approva prima che l’operatore la veda. Se vuole vederlo sulle sue conversazioni, il controllo qualità degli agenti AI mostra come funziona il lato dell’agente AI.

Domande frequenti

Che cos’è la collaborazione tra persone e AI nel servizio clienti?

È un modello in cui agenti AI e persone si dividono il lavoro: gli agenti AI prendono di solito i motivi di contatto ad alto volume e ben documentati, le persone le eccezioni, i casi emotivi e i passaggi. Funziona quando entrambi rispondono a un unico standard di qualità e il passaggio trasmette il contesto.

Si può fare coaching a un agente AI?

Non nel senso umano: un agente AI non impara da una conversazione di feedback. Migliora quando qualcuno modifica la sua fonte di conoscenza, le istruzioni, le regole di policy, i permessi degli strumenti o lo smistamento, e verifica che la modifica abbia corretto il caso senza romperne altri.

Gli agenti AI imparano dai propri errori in produzione?

La maggior parte degli agenti AI di assistenza non cambia da sola il proprio comportamento da una conversazione all’altra, quindi un errore si ripete finché qualcuno non cambia la configurazione. Trasformi la conversazione fallita in un caso di test, così la correzione si può dimostrare e l’errore non può tornare di nascosto.

Agenti AI e operatori vanno valutati con la stessa scheda di valutazione?

Sì, su un nucleo condiviso con la stessa formulazione e lo stesso peso, più un piccolo blocco di verifiche per ciascun tipo, per gli errori che ha solo uno dei due lati, come le risposte inventate per l’agente AI.

Quante conversazioni di un agente AI dovrebbe rivedere una persona?

Se un sistema di valutazione automatica copre ogni conversazione, le persone rivedono gli errori, ogni errore bloccante e un campione delle conversazioni superate per verificare il sistema di valutazione. Senza, ne riveda per ogni motivo di contatto abbastanza conversazioni da vedere gli schemi settimanali; qualche punto percentuale su tutti i motivi di solito non coglie gli errori ripetuti su quelli più piccoli.

In questa pagina

Letture correlate

Lo veda in una demo dal vivo

Le presenteremo Kaizo con conversazioni di esempio realistiche, così vedrà l'esempio valutato, spiegato e trasformato in coaching.

Scelto da team di assistenza clienti in tutto il mondo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath