Pular para o conteúdo

Boas práticas

Transbordo do chatbot para humano: métricas e scorecard

Como medir a qualidade do transbordo do chatbot para humano: métricas com definições, um scorecard para a decisão do bot e para quem assume e regras de desenho.

· Atualizado em · 17 min de leitura

A monitoria do transbordo do chatbot para humano avalia o momento em que uma conversa passa de um agente de IA ou chatbot para um atendente, ou do atendente de volta para a IA. É ali que o atendimento híbrido mais quebra, e as notas por atendente não enxergam o problema, porque a falha pertence à transição. Meça o transbordo com algumas métricas próprias e um scorecard que julga os dois lados.

Em resumo

  • O transbordo da IA para o humano e a devolução do humano para a IA falham de formas diferentes.
  • Da IA para o humano, falha quando o escalonamento chega tarde, perde o contexto, ignora um pedido para falar com uma pessoa ou não traz um motivo utilizável.
  • Do humano para a IA, falha quando um caso não resolvido volta para a automação.
  • Taxa de retenção e TMA não enxergam isso. Meça a taxa de transbordo por motivo de contato, os transbordos tardios, o contexto recebido, as perguntas repetidas e a resolução depois do transbordo.
  • Avalie os dois lados da emenda: a decisão do bot de transferir e a forma como o atendente assume.

Por que o transbordo é um ponto de falha próprio

Quando você monitora um atendente e monitora um agente de IA, está avaliando duas metades de uma conversa que, cada vez mais, não tem duas metades. Num modelo híbrido, o cliente pode começar com um agente de IA (em inglês), ser escalonado para uma pessoa e voltar para a automação num follow-up, tudo na mesma conversa. Cada participante pode tirar boa nota no seu trecho enquanto a conversa como um todo é uma experiência ruim, porque o dano aconteceu na transição e não pertence a nenhum dos dois.

Esse é o ponto cego. Um formulário de monitoria por atendente avalia o que cada parte fez com a conversa enquanto estava com ela. Não diz nada sobre o que aconteceu no momento em que a conversa foi passada adiante, que é justamente onde o atendimento híbrido costuma quebrar. O transbordo precisa ser avaliado como algo em si, e ele é uma etapa da prática mais ampla do QA da jornada do cliente, que avalia o caminho inteiro que o cliente percorre entre bots e pessoas.

O que dá errado no transbordo do chatbot para humano?

A maioria dos transbordos ruins do chatbot para humano se resume a poucas falhas: o bot escalona tarde demais, o contexto se perde e o cliente se repete, um pedido para falar com uma pessoa é ignorado, o cliente fica em loop entre o bot e a fila, a transferência é fria ou a pessoa prometida nunca aparece.

Os reguladores perceberam. O relatório sobre chatbots no setor financeiro (em inglês, junho de 2023) do Consumer Financial Protection Bureau, órgão de defesa do consumidor financeiro dos Estados Unidos, descreve “doom loops”, os loops sem saída que surgem quando o problema fica fora do que o chatbot consegue fazer, cita a reclamação de um cliente (“estou sendo mandado para um loop sem fim, sem saída”, em tradução livre) e alerta que chatbots que impedem o acesso a um atendimento humano ao vivo podem levar a violações da lei.

FalhaO que o cliente viveComo aparece na transcriçãoMétrica que pega
Escalonar tarde demaisVárias rodadas da mesma resposta inútil antes de uma pessoa aparecerO bot repete ou reformula a mesma resposta 3 ou mais vezes, ou o cliente pede ajuda duas vezesTaxa de transbordo tardio
Contexto perdido“Pode me passar o número do pedido?” vindo do atendente, depois de o cliente já ter passado ao botO atendente pede algo que já está na conversaTaxa de contexto recebido, taxa de pergunta repetida
“Quero falar com um atendente” ignoradoO bot responde a outra pergunta, ou oferece a FAQ de novoUm pedido explícito de uma pessoa sem transbordo naquele turnoTaxa de pedido de atendimento humano ignorado
Loops de transbordoMandado para uma fila, de volta para o bot, para uma fila de novoMais de um transbordo para o mesmo problema, ou o bot retoma um caso não resolvidoTaxa de loop de transbordo
Transferência friaSilêncio, depois um nome novo, sem saber por que nem quanto tempo esperarNenhuma mensagem dizendo ao cliente que uma pessoa vai assumir, por que e quandoTaxa de transferência fria, tempo até o atendente
Beco sem saída“Transferindo você para um atendente” fora do horário de atendimento, e depois nadaUm transbordo sem resposta humana e sem alternativa oferecidaAbandono durante o transbordo

O beco sem saída é o mais silencioso. O guia da Zendesk sobre fluxos de escalonamento para agentes de IA (em inglês) coloca uma verificação de disponibilidade antes de um escalonamento por mensagens, com o e-mail como alternativa fora do horário de atendimento. Sem essa verificação, o transbordo promete uma pessoa que nunca chega.

Da IA para o humano: o que avaliar quando o agente escalona

Quando um agente de IA escalona para uma pessoa, avalie três coisas: o momento (ele transferiu quando parou de avançar), o contexto (o atendente recebeu o histórico e o diagnóstico) e o motivo (o atendente consegue agir a partir dele). Cada modo de falha merece um critério próprio.

Momento: o escalonamento aconteceu na hora certa

Tarde demais é o caso comum. Um agente que continua tentando depois de claramente travado faz o cliente andar em círculos antes de entregar uma pessoa já frustrada. Cedo demais desperdiça a automação e o tempo do atendente. O critério é se o escalonamento aconteceu no ponto em que o agente parou de avançar, o que dá para ver na transcrição.

Contexto: o atendente recebeu o que precisa

O pior transbordo faz o cliente começar do zero. Avalie se o escalonamento levou o histórico, o diagnóstico feito até ali e o que o cliente realmente quer, para que o atendente abra o caso informado e não às cegas. Um transbordo que perde o contexto transforma uma conversa em duas.

Motivo: o escalonamento era compreensível

Um escalonamento marcado apenas como “escalonado para humano” não diz nada ao atendente. Avalie se o motivo do transbordo foi registrado de um jeito que a pessoa que recebe consiga usar. Esse é um dos critérios de um scorecard de agentes de IA, mas ele só fica visível quando você lê a conversa dos dois lados da transição.

Como desenhar o transbordo do chatbot para humano?

Desenhe o transbordo em torno de oito regras: respeitar o pedido de falar com uma pessoa já na primeira vez, escalonar quando não há avanço, mandar os temas da lista vermelha direto para um atendente, verificar a disponibilidade, passar um pacote de contexto, dizer ao cliente o que vai acontecer, nunca devolver um caso não resolvido e registrar o motivo.

  1. Respeite o “quero falar com um atendente” já no primeiro pedido. A documentação de orientações de escalonamento (em inglês) da Intercom lista três gatilhos padrão para o Fin: o cliente pede claramente um humano, frustração ou raiva forte, e um cliente preso em um loop repetitivo. As suas próprias orientações e regras podem sobrepor esse comportamento padrão, então confira se as suas não desligaram algum deles.
  2. Escalone quando não há avanço. Escreva uma regra que dê para conferir na transcrição, como a mesma resposta dada duas vezes.
  3. Mantenha uma lista vermelha. Alguns motivos de contato vão sempre para uma pessoa: contestações, reclamações jurídicas, clientes em situação vulnerável, qualquer coisa fora das ações que o bot pode executar sozinho (uma decisão de nível de autonomia).
  4. Verifique a disponibilidade. Fora do horário de atendimento, ofereça um retorno, um e-mail ou um ticket e diga quando um atendente vai responder.
  5. Passe um pacote de contexto. No mínimo: um resumo curto, o objetivo do cliente, o que já foi tentado, a identidade verificada e o motivo do transbordo. A documentação do Copilot Studio da Microsoft sobre transferência para um agente ao vivo (em inglês) diz que o agente pode compartilhar o histórico completo da conversa e todas as variáveis relevantes, além de uma mensagem privada opcional para o atendente. A sua monitoria confere se isso chegou e se foi útil.
  6. Faça uma transferência quente. Diga ao cliente que uma pessoa vai assumir, por que, e mais ou menos quanto tempo vai esperar.
  7. Nada de devolução. O bot não retoma uma conversa que o atendente não resolveu; um segundo transbordo sobre o mesmo problema vai para uma fila sênior.
  8. Registre o motivo em um campo. “Pediu atendente”, “fora do escopo”, “política”, “frustração”, “ação falhou”. Sem isso, você não consegue calcular a taxa de transbordo por motivo.

Como medir a qualidade do transbordo da IA para o humano?

Meça a qualidade do transbordo da IA para o humano por motivo de contato: taxa de transbordo, transbordos tardios, pedidos de atendimento humano ignorados, contexto recebido, perguntas repetidas depois do transbordo, tempo até o atendente, loops de transbordo e resolução depois do transbordo. As métricas de volume vêm do seu helpdesk; as de qualidade exigem que a transcrição seja avaliada.

Os limites abaixo são pontos de partida para ajustar com os seus próprios dados, não referências do setor.

MétricaDefiniçãoFonte de dadosAlerta inicial
Taxa de transbordo por motivo de contatoTransbordos para um atendente ÷ conversas com IA, por motivo de contatoEvento de transbordo no helpdesk mais a tabulação do motivoVariação de mais de 5 pontos de uma semana para outra em um motivo
Taxa de transbordo tardioTransbordos que vieram depois do ponto de escalonamento (o cliente pediu duas vezes, ou o bot se repetiu 3 ou mais vezes) ÷ todos os transbordosAvaliação da transcriçãoAcima de 10%
Taxa de pedido de atendimento humano ignoradoPedidos explícitos de uma pessoa não atendidos no primeiro pedido ÷ pedidos explícitosAvaliação da transcriçãoAcima de 2%
Taxa de contexto recebidoTransbordos em que o resumo, o objetivo, o que já foi tentado e a identidade verificada chegaram ao atendente ÷ transbordosDados do transbordo ou campos do ticket, conferidos na transcriçãoAbaixo de 90%
Taxa de pergunta repetida depois do transbordoTransbordos em que o atendente pediu uma informação já dada ÷ transbordosAvaliação da transcriçãoAcima de 10%
Taxa de transferência friaTransbordos sem mensagem dizendo ao cliente quem assume e quando ÷ transbordosAvaliação da transcriçãoAcima de 5%
Tempo até o atendenteTempo do transbordo até a primeira resposta humana, em mediana e percentil 90Horários do helpdeskPercentil 90 acima do seu nível de serviço do chat
Abandono durante o transbordoClientes que saem antes da primeira resposta humana ÷ transbordosHorários do helpdeskEm alta por 2 semanas
Taxa de loop de transbordoConversas com mais de um transbordo para o mesmo problema, ou com volta ao bot sem resolução ÷ transbordosRegistro da conversa mais avaliaçãoAcima de 3%
Resolução depois do transbordoTransbordos resolvidos sem recontato sobre o mesmo problema em 7 dias ÷ transbordosHelpdesk mais histórico de contatosEm queda por 2 semanas

Duas dessas métricas separam a responsabilidade com clareza. Quando o contexto não chegou, a correção está no bot ou na integração. Quando o contexto chegou e o atendente perguntou mesmo assim, a correção é coaching (veja coaching de pessoas versus correção de agentes de IA). Para dashboards e alertas, veja monitoramento de agentes de IA; para o conjunto mais amplo de métricas, métricas de IA no atendimento.

O scorecard do transbordo: critérios para o bot e para o atendente

Avalie um transbordo em dois blocos: a decisão do bot (gatilho, momento, pedido respeitado, pacote de contexto, cliente informado, disponibilidade) e a forma como o atendente assume (leu antes de responder, não perguntou de novo, assumiu a tempo, levou até a resolução). Cada critério é aprovado ou reprovado, com uma evidência na transcrição que um segundo avaliador consiga apontar. Copie-o para o seu formulário de monitoria como uma seção que só se aplica às conversas com transbordo.

LadoCritérioAprovaExemplo de reprovaçãoFonte de dados
BotGatilho certoEscalonou por uma regra que você escreveu (pedido, falta de avanço, motivo da lista vermelha) e nunca ficou com o bot quando uma regra foi atendidaFicou com uma contestação da lista vermelha, ou escalonou uma consulta rotineira de status do pedido que conseguia responderTranscrição mais o campo de motivo do transbordo
BotMomento certoTransferiu no primeiro ponto em que a regra foi atendidaO cliente pediu ajuda duas vezes e recebeu o mesmo artigo três vezesTranscrição
BotPedido respeitado“Quero falar com um atendente” atendido já no primeiro pedido“Posso ajudar com isso!” seguido da FAQ de novoTranscrição
BotPacote de contextoResumo, objetivo, o que já foi tentado, identidade verificada e motivo chegaram ao atendenteO ticket mostra apenas “escalonado para atendente”Campos do ticket ou dados do transbordo
BotCliente informadoO cliente sabia que uma pessoa ia assumir, por que e quanto tempo esperarSilêncio por 9 minutos e depois “Olá, como posso ajudar?”Transcrição
BotDisponibilidade verificadaTransbordo ao vivo só quando há alguém online; senão, uma alternativa com prazo de resposta“Transferindo agora” às 2 da manhã, sem resposta até de manhãTranscrição mais horários
AtendenteLeu antes de responderA primeira resposta faz referência ao que o cliente já disse“Olá, qual é o problema?”Transcrição
AtendenteNão perguntou de novoNenhum pedido de informação que já estava na conversaPede o número do pedido que o bot já verificouTranscrição
AtendenteAssumiu a tempoPrimeira resposta humana dentro do seu nível de serviço do chatO cliente esperou além da meta e saiuHorários do helpdesk
AtendenteAssumiu o casoResolveu, ou definiu um próximo passo claro, sem devolver ao bot sem resoluçãoEncerrou com “o assistente pode ajudar você com o resto”Transcrição mais histórico de contatos
AtendenteSinalizou um transbordo ruimMarcou o transbordo quando o contexto estava faltando ou erradoContornou um resumo quebrado sem avisar ninguémTag do ticket

Duas regras de nota mantêm a avaliação honesta. Trate “pedido respeitado” e “assumiu o caso” (sem devolução) como critérios de erro crítico: um cliente que pediu uma pessoa e não foi atendido é uma conversa reprovada, por mais educado que o bot tenha sido. E atribua cada critério reprovado ao seu lado, para que o bloco do bot alimente o responsável pelo agente de IA e o bloco do atendente alimente o coaching. Para o ticket escalonado depois que uma pessoa assume, veja como avaliar um atendimento escalonado.

Um exemplo calculado: o que as métricas de transbordo mostram e as amostras não

Ilustração: os números são inventados para mostrar a conta. Uma equipe atende 20.000 conversas por mês com um agente de IA; 3.000 terminam em transbordo, uma taxa de transbordo de 15%. A equipe avalia cada transbordo com o scorecard acima.

  • Transbordos tardios: 480 de 3.000, ou 16%, principalmente em reembolsos e contestações de entrega.
  • Contexto recebido: 2.550 de 3.000, ou 85%. 450 transbordos chegaram ao atendente sem o resumo.
  • Perguntas repetidas: 690 transbordos, ou 23%: 400 em que o contexto nunca chegou e 290 em que chegou e o atendente perguntou mesmo assim.
  • Pedidos ignorados: 900 clientes pediram uma pessoa; 90 deles, ou 10%, não foram transferidos no primeiro pedido.
  • Resolução depois do transbordo: 2.340 de 3.000, ou 78%, sem recontato em 7 dias.

A divisão mostra à equipe onde agir. As 400 perguntas repetidas sem contexto são uma correção de integração. As 290 com contexto presente são um tema de coaching. Os 90 pedidos ignorados vão para o responsável pelas regras de escalonamento do bot, esta semana.

Agora compare com uma amostra aleatória de 2%: 400 conversas, cerca de 60 com transbordo (15%), mais ou menos 10 transbordos tardios e cerca de 2 pedidos ignorados (90 de 20.000 é 0,45%; 0,45% de 400 é 1,8). Dois casos parecem uma anedota. Noventa, agrupados por motivo de contato, parecem uma regra quebrada.

Veja isso nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de suporte e transforma os achados em coaching. Agende uma demo.

Do humano para a IA: a direção que ninguém avalia

Uma devolução do humano para a IA falha quando uma pessoa passa um caso de volta para a automação antes de ele estar resolvido, delega uma tarefa que a IA não consegue assumir ou dispara um follow-up que contradiz o que o atendente acabou de fazer. A devolução é mais recente, menos examinada e fácil de passar despercebida.

Passagem do humano para a IAComo é quando dá certoA falha a avaliar
Devolver um caso para a automação fazer o follow-upA IA tem a resolução e o próximo passo é de fato rotineiroO atendente devolve um caso não resolvido para esvaziar a fila
Delegar uma subtarefa no meio da conversaA IA consegue concluir a tarefa específica e devolver de forma limpaA IA não consegue retomar o fio e o cliente perde a continuidade
Follow-up automático depois da resoluçãoO follow-up bate com o que foi de fato resolvidoA automação contradiz ou esquece o que o atendente acabou de fazer

Quando os agentes de IA também passam conversas uns para os outros, as mesmas emendas se multiplicam; o nosso guia sobre orquestração de agentes de IA trata dos transbordos entre agentes.

Como avaliar um transbordo na prática

Para avaliar um transbordo na prática, avalie a conversa inteira ao longo da transição, cubra todos os transbordos em vez de uma amostra e atribua cada falha ao lado que a causou.

Avalie a conversa inteira

Avalie a continuidade ao longo da transição: o contexto sobreviveu, o cliente evitou se repetir, a segunda parte retomou de onde a primeira parou. Isso é impossível se a sua monitoria olha a parte da IA e a parte humana como registros separados, que é como a maioria das ferramentas os armazena.

Cubra todos os transbordos, porque são raros por par, mas comuns no total

Um par específico de agente e atendente pode fazer poucos transbordos, então uma amostra por atendente deixa os transbordos de fora quase por definição. Na operação inteira, eles estão em toda parte. Avaliar 100% das conversas (em inglês) é o que torna as falhas de transbordo visíveis como padrão, e não como a reclamação ocasional. Na UiPath, a Kaizo automatizou 100% do QA com 200% de ROI e alta de 8% na nota de qualidade.

Atribua cada falha a um lado

A culpa foi da IA, que escalonou mal, ou do atendente, que devolveu uma bagunça? Avalie o bloco do bot e o bloco do atendente como critérios separados e aponte cada achado para os turnos exatos em que a continuidade quebrou, para corrigir a regra de roteamento, o pacote de contexto ou o tema de coaching. O fluxo completo está em monitoria de qualidade de agentes de IA e chatbots.

Quando a avaliação do transbordo não é para você

Dispense um scorecard dedicado ao transbordo quando o seu bot transfere algumas dezenas de conversas por mês: leia cada uma manualmente. Ele também é prematuro quando o bot não tem regras de escalonamento escritas, porque “gatilho certo” e “momento certo” precisam de uma regra contra a qual avaliar, ou quando o transbordo é só um link para um formulário de contato: não há emenda enquanto o bot e o atendente não compartilham uma conversa.

Como começar a medir a qualidade do transbordo esta semana

Comece com uma rodada manual: conte os transbordos do mês passado por motivo de contato, leia 30 deles do começo ao fim, marque cada um no scorecard acima e divida as perguntas repetidas pela causa. Algumas horas dão uma referência antes de você automatizar qualquer coisa.

  1. Puxe os transbordos do mês passado do seu helpdesk e conte-os por motivo de contato.
  2. Leia 30 conversas com transbordo do começo ao fim e marque cada uma no scorecard acima.
  3. Divida as perguntas repetidas em “contexto faltando” e “contexto presente”. Mande a primeira lista para o responsável pelo bot e a segunda para as lideranças da equipe.
  4. Escreva as suas regras de escalonamento e acrescente um campo de motivo ao transbordo.

Quando a rodada manual comprovar o padrão, automatize. O QA de agentes de IA da Kaizo avalia as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe e confere o transbordo como critérios nesse formulário: o agente de IA escalonou pelo gatilho certo, passou o contexto, e o atendente assumiu o caso? O AutoPilot avalia cada conversa assim que ela é resolvida. Para avaliar o caminho inteiro, veja o QA da jornada do cliente.

Perguntas frequentes

O que é a monitoria de transbordo?

A monitoria de transbordo avalia o momento em que uma conversa passa entre um agente de IA e um atendente, em qualquer direção. Ela trata a transição como uma unidade de avaliação própria, porque um transbordo pode falhar (contexto perdido, escalonamento tardio, caso não resolvido devolvido) mesmo quando o atendente e a IA tiram boa nota nos seus próprios trechos.

O que avaliar num escalonamento da IA para o humano?

Três coisas: o momento (o escalonamento aconteceu no ponto em que a IA parou de avançar, e não tarde ou cedo demais), o contexto (o atendente recebeu o histórico e o diagnóstico, para o cliente não começar do zero) e o motivo (o escalonamento foi registrado de um jeito que a pessoa que recebe consegue usar).

O que dá errado na passagem do humano para a IA?

As principais falhas são o atendente devolver um caso não resolvido para a automação para esvaziar a fila, delegar para uma IA que não consegue retomar o fio e por isso quebra a continuidade, e follow-ups automáticos depois da resolução que contradizem ou esquecem o que o atendente acabou de fazer. Essa direção é mais recente e raramente é avaliada.

Por que as notas de QA por atendente não pegam problemas de transbordo?

Porque a falha vive entre os registros. Um formulário de monitoria por atendente avalia o que cada parte fez enquanto estava com a conversa, não o que aconteceu na transição. Avaliar o transbordo exige ler a conversa inteira dos dois lados da transição, e por isso a conversa precisa ser armazenada e avaliada como uma unidade, não como duas.

Qual é a diferença entre um transbordo quente e um transbordo frio?

No transbordo quente, o cliente fica sabendo que uma pessoa vai assumir, por que e quanto tempo vai esperar, e o atendente recebe um resumo antes de responder. No transbordo frio, a conversa cai em uma fila: o cliente espera sem saber o que vai acontecer, e o atendente começa do nada.

Qual é uma boa taxa de transbordo do chatbot para humano?

Não existe uma única taxa boa, porque depende do motivo de contato: 40% pode ser o certo para contestações de cobrança e alarmante para redefinição de senha. Acompanhe a taxa por motivo de contato, fique atento às mudanças e julgue-a junto com os transbordos tardios e a resolução depois do transbordo.

Termos relacionados

Nesta página

Leituras relacionadas

Veja isso em uma demo ao vivo

Apresentamos a Kaizo com conversas de exemplo realistas, para você ver o exemplo avaliado, explicado e transformado em coaching.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath