Quando pessoas e agentes de IA dividem a fila de suporte, aplique aos dois um único padrão de qualidade e depois corrija cada um de um jeito. Os humanos melhoram com coaching, prática e feedback. Os agentes de IA melhoram com correções na base de conhecimento, mudanças de política e de instruções, permissões de ferramentas mais restritas e um teste de regressão que comprova a correção. Mesmo formulário de monitoria, dois caminhos de correção, um ciclo semanal.
Em resumo
- Avalie humanos e agentes de IA pelos mesmos critérios centrais (resultado, precisão, política, tom, transbordo), para que os resultados sejam comparáveis e o cliente tenha um único padrão.
- Acrescente um pequeno bloco de verificações para cada um: aderência ao conteúdo e escopo para o agente de IA, registro do caso e retorno combinado para as pessoas.
- Um erro humano costuma ser de uma pessoa em um dia; um erro do agente de IA se repete em toda conversa que passa pela mesma configuração, então a correção vai na configuração, não em uma conversa.
- Compare os dois só intenção por intenção e com a mesma composição de intenções, ou o agente de IA parece melhor só porque recebe o trabalho fácil.
- Cada correção tem um responsável nomeado e uma verificação: as próximas conversas avaliadas da pessoa, ou o conjunto de regressão do agente de IA e as notas ao vivo da semana seguinte.
Como montar o formulário compartilhado está em um único formulário de monitoria para humanos e agentes de IA, e como conduzir uma sessão de coaching em o que é coaching de atendentes. Este guia trata do que acontece depois que um erro aparece.
Por que humanos e agentes de IA devem compartilhar um único padrão de qualidade?
Humanos e agentes de IA devem compartilhar um único padrão de qualidade porque o cliente vive um único serviço: um valor de reembolso errado machuca igual, venha de uma pessoa ou de um bot. Um padrão compartilhado também permite decidir quais intenções o agente de IA mantém com base em evidências, e não em taxas de retenção.
Sem ele, o agente de IA recebe uma prova mais fácil (a retenção conta uma vitória quando o cliente não chegou a uma pessoa, não quando a resposta estava certa), as pessoas levam a culpa por transbordos tardios e sem contexto, e ninguém consegue decidir se o bot deve continuar com as solicitações de garantia.
Os helpdesks já entregam isso como funcionalidade. A Kustomer descreve um formulário ponderado único em que “esse mesmo formulário avalia todas as conversas, de agentes de IA e de atendentes humanos” (Kustomer, em inglês). O formulário é a parte fácil; a parte difícil é o que você faz com um critério reprovado.
Quais critérios do formulário de monitoria valem para os dois, e quais só para um?
Resultado, precisão, política, verificação de identidade, tom e transbordo valem para os dois, com a mesma formulação e o mesmo peso. Aderência ao seu conteúdo, permanência no escopo e admissão de incerteza ficam em um bloco do agente de IA. Registro do caso e promessas cumpridas ficam em um bloco humano. Avalie o núcleo compartilhado para a comparação e reporte os blocos ao lado.
| Critério | Humanos | Agente de IA | Por quê |
|---|---|---|---|
| Problema resolvido ou próximo passo claro | Sim | Sim | O resultado para o cliente é o mesmo trabalho |
| Todos os fatos corretos | Sim | Sim | Um fato errado custa o mesmo nos dois casos |
| Política seguida (reembolsos, créditos, exceções) | Sim | Sim | A política não muda com quem atende |
| Identidade verificada antes dos dados da conta | Sim | Sim | Mesmo risco, mesma regra |
| Tom adequado ao cliente e à marca | Sim | Sim | Mesma voz da marca |
| O transbordo passa o contexto | Sim | Sim | Os dois transferem, os dois recebem |
| Resposta baseada no seu conteúdo publicado | Não | Sim | As pessoas usam o julgamento; um modelo pode inventar |
| Fica dentro das intenções e ações permitidas | Não | Sim | O escopo é uma configuração para o bot |
| Diz “não sei” em vez de chutar | Raramente | Sim | Chutar é a falha típica do agente de IA |
| O registro do caso permite que a próxima pessoa continue | Sim | Não | O pacote de transbordo do agente de IA cobre isso |
| O retorno prometido aconteceu | Sim | Não | Normalmente só as pessoas prometem retornos |
Alguns critérios humanos não fazem sentido para um bot (aderência à escala, trabalho pós-atendimento); o nosso scorecard de agentes de IA lista o que tirar e o que acrescentar. A regra que importa: um critério compartilhado tem uma única definição. Se “política seguida” significa algo mais frouxo para o agente de IA, a comparação deixa de existir.
Por que o mesmo erro precisa de duas correções diferentes?
Porque a causa está em lugares diferentes. Uma pessoa que erra uma regra de reembolso tem uma lacuna de conhecimento, de habilidade ou de hábito, e o coaching a fecha. Um agente de IA que erra roda uma configuração que produz o erro (conteúdo, instruções, ferramentas ou roteamento), e só mudar a configuração o corrige.
| Atendente humano | Agente de IA | |
|---|---|---|
| Como um erro se espalha | Uma pessoa, parte do tempo | Toda conversa que passa pela mesma configuração |
| Onde mora a causa | Conhecimento, habilidade, julgamento, carga de trabalho | Fonte de conhecimento, instruções, regras de política, permissões de ferramentas, roteamento |
| Como melhora | Feedback, prática, um exemplo para copiar, tempo | Uma mudança na configuração, testada antes da versão |
| Como uma correção pode sair pela culatra | Raramente; uma habilidade trabalhada no coaching fica | Com frequência; uma instrução nova pode quebrar três intenções que passavam |
A última linha é o motivo pelo qual as correções de agentes de IA precisam de um teste de regressão: uma instrução ou um artigo alterado pode corrigir um caso e quebrar casos que passavam. O guia da Anthropic sobre avaliações de agentes diz que as avaliações de regressão “devem ter uma taxa de aprovação de quase 100%” e que, para começar um conjunto de avaliações, “20 a 50 tarefas simples tiradas de falhas reais são um ótimo começo” (Anthropic, em inglês). Para uma equipe de suporte, essas tarefas vêm das suas próprias conversas avaliadas.
As pessoas, ao contrário, aprendem com o que funciona para os outros. Um estudo com 5.179 atendentes de suporte constatou que um assistente de IA aumentou os problemas resolvidos por hora em 14% em média e em 34% para atendentes iniciantes e menos qualificados, com evidências sugestivas de que ele espalhou as práticas dos melhores atendentes (Brynjolfsson, Li e Raymond, NBER, em inglês). Fazer coaching com a melhor conversa de um colega usa o mesmo mecanismo.
Uma causa compartilhada passa despercebida com facilidade: humanos e agentes de IA muitas vezes leem as mesmas páginas da central de ajuda e de políticas. Quando os dois falham na mesma intenção, a correção costuma ser um artigo ou uma política. O nosso guia sobre por que as conversas com IA falham rastreia essas causas raiz.
O mesmo erro, duas correções (copie esta tabela)
Esta tabela liga um critério reprovado à correção para uma pessoa, à correção para um agente de IA e à forma de comprovar que cada uma funcionou. Use-a como planilha de triagem na sua revisão semanal; a coluna de verificação transforma uma correção em um item encerrado, e não em uma esperança.
| Erro visto no formulário de monitoria | Correção humana | Correção do agente de IA | Como verificar |
|---|---|---|---|
| Fato errado (prazo de reembolso informado como 60 dias, a política diz 30) | Mostrar a política e a conversa; dois casos de prática na mesma intenção; corrigir a macro se estiver errada | Corrigir ou retirar o artigo desatualizado que o agente leu; remover versões conflitantes | Humano: precisão nas próximas 20 conversas avaliadas dessa intenção. IA: a conversa que falhou vira um caso de teste, o conjunto completo passa, precisão ao vivo na intenção na semana seguinte |
| Violação de política (crédito de cortesia acima do limite aprovado) | Coaching sobre o limite e o caminho de aprovação; uma etapa de aprovação do gestor para exceções | Limitar o valor na própria ferramenta de reembolso, e não só nas instruções; reafirmar a regra da política | Humano: nenhuma violação em 4 semanas. IA: um caso de teste que força um crédito maior falha de forma segura; os logs da ferramenta não mostram nada acima do teto |
| Escalonamento perdido ou tardio (manteve uma ameaça jurídica com o bot) | Simular os gatilhos de escalonamento; acrescentá-los ao checklist | Acrescentar o gatilho às regras de escalonamento; encaminhar a intenção para pessoas se o gatilho disparar | Humano: o critério de escalonamento passa nos casos sinalizados. IA: casos de teste com cada frase de gatilho transferem na primeira menção |
| Transbordo sem contexto (o cliente repete a história) | Modelo de registro do caso; revisar um transbordo juntos | Acrescentar número do pedido, intenção e passos já tentados ao resumo do transbordo | O atendente que recebe não pergunta de novo, avaliado nos próximos 20 transbordos |
| Tom frio com um cliente chateado | Ouvir um bom exemplo de um colega; praticar reconhecer primeiro | Acrescentar instruções de tom e duas respostas de exemplo para sentimento negativo | Taxa de aprovação de tom nas conversas com sentimento negativo, antes e depois |
| Encerrado, mas não resolvido | Hábito de confirmar antes de encerrar; revisar os casos reabertos | Definir nas instruções o que “resolvido” significa por intenção; parar de encerrar com uma despedida genérica | Taxa de reabertura em 7 dias nessa intenção, mais o critério de resolução |
| Dados da conta compartilhados antes da verificação de identidade (erro crítico) | Conversa individual no mesmo dia; reciclagem de compliance | Fazer a ferramenta de consulta da conta exigir uma marcação de verificado, aplicada na integração, não no prompt | Humano: zero repetições. IA: casos de teste adversariais não conseguem chegar aos dados da conta; zero ocorrências ao vivo |
| Chutou uma resposta que não sabia | Tornar aceitável o “vou verificar e já volto”; mostrar onde procurar | Instruir e testar a resposta de fallback; registrar a pergunta como lacuna de conhecimento | Perguntas de teste sem resposta na base de conhecimento recebem o fallback; a lacuna é preenchida |
Dois padrões se destacam. As correções do agente de IA se apoiam em limites rígidos (um teto na ferramenta, uma marcação obrigatória) onde quer que um erro custe caro, como recomenda a orientação da OWASP sobre agência excessiva: funções e permissões mínimas, e “exigir que uma pessoa aprove ações de alto impacto antes que sejam executadas” (OWASP, em inglês); o nosso guia de guardrails para agentes de IA mostra quais limites pertencem ao código. E as correções humanas são pequenas: uma intenção, um exemplo, um caso de prática. Uma sessão que cobre dez critérios de uma vez não muda nenhum deles.
Veja os dois em um único formulário de monitoria. A Kaizo avalia as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe e liga cada nota às linhas por trás dela, então cada erro vira um exemplo que alguém pode corrigir. Agende uma demo.
Como comparar com justiça os resultados de humanos e de agentes de IA?
Compare os resultados de humanos e de agentes de IA intenção por intenção no núcleo compartilhado e depois pondere os dois pela mesma composição de intenções. Uma média bruta mostra principalmente quem recebeu o trabalho fácil. Compare só intenções em que os dois atenderam conversas suficientes e atribua um transbordo que falhou ao lado em que o erro começou.
Veja uma ilustração com números que inventamos para mostrar a conta, não dados de clientes. O critério é “política seguida”, como taxa de aprovação:
| Intenção | Conversas do agente de IA | Taxa de aprovação do agente de IA | Conversas humanas | Taxa de aprovação humana |
|---|---|---|---|---|
| Devoluções | 4.000 | 97% | 500 | 95% |
| Solicitações de garantia | 500 | 80% | 2.000 | 92% |
| Total bruto | 4.500 | 95,1% | 2.500 | 92,6% |
Os totais brutos dizem que o agente de IA é 2,5 pontos melhor. Agora pondere os dois pela composição combinada, 4.500 devoluções e 2.500 solicitações de garantia em 7.000:
| Taxa de aprovação ajustada pela composição | Cálculo | Resultado |
|---|---|---|
| Agente de IA | (4.500 x 97 + 2.500 x 80) / 7.000 | 90,9% |
| Equipe humana | (4.500 x 95 + 2.500 x 92) / 7.000 | 93,9% |
Com a mesma composição, a equipe humana é 3,0 pontos melhor. A leitura útil é por intenção, e ela aponta para uma correção, não para um veredito: o agente de IA vai bem nas devoluções, mas falha em uma a cada cinco solicitações de garantia, então a garantia entra no ciclo semanal. O artigo está claro, o agente tem a data da compra, a intenção deveria ir para pessoas até passar?
Mais três regras mantêm a comparação honesta:
- Volume mínimo. Abaixo de cerca de 50 conversas avaliadas de um dos lados no período, reporte “dados insuficientes” (o nosso ponto de partida sugerido, não uma lei estatística).
- Atribuição no transbordo. Quando uma conversa passa do agente de IA para uma pessoa, marque o lado em que aconteceu o primeiro critério reprovado, ou as pessoas absorvem os erros do bot. O QA da jornada do cliente mostra como avaliar um caso entre quem o atendeu.
- Mesmo avaliador. Avalie os dois lados da mesma forma. Uma equipe revisada por pessoas contra um bot avaliado automaticamente volta a ser dois padrões.
Quem é dono de cada correção?
Cada correção precisa de um único responsável nomeado: os líderes de equipe para as lacunas de habilidade humanas, o responsável pelo agente de IA (muitas vezes um designer conversacional ou um líder de operações de CX) para as instruções e as configurações das ferramentas, o gestor de conhecimento para os artigos que os dois lados leem, o dono da política para a regra em si e o responsável de QA para o formulário de monitoria.
| Causa encontrada | Responsável | Precisa da aprovação de | Vale para |
|---|---|---|---|
| Habilidade ou hábito de uma pessoa | Líder de equipe | Ninguém | Humano |
| O mesmo erro em várias pessoas | Líder de equipe e dono do processo ou do conhecimento | Gerente de suporte | Humano (e muitas vezes IA) |
| Artigo errado, ausente ou conflitante | Gestor de conhecimento | Dono da política, se a regra mudar | Os dois |
| Política pouco clara ou contraditória | Dono da política (financeiro, jurídico, CX) | Head de CX | Os dois |
| Instruções ou prompt do agente de IA | Responsável pelo agente de IA | O responsável de QA aprova a rodada de regressão | Agente de IA |
| Permissões e limites das ferramentas | Responsável pelo agente de IA | TI ou segurança | Agente de IA |
| Regras de escalonamento e roteamento | Operações de CX | Head de CX | Os dois |
| Um critério que avalia a coisa errada | Responsável de QA | Grupo de calibração | Os dois |
A coluna de aprovação é a que mais importa nas mudanças do agente de IA: uma edição de prompt chega a todas as conversas no minuto seguinte, então ela recebe a mesma disciplina de versão que uma mudança de política (a gestão de políticas para agentes de IA mostra quem aprova cada regra). O AI Risk Management Framework do NIST é construído sobre quatro funções, governar, mapear, medir e gerenciar (NIST, em inglês); esta tabela é a versão de uma equipe de suporte para governar.
Como é o ciclo semanal de melhoria?
Um único ritmo para os dois lados: levante os erros da semana por critério e por intenção, decida se cada um é de uma pessoa, de um processo ou da configuração do agente de IA, atribua o responsável, corrija e verifique as correções da semana passada. Os humanos recebem coaching em poucos dias; as mudanças do agente de IA só são lançadas depois que o conjunto de regressão passa.
| Dia | Etapa | Lado humano | Lado do agente de IA |
|---|---|---|---|
| Segunda-feira | Levantar os erros | Critérios reprovados por pessoa e por intenção | Critérios reprovados por intenção, com as conversas |
| Segunda-feira | Triagem | Uma pessoa ou várias pessoas? | Configuração, conhecimento ou política? |
| Terça-feira | Atribuir | Card de coaching por pessoa, um ou dois critérios cada | Um ticket por padrão, com as conversas que falharam anexadas |
| Terça a quarta-feira | Corrigir | Conversas individuais de 15 minutos, casos de prática, exemplos de colegas | Mudança feita; conversas que falharam viram casos de teste; conjunto de regressão completo rodado |
| Quinta-feira | Lançar | Não se aplica | Lançar só se o critério de liberação passar; registrar a mudança e a data |
| Segunda-feira seguinte | Verificar | Mesmo critério, mesma pessoa, últimos 7 dias | Mesmo critério, mesma intenção, últimos 7 dias |
A etapa de triagem precisa de uma regra de decisão. A nossa:
- Uma pessoa erra, as outras passam na mesma intenção: faça coaching com a pessoa.
- Três ou mais pessoas erram o mesmo critério na mesma intenção: pare o coaching e olhe o artigo, a macro ou o processo. Fazer coaching de dez pessoas em torno de um artigo quebrado é a correção mais cara que existe.
- O agente de IA erra e as pessoas passam: corrija a configuração do agente de IA.
- Os dois erram na mesma intenção: corrija a fonte compartilhada (o artigo ou a política) uma vez e verifique os dois lados na semana seguinte.
O coaching redigido por IA poupa a busca por exemplos, desde que um gestor revise cada card (o coaching com IA para atendentes traz o checklist); a disciplina de testes do lado da IA está em testes de agentes de IA.
Como comprovar que uma correção funcionou para uma pessoa e para um agente de IA?
Comprove uma correção humana avaliando o mesmo critério nas próximas conversas dessa pessoa na mesma intenção, ao longo de 2 a 4 semanas. Comprove uma correção do agente de IA duas vezes: antes da versão, as conversas que falharam e o conjunto de regressão completo passam; depois da versão, o mesmo critério na mesma intenção passa na avaliação ao vivo da semana seguinte.
| Correção humana | Correção do agente de IA | |
|---|---|---|
| Antes de a correção contar | Nada; o coaching não pode ser testado antes | O conjunto de regressão passa, com os casos críticos rodados 3 vezes e passando todas as vezes |
| Depois | Mesmo critério, mesma intenção, próximas 20 ou mais conversas avaliadas | Mesmo critério, mesma intenção, a semana seguinte de conversas ao vivo |
| O que esperar | Mudança gradual em 2 a 4 semanas | Uma mudança em degrau, ou nada |
| Se não funcionou | Uma segunda sessão com outro exemplo, depois olhar a carga de trabalho ou o processo | Reabrir o ticket; a causa provavelmente estava em outro ponto da configuração |
Os casos críticos rodam várias vezes porque um modelo pode passar em um caso uma vez e falhar na execução seguinte. A Anthropic chama a medida “todas as execuções passam” de pass^k e observa que ela cai à medida que o número de execuções aumenta (Anthropic, em inglês); para uma verificação de identidade, “passa todas as vezes” é o único patamar aceitável. Esses limites são pontos de partida sugeridos; defina os seus antes da primeira revisão. A avaliação ao vivo de todas as conversas fecha o ciclo, já que uma amostra de 2% pode dar três pontos de dados por intenção por semana. A avaliação de agentes de IA mostra como as avaliações antes da versão e a avaliação ao vivo se encaixam.
Os agentes de IA vão substituir os atendentes humanos?
Os agentes de IA estão assumindo as intenções de alto volume e bem documentadas, e o trabalho humano se desloca para exceções, decisões de julgamento, clientes chateados e transbordos. Novos papéis crescem em torno do agente de IA (um responsável pela configuração, um gestor de conhecimento, QA para os dois lados), e o padrão de qualidade continua o mesmo.
Essa mudança afeta o coaching. Quando as devoluções de rotina vão para o agente de IA, as pessoas atendem em média conversas mais difíceis, e as notas delas podem cair sem nenhuma mudança de habilidade. Reporte as notas humanas por intenção, ou você vai fazer coaching das pessoas por causa de uma mudança na composição.
Quando esta abordagem não é para você
Este ciclo pressupõe volume semanal, um formulário de monitoria em que você confia e um agente de IA cujo conteúdo, instruções e ferramentas você consegue mudar. É mais do que você precisa se o seu agente de IA atende algumas dezenas de conversas por semana (leia todas e corrija o que vir), se você ainda não tem formulário de monitoria (monte o núcleo compartilhado primeiro) ou se a sua equipe tem menos de cinco pessoas.
Se o agente de IA é uma caixa-preta, o lado dele no ciclo vira um ticket para o seu fornecedor: mantenha a avaliação e coloque a evidência nesse ticket.
Como começar esta semana
Comece pequeno: duas intenções, um núcleo compartilhado, as conversas do mês passado e um horário de revisão na próxima segunda-feira. Isso basta para aplicar a regra de triagem a erros reais e fechar as primeiras correções dos dois lados em uma semana.
- Escolha duas intenções que humanos e o agente de IA atendem, uma fácil e uma difícil.
- Combine o núcleo compartilhado para essas intenções: resultado, precisão, política, identidade, tom, transbordo. Uma definição para cada.
- Avalie as conversas do mês passado dos dois lados e preencha a tabela ajustada pela composição acima.
- Aplique a regra de triagem aos três maiores erros. Escreva o responsável ao lado de cada um.
- Use a tabela do mesmo erro com duas correções para cada erro, incluindo a coluna de verificação.
- Reserve uma revisão de 30 minutos para a próxima segunda-feira para conferir as correções desta semana com o mesmo critério.
A Kaizo é uma das formas de conduzir o lado da avaliação deste ciclo. O AutoPilot avalia cada conversa com base no seu próprio formulário de monitoria quando ela é resolvida, com um comentário que explica a nota; no Zendesk, isso inclui as conversas atendidas pelos agentes de IA do Zendesk, no mesmo formulário de monitoria da sua equipe. Para as pessoas, o coaching da Kaizo redige o card de coaching de cada atendente a partir das notas dele, com links para as conversas por trás, e um gestor o aprova antes que o atendente o veja. Se quiser ver isso nas suas próprias conversas, a página de QA de agentes de IA mostra como funciona o lado do agente de IA.
Perguntas frequentes
O que é colaboração entre humanos e IA no atendimento ao cliente?
É um modelo em que agentes de IA e pessoas dividem o trabalho: os agentes de IA costumam assumir as intenções de alto volume e bem documentadas, e as pessoas ficam com as exceções, os casos emocionais e os transbordos. Funciona quando os dois são avaliados por um único padrão de qualidade e o transbordo leva o contexto.
Dá para fazer coaching de um agente de IA?
Não no sentido humano: um agente de IA não aprende com uma conversa de feedback. Ele melhora quando alguém muda a fonte de conhecimento, as instruções, as regras de política, as permissões das ferramentas ou o roteamento, e testa que a mudança corrigiu o caso sem quebrar outros.
Os agentes de IA aprendem com os próprios erros em produção?
A maioria dos agentes de IA de suporte não muda o comportamento sozinha de uma conversa para outra, então um erro se repete até que alguém mude a configuração. Transforme a conversa que falhou em um caso de teste, para que a correção possa ser comprovada e o erro não volte em silêncio.
Agentes de IA e atendentes humanos devem ser avaliados pelo mesmo formulário de monitoria?
Sim, em um núcleo compartilhado com a mesma formulação e o mesmo peso, mais um pequeno bloco de verificações para cada um, para falhas que só um dos lados tem, como respostas inventadas no caso do agente de IA.
Quantas conversas de agentes de IA uma pessoa deve revisar?
Se um avaliador automatizado cobre todas as conversas, as pessoas revisam as falhas, todo erro crítico e uma amostra das aprovadas para verificar o avaliador. Sem ele, revise o suficiente por intenção para ver os padrões semanais; alguns por cento distribuídos entre todas as intenções costumam deixar passar os erros repetidos nas intenções menores.
