A monitoria de agentes de IA no Zendesk consiste em ler e avaliar as conversas que o seu agente de IA do Zendesk atende, com base em um padrão escrito, para saber se as respostas estavam certas e não apenas se o cliente foi embora. Você precisa de um formulário de monitoria feito para o bot, de uma forma de avaliar todas as conversas do agente de IA e de um ciclo que transforme cada falha em uma correção no Zendesk.
Em resumo
- Uma resolução automatizada no Zendesk mostra que o cliente não chegou a um atendente, não que a resposta estava correta.
- Comece pelas conversas do agente de IA em que uma resposta errada custa dinheiro: reembolsos, preços, exceções à política e alterações de conta.
- Avalie o bot em precisão, embasamento, escalonamento e transbordo, e não só em saudação e empatia.
- Toda falha deve terminar em uma mudança específica: um artigo da central de ajuda, um procedimento, uma regra de escalonamento ou um tema bloqueado.
- Avalie de novo depois de cada mudança, porque corrigir uma resposta pode quebrar outra.
Este guia é a versão Zendesk do nosso guia geral sobre como fazer a monitoria de agentes de IA. Se você procura a ferramenta em si, a página da ferramenta de QA para Zendesk mostra como a Kaizo avalia as conversas do Zendesk, inclusive as atendidas pelos agentes de IA do Zendesk.
O que o Zendesk mostra sobre a qualidade do agente de IA?
O Zendesk mostra volume e resultados: quantas conversas o agente de IA resolveu, quais não resolveu e as transcrições por trás de cada uma. Sozinho, ele não diz se cada resposta foi precisa ou seguiu a sua política. Para isso você precisa de uma revisão, seja no Zendesk QA, seja em uma ferramenta de QA separada.
Na prática, hoje um administrador do Zendesk tem três lugares para olhar:
| Onde | O que você obtém | O que não fica claro |
|---|---|---|
| Insights e transcrições do agente de IA | Resoluções automatizadas e conversas não resolvidas, com transcrições | Se uma conversa resolvida teve uma resposta correta |
| Contagem de resoluções automatizadas | Quantas solicitações o agente de IA resolveu sem escalonar para um atendente | Se o cliente voltou ou desistiu |
| Zendesk QA (complemento pago) | Revisões e avaliação automática das conversas, inclusive dos bots que você marca como revisáveis | Se a resposta seguiu a sua própria política, a não ser que o seu formulário verifique isso |
Dois detalhes merecem atenção. Segundo a central de ajuda do Zendesk, a visualização de transcrições, que você abre na aba Insights das configurações do agente de IA, mostra as primeiras 100 mensagens trocadas entre um agente de IA e um usuário, e só as conversas inativas há mais de 72 horas aparecem entre as resoluções automatizadas. O mesmo artigo classifica essa visualização como legada e informa que ela deixará de estar disponível depois de 10 de dezembro de 2026, então confira onde a sua equipe vai ler as transcrições depois dessa data.
Por que uma resolução automatizada não é uma nota de qualidade?
O Zendesk mede o uso do agente de IA em resoluções automatizadas e cobra apenas pelas solicitações de clientes resolvidas com sucesso por um agente de IA, sem nenhum escalonamento para um atendente humano. Essa definição diz que a conversa terminou sem um atendente. Ela não tem como dizer se a resposta estava certa, completa ou permitida.
A lacuna aparece de três formas:
- O cliente desistiu. Uma resposta errada ou genérica e depois silêncio. Sem escalonamento, a conversa conta como resolvida.
- A resposta estava quase certa. O bot cita a política certa, mas pula uma condição, ou o produto certo, mas com o preço antigo. Todas as métricas do sistema continuam verdes.
- O bot prometeu algo que você não oferece. Um reembolso fora do prazo, uma taxa dispensada, uma data de entrega que ninguém consegue cumprir. O cliente fica satisfeito até a promessa falhar.
Equipes de atendimento descrevem o mesmo padrão em público. Em uma discussão no r/Zendesk, uma equipe que revisava tickets “started and finished with the AI Agent (no human touch)”, ou seja, iniciados e encerrados pelo agente de IA sem nenhum toque humano, escreveu que viu “high value customers getting iffy or bad answers and then abandoning the chat” (clientes de alto valor recebendo respostas duvidosas ou ruins e depois abandonando o chat). É o relato de uma única equipe, mas é exatamente o caso que uma contagem de resoluções automatizadas não consegue mostrar. Reunimos a lista mais ampla desses erros discretos em falhas silenciosas de agentes de IA.
Como montar a monitoria de agentes de IA no Zendesk?
Monte a monitoria de agentes de IA no Zendesk em seis etapas: escolha primeiro os temas de risco, escreva um formulário de monitoria para o bot, avalie todas as conversas do agente de IA, verifique o transbordo para os seus atendentes, rastreie cada falha até uma correção no Zendesk e avalie de novo depois de cada mudança. As duas primeiras etapas você faz uma vez; o resto vira rotina semanal.
Etapa 1: Decida quais conversas do agente de IA importam mais
Nem toda conversa do bot tem o mesmo risco. Uma resposta errada sobre o horário de funcionamento é incômoda. Uma resposta errada sobre um reembolso, uma taxa de cancelamento ou uma solicitação de dados custa dinheiro ou cria um problema de compliance. Liste os temas em que uma resposta errada causa prejuízo e garanta que a sua revisão cubra esses temas primeiro:
- Reembolsos, créditos, compensações e dispensa de taxas
- Preços, planos e tudo o que tiver um número
- Exceções à política e regras de elegibilidade
- Alterações de conta, cancelamentos e dados pessoais
- Reclamações e ameaças de churn
Marque também as conversas de contas de alto valor e qualquer conversa em que o mesmo cliente volta em poucos dias com o mesmo assunto.
Etapa 2: Escreva um formulário de monitoria para o agente de IA
O formulário dos seus atendentes é um ponto de partida, não a resposta. Saudação e ortografia raramente falham em um bot. Precisão, embasamento no seu próprio conteúdo e saber a hora de parar são onde ele falha. Mantenha de 6 a 8 critérios, cada um algo que o avaliador consiga verificar na transcrição. A próxima seção traz um exemplo completo, e o nosso guia sobre o scorecard de agentes de IA explica quais critérios dos atendentes deixar de fora.
Etapa 3: Avalie todas as conversas do agente de IA, não uma amostra
Um bot tende a repetir o mesmo erro em conversas sobre o mesmo tema, porque responde sempre a partir do mesmo conteúdo. Uma amostra de 2% pode não pegar o erro, ou pegá-lo uma vez e tratá-lo como ruído. Avaliar todas as conversas do agente de IA mostra o padrão: um artigo, um procedimento ou uma regra por trás de dezenas de respostas ruins.
Com a Kaizo, você conecta o Zendesk, escolhe um formulário de monitoria e ativa o AutoPilot. Ele avalia cada conversa com os seus critérios quando ela é resolvida e anexa ao ticket um comentário que explica a nota. Você pode definir quais filas, canais ou equipes ele avalia.
Etapa 4: Verifique o transbordo para os seus atendentes
Quando o agente de IA escalona, duas coisas podem dar errado: ele escalona tarde demais, quando o cliente já está frustrado, ou passa a conversa sem o contexto, e o cliente precisa repetir tudo. Avalie os dois lados: o do bot (escalonou no gatilho certo, passou um resumo?) e o do atendente (leu o resumo?). O nosso guia sobre como avaliar o transbordo cobre as duas direções.
Etapa 5: Rastreie cada falha até uma correção no Zendesk
Uma nota de QA que não muda o bot é só um relatório. Para cada critério reprovado, decida o que causou a falha e onde está a correção:
| O que falhou | Causa provável | Onde corrigir |
|---|---|---|
| Fato errado ou desatualizado | O artigo de origem está errado, antigo ou não existe | Atualize ou crie o artigo da central de ajuda em que o bot se baseia |
| Política certa, condição faltando | O artigo esconde a condição, ou dois artigos se contradizem | Reescreva o artigo para que a condição esteja na própria resposta |
| Prometeu algo não permitido | Nada impede o bot de responder sobre aquele tema | Passe esse tema para um atendente ou impeça o bot de responder sobre ele |
| Escalonou tarde demais | As condições de transbordo são restritas demais | Amplie as condições: tema, sinais de frustração, a mesma pergunta feita duas vezes |
| Transbordo sem contexto | Nenhum resumo é passado ao atendente | Mude o transbordo para que o atendente receba um resumo da conversa |
Agrupe as falhas por causa antes de corrigir qualquer coisa. Dez respostas ruins que vêm de um mesmo artigo pedem uma correção, não dez.
Etapa 6: Avalie de novo depois de cada mudança
Mudanças de conteúdo têm efeitos colaterais. Um artigo de reembolso reescrito pode corrigir as respostas sobre reembolso e quebrar as respostas relacionadas sobre cancelamento. Depois de cada mudança, acompanhe as notas do tema afetado na semana seguinte e compare com a semana anterior. Se você avalia todas as conversas, essa comparação já está pronta.
Como é um formulário de monitoria para o agente de IA do Zendesk?
Um formulário de monitoria para o agente de IA do Zendesk verifica se a resposta do bot estava correta, embasada no seu próprio conteúdo, permitida pela política e transferida no momento certo. Ele precisa de menos critérios de soft skills do que o formulário dos atendentes e de mais critérios sobre fatos e escalonamento. Veja um exemplo completo para uma equipe de atendimento do varejo.
| Critério | Pergunta que o avaliador responde | Tipo |
|---|---|---|
| Resposta correta | Todos os fatos da resposta eram verdadeiros para o caso deste cliente? | Aprovado / reprovado, erro crítico em temas que envolvem dinheiro |
| Embasada no nosso conteúdo | Cada afirmação pode ser ligada a um artigo da central de ajuda ou a um procedimento? | Aprovado / reprovado |
| Política respeitada | O bot ficou dentro das regras de reembolso, taxas e elegibilidade? | Aprovado / reprovado, erro crítico |
| Entendeu a solicitação | Respondeu à pergunta que o cliente fez, e não a uma parecida? | 1 a 3 |
| Escalonou quando devia | Fez o transbordo no gatilho certo, antes de o cliente ter de se repetir? | Aprovado / reprovado |
| Contexto no transbordo | O atendente recebeu um resumo com o qual pudesse agir? | Aprovado / reprovado |
| Tom | O tom foi adequado para um cliente irritado? | 1 a 3 |
E este é o tipo de comentário que um avaliador, ou o AutoPilot, deve deixar no ticket:
Política respeitada: reprovado. O cliente pediu reembolso no 34º dia. O agente de IA confirmou o reembolso, mas a política de devolução permite 30 dias. Origem: o artigo da central de ajuda “Devoluções e reembolsos”, que só menciona o prazo de 30 dias no último parágrafo. Correção sugerida: levar o prazo para a primeira frase do artigo e criar uma regra de escalonamento para pedidos de reembolso depois do 30º dia.
É um comentário assim que torna a nota útil: ele nomeia o critério, a evidência na transcrição, a origem do erro e a correção. Antes de confiar em qualquer nota automática, rode a avaliação em conversas que a sua equipe já avaliou e veja onde ela discorda. O nosso guia sobre como validar a avaliação de QA com IA (em inglês) mostra esse teste passo a passo.
Que resultados esperar da cobertura total?
Os resultados publicados vêm da monitoria de conversas de atendimento em geral. Na UiPath, a Kaizo automatizou 100% da monitoria de qualidade com ROI de 200% e um aumento de 8% na nota de qualidade. Na SteelSeries (em inglês), uma equipe de atendimento de 30 pessoas que começou no Zendesk, os resumos com IA cortaram pela metade o tempo da monitoria sem reduzir o que ela detectava.
Nenhum dos dois resultados trata só de conversas de agentes de IA. O mecanismo, porém, é o mesmo: quando todas as conversas são avaliadas, uma falha recorrente deixa de ser um caso isolado e vira um número que você pode corrigir e acompanhar.
Veja no seu próprio Zendesk. A Kaizo avalia todas as conversas do Zendesk com os seus próprios critérios, inclusive as atendidas pelos agentes de IA do Zendesk, e anexa a explicação ao ticket. Agende uma demo.
Usar o Zendesk QA ou uma ferramenta de QA separada?
Use o Zendesk QA se você já paga pelo complemento e os formulários dele combinam com a forma como você quer revisar o bot. Use uma ferramenta de QA separada se quiser um único formulário e um único conjunto de relatórios para as conversas de atendentes e de agentes de IA, construídos em torno dos seus próprios critérios. As duas opções podem funcionar; o formulário e o acompanhamento importam mais do que a ferramenta.
O que o Zendesk QA oferece para bots, segundo a central de ajuda do Zendesk:
- Você marca cada bot como revisável ou não. Os bots revisáveis entram na avaliação automática e nas revisões manuais.
- Você pode filtrar conversas por participante, bot, tipo de bot (fluxo de trabalho ou generativo) e número de respostas do bot.
- As categorias do AutoQA são saudação, empatia, ortografia e gramática, encerramento, solução oferecida, tom, legibilidade e compreensão, e atendentes e bots são avaliados separadamente.
- Ele exige o complemento Quality Assurance ou Workforce Engagement Management.
Perguntas para fazer a qualquer ferramenta, inclusive ao Zendesk QA:
- Ela consegue avaliar os critérios que importam para um bot, como a precisão em relação ao seu conteúdo e à sua política, e não só as categorias padrão?
- Cada nota vem com uma explicação ligada à transcrição?
- Dá para testá-la com as suas avaliações anteriores antes de ela avaliar ao vivo?
- Ela avalia todas as conversas do agente de IA ou uma amostra?
- Quem corrige o bot consegue ver as falhas agrupadas por causa?
Se você está comparando as duas opções diretamente, a nossa página sobre a alternativa ao Zendesk QA mostra as diferenças, e a página Kaizo para Zendesk mostra como funciona a configuração.
Quando isto não é para você
Uma monitoria formal de agentes de IA não compensa em todo lugar. Se o seu agente de IA do Zendesk atende algumas dezenas de conversas por semana, leia você mesmo: uma hora por semana com as transcrições e um checklist curto encontra a maioria dos problemas. Se o bot só responde a perguntas de baixo risco, como horário de funcionamento e links de rastreamento de pedidos, uma verificação pontual por mês é suficiente.
Também é cedo demais se você ainda não tem um padrão escrito do que é uma boa resposta. Escreva esse padrão primeiro, mesmo que seja uma lista de uma página, porque nenhuma ferramenta consegue avaliar com base em um padrão que não existe. E se o conteúdo da sua central de ajuda estiver desatualizado de modo geral, corrija o conteúdo antes de medir o bot: a monitoria vai, em grande parte, dizer o que você já sabe.
Perguntas frequentes
O Zendesk QA consegue revisar conversas atendidas por agentes de IA?
Sim. O Zendesk QA pode incluir os bots que você marca como revisáveis na avaliação automática e nas revisões manuais, e você pode filtrar conversas por bot e tipo de bot. Ele exige o complemento Quality Assurance ou Workforce Engagement Management.
A Kaizo funciona com os agentes de IA do Zendesk?
Sim. A Kaizo se conecta ao Zendesk e o AutoPilot avalia todas as conversas do Zendesk com os seus próprios critérios, inclusive as atendidas pelos agentes de IA do Zendesk. Cada nota vem com um comentário que a explica.
Quantas conversas do agente de IA do Zendesk devo revisar?
Avalie todas, se puder, porque um bot tende a repetir o mesmo erro em conversas sobre o mesmo tema. Se a revisão for manual, comece pelos temas de risco, como reembolsos, preços e exceções à política, e leia todas essas conversas primeiro.
Dá para usar o mesmo formulário de monitoria para os atendentes e para o agente de IA?
Você pode compartilhar os critérios que valem para os dois, como resposta correta e tom, o que mantém os resultados comparáveis. O agente de IA precisa de critérios extras de embasamento no seu conteúdo, limites da política e escalonamento, e de menos peso em saudação e ortografia.
Quanto tempo leva para montar a monitoria de um agente de IA do Zendesk?
A maior parte do trabalho é escolher os temas de risco e escrever o primeiro formulário de monitoria, o que você faz uma vez. Com a Kaizo, conectar o Zendesk e ativar o AutoPilot leva dias, não um projeto de integração, e você pode testar a avaliação com as suas avaliações anteriores antes de ela entrar em produção.
O que fazer quando o agente de IA dá uma resposta errada?
Primeiro encontre a origem da resposta: em geral, um artigo da central de ajuda errado, desatualizado ou pouco claro. Corrija o artigo ou crie uma regra de escalonamento para aquele tema e depois acompanhe as notas desse tema na semana seguinte para confirmar que a correção funcionou.
Continue lendo
- Como fazer a monitoria de agentes de IA e chatbots, o guia geral para qualquer agente de IA
- Your AI agent is closing tickets. Who is checking it? (em inglês), sobre o que amostrar primeiro
- QA inside the Zendesk ticket view (em inglês), sobre por que o feedback deve ficar no ticket
- Kaizo para Zendesk, a ferramenta de QA para Zendesk que avalia conversas de atendentes e de agentes de IA
