A avaliação de desempenho do agente de IA é uma reunião mensal em que os responsáveis pelo seu agente de IA olham um mês de conversas avaliadas, comparam com as metas e decidem o que muda. Ela funciona como a avaliação de um atendente: o mesmo formulário de monitoria, evidências reais e metas claras.
A diferença está no resultado: uma mudança de conteúdo, de escopo ou de roteamento, e não um plano de coaching.
Em resumo
- Uma avaliação mensal de desempenho do agente de IA transforma notas em decisões: ampliar o bot, manter como está ou tirar temas dele.
- Ela difere da avaliação de um atendente em quem participa, em qual é a evidência e em quais são as consequências.
- Cinco papéis precisam estar na sala, e quem apresenta as constatações é o QA, não a equipe que implantou o bot.
- Um relatório de uma página e uma pauta de 60 minutos a mantêm curta o bastante para acontecer todo mês.
- Uma regra de decisão escrita para ampliar, manter ou restringir temas evita que a reunião vire um debate.
Este guia trata do ritual: frequência, pessoas, relatório e decisões. Para saber quais métricas acompanhar, veja o nosso guia sobre como medir o desempenho de agentes de IA.
Para a avaliação em si, a nossa página de QA de agentes de IA mostra como a Kaizo avalia todas as conversas de agentes de IA com o mesmo formulário de monitoria da sua equipe.
Por que fazer uma avaliação de desempenho de um agente de IA?
Faça uma avaliação de desempenho do agente de IA porque os painéis reportam e as pessoas decidem. Alguém precisa ser dono da decisão de dar mais trabalho ao bot, mantê-lo onde está ou tirar trabalho dele.
A maioria das equipes já tem os dados. O helpdesk conta as resoluções automatizadas, o fornecedor mostra intenções e abandonos, e o QA avalia as conversas. O que muitas vezes falta é um momento fixo em que alguém com autoridade olha tudo junto e toma uma decisão.
Sem isso, um problema conhecido nas respostas sobre reembolso pode ficar parado semanas em uma conversa no chat interno.
As diretrizes de risco de IA também esperam esse momento. O NIST AI Risk Management Framework (janeiro de 2023) prevê, no item Manage 4.1, que planos de monitoramento após a implantação sejam implementados, com mecanismos para receber a opinião dos usuários, contestação e intervenção humana, desativação, resposta a incidentes, recuperação e gestão de mudanças.
Uma reunião mensal é uma forma simples de dar um lugar a cada um desses pontos.
Há também uma questão de justiça. Os seus atendentes humanos são avaliados, recebem coaching e são cobrados por um padrão. Quando o bot atende uma parcela crescente das suas conversas, aplicar a ele a mesma disciplina é o que torna a comparação honesta, e é sobre isso que a sua liderança vai perguntar.
Em que a avaliação de um agente de IA difere da de um atendente?
A avaliação de um agente de IA olha padrões em milhares de conversas e termina em mudanças de conteúdo e de configuração. A avaliação de um atendente olha o trabalho de uma pessoa e termina em coaching.
| Avaliação do atendente | Avaliação de desempenho do agente de IA | |
|---|---|---|
| O que é avaliado | Uma amostra ou todas as conversas de uma pessoa | Todas as conversas que o agente de IA atendeu no mês |
| Unidade de análise | A pessoa | O tema, o artigo, a regra |
| Quem participa | O atendente e o líder da equipe | QA, o responsável pelo bot, o responsável pelo conteúdo, as operações de atendimento, o líder de CX |
| Constatação típica | Uma lacuna de habilidade ou um hábito | Um artigo desatualizado, uma regra faltando, um transbordo tardio |
| Resultado | Coaching, uma meta, um plano de desenvolvimento | Uma correção de conteúdo, uma mudança de escopo, uma mudança de roteamento ou de escalonamento |
| Consequência de um mês ruim | Um plano de melhoria | Temas restritos ou passados para pessoas até a correção |
| Questão de justiça | Ser avaliado por coisas fora do seu controle | Os erros do bot caírem na nota de uma pessoa |
Vale escrever no seu processo uma regra que vem da última linha: um erro do bot nunca cai na nota de um atendente humano. Se o agente de IA prometeu um reembolso e o atendente teve de retirar a promessa, o critério reprovado é do bot.
Quem deve estar na sala?
Cinco papéis fazem parte da avaliação de desempenho do agente de IA: o QA apresenta, o responsável pelo bot e o responsável pelo conteúdo levam as correções, as operações falam pelas filas e o líder de CX decide.
| Papel | O que traz | Com o que sai |
|---|---|---|
| Líder de QA (apresenta) | As notas, as tendências, as transcrições por trás de cada constatação | Mudanças nos critérios para o mês seguinte |
| Responsável pelo agente de IA | Como o bot está configurado, o que mudou no mês | Mudanças de prompt, roteamento e escalonamento |
| Responsável pelo conteúdo da base de conhecimento | Em quais artigos o bot se baseia para responder | Correções de artigos, com data |
| Líder de operações de atendimento | Volume de transbordos, impacto nas filas, novos contatos | Ajustes de escala ou de roteamento |
| Líder de CX (decide) | Metas e apetite a risco | As decisões de ampliar, manter ou restringir |
O QA apresenta porque a constatação deve vir de quem não construiu o bot. A equipe que o implantou é também a equipe cujo projeto fica bem quando os números ficam bem.
O nosso texto sobre quem está conferindo o seu agente de IA (em inglês) explica como separar a constatação, a correção e a autoridade para desligar um fluxo.
Convide a área de risco ou de compliance quando o mês tiver uma falha crítica em um tema regulado. Convide o fornecedor quando precisar da ajuda dele em uma correção, não para apresentar os resultados.
O relatório de desempenho do agente de IA em uma página
O relatório cabe em uma página: um número principal em relação à meta, os critérios que mudaram, os temas em risco, as causas por trás das falhas e as decisões necessárias.
Copie este modelo e preencha todo mês com os dados da sua ferramenta de QA e do helpdesk:
| Seção | O que entra | De onde vem |
|---|---|---|
| 1. Número principal | Taxa de resolvidas e corretas em relação à meta, neste mês e no anterior | Notas de QA mais novos contatos |
| 2. Volume e escopo | Conversas do agente de IA, parcela do total de conversas, temas que ele atende | Helpdesk |
| 3. Critérios compartilhados | Notas nos critérios que pessoas e bot compartilham, lado a lado com a equipe humana | Formulário de monitoria |
| 4. Critérios do bot | Taxas de aprovação em embasamento, limites da política, escopo e escalonamento | Formulário de monitoria |
| 5. Temas em risco | Cada tema abaixo da meta, com o número de conversas | Notas de QA por tema |
| 6. Falhas críticas | Quantidade, o que aconteceu, clientes afetados, status | Constatações de QA |
| 7. As três principais causas | O artigo, a regra ou a configuração por trás da maioria das falhas, com uma transcrição cada | Análise de causa raiz |
| 8. Correções do mês anterior | O que foi entregue e se as notas mudaram | Conversas avaliadas de novo |
| 9. Transbordo | Transbordos tardios ou ausentes, contexto repassado | Critérios de transbordo |
| 10. Decisões necessárias | Ampliar, manter ou restringir, por tema | A regra de decisão abaixo |
Fique com os números que levam a uma decisão. Se uma linha não mudou nenhuma decisão em três meses, tire-a da página e deixe-a no anexo.
Na Kaizo, as notas das seções 3 a 9 vêm do mesmo formulário de monitoria. O Kaizo Insights reúne QA, sentimento e coaching em uma única visão, pronta para apresentar ou exportar, e a análise de causa raiz agrupa as falhas por trás de uma queda.
Exemplo prático: a avaliação de outubro
Neste exemplo, o agente de IA melhorou no geral, mas falhou em um tema, então a reunião amplia um tema, mantém três e restringe um. Os números são uma ilustração que montamos, não dados de um cliente.
A seção do número principal no relatório de outubro:
| Indicador | Setembro | Outubro | Meta |
|---|---|---|---|
| Conversas do agente de IA | 11.200 | 12.400 | |
| Resolvidas e corretas | 70,4% | 73,1% | 75% |
| Embasado no nosso conteúdo (taxa de aprovação) | 95,8% | 98,0% | 98% |
| Limites da política (taxa de aprovação) | 97,2% | 98,1% | 99% |
| Escalonou no gatilho certo | 91,0% | 89,5% | 93% |
| Novo contato em até 7 dias | 6,8% | 6,1% | 5% |
| Falhas críticas | 4 | 1 | 0 |
O número principal subiu 2,7 pontos, mas o escalonamento foi na direção errada. É o tipo de mês misto em que a reunião justifica a sua hora: o número geral seria reportado como boa notícia, enquanto a queda no escalonamento correto precisa de um responsável.
A seção de temas é de onde saem as decisões:
| Tema | Conversas | Taxa de aprovação em embasamento e política | Falhas críticas | Decisão |
|---|---|---|---|---|
| Rastreamento de pedidos | 4.900 | 99,3% (setembro 99,1%) | 0 | Ampliar: incluir pedidos de mudança de entrega |
| Devoluções | 2.600 | 97,8% | 0 | Manter |
| Dúvidas sobre produtos | 2.700 | 97,1% | 0 | Manter e corrigir os dois artigos por trás da maioria das falhas |
| Reembolsos | 1.300 | 94,6% | 1 | Restringir: passar os reembolsos parciais para pessoas até a correção |
| Alterações de conta | 900 | 98,4% (setembro 97,6%) | 0 | Manter mais um mês antes de ampliar |
A reunião termina com cinco decisões, cada uma com um responsável e uma data. A restrição dos reembolsos volta à pauta em novembro, depois que o responsável pelo conteúdo reescrever o artigo sobre reembolso parcial e o QA avaliar o tema de novo.
Uma regra de decisão para ampliar, manter ou restringir
Escreva a regra de decisão antes da primeira reunião: limites para ampliar, manter e restringir cada tema. Assim a reunião aplica a regra em vez de discuti-la.
Uma regra inicial, para ajustar ao seu próprio apetite a risco:
| Decisão | Quando | O que acontece |
|---|---|---|
| Ampliar | Taxa de aprovação em embasamento e política igual ou acima de 98% por dois meses seguidos, sem nenhuma falha crítica | O bot assume uma nova intenção ou uma versão mais ampla do tema |
| Manter | Taxa de aprovação entre 96% e 98%, ou um mês bom depois de um mês fraco | Sem mudança de escopo; corrija as principais causas |
| Restringir | Taxa de aprovação abaixo de 96%, ou qualquer falha crítica em um tema que envolve dinheiro | Passe o tema, ou a parte arriscada dele, para pessoas até que uma nova avaliação o libere |
Os limites acima são uma sugestão nossa, não um padrão do setor. Defina-os por tema se precisar: a mesma taxa de aprovação pode ser boa em dúvidas sobre produtos e baixa demais em reembolsos. O que importa é que a regra exista antes de alguém ver os números.
A pauta de 60 minutos
Sessenta minutos bastam se o relatório for enviado dois dias úteis antes da reunião e o tempo for usado para decidir, não para ler números em voz alta.
| Minutos | Item | Conduzido por |
|---|---|---|
| 0 a 5 | Número principal em relação à meta e decisões do mês anterior: feitas ou não | Líder de QA |
| 5 a 20 | Temas em risco e falhas críticas, com uma transcrição cada | Líder de QA |
| 20 a 35 | As três principais causas e as correções propostas | Responsável pelo conteúdo e responsável pelo bot |
| 35 a 45 | Correções do mês anterior: as notas mudaram? | Líder de QA |
| 45 a 55 | Decisões por tema, com base na regra | Líder de CX |
| 55 a 60 | Responsáveis, datas e mudanças nos critérios para o mês seguinte | Líder de QA |
Mostrar uma transcrição real para cada constatação importa mais do que qualquer gráfico. Ela transforma “o embasamento caiu em reembolsos” em uma frase que toda a sala consegue ler e encerra as discussões sobre se o avaliador acertou.
O nosso guia sobre rastreabilidade das notas de QA (em inglês) explica por que cada nota precisa das linhas que a justificam.
Semanal, mensal, trimestral: o que vai em cada um
A reunião mensal fica entre uma verificação operacional semanal e um relatório trimestral para a liderança. Cada ritmo tem a sua função, e misturá-los piora os três.
| Ritmo | Quem | O que cobre | O que decide |
|---|---|---|---|
| Semanal (15 minutos) | Líder de QA, responsável pelo bot | Falhas críticas, novos padrões, se as correções da semana anterior se mantiveram | Correções urgentes e transbordos |
| Mensal (60 minutos) | Os cinco papéis acima | O relatório de uma página | Ampliar, manter ou restringir por tema |
| Trimestral | Líder de CX para a liderança | Tendência do número principal, crescimento do escopo, custo das falhas evitadas | Orçamento e roadmap do agente de IA |
No relatório trimestral, fique com três números que a liderança consegue acompanhar ao longo do tempo: a taxa de resolvidas e corretas, a parcela de conversas do bot e as falhas críticas.
O nosso guia sobre relatórios de atendimento para executivos (em inglês) mostra como apresentar um número de qualidade a um VP ou CFO. Para o ritmo semanal, o texto sobre frequência da monitoria de QA (em inglês) traz os detalhes.
Como fazer a sua primeira avaliação de desempenho do agente de IA
Faça a sua primeira avaliação de desempenho do agente de IA com um mês de conversas avaliadas, o modelo de uma página e uma regra de decisão combinada com antecedência. Cinco etapas levam você até lá.
Etapa 1: Avalie um mês inteiro
Avalie todas as conversas do agente de IA durante um mês com um formulário de monitoria que inclua os critérios do bot: embasamento, limites da política, escopo e escalonamento. O AutoPilot da Kaizo avalia cada conversa com os seus critérios quando ela é resolvida.
Etapa 2: Combine as metas e a regra de decisão
Defina uma meta para o número principal e para cada critério do bot, e combine os limites para ampliar, manter e restringir antes que alguém veja o primeiro relatório.
Etapa 3: Dê nome aos cinco papéis
Coloque nomes ao lado de líder de QA, responsável pelo bot, responsável pelo conteúdo, líder de operações de atendimento e líder de CX. Reserve um horário fixo de 60 minutos na primeira semana de cada mês.
Etapa 4: Envie o relatório com dois dias de antecedência
Preencha o modelo de uma página e envie dois dias úteis antes da reunião, para que a hora seja usada para decidir.
Etapa 5: Termine com responsáveis e datas
Cada decisão sai da sala com um responsável e uma data, e o relatório seguinte começa dizendo se ela foi cumprida.
Veja em uma demo ao vivo. A Kaizo avalia todas as conversas de agentes de IA com o mesmo formulário de monitoria da sua equipe e mostra as tendências por semana, tema e equipe, prontas para a sua reunião mensal. Vamos conversar.
Perguntas frequentes
Com que frequência avaliar o desempenho de um agente de IA?
Mensalmente para as decisões, com uma verificação semanal curta das falhas críticas e das correções. Um mês dá conversas suficientes por tema para ver uma tendência real e é frequente o bastante para que um problema em um tema que envolve dinheiro não dure um trimestre. Reporte a tendência à liderança a cada trimestre.
O que deve entrar em uma avaliação de desempenho do agente de IA?
Um número principal de qualidade em relação à meta, as taxas de aprovação nos critérios próprios do bot, os temas abaixo da meta, as falhas críticas, as principais causas das falhas com uma transcrição cada, se as correções do mês anterior funcionaram e as decisões necessárias. Mantenha tudo em uma página e passe para um anexo o que não leva a uma decisão.
Dá para comparar o agente de IA com os seus atendentes humanos na avaliação?
Sim, nos critérios que eles compartilham, como resposta correta e tom adequado, avaliados do mesmo jeito. Compare por tema e não no geral, porque o bot costuma atender os temas mais simples. Não compare em critérios que só um dos dois tem e nunca deixe um erro do bot contar contra a nota de um atendente.
O que acontece quando um agente de IA vai mal na avaliação de desempenho?
Ele perde escopo até reconquistá-lo. Os temas abaixo do limite, ou com uma falha crítica, vão para atendentes humanos ou recebem transbordo forçado. O responsável pelo conteúdo corrige a origem, o QA avalia o tema de novo e a reunião seguinte decide se o bot recebe o tema de volta.
O fornecedor do agente de IA deve apresentar os resultados?
Não. O fornecedor pode explicar como o bot funciona e ajudar nas correções, mas os resultados devem vir do seu próprio QA, com o seu próprio formulário de monitoria. Um fornecedor que apresenta a nota do próprio produto tem interesse em um bom resultado, e a sua liderança vai querer um número que a sua equipe produziu e consegue defender.
