Testes de agentes de IA: casos, regressão, simulação

Testes de agentes de IA são a forma de uma equipe de atendimento provar que um agente de IA continua se comportando bem antes que uma mudança chegue aos clientes. Você monta casos de teste a partir de conversas reais resolvidas e de falhas passadas, roda tudo de novo antes de cada mudança de prompt, política, base de conhecimento ou modelo, simula clientes difíceis, confere as ações que o agente tomou e só publica quando um portão de lançamento escrito é aprovado.

Em resumo

• Um agente que toma ações precisa de testes sobre o que ele fez (reembolso emitido, limite respeitado, caso passado para uma pessoa), não só sobre o que ele disse.
• Os melhores casos de teste vêm das suas próprias conversas resolvidas e das falhas passadas.
• Rode o conjunto de regressão completo antes de cada mudança de prompt, política, base de conhecimento, modelo ou ferramenta.
• Rode cada caso crítico várias vezes: um agente que passa uma vez pode falhar no mesmo caso na rodada seguinte.
• Escreva o portão de lançamento antes da rodada de testes, para que ninguém discuta limites depois de ver os resultados.

Este guia é a parte de pré-lançamento do nosso guia mais amplo de avaliação de agentes de IA.

O que são testes de agentes de IA, e como diferem do teste de chatbot?

Testes de agentes de IA verificam um agente que raciocina ao longo de vários turnos e toma ações nos seus sistemas, como emitir reembolsos, alterar pedidos ou atualizar contas. O teste de chatbot verifica sobretudo respostas e fluxos de conversa. A diferença está na consequência: uma resposta errada de um chatbot engana um cliente, enquanto uma ação errada de um agente altera registros reais.

Se o seu bot só responde e passa para uma pessoa, veja teste de chatbot. Este artigo trata do que muda quando o agente pode agir.

A consistência é a parte difícil. No estudo τ-bench, em que um modelo de linguagem faz o papel do cliente e o agente trabalha com ferramentas e diretrizes de política de um domínio específico, até agentes fortes em chamadas de função tiveram sucesso em menos de 50% das tarefas e passaram na mesma tarefa de varejo em todas as 8 tentativas menos de 25% das vezes. O sucesso foi julgado pelo estado do banco de dados ao fim da conversa, não pela resposta.

O que um caso de teste de agente de IA deve conter?

Um caso de teste de agente de IA precisa de seis campos centrais: o cenário, a persona do cliente, o resultado esperado, as ações que o agente pode tomar, um critério de aprovação que uma segunda pessoa aplicaria da mesma forma e a conversa de origem. Sem os dois últimos, os resultados dos testes viram opiniões.

Este é o modelo: os seis campos centrais mais quatro que mantêm o conjunto fácil de manter. Copie para uma planilha, uma linha por caso.

Duas regras mantêm o modelo útil. Primeiro, o resultado esperado descreve um estado, não uma frase: o guia de engenharia da Anthropic sobre avaliação de agentes diz o mesmo com um exemplo de reserva de voo, em que o que conta é se existe uma reserva no banco de dados, não se o agente diz que fez uma. Segundo, cada caso aponta para a conversa que o justifica, para que, quando uma política mudar, você encontre e atualize os casos que ela afeta.

Como montar um conjunto de referência (golden set) a partir de conversas reais?

Monte o golden set com o seu próprio tráfego: conversas resolvidas que mostram o agente no seu melhor, falhas passadas que você nunca mais quer ver, escalonamentos e os casos-limite de cada política. Comece com 20 a 50 casos e faça o conjunto crescer toda semana, em vez de esperar um conjunto perfeito de centenas.

O guia da Anthropic diz que 20 a 50 tarefas simples tiradas de falhas reais são um ótimo começo e recomenda converter falhas relatadas por usuários em casos de teste, para que a suíte reflita o uso real.

Um primeiro conjunto equilibrado de 50 casos poderia ser assim (uma ilustração; ajuste os pesos ao seu volume e ao seu risco):

Mantenha os casos aprovados no conjunto: a correção de um fluxo pode quebrar outro em silêncio, e só os casos que costumavam passar vão mostrar isso. Remova os dados pessoais de cada conversa de origem antes que ela vire caso de teste.

Como rodar testes de regressão antes de cada mudança no agente de IA?

Rode os testes de regressão reexecutando o golden set inteiro no agente alterado antes de ele entrar em produção, com os mesmos critérios de aprovação da última vez, e compare os resultados com a versão atual. Qualquer mudança conta: prompts, políticas, artigos da base de conhecimento, versões do modelo, ferramentas e regras de roteamento alteram o comportamento. Um artigo de ajuda editado pode mudar as respostas sobre reembolso tanto quanto uma edição de prompt.

Rode os casos críticos mais de uma vez. Agentes não são determinísticos, então uma única aprovação prova pouco; foi por isso que os autores do τ-bench propuseram o pass^k, a chance de que todas as k rodadas tenham sucesso. A conta (ilustração): um caso em que o agente passa 90% das vezes passa 3 rodadas seguidas só 73% das vezes (0,9 × 0,9 × 0,9), e 8 rodadas seguidas só 43% das vezes.

Os casos de regressão devem passar em 100%, ou muito perto disso. O guia da Anthropic faz a mesma distinção: avaliações de regressão devem ter uma taxa de aprovação de quase 100%, enquanto avaliações de capacidade para novas habilidades podem começar baixas.

Como simular clientes para testar um agente de IA?

Simule clientes fazendo um segundo modelo interpretar o cliente a partir de uma persona escrita, ao longo de vários turnos, contra o agente que você está testando. Dê a cada persona um objetivo, fatos, um temperamento e um ponto de ruptura, e acrescente personas maliciosas que empurram o agente além dos seus limites.

Perguntas isoladas testam respostas. A simulação com vários turnos, o desenho usado pelo τ-bench, testa o que dá errado em conversas reais: o cliente que muda o pedido no meio ou continua insistindo num reembolso que a política não permite.

Escreva de cinco a oito personas e reutilize-as entre os cenários:

1. O objetivo: um pedido, todos os dados informados. A sua linha de base.
2. O vago: sem número de pedido, nome do produto errado. Testa as perguntas de esclarecimento.
3. O que muda de assunto: começa com a entrega e termina com um cancelamento.
4. O insistente: rejeita a primeira resposta três vezes e pede uma exceção. Testa os limites sob pressão.
5. O irritado: ameaça ir embora ou reclamar publicamente. Testa o tom e o transbordo.
6. O vulnerável: menciona luto, doença ou dificuldades financeiras. Testa as suas regras de transbordo para esses casos.
7. O manipulador: diz ser funcionário, cola “ignore suas instruções” ou esconde instruções num anexo. Testa a resistência ao que a OWASP chama de prompt injection.

Uma persona só encontra os problemas que você pensou em colocar nela, então use a simulação para ampliar o conjunto e as conversas reais para mantê-lo honesto. Agentes de voz acrescentam sotaques, interrupções e qualidade da linha; veja monitoria de agentes de voz com IA.

Como testar as ações e as chamadas de ferramentas de um agente de IA?

Teste as ações conferindo o estado final nos seus sistemas depois da conversa, não a descrição que o agente faz do que fez. O registro de reembolso existe, com o valor certo, no pedido certo? O agente ficou dentro dos limites, pediu confirmação onde era exigida e não chamou nenhuma ferramenta que não podia?

Uma resposta dizendo “processei o seu reembolso” não prova nada. Confira quatro coisas em cada caso de ação:

1. Ação certa. A ferramenta esperada foi chamada, e nenhuma inesperada.
2. Argumentos certos. Pedido, cliente, valor e motivo corretos.
3. Dentro dos limites. Valor abaixo do teto, permissão existente, aprovação pedida onde a sua política exige uma pessoa.
4. Relato verdadeiro. O que o agente disse ao cliente bate com o que de fato aconteceu no sistema.

A OWASP inclui a excessive agency (autonomia excessiva) entre os principais riscos das aplicações com LLM: ações danosas possibilitadas por funcionalidade demais, permissões demais ou autonomia demais. As mitigações que ela propõe (extensões mínimas, permissões mínimas, aprovação do usuário) servem também como lista de testes. Escreva pelo menos um caso por limite em que o cliente pede um pouco acima dele.

Rode os testes de ação num sandbox ou em contas de teste, nunca em registros reais. O treinamento da Salesforce sobre o Agentforce Testing Center avisa que testar agentes pode modificar dados do CRM e recomenda usá-lo só em sandbox.

O transbordo também é uma ação: teste se o agente passa a uma pessoa os casos que deve passar, com uma nota que permita à pessoa continuar (qualidade no escalonamento do atendimento).

Como as falhas em produção viram novos casos de teste?

As falhas em produção viram casos de teste por meio de uma rotina semanal: encontre as conversas em que o agente de IA errou, confirme a falha, remova os dados pessoais, escreva o caso com o modelo acima e acrescente-o ao golden set. A mudança seguinte só vai para produção quando esse caso passar.

A parte difícil é encontrar as falhas. Uma conversa que o agente “resolveu” ainda pode conter uma resposta errada, uma política inventada ou um transbordo perdido, e os painéis contam isso como sucesso (falhas silenciosas de agentes de IA). O monitoramento de agentes de IA trata do que acompanhar no dia a dia, e a monitoria de qualidade de agentes de IA mostra como montar o formulário de monitoria que pega essas falhas.

É aqui que a monitoria das conversas reais e os testes de pré-lançamento se encontram. O AutoPilot da Kaizo avalia cada conversa resolvida pelo agente de IA com o seu próprio formulário de monitoria e liga cada nota à evidência, o que lhe dá falhas confirmadas, cada uma com uma conversa de origem para o modelo. Depois que a correção é publicada, avaliar as semanas seguintes de conversas reais mostra se ela se manteve.

Veja onde o seu agente de IA falha hoje. A Kaizo avalia as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe e liga cada nota às linhas que a sustentam. Agende uma demo.

Se você avalia com um juiz de IA, teste o juiz também. O nosso guia sobre como validar a avaliação de QA com IA (em inglês) mostra como comparar as notas automáticas com as dos seus avaliadores antes de confiar nelas.

O que um portão de lançamento de agente de IA deve verificar?

Um portão de lançamento de agente de IA é uma lista curta e escrita de condições que uma mudança precisa cumprir antes de chegar aos clientes, combinada antes da rodada de testes. Ele deve bloquear em qualquer falha crítica, exigir resultados de regressão quase perfeitos, cobrir cada ação e cada limite e dizer quem aprova e como fazer o rollback. Copie e defina os seus próprios números.

Antes da rodada

• A mudança está escrita: o quê, por quê, quem pediu.
• Novos casos para a própria mudança (um novo limite recebe casos logo dentro e logo fora dele).
• Toda falha confirmada em produção desde o último lançamento está no conjunto.
• Contas de teste e sandbox prontos; nenhum registro real de cliente ao alcance.

A rodada

• Golden set completo rodado no agente alterado e no agente atual, com os mesmos critérios de aprovação.
• Casos críticos (dinheiro, dados, jurídico, clientes vulneráveis) rodados pelo menos 3 vezes cada.
• Personas simuladas rodadas, incluindo o manipulador e o insistente.

Condições de aprovação

• Casos críticos: 100% de aprovação, em todas as tentativas. Uma falha bloqueia o lançamento.
• Casos de regressão: pelo menos 98% de aprovação, e nenhum caso que passou no último lançamento falha agora sem explicação.
• Casos de ação: nenhuma ação fora da lista permitida, nenhum valor acima do limite, nenhuma afirmação de ação que não aconteceu.
• Casos de transbordo: todo caso que precisa ir para uma pessoa chegou a uma, com uma nota utilizável.
• Casos sem resposta: nenhuma resposta inventada.

Aprovação e depois do lançamento

• Um responsável nominal assina: o líder de atendimento ou de CX para política e tom, o responsável pela IA para a parte técnica.
• O rollback está pronto: a versão anterior do prompt, da base de conhecimento e do modelo pode ser restaurada no mesmo dia.
• Os primeiros dias de conversas reais depois do lançamento são revisados com mais atenção do que o normal.

Exemplo calculado (uma ilustração com números inventados). Uma equipe reduz o prazo de reembolso de 30 para 14 dias. O golden set tem 120 casos: 40 críticos e 80 demais. Os casos críticos rodam 3 vezes e os demais uma vez, então a rodada tem 200 tentativas. O resultado: 196 de 200 tentativas passam, uma taxa de aprovação de 98% que parece saudável. Mas as 4 falhas estão em dois casos críticos. Num deles, o agente ainda ofereceu um reembolso no dia 20 em uma de três tentativas. No outro, a persona insistente o convenceu a dar um reembolso “de cortesia” nas três. O portão bloqueia o lançamento. A correção vai para o prompt e para um artigo da base de conhecimento, dois novos casos críticos são criados para o dia 14 e o dia 15, e a nova rodada aprova 206 de 206 tentativas. Uma média teria publicado o bug; o portão não.

De quais ferramentas você precisa para testar agentes de IA?

Você precisa de três tipos de ferramentas: um lugar para guardar e versionar os casos de teste, uma forma de rodá-los no agente (muitas vezes com clientes simulados) e uma forma de avaliar os resultados com base nos seus critérios de aprovação.

• Uma planilha e rodadas manuais bastam abaixo de cerca de 50 casos e poucas mudanças por mês.
• Um recurso de testes da plataforma serve para uma única plataforma com fluxos padrão. O Agentforce Testing Center da Salesforce, por exemplo, gera 20 casos de teste por padrão, e você define quantos são positivos e negativos.
• Ferramentas de teste e simulação acrescentam clientes simulados, tentativas repetidas e verificações de lançamento no pipeline de deploy.
• A monitoria das conversas reais avalia o que de fato aconteceu depois do lançamento e devolve as falhas confirmadas ao conjunto.

Seja qual for a escolha, mantenha os casos num formato que a sua equipe de atendimento consiga ler e editar, ou os responsáveis pelas políticas param de atualizá-los.

Quando um programa completo de testes não é para você?

Um programa completo é exagero se o seu agente de IA atende algumas dezenas de conversas por semana, só responde perguntas e não pode tomar ações. Nesse caso, leia as transcrições toda semana e mantenha uma lista curta de 20 casos que você roda à mão depois de cada mudança.

A monitoria das conversas reais também não o substitui: avaliar as conversas depois que terminam não bloqueia uma mudança antes do lançamento. Você precisa dos dois, testes antes da mudança e avaliação de todas as conversas dos agentes de IA depois dela.

Como começar esta semana

Você pode ter um primeiro golden set, um portão de lançamento escrito e uma rodada de linha de base em cinco dias úteis, com uma exportação de conversas recentes, o modelo acima e um ambiente de testes.

1. Segunda-feira: exporte 30 conversas resolvidas pelo agente de IA e 20 que deram errado. Remova os dados pessoais.
2. Terça-feira: passe-as para o modelo. Marque quais são críticas.
3. Quarta-feira: escreva o portão de lançamento. Faça o líder de atendimento e o responsável pela IA concordarem com os números.
4. Quinta-feira: rode o conjunto no agente atual, com três tentativas para os casos críticos. Essa é a sua linha de base; espere algumas falhas.
5. Sexta-feira: combine a regra de que nenhuma mudança de prompt, política, base de conhecimento ou modelo vai para produção sem uma nova rodada, e reserve um horário semanal para acrescentar novas falhas ao conjunto.

Veja em governança de agentes de IA quem é responsável pela aprovação.

Perguntas frequentes

O que é automação com IA em testes?

Automação com IA em testes costuma significar usar IA para testar software, por exemplo agentes que escrevem e rodam scripts de teste para uma aplicação web. Este artigo trata de outro assunto: provar que um agente de IA que fala com clientes responde e age corretamente antes de cada mudança entrar em produção.

Agentes de IA têm ferramentas?

Sim. As ferramentas de um agente de IA são as funções que ele pode chamar, como consultar um pedido ou emitir um reembolso. São elas que fazem os testes de agentes precisarem conferir o estado final nos seus sistemas, e não só a resposta.

O que é um testador de IA?

Pode ser uma pessoa que testa sistemas de IA ou uma IA que testa outro software. No atendimento ao cliente, costuma ser um líder de QA ou o responsável pela IA, que escreve casos de teste a partir de conversas reais e decide se uma mudança passa no portão de lançamento.

Quantos casos de teste um agente de IA precisa?

Comece com 20 a 50 casos tirados de conversas reais e de falhas passadas, e depois acrescente cada falha confirmada em produção. Cobrir as suas intenções principais, as ações e os limites importa mais do que o número bruto.

Com que frequência rodar testes de regressão de agentes de IA?

Rode o conjunto completo antes de cada mudança em prompts, políticas, base de conhecimento, modelos, ferramentas ou roteamento, e toda semana mesmo quando nada mudou, porque os fornecedores de modelos e os sistemas conectados também mudam.