Você detecta alucinações de agentes de IA conferindo cada resposta do bot com o seu próprio conteúdo e a sua política, e não esperando as reclamações. Avalie cada conversa do agente de IA com critérios de embasamento e de política e leia primeiro os temas que envolvem dinheiro.
Depois, rastreie cada alucinação confirmada até o artigo ou a regra por trás dela, para que o segundo cliente nunca receba a mesma resposta errada.
Em resumo
- Uma alucinação de agente de IA é uma resposta confiante que o seu conteúdo não sustenta: uma política inventada, um número errado, uma ação que o bot nunca executou.
- A resposta errada sobre reembolso é a mais perigosa, porque o cliente age com base nela e a empresa continua responsável por ela.
- A amostragem não pega alucinações: em um exemplo prático, uma amostra de 2% tem 23% de chance de não mostrar nenhuma de 72 respostas erradas sobre reembolso.
- Uma rotina de seis etapas as encontra: liste as afirmações de risco, escreva critérios verificáveis, avalie com base no seu conteúdo, avalie tudo, faça a triagem por gravidade e corrija na origem.
- A monitoria depois da conversa não impede a primeira resposta errada. Ela impede as cem seguintes, que é onde está o custo.
Se você tem agentes de IA atendendo clientes, a nossa página de QA de agentes de IA mostra como a Kaizo avalia todas as conversas de agentes de IA com os seus próprios critérios, incluindo verificações de fatos e políticas inventados. Este guia é o método, seja qual for a ferramenta que você usa.
O que é uma alucinação de agente de IA no atendimento ao cliente?
Uma alucinação de agente de IA é uma resposta que soa segura, mas é falsa ou não tem respaldo no seu conteúdo. No atendimento, ela costuma aparecer como uma política, um preço, uma promessa ou um fato com base no qual o cliente age.
O NIST Generative AI Profile (julho de 2024) chama isso de confabulação e a define como a produção de conteúdo errado ou falso apresentado com confiança, conhecido popularmente como “hallucinations” ou “fabrications”, que pode enganar ou iludir os usuários.
A última parte é a que mais importa no atendimento. Um cliente não consegue distinguir uma resposta errada dita com confiança de uma resposta certa dita com a mesma confiança.
No atendimento ao cliente, as alucinações se dividem em seis tipos. Cada um pede uma verificação diferente:
| Tipo | Exemplo | Como verificar |
|---|---|---|
| Política inventada | “Você pode pedir o reembolso em até 60 dias” quando a política diz 30 | Compare com o artigo de política que o bot deveria ter usado |
| Número errado | Um preço antigo, uma taxa errada, um prazo de entrega errado | Compare cada número da resposta com a fonte |
| Ação inventada | “Já processei o seu reembolso” quando o bot não consegue processar reembolsos | Compare a afirmação com as ações que o bot tem permissão para executar |
| Exceção inventada | Uma taxa dispensada ou um prazo estendido que ninguém aprovou | Confira com a lista de exceções que só uma pessoa pode conceder |
| Fato errado sobre o produto | Um recurso, um limite de plano ou uma compatibilidade que não existe | Compare com a documentação do produto |
| Fonte inventada | Um artigo da central de ajuda, um formulário ou um link que não existe | Abra o link ou procure o título na central de ajuda |
Uma alucinação é um tipo de falha silenciosa, os erros que um painel conta como sucesso. A nossa classificação das falhas silenciosas de agentes de IA cobre os outros tipos, como escalonamentos que não aconteceram e falsas resoluções.
Por que a resposta errada sobre reembolso é a mais perigosa?
A resposta errada sobre reembolso é a mais perigosa porque o cliente age com base nela, e a sua empresa continua responsável pelo que o bot disse. Ela transforma um erro de atendimento em custo, reclamação ou ação judicial.
O caso mais conhecido é Moffatt v. Air Canada (fevereiro de 2024). O chatbot do site da companhia aérea disse a um cliente que uma tarifa de luto poderia ser pedida depois da viagem. A política da empresa não permitia isso, e o próprio link do chatbot levava a uma página que dizia exatamente isso.
O Civil Resolution Tribunal da Colúmbia Britânica rejeitou o argumento de que o chatbot era responsável pelas próprias ações. Concluiu que a Air Canada não tomou o cuidado razoável de garantir que o seu chatbot fosse preciso e determinou o pagamento de 812,02 dólares canadenses.
Uma conversa é um valor pequeno. A mesma resposta repetida a todos os clientes que fizeram a mesma pergunta não é.
Os temas que envolvem dinheiro também são onde as alucinações têm mais chance de parecer úteis. Um bot que inventa um prazo de reembolso generoso produz um cliente feliz, uma conversa resolvida e uma boa nota de satisfação, até o momento em que o reembolso é recusado.
Por que a amostragem não pega as alucinações de agentes de IA?
A amostragem não pega as alucinações de agentes de IA porque uma alucinação sobre um tema é rara no total de conversas, mas se repete dentro daquele tema. Uma amostra aleatória pequena vê poucas conversas sobre o tema para mostrar o padrão.
Veja um exemplo prático, com números que escolhemos para mostrar a conta, não dados de um cliente:
| Etapa | Número |
|---|---|
| Conversas do agente de IA em um mês | 40.000 |
| Conversas sobre reembolso (6%) | 2.400 |
| Respostas sobre reembolso com uma condição inventada (3% das conversas sobre reembolso) | 72 |
| Amostra aleatória de monitoria (2% de todas as conversas) | 800 |
| Conversas sobre reembolso esperadas nessa amostra | 48 |
| Respostas erradas sobre reembolso esperadas nessa amostra | 1,44 |
| Chance de a amostra não conter nenhuma delas | 23% |
| Chance de conter nenhuma ou uma | 58% |
As duas chances vêm da distribuição binomial: 0,97 elevado a 48 dá 0,232, e somando a chance de exatamente uma chega-se a 0,576. Ou seja, em mais da metade dos meses os seus avaliadores veem no máximo uma resposta errada sobre reembolso. Uma só parece um caso isolado, e ninguém corrige o artigo por trás dela.
Avalie todas as conversas e você vê as 72, agrupadas em um único tema, dentro da semana. É por isso que o nosso guia sobre como avaliar 100% das conversas (em inglês) importa mais para bots do que para pessoas: os erros de uma pessoa se espalham, os de um bot se repetem.
Como detectar alucinações de agentes de IA: uma rotina de seis etapas
Detecte alucinações de agentes de IA em seis etapas: liste as afirmações de risco, escreva critérios verificáveis, avalie com base no seu conteúdo, avalie todas as conversas, faça a triagem por gravidade e corrija cada uma na origem. As etapas 1 a 3 você monta uma vez.
Etapa 1: Liste as afirmações que custam dinheiro quando estão erradas
Comece pelos temas em que o cliente age com base na resposta: reembolsos, cancelamentos, taxas, preços, prazos de entrega, elegibilidade e alterações de conta. Para cada tema, anote as afirmações que o bot faz, como “prazo de reembolso”, “taxa de cancelamento” ou “quais planos incluem X”.
Essa lista vira o foco do seu formulário de monitoria e a sua primeira fila de revisão.
Etapa 2: Escreva critérios que um avaliador consiga conferir na transcrição
Um critério como “a resposta está correta” é vago demais para ser avaliado do mesmo jeito duas vezes. Escreva-o de modo que um avaliador, ou um avaliador automatizado, consiga apontar a linha que passa ou falha:
| Critério | Aprovado quando | Reprovado quando |
|---|---|---|
| Embasado no nosso conteúdo | Todo fato da resposta aparece em um artigo da central de ajuda ou em uma política que publicamos | A resposta contém um fato, número ou condição que o nosso conteúdo não traz |
| Limites da política | Reembolsos, créditos e exceções ficam dentro da política escrita | O bot oferece ou promete algo que a política não permite |
| Ações declaradas | O bot só diz que fez o que de fato consegue fazer | O bot diz que processou, cancelou ou alterou algo que não consegue |
| Incerteza | O bot diz que não sabe, ou transfere, quando o conteúdo não tem a resposta | O bot preenche a lacuna com um palpite |
O nosso guia sobre como escrever uma rubrica de QA que uma IA consiga avaliar (em inglês) mostra como redigir o resto do formulário da mesma forma.
Etapa 3: Avalie com base no seu próprio conteúdo
Uma verificação de embasamento só é tão boa quanto o conteúdo com que ela compara. Conecte o avaliador à mesma central de ajuda e aos mesmos artigos de política que o bot usa para responder, para que “sem respaldo no nosso conteúdo” tenha um significado preciso.
Na Kaizo, você escreve os critérios com as suas próprias palavras e conecta a sua base de conhecimento, para que a IA julgue cada resposta com base no seu conteúdo.
Etapa 4: Avalie todas as conversas do agente de IA
Avalie todas, porque o exemplo prático acima mostra o que uma amostra esconde. O AutoPilot da Kaizo avalia cada conversa com os seus critérios quando ela é resolvida e anexa um comentário que explica a nota.
Você pode definir quais filas, canais ou equipes ele avalia, para que os temas que envolvem dinheiro fiquem cobertos desde o primeiro dia.
Etapa 5: Faça a triagem por gravidade, não por data
Nem toda alucinação pede a mesma resposta. Uma regra de gravidade mantém a equipe focada nas que custam dinheiro:
| Gravidade | Como aparece | Resposta |
|---|---|---|
| Crítica | Reembolso inventado, taxa dispensada, afirmação jurídica ou de segurança, uma promessa que a empresa precisa cumprir ou retirar | No mesmo dia: contate os clientes afetados, tire o tema do bot ou force o transbordo até a correção |
| Alta | Número ou condição errada em um tema que envolve dinheiro, ação inventada | Em até 2 dias úteis: corrija o artigo de origem e avalie o tema de novo |
| Média | Fato errado sobre o produto sem custo envolvido, link inventado | Na lista semanal de correções de conteúdo |
| Baixa | Detalhe inofensivo, como um exemplo errado de horário de loja | Junto com a revisão mensal de conteúdo |
Etapa 6: Rastreie cada alucinação até a origem e avalie de novo
A maioria das alucinações vem de algo que você consegue corrigir: um artigo da central de ajuda desatualizado, dois artigos que se contradizem, uma condição escondida no fim da página ou um tema sem nenhum artigo.
Corrija a origem e depois avalie aquele tema de novo durante a semana seguinte para confirmar que a correção se manteve. A análise de causa raiz da Kaizo agrupa as falhas por trás de uma queda, para que dez respostas ruins vindas de um mesmo artigo virem uma única correção.
Quais sinais apontam para uma alucinação?
O comportamento do cliente depois da conversa é o sinal de alucinação mais barato: novos contatos, contestações e correções feitas por atendentes humanos. Use esses sinais para escolher quais conversas ler primeiro.
- O cliente volta em até 7 dias com o mesmo assunto, muitas vezes por outro canal.
- O cliente cita o bot para um atendente: “o seu assistente me disse”.
- Um atendente retira ou corrige algo que o bot prometeu.
- Um pedido de reembolso, crédito ou exceção vem logo depois de uma conversa com o bot sobre aquele tema.
- A resposta do bot contém um número, uma data ou um link que não aparece no artigo de origem.
- O cliente contesta (“não é isso que diz o site de vocês”) e o bot repete a mesma resposta.
Cada sinal também é um critério do formulário ou um filtro. Os sinais de transbordo, em especial, devem entrar no formulário, como explica o nosso guia sobre como avaliar o transbordo entre IA e atendente.
O que a monitoria depois da conversa não consegue fazer
A monitoria depois da conversa não consegue impedir a primeira resposta errada, porque avalia as conversas quando elas terminam. Ela impede que a mesma resposta errada chegue aos próximos clientes e descobre quem já a recebeu.
A Kaizo avalia as conversas depois que elas terminam, no helpdesk onde elas estão. Ela não monitora o bot ao vivo nem bloqueia uma resposta antes do envio.
Os guardrails que rodam enquanto o bot responde e os testes antes do lançamento, como testes de regressão de prompts em um pipeline de desenvolvimento, ficam com a equipe que constrói o agente. São etapas diferentes e rodam em paralelo com a monitoria.
O que a avaliação depois da conversa acrescenta é a parte que as outras etapas não veem: o que o bot de fato disse a clientes reais, em todas as conversas, com a transcrição por trás de cada constatação.
Essa também é a evidência de que você precisa para contatar os clientes que receberam uma resposta errada antes que eles descubram sozinhos.
Como começar a detectar alucinações este mês
Comece com um tema que envolve dinheiro, quatro critérios e todas as conversas sobre esse tema durante duas semanas. Isso basta para encontrar a primeira origem a corrigir e medir a sua taxa de alucinação.
- Escolha o tema em que uma resposta errada custa mais caro, em geral reembolsos ou cancelamentos.
- Acrescente os quatro critérios da Etapa 2 ao formulário de monitoria do bot.
- Avalie todas as conversas do agente de IA sobre esse tema durante duas semanas.
- Conte as conversas reprovadas em um critério de embasamento ou de política e divida pelo total de conversas sobre o tema. Essa é a sua taxa de alucinação para o tema.
- Corrija a principal origem, avalie de novo durante uma semana e compare.
Veja em uma demo ao vivo. A Kaizo avalia todas as conversas de agentes de IA com base no seu próprio conteúdo e nos seus critérios, e liga cada critério reprovado à linha que o reprovou. Vamos conversar.
Perguntas frequentes
Dá para impedir completamente que um chatbot de IA alucine?
Nenhum método atual garante isso. Embasar o bot no seu conteúdo, limitar os temas dele e forçar o transbordo quando falta uma resposta reduzem as alucinações. O que você consegue garantir é encontrá-las: avalie todas as conversas com base no seu conteúdo, para que uma resposta errada seja detectada nas primeiras conversas em que aparece, e não depois de uma reclamação.
Uma base de conhecimento impede que o agente de IA invente coisas?
Ela reduz o problema, mas não o elimina. Um bot que usa a sua base de conhecimento ainda pode combinar dois artigos do jeito errado, usar um artigo desatualizado ou preencher uma lacuna onde não existe artigo. Por isso a verificação de embasamento compara cada resposta com a fonte, e por isso um artigo desatualizado ou inexistente é a causa raiz mais comum.
Como medir a taxa de alucinação de um agente de IA?
Conte as conversas reprovadas em um critério de embasamento ou de política e divida pelo total de conversas avaliadas, por tema. Meça por tema e não no geral, porque uma taxa geral baixa pode esconder uma taxa alta em reembolsos. Acompanhe semanalmente enquanto corrige as origens e mensalmente quando a taxa se estabilizar.
Quem é responsável quando um chatbot dá informações erradas a um cliente?
No caso da Air Canada, a empresa. Em fevereiro de 2024, um tribunal da Colúmbia Britânica decidiu que a companhia aérea era responsável por todas as informações do seu site, inclusive as respostas do chatbot, e determinou o pagamento de 812,02 dólares canadenses. É uma decisão de pequenas causas em uma província, não uma regra geral, então confira a lei onde você atua.
Com que rapidez corrigir uma alucinação depois de encontrá-la?
Conforme a gravidade. Tire um tema crítico do bot ou force o transbordo no mesmo dia e contate os clientes que receberam a resposta errada. Corrija os artigos de origem de gravidade alta em até dois dias úteis e avalie o tema de novo por uma semana para confirmar a correção. As gravidades menores podem ir para a lista semanal de correções de conteúdo.
