Pular para o conteúdo

Modelo

Human in the loop em agentes de IA: o que exige aprovação

Human in the loop para agentes de IA no atendimento: uma matriz que classifica reembolsos, cancelamentos e exclusões em cinco níveis, com uma regra de nota.

· 17 min de leitura

Um agente de IA com human in the loop pede que uma pessoa aprove uma ação antes que ela aconteça, mas só nas ações em que um erro custa caro, é difícil de desfazer ou é sensível do ponto de vista jurídico. No atendimento ao cliente, responder a uma FAQ ou mudar um endereço pode rodar sozinho, um reembolso acima do seu limite precisa de aprovação, e excluir os dados de um cliente nunca deve ser decisão do agente.

Em resumo

  • Decida a autonomia por ação, não por agente: o mesmo agente de IA pode responder sozinho, reembolsar dentro de um limite e transferir o encerramento de uma conta.
  • Dê a cada ação uma nota de 0 a 3 em quatro consequências (reversibilidade, dinheiro, jurídico ou compliance, dano ao cliente) e deixe a nota mais alta definir o nível.
  • Cinco níveis cobrem o trabalho de suporte: informar (só responder), agir sozinho, agir dentro de um limite, agir com aprovação, nunca.
  • Uma aprovação só é um controle se quem aprova vê os fatos certos, responde a tempo e às vezes diz não.
  • Amplie ou reduza a autonomia uma intenção de cada vez, com base em evidências: conversas avaliadas, estornos e aprovações auditadas.

O que significa human in the loop para um agente de IA?

Human in the loop (humano no circuito) significa que uma pessoa precisa aprovar, editar ou rejeitar a ação proposta por um agente de IA antes que ela seja executada. Human on the loop significa que o agente age e uma pessoa acompanha e pode intervir depois. O atendimento ao cliente precisa dos dois: in the loop para as poucas ações de risco, on the loop para todo o resto.

A maioria dos guias trata a pessoa como um único ponto de verificação para o agente inteiro. No suporte, isso falha nos dois sentidos: uma aprovação em toda ação soterra os líderes de equipe em pedidos, e nenhuma aprovação deixa o agente cancelar uma assinatura na hora quando o cliente só queria desligar a renovação automática.

As plataformas de agentes constroem o mecanismo para você. O Agent Framework da Microsoft, por exemplo, pausa um fluxo e emite um pedido de aprovação quando o agente tenta chamar uma ferramenta marcada como dependente de aprovação, e retoma quando chega uma resposta (Microsoft Learn, em inglês). O que a plataforma não decide é quais ações recebem essa marcação. Essa decisão é do Head de CX, do responsável pelo agente de IA e dos donos das políticas.

A OWASP chama a falha que isso evita de “agência excessiva” e lista, entre as mitigações, o controle human in the loop “para exigir que uma pessoa aprove ações de alto impacto antes que sejam executadas” (OWASP LLM06:2025, em inglês). A parte difícil é definir o que é “alto impacto” nas suas próprias ações de suporte. Nosso guia de governança de agentes de IA apresenta 15 controles; este artigo aprofunda o controle 5 (níveis de ação) e os controles 6 e 7 (aprovações e a supervisão de quem aprova).

Quais são os cinco níveis de autonomia para as ações de um agente de IA?

Os cinco níveis são: 0, informar (responder só a partir de conteúdo aprovado); 1, agir sozinho em ações reversíveis sem dinheiro envolvido; 2, agir dentro de um limite de dinheiro ou de compromissos; 3, agir com a aprovação de uma pessoa; 4, nunca agir, transferir. Cada ação fica em exatamente um nível.

NívelO agente podePapel da pessoaControle típico
0. InformarResponder a partir de conteúdo aprovado, sem mudar nadaOn the loopRevisão das conversas com base no seu formulário de monitoria
1. Agir sozinhoExecutar ações reversíveis sem dinheiro envolvidoOn the loopAção registrada, conversas revisadas
2. Agir dentro de um limiteExecutar ações com dinheiro ou compromissos até um limite definidoOn the loopLimite aplicado pela plataforma, todos os casos revisados
3. Agir com aprovaçãoPropor a ação, que uma pessoa aprova antes que ela rodeIn the loopRegistro de aprovações, taxa de alteração, tempo de revisão
4. NuncaReconhecer o caso e transferir com contextoA pessoa é dona do casoQualidade do transbordo verificada

São os mesmos níveis do guia de governança, então uma única matriz serve ao seu registro de governança e à configuração da plataforma. Os guardrails aplicam depois os limites dentro de cada nível.

Como decidir quais ações de um agente de IA precisam de aprovação humana?

Dê a cada ação uma nota em quatro consequências, de 0 (nenhuma) a 3 (grave): reversibilidade, dinheiro, exposição jurídica ou de compliance e dano ao cliente se a ação estiver errada. A nota individual mais alta define o nível, não a soma, porque uma ação barata que não pode ser desfeita continua sendo uma ação que não pode ser desfeita.

Isso segue a lógica do Model AI Governance Framework for Agentic AI de Singapura, que diz que as organizações devem definir pontos de verificação que exigem aprovação humana para ações de alto risco, ações irreversíveis (os exemplos incluem excluir dados de forma permanente e fazer pagamentos), comportamento fora do padrão e limites que os próprios usuários definem (IMDA, versão 1.5, seção 2.2.2, em inglês; veja o nosso resumo da estrutura de Singapura). Quem lidera suporte resume assim: automatize pela consequência, não pela complexidade aparente da conversa. A escala abaixo torna isso repetível, para que duas pessoas que avaliam a mesma ação cheguem à mesma resposta.

A escala de consequências

NotaReversibilidadeDinheiroJurídico ou complianceDano ao cliente se estiver errado
0Nada muda, ou o cliente consegue desfazer sozinhoNenhumNenhumNenhum
1A equipe consegue desfazer em até um dia, sem custoAté o seu limite por ação (L1)Segue uma política escrita, sem processo reguladoIncômodo, corrigido no próximo contato
2Pode ser desfeito, mas o cliente percebe ou custa esforço ou dinheiroAcima de L1, até o seu teto de aprovação (L2)Envolve um processo regulado, um prazo ou condições contratuaisPerda de serviço, de acesso ou de dinheiro que o cliente precisa correr atrás
3Não pode ser desfeitoAcima de L2, ou sem valor fixoEfeito jurídico para o cliente, ou um processo que a sua empresa atribui a uma equipe nomeada (privacidade, jurídico, fraude)Dano grave ou duradouro, inclusive a um cliente vulnerável

A regra de nota

Aplique as regras nesta ordem e pare na primeira que se encaixar:

  1. A ação não muda nada (só responde): nível 0, informar.
  2. Jurídico ou dano ao cliente tem nota 3: nível 4, nunca. Uma pessoa dona desse processo assume o caso.
  3. Qualquer dimensão tem nota 2 ou 3: nível 3, agir com aprovação.
  4. Dinheiro tem nota 1: nível 2, agir dentro de um limite.
  5. Todo o resto (todas as notas 0 ou 1, sem dinheiro): nível 1, agir sozinho.

Depois, aplique três ajustes de contexto, qualquer que seja o nível da ação. Se a identidade não foi verificada, o agente não pode agir sobre a conta. Se o cliente mostra sinais de vulnerabilidade, menciona uma ação judicial ou registra uma reclamação formal, a conversa vai para uma pessoa (nível 4). Se o pedido é incomum para esse cliente, como um terceiro reembolso no mês, ele sobe um nível. Este último é o ponto de verificação de “comportamento fora do padrão” da IMDA, traduzido para o suporte.

Quais ações de suporte precisam de aprovação humana? A matriz de autonomia

Mudanças de endereço e desligar a renovação automática podem rodar sozinhas; reembolsos pequenos, isenções de taxa e créditos de cortesia rodam dentro de um limite; reembolsos maiores, cancelamentos imediatos e encerramentos de conta precisam de aprovação; exclusão de dados e mudança de dados bancários ficam com uma pessoa.

Os limites (L1 = US$ 50, L2 = US$ 250) e as notas abaixo são uma ilustração para uma equipe de assinaturas e e-commerce. Copie as colunas, não os números.

AçãoReversibilidadeDinheiroJurídicoDanoNívelPor quê
Responder a uma FAQ (prazo de devolução, horário de funcionamento)00010. InformarNão muda nada; uma resposta errada é pega na revisão das conversas
Mudar o endereço de entrega antes do envio (cliente verificado)10011. Agir sozinhoA equipe consegue corrigir no mesmo dia
Cancelar ao fim do período (desligar a renovação automática)10111. Agir sozinhoO cliente mantém o acesso até o fim do período
Reembolso de até US$ 50 em um pedido elegível11112. Dentro de um limiteDinheiro, mas abaixo de L1 e dentro da política escrita
Isentar uma multa por atraso, uma vez a cada 12 meses11102. Dentro de um limitePequeno, delimitado pela política, fácil de auditar
Crédito de cortesia dentro do valor da política11112. Dentro de um limiteIgual a um reembolso pequeno; fora da política vira nível 3
Reembolso acima de US$ 5012113. Com aprovaçãoDinheiro acima de L1; acima de US$ 250 precisa de um aprovador mais sênior
Cancelar na hora com reembolso proporcional21123. Com aprovaçãoO cliente perde o acesso imediatamente; muitas vezes não era o que ele queria
Encerrar uma conta31223. Com aprovaçãoHistórico e saldos não podem ser restaurados
Excluir os dados pessoais do cliente30324. NuncaIrreversível, e um processo regulado de responsabilidade da equipe de privacidade
Mudar dados bancários ou de recebimento23234. NuncaAlvo clássico de fraude; o dano pode ser grande e duradouro

Defina a ação com precisão. “Cancelar assinatura” são duas ações com níveis diferentes. Um agente que cancela na hora quando o cliente pediu para parar a próxima renovação executou corretamente a ação errada.

Separe o pedido da execução. O agente pode aceitar e registrar um pedido de exclusão de dados (nível 1), enquanto a exclusão em si fica com a equipe de privacidade (nível 4). Pelo GDPR, a empresa precisa informar ao cliente qual ação tomou diante desse pedido sem demora injustificada e, no máximo, em até um mês após o recebimento do pedido (artigo 12.º, n.º 3, do GDPR), então um transbordo limpo, com ticket e prazo, é trabalho do agente.

Verifique a coluna jurídica com o seu próprio jurídico. O artigo 22 do GDPR dá às pessoas o direito de não ficar sujeitas a uma decisão tomada exclusivamente com base em tratamento automatizado que produza efeitos jurídicos ou que as afete de forma similarmente significativa, com exceções; quando uma exceção se aplica, a empresa precisa oferecer pelo menos o direito de obter intervenção humana. Se o encerramento de uma conta ou uma recusa se enquadra nisso depende do seu caso, e é por isso que a matriz manda essas ações para uma pessoa. Para as obrigações específicas da UE, veja o nosso guia sobre o AI Act no atendimento ao cliente.

Como funciona na prática um fluxo de aprovação de um agente de IA?

O agente propõe a ação, a plataforma a pausa e envia um cartão de aprovação à pessoa certa, que aprova, edita ou rejeita dentro de um prazo definido, e o agente diz ao cliente o que acontece em seguida. Se ninguém responde a tempo, a ação é negada e o caso vai para uma pessoa.

Quem aprova

Encaminhe cada ação de nível 3 para o papel que já é dono dessa decisão para os atendentes humanos, e não para um papel novo.

AçãoAprovadorSubstituto se indisponível
Reembolso entre L1 e L2Líder de equipe do turnoQualquer líder de equipe da fila
Reembolso acima de L2Especialista de faturamento ou financeiroTransferir, sem ação
Cortesia fora da políticaLíder de equipeTransferir, sem ação
Cancelamento imediatoEspecialista de retenção ou faturamentoOferecer o cancelamento ao fim do período
Encerramento de contaEspecialista de contasTransferir, sem ação

Com que rapidez as aprovações precisam acontecer

O tempo de aprovação deve acompanhar o canal. No chat ao vivo o cliente está esperando, então você precisa de uma resposta em minutos ou de uma mensagem clara de que a ação será confirmada por e-mail. Em e-mail e tickets, algumas horas costumam bastar. Defina uma meta por canal e meça.

Quando o prazo vence, negue por padrão. A IMDA lista “negar a ação por padrão quando a infraestrutura de aprovação falha”, por exemplo quando os supervisores humanos não estão acessíveis, entre as suas medidas de monitoramento (seção 2.2.2). O cliente deve então ouvir que uma pessoa vai dar retorno, nunca silêncio.

O que o aprovador vê

A IMDA recomenda manter os pedidos de aprovação “contextuais e fáceis de digerir”, curtos e claros em vez de longos registros, deixando o risco claro e incluindo dados úteis, como o risco da ação (seção 2.2.2). Para um reembolso no suporte, isso significa um único cartão:

  • A ação, o valor e a regra que disparou (“reembolso de US$ 120, acima do limite de US$ 50”).
  • O status da identidade e o histórico relevante, como os reembolsos dos últimos 12 meses.
  • A política em que o agente se apoia, com link e versão.
  • O motivo do agente em uma frase, um resumo de duas linhas e o link da transcrição.
  • As notas de consequência, para que o aprovador saiba o que está em jogo.
  • Aprovar, editar ou rejeitar, com motivo obrigatório para editar e rejeitar, e uma justificativa escrita para aprovações acima de L2.

Exemplo calculado: quantas aprovações a sua equipe consegue absorver?

Ilustração, com números escolhidos para o exemplo. Um agente de IA atende 40.000 conversas por mês, e 6% delas terminam em uma ação de nível 3. São 2.400 aprovações por mês, ou cerca de 109 por dia útil em 22 dias. A 90 segundos por aprovação, isso dá cerca de 2,7 horas de líder de equipe todos os dias, antes que alguém leia uma transcrição com atenção.

Aprovações são uma linha do dimensionamento da equipe, então planeje-as como tal. Se a parcela de nível 3 crescer para 15%, a mesma equipe enfrenta cerca de 273 aprovações por dia e a qualidade da revisão cai. É o momento de passar algumas ações para o nível 2 com um limite, com base em evidências, em vez de pedir que as pessoas cliquem mais rápido.

Como evitar a fadiga de aprovação e o carimbo automático?

Meça quem aprova, não só o agente. Acompanhe a taxa de alteração de cada aprovador (com que frequência ele edita ou rejeita) e o tempo de revisão. A IMDA observa que uma taxa de alteração baixa pode indicar carimbo automático e que um tempo de revisão mais curto pode indicar viés de automação ou fadiga de revisão (seção 2.2.2). Depois, audite uma amostra das ações aprovadas.

O viés de automação, aceitar a sugestão de um sistema sem verificá-la, cresce quando os pedidos estão quase sempre certos. Ou seja, o problema piora à medida que o agente melhora.

Ilustração do que o relatório pode mostrar, com números inventados:

AprovadorPedidos (30 dias)Editados ou rejeitadosTaxa de alteraçãoTempo mediano de revisão
Líder de equipe A1.200201,7%4 segundos
Líder de equipe B640589,1%70 segundos
Líder de equipe C710618,6%65 segundos

O líder de equipe A é o caso “fora do padrão” que a IMDA descreve, um aprovador cujos padrões de decisão se desviam da norma. Quatro segundos não bastam para ler um cartão. Isso não é um achado disciplinar: geralmente significa que A cobre o turno mais movimentado.

Quatro hábitos mantêm as aprovações significativas:

  1. Mantenha o nível 3 pequeno. Se um aprovador recebe mais do que um número definido de pedidos por hora, desça as ações claramente seguras um nível, com um limite.
  2. Audite as ações aprovadas. Toda semana, peça ao QA para revisar uma amostra das ações aprovadas em relação à política. Uma taxa de aprovação não diz nada; uma taxa de aprovações corretas diz.
  3. Treine os aprovadores nos modos de falha dos agentes, como citar uma política desatualizada, exemplo dado pela própria IMDA. Nosso artigo sobre por que as conversas com IA falham lista os mais comuns.
  4. Faça rodízio e limite. Distribua as aprovações entre os líderes e defina um teto por turno, para que ninguém aprove centenas de pedidos seguidos.

Que evidências devem ampliar ou reduzir as permissões de um agente de IA?

Amplie a autonomia de uma intenção quando as conversas avaliadas passam, as aprovações estão quase sempre corretas na auditoria e as ações raramente são revertidas ou contestadas. Reduza quando qualquer um desses pontos piorar. Mude um passo de cada vez: suba um limite ou desça uma ação um nível, e acompanhe as semanas seguintes.

As evidências por intenção:

SinalO que ele dizAmplie quandoReduza quando
Notas das conversas (precisão, política, escalonamento)Se o agente aplica a política corretamenteOs critérios críticos passam de forma consistenteUma falha crítica se repete
Taxa de alteração nas aprovaçõesCom que frequência as pessoas discordam do agenteBaixa, com tempos de revisão normais e auditorias limpasSubindo, ou baixa com tempos de revisão muito curtos
Auditoria das ações aprovadasSe as aprovações estavam certasQuase todas corretasAprovações erradas encontradas
Taxa de reversão (reembolsos estornados, cancelamentos desfeitos)Se as ações se mantiveramRaraSubindo
Reaberturas e reclamações depois da açãoSe o cliente concordouEstável ou em quedaSubindo

Uma taxa de alteração baixa pode significar que o agente está certo, ou que os aprovadores pararam de ler. Só a auditoria e os tempos de revisão separam as duas coisas, então use os três antes de ampliar. Depois, amplie em passos: suba L1 de US$ 50 para US$ 75 nos reembolsos de uma intenção, mantenha todo o resto e compare as próximas quatro semanas com as últimas quatro. O guia de governança traz exemplos de critérios para subir uma intenção de nível e uma regra de rebaixamento. Para verificar se as ações fizeram o que o cliente precisava, veja como fazer uma auditoria da taxa de resolução de agentes de IA, e mantenha atualizadas as políticas por trás de cada limite com a gestão de políticas para agentes de IA.

Quando esta matriz não é para você

Se o seu agente de IA só responde perguntas, você está inteiro no nível 0: precisa de uma boa base de conhecimento, de uma regra de transbordo e de revisão das conversas, não de um fluxo de aprovação. Monte a matriz na semana antes de conectar o agente a reembolsos ou mudanças de conta. E com algumas dezenas de ações por semana, um líder de equipe consegue ler todas depois do fato, então os relatórios de alteração acrescentam pouco.

Onde a Kaizo entra

A Kaizo é QA e supervisão de governança para equipes de suporte em que pessoas e agentes de IA dividem o trabalho. O AutoPilot avalia cada conversa resolvida com base no seu próprio formulário de monitoria, então as notas das conversas na tabela de evidências vêm de todas as suas conversas, não de uma amostra, e cada nota leva às linhas que a justificam. Veja como funciona o QA de agentes de IA.

Veja isso nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de suporte, da sua equipe e dos seus agentes de IA, e mostra onde a qualidade quebra. Agende uma demo.

Como começar esta semana

Você consegue montar a primeira matriz de autonomia em uma tarde, com o responsável pelo agente de IA e um líder de equipe, a partir da configuração da plataforma, do registro de aprovações do mês passado e da regra de nota acima.

  1. Liste todas as ações que o seu agente de IA consegue executar hoje, a partir da configuração da plataforma, não de memória.
  2. Dê nota a cada ação, depois aplique a regra de nota e os três ajustes de contexto.
  3. Compare com a plataforma. Verifique se cada limite de nível 2 e cada marcação de aprovação de nível 3 são aplicados na plataforma, e não só no prompt.
  4. Nomeie o aprovador e o prazo de cada ação de nível 3 e configure a negação por padrão quando o prazo vencer.
  5. Levante os números do mês passado: aprovações por dia, taxa de alteração e tempo mediano de revisão por aprovador. Essa é a sua referência para a primeira revisão de autonomia.

Nosso guia sobre atendimento agêntico mostra onde esses níveis se encaixam na implantação como um todo.

Perguntas frequentes

O que é autorização human in the loop para agentes de IA?

É uma regra pela qual um agente de IA não pode executar certas ações até que uma pessoa nomeada as aprove. O agente propõe a ação, a plataforma a pausa e o aprovador aprova, edita ou rejeita. A autorização vale por ação e por valor, não é uma permissão geral para o agente.

O ChatGPT é human in the loop?

Sozinho, um assistente de chat é human in the loop em um sentido simples: ele produz texto e uma pessoa decide o que fazer com ele. Quando é conectado a ferramentas que executam ações, como fazer reembolsos, você precisa decidir quais ações rodam sozinhas e quais esperam por uma pessoa.

Para que serve um kill switch em um agente de IA?

Um kill switch para um agente de IA, ou uma das suas ações, rapidamente quando algo dá errado, como uma versão ruim ou um erro de política que se repete em escala. Ele complementa as aprovações: as aprovações barram ações de risco isoladas antes que aconteçam, e um mecanismo de parada limita o dano quando um padrão escapa. Verifique o que a sua plataforma de agentes oferece para pausar um agente ou uma única ação, e quem pode usar isso.

Os limites de reembolso devem ser iguais para todos os clientes?

Não necessariamente. Defina um limite por ação e depois reduza-o ou exija aprovação para reembolsos recentes, identidade não verificada ou pedidos incomuns. A IMDA também menciona limites que os próprios usuários definem, como aprovação para compras acima de um valor.

O que o agente de IA diz ao cliente enquanto espera a aprovação?

Ele deve dizer com clareza que um colega precisa confirmar a ação, quanto tempo isso costuma levar e como o cliente vai receber o retorno. Nunca deve prometer o resultado antes da aprovação: uma promessa rejeitada é pior do que uma espera curta.

Ter um humano no circuito reduz a responsabilidade da empresa pelos erros do agente de IA?

Não. Uma aprovação mostra que uma pessoa verificou a ação, mas a responsabilidade continua com a empresa, e um registro de aprovações carimbadas no automático pode mostrar que a supervisão não era real. Guarde o registro de aprovações, as taxas de alteração e as auditorias, para poder mostrar que as verificações funcionaram.

Nesta página

Leituras relacionadas

Veja isso em uma demo ao vivo

Apresentamos a Kaizo com conversas de exemplo realistas, para você ver o exemplo avaliado, explicado e transformado em coaching.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath