Um formulário de monitoria para humanos e IA é um padrão de qualidade único com duas camadas: um núcleo comum de critérios em que os dois são avaliados, com as mesmas definições e os mesmos pesos, e um bloco curto para cada tipo de agente, com as falhas que só um deles comete.
Você compara pessoas e bots apenas no núcleo comum, tema por tema, e reporta os dois em uma única página.
Em resumo
- Um formulário de monitoria para atendentes humanos e agentes de IA significa um núcleo comum mais um pequeno bloco para cada um, e não uma lista idêntica para os dois.
- O núcleo comum só funciona se cada critério tiver uma definição, uma escala e um peso iguais para os dois.
- Sete regras o mantêm justo, desde escrever os critérios para a transcrição até decidir de quem é cada linha reprovada.
- Compare no núcleo comum, por tema: em um exemplo prático, a média bruta faz o bot parecer 7,9 pontos melhor, enquanto as pessoas são 3,8 pontos melhores em uma base justa.
- Monte o formulário em seis etapas, partindo do formulário que a sua equipe já usa.
Esta página trata do padrão comum. Se você quer a lista de critérios de que um bot precisa e uma pessoa não, leia antes o nosso guia de scorecard de agentes de IA. Para ver como a Kaizo aplica um único formulário à sua equipe e aos seus agentes de IA, veja o QA de agentes de IA.
Por que usar um só formulário de monitoria para humanos e IA?
Use um só formulário de monitoria para humanos e IA porque os seus clientes recebem um único padrão de atendimento, seja quem for que responda. Dois formulários separados produzem dois números que ninguém consegue comparar, e duas discussões sobre qual deles vale.
Três motivos práticos aparecem em toda equipe que opera os dois:
- A liderança faz uma só pergunta. “O bot é tão bom quanto o nosso pessoal?” só tem resposta em uma medida comum. Com dois formulários, a resposta depende de quais definições você usa.
- As decisões de roteamento precisam de uma comparação. Decidir quais temas o agente de IA deve atender, e quais vão para pessoas, exige que os dois sejam avaliados do mesmo jeito no mesmo tema.
- Um padrão único é mais fácil de manter. Quando uma política muda, você atualiza um critério, e não dois formulários mantidos por duas equipes que vão se distanciando.
A armadilha é o erro oposto: apontar o seu formulário humano para o bot sem mudar nada. Saudação e ortografia raramente falham em um bot, enquanto política inventada raramente falha em uma pessoa. Um padrão único significa um núcleo único, e não uma lista idêntica.
O que entra no núcleo comum e o que fica de fora?
O núcleo comum reúne os critérios que descrevem um bom resultado para o cliente, seja quem for que respondeu. Os critérios que descrevem como um tipo de agente falha vão para o bloco desse agente.
Veja um modelo que você pode copiar. Os pesos são um exemplo; o importante é que o núcleo comum tenha o mesmo peso para os dois:
| Bloco | Critério | Aprovado quando | Peso |
|---|---|---|---|
| Núcleo comum | Resposta correta | Todos os fatos da resposta estão certos para o caso deste cliente | 25 |
| Núcleo comum | Resposta completa | Todas as partes da pergunta foram respondidas, incluindo as condições | 15 |
| Núcleo comum | Política seguida | Nada é oferecido, prometido ou recusado fora da política escrita | 20 |
| Núcleo comum | Próximo passo claro | O cliente sabe o que acontece em seguida, ou o problema está resolvido | 15 |
| Núcleo comum | Identidade e dados | A identidade é verificada antes de compartilhar dados da conta | 10 |
| Núcleo comum | Tom de acordo com a marca | A resposta soa como a sua marca e combina com a situação do cliente | 5 |
| Núcleo comum | Transbordo | O contexto é repassado em uma transferência, e quem recebe o usa | 10 |
| Bloco do agente de IA | Embasado no nosso conteúdo | Todo fato vem de um artigo da central de ajuda ou de uma política que você publica | Aprovado ou reprovado |
| Bloco do agente de IA | Escopo | Fica dentro dos temas e das ações que tem permissão para atender | Aprovado ou reprovado |
| Bloco do agente de IA | Gatilho de escalonamento | Faz o transbordo nos gatilhos definidos, e não tarde demais | Aprovado ou reprovado |
| Bloco do agente de IA | Incerteza | Diz que não sabe, em vez de chutar | Aprovado ou reprovado |
| Bloco humano | Registro do caso | Notas e tags permitem que a próxima pessoa continue sem perguntar de novo | Aprovado ou reprovado |
| Bloco humano | Retorno cumprido | Um retorno ou uma atualização prometidos aconteceram no prazo | Aprovado ou reprovado |
O núcleo comum soma 100, o que dá uma nota comparável por conversa. Os blocos de cada tipo de agente são de aprovado ou reprovado e aparecem ao lado da nota como taxas de aprovação próprias.
Um critério de bloco reprovado ainda pode disparar uma ação, como um erro crítico automático para o bot em um reembolso inventado, sem distorcer a comparação.
Os formulários de monitoria da Kaizo usam os seus próprios critérios, escritos com as suas palavras, e podem ser definidos por equipe, fila ou cliente. É assim que um núcleo comum e dois blocos convivem em um único padrão, e não em dois documentos.
Sete regras que mantêm um formulário único justo
Um formulário comum continua justo quando os dois são avaliados com as mesmas palavras, a mesma escala e os mesmos pesos, comparados em condições iguais e cobrados apenas pelas próprias linhas.
Regra 1: Uma definição por critério comum
Escreva cada critério comum uma única vez, com palavras que não pressuponham uma pessoa ou um bot.
“O atendente demonstrou conhecimento do produto” pressupõe uma pessoa. “Todos os fatos da resposta estão certos para o caso deste cliente” serve para os dois. O nosso guia sobre como escrever uma rubrica de QA que uma IA consiga avaliar (em inglês) mostra como redigir critérios que possam ser conferidos na transcrição.
Regra 2: Uma escala
Avalie o núcleo comum na mesma escala para os dois, seja aprovado ou reprovado por critério, seja pontos por critério. Misturar uma escala de 1 a 5 para pessoas com aprovado ou reprovado para o bot faz os totais parecerem comparáveis quando não são.
Regra 3: Um conjunto de pesos no núcleo
Dê a cada critério comum o mesmo peso para os dois. Se você dá mais peso ao tom para as pessoas, o total humano sobe por motivos que não têm nada a ver com o cliente. O nosso texto sobre como definir o peso dos itens da monitoria mostra como definir pesos a partir dos resultados, não do hábito.
Regra 4: Compare no núcleo, por tema
Compare pessoas e bot apenas no núcleo comum, tema por tema. O exemplo prático abaixo mostra por que uma média geral engana.
Regra 5: Cada linha reprovada é de quem a escreveu
Um erro do bot nunca cai na nota de um atendente humano. Se o agente de IA prometeu um reembolso e o atendente teve de retirar a promessa, o “política seguida” reprovado fica na conversa do bot, e o atendente é avaliado pela forma como conduziu a retirada.
Regra 6: Avalie o transbordo como uma transferência
O critério de transbordo fica no núcleo comum porque os dois lados podem falhar nele: o bot ao não repassar contexto, a pessoa ao não lê-lo. Avalie cada lado pela sua parte. O nosso guia sobre como avaliar o transbordo cobre as duas direções.
Regra 7: Uma calibração, um processo de mudança
Calibre os seus avaliadores e o seu avaliador automatizado com um conjunto misto de conversas de pessoas e de IA, para que “resposta correta” signifique o mesmo nos dois casos. Quando um critério comum muda, ele muda para os dois no mesmo dia.
Na Kaizo, editar a descrição de um critério vale para todas as avaliações futuras, e as sessões de calibração mantêm os avaliadores alinhados nos casos de fronteira.
Como comparar atendentes humanos e agentes de IA de forma justa?
Compare atendentes humanos e agentes de IA no núcleo comum, tema por tema, e depois pondere os dois pelo mesmo mix de temas. Uma média geral bruta mede principalmente quais temas cada um recebe.
O motivo é simples: o bot costuma atender os temas fáceis, e as pessoas atendem os difíceis. Veja um exemplo prático, com números que escolhemos para mostrar a conta, não dados de um cliente. As notas são a nota do núcleo comum, de 0 a 100:
| Tema | Conversas do agente de IA | Nota do agente de IA | Conversas de pessoas | Nota das pessoas |
|---|---|---|---|---|
| Rastreamento de pedidos | 6.000 | 96 | 1.000 | 94 |
| Contestações de cobrança | 1.000 | 70 | 4.000 | 82 |
| Média bruta | 7.000 | 92,3 | 5.000 | 84,4 |
Nas médias brutas, o bot parece 7,9 pontos melhor. Tema por tema, o bot é 2 pontos melhor em rastreamento de pedidos e 12 pontos pior em contestações de cobrança.
Para comparar de forma justa, pondere os dois pelo mesmo mix. Aqui usamos o mix combinado: 7.000 conversas de rastreamento de pedidos e 5.000 de cobrança, em um total de 12.000.
| Nota ajustada pelo mix | Cálculo | Resultado |
|---|---|---|
| Agente de IA | (7.000 x 96 + 5.000 x 70) / 12.000 | 85,2 |
| Equipe humana | (7.000 x 94 + 5.000 x 82) / 12.000 | 89,0 |
No mesmo mix, a equipe humana é 3,8 pontos melhor. A decisão que vem daí não é “o bot é melhor” nem “o bot é pior”. É “manter o bot em rastreamento de pedidos e deixar as contestações de cobrança com pessoas até a nota do bot em cobrança melhorar”.
É esse tipo de resposta que um núcleo comum torna possível.
Mais duas verificações mantêm a comparação honesta. Compare apenas temas em que os dois tenham conversas suficientes para um resultado estável, e anote quando um deles quase não tiver nenhuma.
E olhe os blocos de cada tipo de agente ao lado da nota: um bot com nota alta no núcleo, mas reprovado em embasamento em um tema, ainda precisa de uma correção.
Como reportar a qualidade de pessoas e IA em uma página
Reporte em uma página a nota do núcleo comum por tema para os dois, os totais ajustados pelo mix e, ao lado, as taxas de aprovação dos blocos de cada um. A liderança lê a comparação; as equipes leem os próprios blocos.
| Seção | Equipe humana | Agente de IA |
|---|---|---|
| Núcleo comum, ajustado pelo mix | Nota e tendência | Nota e tendência |
| Núcleo comum por tema | Nota por tema | Nota por tema |
| Bloco próprio | Registro do caso, retorno cumprido: taxas de aprovação | Embasamento, escopo, escalonamento, incerteza: taxas de aprovação |
| Transbordo | Aproveitou o contexto | Repassou o contexto |
| Principais causas | Lacunas de habilidade, lacunas de processo | Artigos, regras, configurações |
A última linha é onde os dois se separam. As falhas de uma pessoa costumam apontar para coaching ou para um processo; as de um bot costumam apontar para um artigo ou uma configuração.
O nosso texto sobre erro do atendente ou erro de processo (em inglês) mostra como distinguir os dois antes de agir. Na Kaizo, avaliar as conversas de pessoas e de IA com o mesmo formulário de monitoria permite ver o desempenho dos dois lado a lado.
Como montar um formulário de monitoria para humanos e IA
Monte-o em seis etapas, partindo do formulário que a sua equipe humana já usa. As três primeiras etapas cabem em uma sessão de trabalho; o resto acontece conforme você avalia.
Etapa 1: Separe os critérios atuais em três grupos
Pegue o seu formulário humano e marque cada critério como comum, só humano ou dispensável. A maioria das equipes descobre que resposta correta, política e próximo passo são comuns, enquanto saudação e frases de script são só humanos ou podem sair.
Etapa 2: Reescreva os critérios comuns em palavras neutras
Reescreva cada critério comum para que não pressuponha uma pessoa ou um bot, e para que um avaliador consiga apontar a linha que passa ou falha.
Etapa 3: Acrescente o bloco do agente de IA
Acrescente os quatro critérios do bot que estão no modelo: embasado no seu conteúdo, escopo, gatilho de escalonamento e incerteza. Mantenha-os como aprovado ou reprovado.
Etapa 4: Fixe os pesos e a escala do núcleo
Defina uma escala e um conjunto de pesos para o núcleo comum, somando 100, e registre-os em um lugar que as duas equipes consigam ver.
Etapa 5: Calibre com conversas mistas
Faça uma sessão de calibração com uma mistura de conversas de pessoas e de IA e continue ajustando as descrições dos critérios até que os avaliadores concordem nos dois casos.
Etapa 6: Avalie tudo e reporte por tema
Avalie todas as conversas, de pessoas e de IA, com o formulário e reporte o núcleo comum por tema, com o ajuste pelo mix. O AutoPilot da Kaizo avalia cada conversa com os seus critérios quando ela é resolvida, em ligações, chat e e-mail.
Veja em uma demo ao vivo. A Kaizo avalia a sua equipe e os seus agentes de IA com um único formulário de monitoria, com a evidência por trás de cada nota, e mostra os dois lado a lado. Vamos conversar.
Perguntas frequentes
O agente de IA deve ser cobrado por um padrão mais alto que os atendentes humanos?
No núcleo comum, cobre dos dois o mesmo padrão, ou a comparação perde o sentido. Onde você pode ser mais rigoroso é no bloco do agente de IA e nas consequências: um reembolso inventado pode ser um erro crítico automático para o bot, e uma falha crítica pode custar a ele um tema, porque um bot repete o mesmo erro em muitas conversas.
Quem deve avaliar as conversas de pessoas e de IA?
O mesmo avaliador para os dois, no núcleo comum. Se pessoas revisam as conversas humanas e um avaliador automatizado revisa o bot, as diferenças entre os dois avaliadores aparecem como diferenças entre os atendentes. Avalie os dois automaticamente com os mesmos critérios e peça aos revisores que confiram todo mês uma parte mista dos dois.
E se o agente de IA tiver nota maior que a sua equipe humana?
Confira o mix primeiro, porque o bot costuma atender os temas mais fáceis. Se ele continuar com nota maior no mesmo tema depois do ajuste pelo mix, é uma notícia útil: ele pode estar pronto para assumir mais desse tema, e as respostas dele podem mostrar onde o processo ou o conteúdo da sua equipe humana precisa melhorar.
Quantos critérios um formulário comum deve ter?
Mantenha o núcleo comum em cerca de seis a oito critérios e cada bloco próprio em dois a quatro. Mais do que isso, os avaliadores deixam de avaliar de forma consistente e a comparação fica ruidosa. Se um critério não falha há meses e não orienta nenhuma decisão, remova-o ou transforme-o em uma verificação de aprovado ou reprovado.
Um único formulário serve para ligações, chat e e-mail?
Sim, se os critérios descreverem o resultado e não o canal. Resposta correta, política seguida e próximo passo claro significam o mesmo em uma ligação, em um chat ou em um e-mail. Acrescente verificações específicas de um canal só onde o canal muda o que é uma boa conversa, como a verificação nas ligações.
