A calibração de monitoria acontece quando vários avaliadores dão nota à mesma conversa e comparam os resultados, para que todos apliquem o formulário de monitoria da mesma forma. Sem ela, duas pessoas avaliam o mesmo ticket de jeitos diferentes e as notas ficam injustas. A calibração transforma essas divergências em critérios mais claros, para que a nota reflita a conversa e não o avaliador que a abriu.
Em resumo
- Calibração de QA significa que vários avaliadores dão nota à mesma conversa de forma independente e depois comparam e combinam qual é a nota correta.
- A calibração revela critérios vagos que cada avaliador lê de um jeito, e esse é o sinal para reescrevê-los.
- Uma sessão de calibração segue quatro passos: escolher uma amostra comum, avaliar às cegas, comparar e discutir, e depois atualizar o formulário de monitoria.
- Sessões agendadas tiram tempo dos avaliadores que iria para o coaching, então a frequência é uma questão de equilíbrio.
- A avaliação automatizada aplica um único padrão a todas as conversas, então é preciso menos calibração, mas as pessoas continuam calibrando o que é um bom atendimento.
O que é calibração de monitoria em uma equipe de atendimento
Em uma equipe de atendimento, a calibração de monitoria é a checagem de rotina de que todos os avaliadores dão nota a uma conversa da mesma forma, com o mesmo formulário de monitoria. Os avaliadores avaliam sozinhos uma amostra comum, comparam os resultados e registram por escrito como cada divergência foi resolvida, para que o atendente receba a mesma nota e o mesmo feedback, seja quem for o avaliador.
A palavra vem da metrologia: um instrumento está calibrado quando mostra o mesmo valor que uma referência conhecida. Na monitoria de qualidade, os instrumentos são os seus avaliadores e a referência é a leitura combinada de cada critério do seu formulário de monitoria. O software de calibração de QA da Kaizo foi construído em torno da mesma ideia: mesma conversa, mesma nota.
Por que a calibração de QA importa
A calibração de QA importa porque as notas de qualidade só fazem sentido se forem consistentes. Quando um avaliador marca uma conversa como conforme e outro marca a mesma conversa como erro, os atendentes perdem a confiança no programa. O coaching vira então uma discussão sobre a nota, e não sobre o comportamento, e os dados deixam de ser utilizáveis.
A calibração protege essa confiança. Ao verificar que os avaliadores concordam nas mesmas conversas, ela mantém o formulário de monitoria justo e defensável. Ela também revela critérios subjetivos demais para serem avaliados de forma confiável, o que é um sinal para reescrevê-los em algo observável. Com o tempo, a calibração cumpre três funções práticas:
- Torna visível o desvio dos avaliadores, que de outra forma passaria despercebido.
- Leva os casos-limite para os critérios escritos, para que a decisão não fique só na memória de alguém.
- Faz o onboarding de novos avaliadores com base em um padrão combinado.
Como fazer uma sessão de calibração de monitoria
Uma sessão de calibração de monitoria segue quatro passos repetíveis: escolher uma amostra comum de conversas, fazer cada avaliador dar nota a ela de forma independente com o formulário de monitoria, comparar as notas lado a lado e discutir as diferenças, e depois atualizar a redação de qualquer critério que tenha gerado divergência. A mudança nos critérios é o verdadeiro resultado da sessão.
Um ciclo de calibração típico segue estes passos:
1. Escolher uma amostra comum
Selecione uma ou mais conversas que cada avaliador vai avaliar de forma independente, sem ver os resultados dos outros.
2. Avaliar com o formulário de monitoria
Cada avaliador dá nota à conversa usando o mesmo formulário de monitoria que a equipe usa no dia a dia.
3. Comparar e discutir
A equipe mostra as notas lado a lado, discute onde elas divergiram e combina a interpretação correta.
4. Atualizar o formulário de monitoria
Quando um critério gerou divergência, ele é esclarecido ou reescrito para ser avaliado da mesma forma na próxima vez.
Para frequência, participantes, escolha da amostra e como medir a concordância entre avaliadores, veja o nosso guia sobre como conduzir sessões de calibração de QA (em inglês).
Um exemplo prático de calibração de QA
Aqui vai um exemplo ilustrativo de calibração de QA. Quatro avaliadores dão nota à mesma conversa de chat em uma linha do formulário que diz “O atendente demonstrou empatia”, em uma escala de 1 a 4. Eles dão 2, 4, 3 e 4. A dispersão é a descoberta: é o critério, e não os avaliadores, que precisa ser corrigido antes da próxima sessão.
Na discussão, fica claro que dois avaliadores deram crédito por uma frase de desculpas, enquanto os outros dois verificavam se o atendente tinha reconhecido o problema específico do cliente. Nenhuma das leituras está errada, mas o formulário nunca disse qual delas vale. A equipe reescreve a linha em algo observável:
| Antes | Depois |
|---|---|
| O atendente demonstrou empatia (1 a 4) | O atendente reconheceu o problema específico do cliente com as próprias palavras antes de partir para a solução (sim ou não) |
O critério reescrito pode ser conferido na transcrição, então a próxima sessão deve mostrar menos dispersão nele. É isso que uma sessão de calibração útil deixa como resultado: uma rubrica de avaliação alterada, e não apenas uma reunião.
Como a automação reduz a necessidade de calibração
A automação reduz a necessidade de calibração de QA porque a inconsistência que a calibração corrige é humana: os avaliadores discordam entre si e de si mesmos ao longo do tempo. Quando as conversas são avaliadas automaticamente, um único modelo aplica o mesmo padrão a todas elas, então o desvio entre avaliadores praticamente desaparece e a calibração passa a servir para definir o próprio padrão.
A Kaizo avalia automaticamente 100% das conversas com o seu formulário de monitoria, com cada nota ligada à evidência na transcrição, para que os resultados continuem consistentes sem sessões de calibração recorrentes. O AutoPilot, a avaliação automatizada da Kaizo, interpreta os critérios exatamente da mesma forma todas as vezes, então não precisa ser calibrado; a calibração é para os avaliadores humanos que trabalham ao lado dele. Na UiPath, a Kaizo automatizou 100% do QA com 200% de ROI, e a nota que uma conversa recebe já não depende de qual avaliador a abriu. Na GAMING1, a equipe usou a Kaizo para avaliar as conversas de forma consistente e acompanhar a taxa de avaliação de qualidade como uma métrica própria; essa taxa subiu de 78% para 82% entre 2021 e 2022.
Veja nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de atendimento e transforma os resultados em coaching. Agende uma demo.
A calibração continua tendo seu lugar para definir o que é um bom atendimento, mas deixa de ser um custo fixo sobre o tempo dos avaliadores. Antes de confiar nas notas automatizadas, compare-as com as dos seus avaliadores calibrados na mesma amostra, como descrito nos nossos guias sobre shadow scoring e sobre como montar um golden set (em inglês).
Quando as sessões de calibração não valem a pena
As sessões de calibração não valem a pena quando só uma pessoa avalia as conversas, já que não há ninguém com quem discordar, ou quando você ainda não tem um formulário de monitoria escrito. Nesses casos, escreva e teste o formulário primeiro. A calibração alinha as pessoas em torno de um padrão; ela não cria um padrão do zero.
O mesmo vale para a avaliação automatizada. Se a sua equipe atende só um punhado de conversas por semana e um líder lê todas, uma planilha e um formulário de monitoria claro bastam, e uma ferramenta de QA automatizado como a Kaizo provavelmente é mais do que você precisa.
Perguntas frequentes
Qual é a diferença entre calibração de QA e avaliação de QA?
A avaliação de QA é dar nota a uma única conversa com o seu formulário de monitoria. A calibração de QA é a verificação de segundo nível que garante que avaliadores diferentes chegam à mesma nota na mesma conversa, para que a própria avaliação seja confiável.
Com que frequência fazer a calibração de QA?
A maioria das equipes com monitoria manual faz sessões de calibração semanais ou mensais, além de sempre que o formulário de monitoria muda ou entra um novo avaliador. A frequência é uma questão de equilíbrio: mais sessões trazem mais consistência, mas menos tempo para coaching.
O QA automatizado ainda precisa de calibração?
Muito menos. A avaliação automatizada aplica um único padrão consistente a todas as conversas, então o desvio entre avaliadores desaparece. A calibração continua útil para combinar o que é um bom atendimento quando você cria ou revisa o formulário de monitoria.
O que causa baixa concordância na calibração?
Normalmente, critérios vagos ou subjetivos no formulário de monitoria. Se uma regra não pode ser ligada a algo observável na transcrição, os avaliadores vão interpretá-la de formas diferentes, e esse é o sinal para reescrever o critério de forma clara e baseada em evidências.
Quem deve participar da calibração de QA?
Todos que avaliam conversas devem participar, inclusive os líderes de equipe que avaliam os próprios atendentes. Os novos avaliadores são os que mais ganham, porque a calibração faz o onboarding deles com base no padrão que o resto da equipe já combinou.
O que uma sessão de calibração de QA deve produzir?
Uma sessão de calibração deve produzir uma mudança por escrito: um critério reescrito, um caso-limite esclarecido ou um exemplo acrescentado ao formulário de monitoria. Se nada no formulário mudar, a mesma divergência vai voltar na próxima sessão.
Termos relacionados
- Analista de QA (em inglês)
- Monitoramento da qualidade (em inglês)
- Rubrica de avaliação
- Formulário de monitoria
- Auto QA (em inglês)
