Um software de calibração de monitoria é a parte de uma ferramenta de qualidade que faz os avaliadores darem a mesma nota à mesma conversa. Vários avaliadores pontuam uma conversa, o software mostra onde e quanto eles divergem, acompanha o desvio de cada avaliador ao longo do tempo e grava a decisão combinada de volta no formulário de monitoria. Assim, a nota de um atendente depende da conversa, não de quem a revisou.
Em resumo
- Um software de calibração de monitoria troca a planilha compartilhada por avaliação independente, comparação automática e um registro de cada decisão.
- Cada viés comum de avaliador, da complacência ao desvio, tem uma funcionalidade que o combate; a tabela abaixo liga uma coisa à outra.
- O checklist de compra lista dez funcionalidades, cinco delas indispensáveis para uma equipe com vários avaliadores.
- O exemplo calculado mostra como medir a concordância e o desvio de cada avaliador em um critério, e por que um avaliador pode mover a nota de um atendente em um ponto inteiro.
- A avaliação por IA aplica a rubrica sempre do mesmo jeito, o que elimina a variação entre avaliadores, mas não uma rubrica mal escrita.
- Uma regra de decisão diz quando uma planilha ainda basta.
Este guia ajuda a escolher a ferramenta. Para o método em si, leia nosso artigo sobre calibração de monitoria e nosso guia para conduzir sessões de calibração de QA (em inglês). Se você está comparando software de qualidade no atendimento, a calibração é uma das funcionalidades que separam uma ferramenta que dá notas de uma que dá notas justas.
O que um software de calibração faz que uma planilha não faz
Um software de calibração de monitoria apresenta a mesma conversa a vários avaliadores separadamente, compara as notas por critério e guarda a decisão junto ao formulário. Uma planilha pode guardar as notas, mas depende de alguém que mantenha os avaliadores às cegas, faça as contas e atualize a rubrica.
| Tarefa de calibração | Em uma planilha compartilhada | Em um software de calibração |
|---|---|---|
| Escolher as conversas | Links copiados, muitas vezes os casos fáceis | Seleção na ferramenta, incluindo casos-limite |
| Pontuar separadamente | Os avaliadores veem as colunas uns dos outros | Notas ocultas até todos pontuarem |
| Comparar | Alguém monta as fórmulas | Dispersão por critério mostrada automaticamente |
| Acompanhar avaliadores ao longo do tempo | Quase nunca é feito | Desvio de cada avaliador em relação ao grupo, sessão após sessão |
| Registrar a decisão | Anotações da reunião | Escrita na descrição do critério |
| Aplicá-la às notas futuras | Depende da memória | Cada avaliação seguinte usa o critério atualizado |
As duas últimas linhas são as que mais importam. Uma calibração que termina em anotações de reunião gera concordância por uma semana; uma que termina no critério a mantém.
De onde vem o viés dos avaliadores nas notas de monitoria
O viés dos avaliadores vem de hábitos humanos, não de má-fé: alguns dão notas altas ou baixas por costume, ficam no meio da escala, julgam o atendente em vez da conversa ou mudam de padrão com os meses. Cada padrão tem uma funcionalidade que o combate.
| Viés | Como aparece | Funcionalidade que o combate |
|---|---|---|
| Complacência ou rigor | Um avaliador fica sempre acima ou abaixo do grupo | Relatório de desvio por avaliador em relação ao grupo ou a uma nota de referência |
| Tendência central | Tudo recebe 3 de 5 | Dispersão por critério e âncoras para cada ponto da escala |
| Efeito halo | Uma boa saudação puxa todos os outros critérios para cima | Avaliação por critério com prova para cada linha |
| Familiaridade | Atendentes conhecidos como bons recebem o benefício da dúvida | Ocultar o nome do atendente durante a calibração (pergunte se a ferramenta permite) |
| Ancoragem | Os avaliadores seguintes copiam a primeira nota que veem | Avaliação às cegas até todos enviarem |
| Desvio | O padrão de um avaliador muda ao longo dos meses | Desvio acompanhado no tempo e sessões regulares |
| Carga de trabalho | Um avaliador cansado pontua diferente o fim da fila | Distribuição igual do trabalho de revisão |
| Seleção | Calibrar só conversas fáceis esconde a discordância | Escolher casos-limite de propósito |
A calibração resolve a discordância entre avaliadores. Sozinha, ela não conserta um critério que mede a coisa errada; isso é uma decisão sobre o formulário.
Checklist de compra de software de calibração de monitoria
Procure dez funcionalidades e trate as cinco primeiras como indispensáveis se mais de duas pessoas avaliam conversas. Peça a cada fornecedor que as mostre em uma demo em vez de marcá-las em um formulário.
| # | Funcionalidade | Indispensável? | O que pedir para ver |
|---|---|---|---|
| 1 | Vários avaliadores pontuam a mesma conversa em uma sessão | Sim | Uma sessão com três avaliadores no mesmo ticket |
| 2 | As notas ficam ocultas até todos pontuarem | Sim | O que um avaliador vê antes e depois de enviar |
| 3 | Dispersão por critério, não só por conversa | Sim | Onde está a maior discordância de uma sessão |
| 4 | A decisão é escrita na descrição do critério | Sim | Um critério editado depois de uma sessão, e quando a mudança passa a valer |
| 5 | Cada nota ligada a uma prova na transcrição | Sim | A linha da conversa por trás de um desconto |
| 6 | Desvio de cada avaliador acompanhado entre sessões | Muito recomendada | A tendência de um avaliador ao longo de vários meses |
| 7 | Distribuição igual do trabalho de revisão | Recomendada | Como as atribuições são distribuídas entre avaliadores |
| 8 | Um processo de contestação para atendentes | Recomendada | Um atendente contestando uma nota, e para onde ela vai |
| 9 | A IA como avaliador adicional, com concordância por critério | Se você automatiza | Notas da IA ao lado dos seus avaliadores calibrados no mesmo conjunto |
| 10 | Nomes dos atendentes ocultos durante a calibração | Opcional | Uma tela de sessão sem o nome do atendente |
A funcionalidade 9 é onde calibração e automação se encontram. Antes de confiar em notas automáticas, você precisa de um conjunto de conversas sobre o qual os seus avaliadores calibrados concordam, como explica nosso guia para montar um golden set (em inglês).
Como medir se a avaliação é justa: um exemplo calculado
Meça a justiça por critério com três números: com que frequência os avaliadores concordam exatamente, com que frequência ficam a até um ponto e quanto cada avaliador se afasta da média do grupo. Este exemplo ilustrativo usa notas inventadas para um critério.
Três avaliadores dão nota a “Empatia” em uma escala de 1 a 5 para as mesmas seis conversas.
| Conversa | Avaliador 1 | Avaliador 2 | Avaliador 3 | Dispersão (maior menos menor) |
|---|---|---|---|---|
| 1 | 4 | 3 | 4 | 1 |
| 2 | 3 | 2 | 4 | 2 |
| 3 | 5 | 4 | 5 | 1 |
| 4 | 2 | 2 | 3 | 1 |
| 5 | 4 | 3 | 4 | 1 |
| 6 | 3 | 3 | 3 | 0 |
| Média | 3,50 | 2,83 | 3,83 | 1,0 |
Passo 1: Calcule a concordância exata e a concordância a até um ponto
Os três avaliadores deram a mesma nota em uma das seis conversas, então a concordância exata é de 1 em 6. Ficaram a até um ponto em cinco de seis, então a concordância a até um ponto é de 5 em 6. Essa diferença costuma indicar que a escala tem mais pontos do que a descrição do critério consegue distinguir.
Passo 2: Calcule o desvio de cada avaliador
A média do grupo nas 18 notas é 61 ÷ 18 = 3,39. O avaliador 1 está em +0,11, o avaliador 2 em -0,56 e o avaliador 3 em +0,44. O avaliador 2 é o mais baixo, ou empatado como mais baixo, nas seis conversas: é um padrão de rigor, não acaso.
Passo 3: Traduza para o que o atendente sente
Se o avaliador 2 revisa um atendente e o avaliador 3 outro, dois atendentes com conversas idênticas ficam a um ponto inteiro de distância em uma escala de cinco: 2,83 contra 3,83. Essa é a injustiça que os atendentes percebem, e ela vem só de quem abriu o ticket.
Passo 4: Corrija o critério e meça de novo
Escreva uma âncora com um exemplo para cada ponto da escala, discuta a conversa 2, onde a dispersão foi maior, e pontue um conjunto novo na sessão seguinte. Acompanhe os três números por critério ao longo do tempo; o guia existente detalha como medir se a calibração está funcionando (em inglês).
A IA consegue tirar o viés humano das notas de monitoria?
A IA elimina a variação entre avaliadores porque aplica a mesma rubrica do mesmo jeito a cada conversa, mas não elimina o viés escrito na própria rubrica. Consistência é necessária para a justiça, mas não é a mesma coisa.
Três coisas decidem se a avaliação por IA é justa, e não só consistente:
- A rubrica: um critério vago ou enviesado é aplicado de forma consistente e errada. Calibrar primeiro os avaliadores humanos é o jeito de encontrar esses critérios.
- O teste: compare as notas da IA com um conjunto sobre o qual os seus avaliadores calibrados concordam, critério por critério, antes do go-live. Nosso protocolo para validar a avaliação por IA (em inglês) traz um plano de uma semana.
- A contestação: os atendentes precisam de um jeito de contestar uma nota e ver a prova, como no nosso guia para desenhar um processo de contestação de notas da IA (em inglês).
Quando a IA avalia todas as conversas, a calibração muda de papel. Ela deixa de servir para fiscalizar avaliadores em uma amostra e passa a ser o lugar onde se combina o padrão que a IA depois aplica em tudo.
Planilha ou software de calibração: uma regra de decisão
Uma planilha basta enquanto uma ou duas pessoas avaliam e o formulário é curto; o software compensa assim que três ou mais avaliadores pontuam ou as notas pesam em decisões sobre atendentes. Use a tabela para situar a sua equipe.
| A sua situação | Uma planilha basta? | Por quê |
|---|---|---|
| Um ou dois avaliadores, menos de 10 critérios | Sim | Poucos pares para comparar, a discordância aparece fácil |
| Três ou mais avaliadores | Não | Avaliação às cegas e dispersão por critério são difíceis de gerir à mão |
| Várias operações, equipes ou clientes | Não | É preciso acompanhar no tempo os desvios entre grupos |
| As notas pesam em remuneração, promoção ou decisões de desempenho | Não | Você precisa de prova para cada nota e de um registro de cada decisão |
| A IA avalia parte do seu volume | Não | Você precisa de concordância por critério entre a IA e os avaliadores |
Se duas linhas ou mais se aplicam, o tempo gasto montando fórmulas e coletando notas às cegas custa mais do que a ferramenta. Nosso artigo sobre quando parar de fazer QA em planilha (em inglês) trata da mudança mais ampla.
Como a Kaizo faz a calibração
Na Kaizo, a calibração apresenta uma conversa a vários avaliadores, mostra onde eles divergiram e escreve o significado combinado na descrição do critério. Depois, o AutoPilot aplica a descrição atualizada a cada avaliação futura.
Veja o que ela cobre do checklist, segundo as páginas de produto da Kaizo:
- Sessões com vários avaliadores que pontuam as mesmas conversas com o mesmo formulário (funcionalidades 1 e 3).
- Decisões escritas na rubrica, para que não dependam da memória de ninguém, e novos avaliadores treinados no padrão combinado (funcionalidade 4).
- Desvio dos avaliadores visível em vez de invisível (funcionalidade 6).
- Prova em cada nota: cada nota leva à prova na conversa (funcionalidade 5).
- Atribuições que distribuem o trabalho de revisão de forma igual (funcionalidade 7).
- IA conferida com a sua equipe: você testa a IA com as suas avaliações históricas antes do go-live, e o AutoPilot lê a rubrica de forma idêntica todas as vezes, então a calibração é para os avaliadores humanos que trabalham ao lado dele (funcionalidade 9).
Como começar a dar notas mais justas este mês
Comece com um critério sobre o qual os seus avaliadores discutem, cinco ou seis casos-limite e três avaliadores pontuando às cegas. Calcule a concordância e os desvios como no exemplo, reescreva o critério e repita na sessão seguinte.
Faça isso com os seus três critérios mais discutidos antes de comparar ferramentas. Você vai saber de quais funcionalidades precisa e terá o conjunto de referência para testar depois a avaliação por IA de qualquer fornecedor.
Veja uma sessão de calibração em uma demo ao vivo. Mostramos como as notas dos avaliadores são comparadas e como a decisão atualiza a rubrica, com dados de exemplo realistas. Agende uma reunião.
Perguntas frequentes
O que é confiabilidade entre avaliadores na monitoria?
A confiabilidade entre avaliadores mede com que consistência avaliadores diferentes dão a mesma nota à mesma conversa. Na monitoria, ela costuma ser medida por critério, como a parcela de concordância exata, a parcela a até um ponto ou com um indicador como o kappa de Cohen, que corrige a concordância ao acaso. Confiabilidade baixa significa que uma nota diz tanto sobre o avaliador quanto sobre o atendente.
Como reduzir o viés nas notas de monitoria?
Pontue às cegas, compare por critério e reescreva os critérios que causam discordância repetida. Acompanhe no tempo o desvio de cada avaliador em relação ao grupo, distribua o trabalho de forma igual e exija prova da conversa para cada desconto. Dê aos atendentes um jeito de contestar uma nota e leve as contestações para a sessão seguinte.
É preciso ocultar o nome dos atendentes na calibração?
Ocultar o nome dos atendentes durante a calibração reduz o viés de familiaridade, em que o avaliador julga um atendente conhecido, forte ou fraco, em vez da conversa. Isso importa mais em equipes pequenas, onde todos se conhecem. Quem conduz a sessão pode manter os nomes para que o feedback chegue depois ao atendente certo.
O que é uma nota de referência na calibração?
Uma nota de referência é a nota base de uma conversa de calibração, normalmente definida pelo responsável pela qualidade ou combinada pelo grupo, com a qual a nota de cada avaliador é comparada. Ela transforma uma discussão em uma medida: você vê quem fica acima ou abaixo da referência, e em quais critérios.
Dá para fazer calibração de monitoria no Excel?
Sim, com um ou dois avaliadores e um formulário curto. Cada avaliador pontua em uma coluna oculta e fórmulas simples calculam a concordância e a dispersão por critério. Deixa de funcionar quando os avaliadores veem as notas uns dos outros, quando há várias equipes para comparar ou quando as decisões nunca voltam ao formulário.
