A amostragem de monitoria consiste em avaliar uma parte das conversas com clientes, muitas vezes dois ou três tickets por atendente por semana, em vez de todas. Ela existe porque a avaliação manual é lenta: é uma forma de contornar um limite de capacidade, e só é confiável na medida em que a amostra é representativa.
Em resumo
- Uma amostra dá uma leitura aproximada da equipe, mas é pequena demais para avaliar cada atendente.
- As conversas mais difíceis são justamente as que têm menos chance de entrar na amostra.
- A avaliação automatizada elimina o limite de capacidade, por isso a cobertura total está substituindo a amostragem na medição dos atendentes.
- A amostragem continua útil para verificar se avaliadores ou sistemas de avaliação pontuam de forma consistente.
O que significa amostragem na monitoria de qualidade
Na monitoria de qualidade do atendimento, amostragem é simplesmente a decisão de avaliar algumas conversas e não outras. Como um avaliador só consegue ler um certo número de tickets ou ouvir um certo número de ligações por dia, a equipe de QA escolhe uma parte, avalia essas conversas com base no formulário de monitoria e usa o resultado para representar o todo.
Um formato comum é um número fixo por atendente por semana, definido para caber no tempo disponível dos avaliadores.
A palavra que importa é representar. As conversas da amostra fazem as vezes de todas as que não foram avaliadas, e todo o valor do exercício depende de quão bem elas cumprem esse papel. Quando a amostra representa bem o todo, a amostragem é uma economia razoável. Quando não representa, cada conclusão tirada dela se apoia em conversas que ninguém de fato olhou.
Um esclarecimento, porque o termo circula entre setores: aqui, amostragem significa selecionar conversas com clientes para avaliar. Não tem relação com a amostragem estatística do controle de qualidade na indústria, que é outra prática, com outro objetivo.
Por que as equipes usam amostragem, e quanto isso custa
A amostragem é uma resposta a uma restrição real. Se a sua equipe atende milhares de conversas por semana e você tem dois ou três avaliadores, ler tudo é impossível, então você lê uma fatia. Não há nada de errado nessa lógica. O problema é o que essa fatia consegue sustentar e o que não consegue.
Uma amostra pequena dá uma noção aproximada de como a equipe está indo no geral, e para isso ela basta. Ela falha no momento em que é usada para julgar uma pessoa, porque algumas conversas são uma janela minúscula, e muitas vezes azarada, sobre o mês de alguém. Dois atendentes com a mesma qualidade podem parecer muito diferentes em uma amostra pequena só por causa das conversas que foram sorteadas. Há também um problema de seleção: as conversas que mais precisam de avaliação, os escalonamentos complicados e as que deram errado sem alarde, costumam ser as que menos entram na amostra, porque os avaliadores tendem a escolher conversas rápidas de avaliar. O tratamento estatístico completo está em why a small QA sample cannot support agent-level decisions (em inglês).
Um exemplo prático: o que uma amostra semanal enxerga
Imagine um atendente hipotético que atende 100 conversas por e-mail e chat por semana, das quais duas são avaliadas. A nota de qualidade daquela semana se apoia em 2% do trabalho dele. Em um mês, oito conversas representam quatrocentas, e uma única semana ruim pode vir de um sorteio azarado.
Agora veja o peso que essas oito conversas carregam. Se uma é uma redefinição de senha rápida e outra uma longa disputa de reembolso, a nota reflete principalmente quais tickets foram sorteados, e não como o atendente trabalha. Se ele conduziu mal três escalonamentos naquele mês, há uma boa chance de nenhum deles estar na amostra, e a conversa de coaching nunca acontece. Subir a amostra para cinco por semana ajuda um pouco e custa mais horas do avaliador, que é exatamente a troca que a amostragem deveria evitar.
Amostragem de monitoria ou cobertura total
A amostragem avalia uma parte dimensionada à capacidade dos avaliadores, enquanto a cobertura total avalia todas as conversas. A amostragem basta para uma leitura aproximada da equipe; a cobertura total é o que as decisões por atendente e a detecção de tendências exigem. A restrição que tornava a amostragem necessária está desaparecendo, porque o QA automatizado já consegue avaliar todas as conversas automaticamente, e isso muda a escolha.
A avaliação automatizada, como o AutoPilot da Kaizo, aplica o seu próprio formulário de monitoria a todas as conversas, e não a uma fatia escolhida. Se você está decidindo quanto amostrar enquanto isso, o nosso guia para escolher um plano de amostragem de QA (em inglês) compara as opções lado a lado.
| Amostragem | Cobertura total | |
|---|---|---|
| O que é avaliado | Uma parte, dimensionada à capacidade dos avaliadores | Todas as conversas |
| Serve para | Uma leitura aproximada da equipe | Decisões por atendente e detecção de tendências |
| Ponto cego | As conversas nunca sorteadas, incluindo as piores | Exige confiar no avaliador automatizado, que por isso precisa ser verificado |
| Para que serve a amostra | Medir a qualidade | Verificar o avaliador, não medir os atendentes |
O que as equipes veem quando deixam de amostrar
As equipes que passam de uma amostra manual para a avaliação automatizada relatam mais cobertura e menos trabalho de preparação, e não apenas números maiores. Na EverHelp, o controle de qualidade passou de uma amostra montada à mão para a avaliação automatizada com os critérios de cada projeto; a cobertura de QA subiu 270% e a preparação do coaching caiu 75% em dezesseis domínios.
O caso de cliente da EverHelp (em inglês) explica como isso funcionou em muitos projetos de clientes. Na UiPath, a Kaizo automatizou 100% do QA com ROI de 200% e um aumento de 8% na nota de qualidade. Nos dois casos, a mudança foi a mesma: a nota deixou de se apoiar em um punhado de conversas que alguém teve tempo de ler.
Veja nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de atendimento com o seu próprio formulário de monitoria e transforma os resultados em coaching. Agende uma demo.
Onde a amostragem continua tendo lugar
A cobertura total não torna a amostragem inútil; ela leva a amostragem para uma função melhor. Quando todas as conversas são avaliadas automaticamente, você não amostra mais para medir os atendentes. Você amostra para verificar a medição: para confirmar que os avaliadores concordam entre si e que um avaliador automatizado concorda com os seus avaliadores, o que importa mais com automação, e não menos.
Esse é um uso legítimo e contínuo de uma amostra, e ele ganha importância com a automação, porque agora um único avaliador influencia todas as notas. As práticas relacionadas são a calibração de monitoria e a validação da avaliação de QA por IA (em inglês).
A passagem da amostragem para a cobertura também é o que permite que o QA deixe de ser motivo de discussão na operação. Quando a nota de um atendente se apoia em duas conversas, é fácil contestá-la. Quando se apoia em todas, e cada nota remete às evidências, a conversa deixa de ser se a amostra foi justa e passa a ser o que as conversas realmente mostram. É esse o argumento de scoring 100% of conversations (em inglês).
Quando a amostragem de monitoria é suficiente
A amostragem de monitoria é suficiente quando a equipe é pequena, o volume é baixo e o objetivo é ter uma noção geral da qualidade, e não tomar decisões sobre atendentes individuais. Se poucos atendentes cuidam de um número modesto de tickets por semana, um líder consegue ler boa parte deles à mão, e uma amostra pode já estar perto da cobertura total.
A amostragem também é um primeiro passo sensato para uma equipe que ainda não tem um formulário de monitoria. Automatizar a avaliação de todas as conversas só ajuda quando você sabe o que está avaliando, então construir e calibrar o formulário de monitoria com uma amostra manual vem primeiro. Quando a equipe cresce, ou quando as notas passam a alimentar coaching, avaliações de desempenho ou bônus, o tamanho reduzido da amostra vira o problema, e esse é o momento de olhar para o QA automatizado.
Perguntas frequentes
O que é amostragem de monitoria no atendimento ao cliente?
É a prática de avaliar uma parte das conversas com clientes em vez de todas, normalmente algumas por atendente por período. Ela existe porque a avaliação manual é lenta e sempre há mais conversas do que os avaliadores conseguem ler. As conversas da amostra são tratadas como representativas do todo, então o método vale tanto quanto a amostra é de fato representativa.
Por que a amostragem é um problema para avaliar cada atendente?
Porque algumas conversas são uma janela minúscula sobre o mês de um atendente, e quais conversas foram sorteadas pesa muito. Dois atendentes com a mesma qualidade podem ter notas de amostra muito diferentes por acaso, e as conversas mais difíceis, que mais precisam de avaliação, costumam ser as que menos entram na amostra. Uma amostra dimensionada à capacidade dos avaliadores é pequena demais para sustentar uma decisão sobre uma pessoa.
Quantas conversas uma equipe de QA deve amostrar?
Não existe um número universal. A maioria das equipes dimensiona a amostra ao tempo dos avaliadores, muitas vezes duas ou três conversas por atendente por semana, o que basta para uma leitura aproximada da equipe, mas não para decisões sobre um atendente. Se as notas alimentam coaching ou avaliações, a amostra precisa ser muito maior, e é por isso que as equipes passam a avaliar todas as conversas.
Como escolher as conversas de uma amostra de QA?
A seleção aleatória mantém a amostra o mais representativa possível, porque impede que os avaliadores escolham conversas rápidas de avaliar. Algumas equipes acrescentam seleções direcionadas, como escalonamentos ou notas baixas dos clientes, para ver os casos mais difíceis. Mantenha as duas separadas nos relatórios, porque uma seleção direcionada não representa o trabalho geral de um atendente.
A amostragem de monitoria é a mesma coisa que a amostragem na indústria?
Não. No atendimento ao cliente, amostragem significa selecionar conversas para avaliar. Ela não tem relação com a amostragem estatística de aceitação usada no controle de qualidade industrial, que inspeciona uma parte das unidades físicas em relação a uma tolerância de defeitos. As duas compartilham uma palavra, não um objetivo.
A cobertura total de QA substitui completamente a amostragem?
Ela substitui a amostragem na medição dos atendentes, porque todas as conversas podem ser avaliadas. E mantém a amostragem para outra função: verificar o avaliador, confirmando que os avaliadores concordam entre si e que um avaliador automatizado concorda com os seus avaliadores. Esse uso da amostragem ganha importância com a automação, e não perde.
Termos relacionados
- Why a small QA sample cannot support agent-level decisions (em inglês)
- How to score 100% of conversations (em inglês)
- QA monitoring cadence (em inglês)
- Calibração de monitoria: o que é
- What is 100% QA coverage? (em inglês)
