Critérios fora do controle do atendente na monitoria

Quando um critério depende de um sistema que falhou, de um cliente que foi embora ou de uma equipe que nunca respondeu, os atendentes perdem pontos que não podiam controlar. Corrija o formulário de monitoria excluindo o critério, marcando-o como não aplicável ou encaminhando a constatação para quem é dono do problema.

Em resumo

• Os atendentes identificam em cerca de um mês um critério que não conseguem influenciar.
• O “não se aplica” precisa existir em todos os critérios e reduzir o denominador.
• Falhas concentradas em uma fila, um horário ou uma versão apontam para um problema de sistema.
• Um processo quebrado deve mudar o processo, não a nota do atendente.

Por que um único critério incontrolável desacredita a nota inteira

Quatro situações aparecem repetidamente quando atendentes descrevem uma nota que consideram injusta, e nenhuma delas é, de fato, uma discussão sobre julgamento.

• Uma falha de sistema fez com que uma etapa que o atendente cumpriu nunca fosse registrada, então o avaliador não conseguiu vê-la e a deu como ausente.
• O cliente desligou antes do encerramento, e todos os critérios de encerramento retornaram um zero automático.
• Um escalonamento foi para um supervisor que nunca respondeu, e o atendente perdeu os pontos de resolução e de acompanhamento.
• O cliente estava difícil de ouvir, um endereço de e-mail voltou digitado errado, e um critério de exatidão dos dados registrou isso como falha de privacidade.

Leve a sério a aritmética do segundo caso, porque é o mais claro. Se a seção de encerramento tem quatro critérios e uma desconexão zera três deles, então é o comportamento do cliente, e não o do atendente, que decide em que faixa esse atendente vai parar. Os atendentes que recebem os clientes mais irritados são os que mais levam desligadas na cara, então quem cuida do seu trabalho mais difícil fica com as piores notas.

Duas consequências se seguem, nesta ordem. Primeiro, a nota deixa de carregar informação. Se um avaliador não consegue dizer se um 72 significa um trabalho ruim ou uma tarde ruim nas ferramentas, ninguém mais adiante consegue usar o número para decidir algo. Segundo, e mais caro, a nota perde autoridade diante das pessoas que ela deveria ajudar. Quando um atendente acredita que o número é em parte arbitrário, todo coaching ligado a ele já chega desvalorizado. Você não está fazendo coaching, está negociando, e perdeu as condições para conduzir uma monitoria em que os atendentes confiam (em inglês). Deming disse o princípio geral de forma mais direta do que qualquer guia de QA: um sistema ruim vence uma boa pessoa todas as vezes (em inglês), e medir a pessoa com mais rigor não muda qual dos dois está perdendo.

Isso não é uma falha da equipe de qualidade. Os avaliadores trabalham dentro do mesmo formulário que todo mundo, e a maioria dos formulários dá a eles duas opções diante de um critério que não tinha como ser cumprido: reprovar ou aprovar em silêncio e torcer para ninguém auditar. As duas estão erradas, e não existe uma terceira opção. É um problema de desenho, que se corrige na rubrica de avaliação, e não na discussão sobre a rubrica.

Como encontrar os critérios que dependem de controle no seu formulário de monitoria

Pegue o seu formulário de monitoria atual e percorra-o linha por linha. Para cada critério, faça três perguntas, nesta ordem.

1. O atendente poderia ter cumprido o critério com as ferramentas, permissões e informações que tinha naquele momento? Não com as ferramentas que deveria ter. Com as que estavam de fato à frente dele.
2. Cumprir o critério exige que outra pessoa aja primeiro? Outra equipe, um cliente, um processamento em lote, uma aprovação.
3. Um atendente forte conseguiria cumprir o critério todas as vezes, só por decidir fazer isso? Se a resposta honesta for não, o critério está medindo as circunstâncias além da habilidade.

Separe cada critério em três grupos à medida que avança. Totalmente controlável, onde deveria estar a maior parte dos seus critérios de comportamento e de processo. Condicionalmente controlável, ou seja, o atendente só controla quando uma pré-condição é atendida. Não controlável, ou seja, cumprir o critério depende de algo sobre o qual o atendente não tem nenhuma influência.

O segundo grupo é onde está o trabalho. Para cada critério condicionalmente controlável, escreva a pré-condição em uma frase simples: o cliente permaneceu na linha, a ferramenta de reembolso estava no ar, a equipe de segundo nível respondeu dentro do seu nível de serviço, a gravação captou a ligação inteira. Essas frases viram os gatilhos de “não se aplica” de que você vai precisar depois, e escrevê-las é o que transforma uma vaga sensação de injustiça em uma regra que um avaliador consegue aplicar sempre do mesmo jeito.

Faça isso com atendentes na sala

Faça essa revisão com dois avaliadores e dois atendentes experientes juntos, e não como um exercício só da equipe de qualidade. Os atendentes vão achar os critérios que dependem de controle em uma fração do tempo, porque estão perdendo pontos para eles há meses e sabem citar o ticket exato. Isso também muda a mensagem do exercício: você está pedindo à operação que ajude a consertar o formulário, em vez de anunciar uma correção nele. Reserve duas horas para um formulário de quinze critérios e conte com encontrar de duas a cinco linhas problemáticas.

As três categorias de falha incontrolável

Quase tudo o que você encontrar vai se encaixar em uma de três categorias, e a categoria diz o que fazer a respeito. A distinção que importa é quem poderia ter evitado a falha, porque essa também é a pessoa que deve receber a constatação.

Excluir, marcar como não aplicável ou encaminhar

São três correções, e escolher a errada é o que faz esses ajustes fracassarem. O teste não é a gravidade da falha, e sim com que frequência o critério é impossível e quem é dono da causa.

Exclua o critério quando ele não passa no teste de controle na maior parte das vezes. Se um critério depende de uma ferramenta instável, ou de o cliente se comportar de um jeito específico, ele não é um padrão, é um cara ou coroa com pontos associados. Uma regra prática útil: se você nunca faria coaching de alguém sobre aquilo, também não avalie a pessoa por isso.

Marque como não aplicável quando o critério normalmente é controlável, mas foi de fato impossível naquela conversa específica. Esse é o caso comum, e ele precisa de duas coisas: um gatilho definido, vindo das pré-condições que você escreveu antes, e evidência no registro de que o gatilho ocorreu. Um registro do horário da desconexão antes da sequência de encerramento é evidência. A impressão de um avaliador não é.

Encaminhe a constatação quando a falha é real, importa para o cliente e tem um dono. O cliente não recebeu o reembolso, o que é uma falha de qualidade verdadeira e que vale conhecer, mas a causa foi uma política que o atendente não tem permissão para contornar. A constatação sai da monitoria como um defeito de processo, com um responsável e um prazo. A nota do atendente não muda.

Há uma quarta opção que as equipes costumam escolher e que você deve recusar: reprovar o critério e acrescentar um comentário dizendo que a culpa não foi do atendente. O comentário não muda o número, e é o número que chega à avaliação mensal, ao ranking e à conversa de desempenho. Compaixão em uma caixa de texto livre não é um controle, e deixa o atendente sem nada com que trabalhar além de contestar a nota (em inglês).

Dê autoridade aos avaliadores e depois audite

Os avaliadores devem poder aplicar o “não se aplica” sem pedir permissão. Equipes que transformam isso em um escalonamento estão, na prática, eliminando a opção, porque um avaliador com quarenta avaliações para terminar não vai abrir um ticket para pular uma linha. Controle isso depois: reporte o uso do “não se aplica” por avaliador e por critério e coloque os casos fora da curva na pauta da sua próxima sessão de calibração. É uma conversa muito melhor do que a que surge quando você força reprovações falsas.

Por que o “não se aplica” precisa ser uma opção completa em todos os critérios

O “não se aplica” só funciona se a aritmética funcionar. A nota precisa ser os pontos obtidos divididos pelos pontos aplicáveis, e não pelo formulário inteiro. Se onze de quinze critérios se aplicaram e o atendente cumpriu oito, a nota é oito de onze. Se o seu formulário mantém os quinze no denominador, marcar uma linha como não aplicável custa exatamente o mesmo que reprovar nela, os avaliadores percebem em uma semana e a opção deixa de ser usada. Muitas equipes já calculam a nota só sobre as perguntas aplicáveis. Outras têm uma caixa de “não se aplica” que não faz nada, o que é pior do que não ter, porque parece uma correção.

Pense no que acontece em um formulário sem uma opção de “não se aplica” que funcione. Os avaliadores rigorosos reprovam o critério impossível, os generosos aprovam, e os dois estão adivinhando uma regra que nunca foi escrita. Você fabricou uma divergência entre avaliadores que nenhuma calibração (em inglês) vai resolver, porque ela é estrutural, e não de percepção: dois avaliadores podem concordar totalmente sobre o que aconteceu e ainda assim produzir notas diferentes. Os atendentes passam então a ver a própria nota como função de quem os avaliou, o caminho mais rápido para uma monitoria de qualidade perder a credibilidade.

O dano aos dados dura mais. Um critério aprovado quando nunca foi testado infla a sua taxa de aprovação. Um critério reprovado quando era impossível fabrica um defeito que nunca existiu. Nos dois casos, as estatísticas desse critério ficam inutilizáveis, e são justamente elas que você precisa para ponderar o formulário com bom senso e para identificar os problemas de sistema da próxima seção.

São quatro requisitos, e todos são baratos:

• Disponível em todos os critérios, e não em alguns escolhidos. O que você não habilitou é o que vai dar problema.
• Um código de motivo tirado de uma lista curta, com cinco ou seis opções, para que o uso possa ser contado. Texto livre não pode ser contado.
• Visível para o atendente na avaliação, para ele ver que o avaliador percebeu. Metade do ressentimento em todo esse assunto vem de atendentes supondo que ninguém percebeu.
• Reportado todo mês por critério e por motivo.

Um limite que vale adotar: se um critério volta como não aplicável em mais de cerca de um terço das conversas, ele não pertence àquele formulário. Pertence a um formulário específico do canal ou da fila, porque você está pedindo a um único formulário que avalie dois tipos diferentes de trabalho.

Como identificar o problema nos seus dados antes que um atendente avise

Reclamações são um indicador atrasado, e chegam dos atendentes mais confiantes, e não dos mais afetados. Os dados chegam lá antes, e o método roda em uma planilha.

Para cada critério, pegue a taxa de reprovação do último trimestre e divida-a por hora do dia, fila ou habilidade, canal, faixa de tempo de casa do atendente e pelas datas de lançamentos de versão e mudanças de política. A habilidade dos atendentes se distribui de forma razoavelmente uniforme entre esses recortes. Os problemas de sistema, não, e essa assimetria é todo o diagnóstico. Um critério que reprova 6% das vezes no geral, mas 35% das vezes em uma fila entre duas e cinco da tarde, não está falando de coaching.

Quatro padrões e o que cada um costuma significar:

• Concentrado em uma janela de horário. Falta de pessoal (em inglês), pressão na fila ou um processamento em lote que trava um sistema toda tarde. Veja o que mais acontece naquele horário antes de escrever uma nota de coaching.
• Concentrado em uma fila, habilidade ou canal. Uma ferramenta que só aquele grupo usa, uma regra de roteamento ou um formulário de monitoria que não combina com o trabalho daquele grupo.
• Uma mudança brusca em uma data. Um lançamento de versão, uma mudança de política ou uma mudança no próprio formulário. Um critério que ia bem em março e reprova o tempo todo a partir de abril não ficou mais difícil porque os seus atendentes pioraram.
• Distribuído por igual entre todos, inclusive os seus melhores atendentes. O critério é ambíguo ou impossível. Se os seus 10% melhores reprovam nele mais ou menos tanto quanto os seus 10% piores, ele não está medindo habilidade.

Há um problema de amostragem escondido nesse método, e vale dar nome a ele. Com a amostra de 3% que a maioria das monitorias usa, não dá para fazer isso. Recorte um critério por fila e por hora e a maioria das células fica vazia, então o padrão que inocentaria o atendente fica invisível e o caso isolado vence a discussão. Esse é o argumento prático para avaliar tudo: 100% de cobertura revelando tendências que uma amostragem de 3% nunca revelaria. O ponto não é ver mais, e sim que o viés de seleção desaparece, de modo que uma falha concentrada pode ser reconhecida como concentrada.

O Auto QA da Kaizo avalia todas as conversas com o seu próprio formulário de monitoria e mantém a evidência anexada critério por critério, para que você possa filtrar as reprovações de um critério por fila e por hora e ver se elas se agrupam antes que alguém receba coaching por isso. Essa rastreabilidade importa mais do que a cobertura: a pergunta útil não é quantas conversas foram avaliadas, e sim se você consegue mostrar por que um critério específico reprovou em uma conversa específica. Mais sobre o lado da cobertura em o que é 100% de cobertura na monitoria de qualidade.

Mande a constatação para o dono, não para a nota do atendente

Tudo o que foi dito acima aponta para um princípio. Uma constatação que remete a um processo quebrado deve atualizar o processo, não a nota da pessoa. A monitoria de qualidade lê mais do que acontece de fato com os clientes do que qualquer outra área, o que a torna o melhor sistema de detecção de defeitos que a maioria das operações de atendimento tem. Gastar esse sinal em descontos de pontos individuais é desperdiçá-lo.

A mecânica é comum, e é justamente esse o ponto:

• Marque o responsável na hora da avaliação. Produto, gestão da força de trabalho, segundo nível, base de conhecimento, políticas. Fazer isso durante a avaliação leva segundos. Reconstruir depois, em uma retrospectiva mensal, leva uma tarde e acaba sendo pulado.
• Dê à constatação os campos que um defeito tem. O que falhou, com que frequência, em quais filas, quanto custa em reaberturas ou em TMA. Uma constatação de processo com um número associado é corrigida. Uma reclamação, não. Isso é a análise de causa raiz de sempre, aplicada ao próprio formulário de monitoria, e não ao ticket.
• Suspenda o critério enquanto o defeito estiver aberto, e diga isso em voz alta na operação. É o passo que recupera a credibilidade, porque prova que o formulário reage às evidências.
• Reporte as correções ao lado das notas. Critérios suspensos, defeitos abertos, defeitos fechados. Isso muda a percepção de para que serve a monitoria e dá à sua equipe um segundo conjunto de números que não é a nota média.

O que sobra depois desse trabalho é a parte que o atendente realmente controla, a única que vale uma reunião individual. O coaching deixa de começar com uma discussão sobre se a nota foi justa, e transformar dados de QA em coaching (em inglês) fica mais fácil, porque todas as constatações são coisas que uma pessoa pode mudar. O Coaching com IA da Kaizo monta os cards de coaching a partir dos critérios avaliados, então os critérios que você exclui ou condiciona deixam de gerar ruído no coaching, além de deixarem de tirar pontos.

Duas regras de organização para fechar. Versione o formulário de monitoria sempre que remover ou condicionar um critério, e nunca recalcule notas antigas com regras novas, porque uma nota de março foi produzida com o formulário de março. E anuncie toda mudança antes que ela entre em vigor, com o motivo. Um formulário que se corrige de forma visível é tratado de um jeito muito diferente de um que aparece em silêncio em uma nova versão a cada trimestre.

Perguntas frequentes

Os atendentes devem ser avaliados por coisas que não podem controlar?

Não. Um critério que o atendente não consegue influenciar mede as circunstâncias, e não o desempenho, e torna a nota total inútil para o coaching ou para o ranking. A falha pode até valer o registro, mas deve ser registrada contra o sistema, a situação do cliente ou a equipe que a causou. Separe cada critério em totalmente controlável, condicionalmente controlável e não controlável e então exclua, marque como não aplicável ou encaminhe, conforme o caso.

O que fazer quando um atendente reprova na monitoria por algo que não foi culpa dele?

Não corrija com uma nota nos comentários, porque o comentário não muda o número que chega à avaliação dele. Se o critério era impossível naquela conversa específica, marque-o como não aplicável para que saia do denominador. Se o critério é impossível com frequência, tire-o do formulário. Se a falha foi real, mas causada por outra equipe, mantenha a constatação, atribua um responsável e deixe a nota do atendente intacta.

Como tratar uma ligação em que o cliente desligou antes do script de encerramento?

Acione o status de “não se aplica” em todos os critérios de encerramento, com o horário da desconexão como evidência, em vez de deixá-los retornar zeros automáticos. Avalie as partes da conversa que aconteceram. Uma desconexão que zera três ou quatro critérios de encerramento pode mover um atendente uma faixa inteira de desempenho só pelo comportamento do cliente, e atinge com mais força os atendentes que recebem os clientes mais difíceis.

Um formulário de monitoria deve ter a opção “não se aplica”?

Sim, em todos os critérios, e ela precisa tirar o critério do denominador, para que a nota seja os pontos obtidos sobre os pontos aplicáveis. Uma opção de “não se aplica” que mantém o total intacto é, na aritmética, idêntica a uma reprovação, e os avaliadores param de usá-la. Exija um código de motivo de uma lista curta, mostre o status ao atendente na avaliação e reporte o uso por avaliador e por critério, para que a calibração possa auditá-lo.

Como diferenciar um problema de sistema de um problema do atendente nos dados de monitoria?

Divida a taxa de reprovação de cada critério por hora do dia, fila, canal, tempo de casa e data de lançamento de versão. A habilidade se distribui de forma razoavelmente uniforme entre esses recortes, então um critério que reprova muito mais em uma fila, em uma janela de horário ou a partir de uma data de lançamento é quase sempre um problema de sistema ou de processo. Um critério em que os melhores e os piores atendentes reprovam em taxas parecidas é ambíguo ou impossível.

Como usar a análise de causa raiz na monitoria de qualidade?

Pergunte o que precisaria ser verdade para o atendente cumprir o critério e siga essa cadeia até chegar a algo que tem um dono. Se a cadeia termina em uma ferramenta que não salvou um campo, em um artigo da base de conhecimento errado ou em um escalonamento que ninguém respondeu, a constatação pertence a esse dono como um defeito, com frequência e custo, e o critério do formulário deve ficar suspenso até a correção. Uma constatação que remete a um processo quebrado deve atualizar o processo, não a nota da pessoa.

Termos relacionados

• O que é uma rubrica de avaliação de atendimento?
• Como conduzir uma monitoria em que os atendentes confiam (em inglês)
• Análise de causa raiz no atendimento: guia e exemplo
• Calibração de monitoria: o que é e como fazer
• Como transformar dados de QA em coaching (em inglês)

Descubra quais dos seus critérios os atendentes não conseguem cumprir

Traga o formulário de monitoria que você usa hoje e um trimestre de conversas avaliadas. Vamos mostrar quais critérios reprovam em padrões que seguem as suas filas e as suas datas de lançamento, e não os seus atendentes.

Agendar demo Conheça o Coaching com IA