Como montar monitoria de qualidade: guia em 7 passos

Para saber como montar monitoria de qualidade no atendimento, siga sete passos nesta ordem: defina o que é qualidade, monte um formulário de monitoria enxuto, defina a cobertura, calibre os avaliadores, faça um piloto, transforme notas em coaching e revise os critérios. Conte com cerca de doze semanas para sair do zero e chegar a um programa que funciona e em que as pessoas confiam.

Em resumo

• Combine o que é um bom atendimento antes de qualquer pessoa avaliar uma conversa real.
• Ligue a qualidade a um resultado que a empresa já acompanha.
• Mantenha o formulário de monitoria enxuto. O excesso de critérios mata programas novos.
• Publique os critérios primeiro, agende o coaching no lançamento e nomeie um responsável.

Passo 1: Defina o que qualidade significa para o seu negócio e ligue isso a um resultado que já importa

Reserve uma semana para isso, e faça antes de olhar qualquer ferramenta. O resultado do passo um é um único parágrafo escrito que diz como é uma boa conversa no seu negócio, e uma frase que nomeia o resultado de negócio que esse parágrafo deve mover.

Essa segunda metade é a que a maioria dos programas novos pula. Uma nota de QA que só existe para descrever a si mesma não tem quem a defenda: a liderança de atendimento concorda com a cabeça, e o resto da empresa ignora. Uma nota de QA criada explicitamente para reduzir contatos repetidos, cortar escalonamentos ou proteger uma obrigação de compliance tem uma razão de existir que sobrevive à primeira conversa sobre orçamento.

Como chegar a essa definição na prática

Separe de vinte a trinta conversas recentes, misturadas de propósito: algumas que terminaram bem, algumas que geraram reclamação, algumas que foram reabertas. Leia essas conversas com duas ou três pessoas que conhecem a operação. Anote em linguagem simples, não em vocabulário de QA, o que separa as boas das ruins. Normalmente você vai encontrar três ou quatro temas, algo como: o atendente entendeu o problema real, a informação dada estava correta, o cliente sabia o que ia acontecer em seguida e o tom combinava com a situação.

Esses temas viram a espinha dorsal do seu formulário de monitoria no passo dois. Se quiser a base conceitual mais ampla antes de começar, o guia completo de qualidade no atendimento explica para que serve o QA e como ele se encaixa com os seus outros sinais de qualidade.

Passo 2: Monte um formulário de monitoria enxuto e resista à vontade de aumentá-lo

Reserve uma semana. Transforme os temas do passo um em critérios e depois continue cortando até doer um pouco.

A nossa recomendação, assumidamente opinativa, é lançar com algo entre oito e doze critérios, e não mais. É uma decisão de julgamento, não um padrão do setor, e o motivo é prático: um avaliador que tem doze critérios na cabeça consegue avaliar uma conversa em poucos minutos e manter a consistência ao longo de um turno. Com trinta critérios, não consegue. Ele passa a avaliar no automático, as notas começam a oscilar e o número resultante deixa de significar alguma coisa. Um formulário menor avaliado com consistência vale muito mais do que um formulário completo avaliado de forma errática.

Faça de cada critério algo que duas pessoas avaliariam da mesma forma

O teste para cada critério é: se dois avaliadores lerem a mesma conversa, darão a mesma resposta? Prefira critérios que possam ser verificados com evidências na transcrição, como se a identidade foi verificada ou se o próximo passo foi informado, em vez de critérios que pedem uma impressão geral. Mantenha um ou dois critérios subjetivos se o tom realmente importa para você, mas escreva-os de modo que a intenção seja inconfundível.

Dê pesos aos critérios em vez de tratá-los como iguais, e decida desde o início quais falhas são erros críticos, normalmente as de compliance e de tratamento de dados. Para a mecânica de escalas, pesos e notas mínimas de aprovação, o guia da planilha de monitoria de qualidade e o texto sobre rubrica de avaliação de atendimento vão mais fundo do que este guia deveria ir. Se preferir partir de algo que já existe e cortar, os modelos de scorecard (em inglês) são um ponto de partida mais rápido do que uma página em branco, e o formulário de monitoria é uma boa conferência do que você pode ter deixado de fora.

Passo 3: Defina cobertura e amostragem, e seja honesto: amostragem é um meio-termo

Reserve alguns dias. Você precisa de um número: quantas conversas por atendente, por período, serão realmente avaliadas.

Se a avaliação for manual, a nossa recomendação de ponto de partida é de duas a quatro avaliações por atendente por mês. De novo, é uma recomendação pensada, não um benchmark. O raciocínio é que menos de duas gera uma amostra tão fina que uma única conversa fora do comum muda a nota do atendente, e mais de quatro exige mais tempo de avaliação do que a maioria das equipes consegue sustentar depois que a novidade passa. Escolha o número que você realmente consegue cumprir todos os meses, não o que soa rigoroso.

Diga em voz alta o que a amostragem custa

Esta é a parte honesta, e vale contar aos seus stakeholders na terceira semana, não no sexto mês. Uma amostra manual de poucas conversas por atendente diz algo sobre essas conversas e quase nada sobre o resto. As falhas que geram reclamações e churn são, por definição, raras, então é pouco provável que caiam em uma pequena amostra aleatória. A amostragem é suficiente para fazer coaching individual sobre hábitos visíveis. Não é suficiente para encontrar o problema sistemático escondido nas conversas que ninguém leu.

Isso não torna a amostragem errada. Torna-a um meio-termo que você escolhe sabendo o que está fazendo. A avaliação automatizada é o que elimina esse meio-termo, porque a limitação deixa de ser as horas dos avaliadores: na UiPath, a Kaizo automatizou 100% do QA, gerando 200% de ROI e um aumento de 8% na nota de qualidade. Se quiser entender o que muda quando a amostra passa a ser a população inteira, veja 100% de cobertura de QA (em inglês). Nas suas primeiras doze semanas, porém, uma amostra que você realmente conclui vale mais do que uma cobertura total que você ainda não comprou.

Passo 4: Escolha quem avalia e calibre essas pessoas antes de avaliar qualquer coisa real

Reserve uma semana, e não pule a segunda metade.

Quem avalia depende do seu tamanho. Abaixo de uns quarenta atendentes, os líderes de equipe avaliando o próprio time costumam ser a resposta pragmática, com a ressalva de que líderes avaliam o próprio time com generosidade, e você deve contar com isso. Acima disso, um ou dois avaliadores dedicados dão muito mais consistência, porque avaliam várias equipes e enxergam a diferença. O texto sobre o papel do analista de qualidade (em inglês) explica o que esse trabalho envolve de fato, caso você esteja pensando em contratar para a função.

Calibre primeiro, avalie depois

Este é o passo que os programas novos mais invertem, e inverter sai caro. Antes que uma única nota entre no histórico de um atendente, peça a todos os avaliadores que avaliem de forma independente as mesmas três a cinco conversas, depois sentem juntos e comparem. Você vai se surpreender com a distância entre eles na primeira tentativa. Essa distância não é um problema de pessoas, é um problema de critérios: onde os avaliadores discordam, há um critério ambíguo que precisa ser reescrito.

Repita o exercício até os avaliadores chegarem perto uns dos outros, e depois repita todo mês, para sempre, porque os avaliadores vão se descalibrando com o tempo. A calibração de monitoria explica por que isso funciona, e como conduzir sessões de calibração (em inglês) traz o formato da reunião em si. Se você lançar um programa com critérios não calibrados, o primeiro atendente que comparar a própria nota com a de um colega vai encontrar a inconsistência, e você vai gastar a sua credibilidade defendendo isso.

Passo 5: Faça um piloto com um grupo pequeno e publique os critérios primeiro

Reserve de duas a quatro semanas. Escolha uma equipe, de preferência uma em que o líder esteja engajado, e rode o ciclo completo só com ela. O tamanho de piloto que sugerimos é uma única equipe de cerca de oito a quinze atendentes: pequena o bastante para corrigir problemas rápido, grande o bastante para que as notas não sejam dominadas pela semana de uma só pessoa.

Publicar os critérios não é opcional

Envie aos atendentes o formulário de monitoria, os pesos, os erros críticos e exemplos práticos de uma conversa aprovada e de uma reprovada, antes da primeira avaliação. Depois diga claramente para que as notas serão e não serão usadas. Quase toda história de um programa de QA que os atendentes detestam começa do mesmo jeito: as notas apareceram, ninguém conhecia os critérios, e a primeira vez que o atendente viu os critérios foi quando estava perdendo pontos por eles.

Trate o piloto como um teste dos critérios, não um teste dos atendentes. Conte com reescrever dois ou três critérios nas primeiras duas semanas, e avise a equipe do piloto com antecedência, porque convidar as pessoas a quebrar os seus critérios as transforma de objetos de avaliação em colaboradoras. Pergunte diretamente: quais destas notas pareceram injustas, e por quê? Quase toda nota que parece injusta remonta a um critério que é lido de um jeito por quem faz o trabalho e de outro por quem avalia. Como fazer um programa de QA em que os atendentes confiam (em inglês) vai mais fundo na mecânica de justiça, incluindo o caminho de contestação que você deve ter pronto antes de expandir para além do piloto.

Passo 6: Transforme notas em coaching, em uma cadência que você já agendou

Este é o passo que separa um programa de uma auditoria, e é onde está a maior parte do valor. Uma nota que ninguém discute com o atendente não muda absolutamente nada. Pior: ensina aos atendentes que QA é vigilância, o que é muito difícil de desfazer depois.

Agende a cadência no mesmo momento em que lançar o formulário de monitoria, antes de existir a primeira nota. A nossa recomendação é uma reunião individual curta por mês com cada atendente, de uns vinte a trinta minutos, focada em exatamente uma coisa a melhorar. O motivo de escolher uma só coisa: uma sessão de coaching que lista seis pontos fracos não produz mudança nenhuma, enquanto uma sessão que nomeia um comportamento, mostra a transcrição em que ele aconteceu e combina o que fazer de diferente produz uma mudança que você vê nas notas do mês seguinte.

Faça coaching sobre padrões, não sobre conversas ruins isoladas

A unidade útil é um comportamento repetido em várias conversas, não um dia ruim. Leve dois ou três exemplos do mesmo padrão e o atendente não tem como contestar de forma razoável, o que muda a conversa de defender uma nota para corrigir um hábito. Como transformar dados de QA em coaching (em inglês) detalha a estrutura da sessão. E fique atento ao padrão que não é um problema individual: quando seis atendentes falham no mesmo critério, o problema é de processo, de base de conhecimento ou de treinamento, e fazer coaching individual sobre isso é a correção errada.

Passo 7: Revise e evolua os critérios em um calendário fixo

Marque agora, no seu primeiro mês, a data de uma revisão para daqui a uns noventa dias. Depois repita a cada trimestre. Colocar isso na agenda antes de precisar é todo o segredo, porque critérios que só são revistos quando alguém reclama serão revistos sob pressão, na defensiva e mal.

Em cada revisão, olhe três coisas. Primeiro, os critérios em que quase todo mundo tira nota máxima: eles não diferenciam mais o trabalho bom do fraco, então custam tempo dos avaliadores e não trazem informação. Aposente-os ou suba a régua. Segundo, os critérios em que os avaliadores ainda discordam depois da calibração: reescreva-os ou elimine-os. Terceiro, o que mudou no negócio, porque novos produtos, políticas e canais criam expectativas de qualidade que os seus critérios nunca viram.

Mude devagar e avise

Toda mudança nos critérios quebra a comparabilidade com as suas notas históricas, então mude em um calendário, em lotes, e conte aos atendentes o que mudou e por quê antes de a nova versão entrar em vigor. Critérios que mudam em silêncio debaixo dos pés dos atendentes são critérios em que eles vão deixar de confiar, e, quando eles passam a ver a nota como arbitrária, você perde o ciclo de coaching do qual o passo seis depende. Mantenha o formulário de monitoria mais ou menos do tamanho com que começou: para cada critério que você acrescenta, pergunte o que está tirando.

Como montar monitoria de qualidade em 12 semanas e provar que funciona

O que medir para provar que o programa funciona

Vão pedir que você justifique o tempo que isso consome, normalmente por volta do quarto mês. Decida agora o que vai mostrar e comece a registrar na primeira semana, para ter uma base de comparação.

• Evolução do resultado que você nomeou no passo um: taxa de contatos repetidos, escalonamentos, reaberturas, o que quer que você tenha ligado à qualidade. É o único número que faz o programa importar para quem está fora do atendimento.
• Concordância entre avaliadores ao longo do tempo: o quanto os seus avaliadores ficam próximos na mesma conversa. Concordância crescente significa critérios mais claros e notas mais confiáveis.
• Evolução da nota dos atendentes que receberam coaching: especificamente no critério em que cada atendente recebeu coaching. Isso mostra que o ciclo de coaching funciona, e não apenas que as médias oscilam.
• Sessões de coaching realizadas versus agendadas: a métrica menos glamorosa daqui e o melhor alerta precoce. Quando ela cai, o programa está morrendo, e o gráfico de notas só vai mostrar isso meses depois.
• Percepção dos atendentes: faça duas perguntas na sua pesquisa de clima: se os atendentes entendem como são avaliados e se acham isso justo. Se essas respostas caírem, nada mais que você mede é confiável.

Não se comprometa com uma nota-alvo. Uma média de QA é um reflexo da dificuldade dos seus critérios, então persegui-la só pressiona os avaliadores a serem lenientes. Se quiser uma visão composta da qualidade ao lado dos seus outros sinais, a nota de qualidade interna (IQS) é um lugar mais honesto para construir um número de destaque do que uma média bruta do formulário de monitoria.

O plano de 12 semanas

Aqui está a sequência comprimida em um cronograma. Ela supõe um responsável por QA dedicando parte da semana a isso, não uma equipe em tempo integral, que é a situação real da maioria das pessoas montando um primeiro programa.

Planilha ou software: uma visão honesta de fazer internamente versus comprar

Você não precisa comprar nada para começar, e há um argumento real para não comprar de imediato. Montar os seus primeiros critérios em uma planilha obriga você a definir cada critério por conta própria, em vez de aceitar o padrão de um fornecedor, e esse trabalho de definição é o que realmente determina se o programa dá certo. Equipes que começam em uma planilha muitas vezes entendem o próprio padrão de qualidade melhor do que equipes que começaram com uma ferramenta.

Uma planilha leva você com honestidade pelas primeiras doze semanas e, para uma equipe pequena com uma operação estável, bem mais do que isso. Se é aí que você chegar, você não está fazendo QA errado: a maior parte do valor deste guia está nos passos um, dois, quatro e seis, e nenhum deles exige software.

Onde a planilha para

Ela para na cobertura. Tudo o que uma planilha faz bem depende de uma pessoa lendo cada conversa, então o volume de avaliações fica limitado às horas dos avaliadores, e a distância entre o que você avalia e o que você atende só aumenta à medida que você cresce. Os sintomas são reconhecíveis: avaliações atrasando um pouco mais a cada mês, notas que chegam tarde demais para o coaching, nenhuma forma de ver se um problema é de um atendente ou da equipe inteira, e a dúvida constante sobre se a amostra é representativa. Se você está fazendo essas perguntas, a limitação saiu dos seus critérios e foi para a sua capacidade.

É nesse ponto que a avaliação automatizada paga o seu custo, porque ela aplica os critérios que você já escreveu a todas as conversas, e não a uma amostra delas. Uma pergunta deve decidir qual ferramenta você compra: dá para verificar? Cada nota deve apontar para a evidência na transcrição, e você deve conseguir passar por ela conversas que os seus avaliadores já avaliaram e medir a concordância por conta própria. A Kaizo foi feita para essa transição: ela avalia com base no seu próprio formulário de monitoria, distribui as avaliações por meio de atribuições, liga cada nota à evidência na transcrição para que atendentes e analistas possam conferir, e é nativa do Zendesk e do Salesforce, então o trabalho de QA acontece onde a sua equipe já trabalha. A cobertura total é o que torna essa conferência possível, porque você deixa de depender das conversas que um avaliador teve tempo de ler. Traga os critérios que você montou na planilha, porque o trabalho de definição dos passos um e dois é a parte que se aproveita.

Os cinco motivos pelos quais programas de QA novos morrem

Quase todo programa que para de rodar em silêncio foi derrubado por um destes. Os cinco são mais baratos de evitar na segunda semana do que de corrigir no sexto mês.

• Excesso de critérios. Cada stakeholder quer o seu critério incluído, o formulário de monitoria cresce de dez itens para quarenta, avaliar passa a levar tempo demais, os avaliadores passam a avaliar no automático e as notas deixam de significar alguma coisa. Prevenção: um limite rígido combinado com antecedência, e uma regra de que acrescentar um critério exige tirar outro.
• Nenhum ciclo de coaching. As notas são produzidas e arquivadas. Nada muda, então ninguém consegue apontar uma razão para o programa existir, e ele é a primeira coisa cortada quando a equipe fica sobrecarregada. Prevenção: agende a cadência de coaching antes de existir a primeira nota e acompanhe as sessões realizadas.
• Atendentes que não compraram a ideia. Os critérios nunca foram publicados, as notas apareceram sem explicação e não havia como contestar uma delas. Os atendentes concluem que QA é algo feito contra eles e se desengajam. Prevenção: publique os critérios primeiro, conduza o piloto como um teste dos critérios e dê às pessoas um caminho real de contestação.
• Nenhum responsável. QA é responsabilidade de todos, o que significa que não é de ninguém. As avaliações atrasam uma semana, depois um mês, depois param, e ninguém percebe porque isso nunca esteve nas metas de ninguém. Prevenção: uma pessoa nomeada, com o tempo para isso registrado por escrito.
• Notas usadas de forma punitiva. No momento em que as notas de QA alimentam a gestão de desempenho ou a remuneração, os avaliadores suavizam as notas para proteger o seu pessoal e os atendentes passam a otimizar para os critérios em vez de para o cliente. Você perde o sinal honesto para sempre, e é muito difícil reconquistá-lo. Prevenção: declare por escrito, antes do lançamento, que as notas servem para coaching, e mantenha essa linha.

Perguntas frequentes

Quanto tempo leva para montar um programa de monitoria de qualidade no atendimento?

Planeje cerca de doze semanas do zero até um programa funcionando: uma semana para definir qualidade, três semanas para desenhar e calibrar o formulário de monitoria, quatro semanas de piloto com uma equipe e quatro semanas para expandir e fixar a cadência de coaching. Dá para avaliar conversas antes disso, mas avaliar antes de os avaliadores estarem calibrados e antes de os atendentes terem visto os critérios costuma custar mais confiança do que os dados que você ganha.

Qual é o primeiro passo para implantar um programa de QA?

Defina o que qualidade significa para o seu negócio, por escrito, antes de mexer em um formulário de monitoria ou em uma ferramenta. Leia de vinte a trinta conversas reais com duas ou três pessoas que conhecem a operação e anote em linguagem simples o que separa as boas das ruins. Depois nomeie o resultado de negócio que essa definição deve mover, como contatos repetidos ou escalonamentos, para que o programa tenha uma razão de existir que sobreviva a uma revisão de orçamento.

Quantos critérios deve ter um formulário de monitoria?

A nossa recomendação é lançar com cerca de oito a doze critérios com pesos, em vez de uma lista exaustiva. É um ponto de partida opinativo, não um padrão do setor, e o raciocínio é que um avaliador consegue ter cerca de uma dúzia de critérios na cabeça e manter a consistência ao longo de um turno. Um formulário menor avaliado com consistência produz um número mais útil do que um formulário completo avaliado de forma errática.

Quantas conversas devemos avaliar por atendente?

Se a avaliação for manual, de duas a quatro avaliações por atendente por mês é um ponto de partida razoável, escolhido porque menos de duas deixa uma única conversa fora do comum mudar a nota do atendente e mais de quatro raramente é sustentável. Escolha o número que você realmente consegue cumprir todos os meses. Deixe claro para os stakeholders que qualquer amostra pequena fala sobre as conversas que você leu e muito pouco sobre as que não leu.

Dá para fazer um programa de QA em uma planilha?

Sim, e é uma forma legítima de começar. Uma planilha obriga você a definir cada critério por conta própria em vez de aceitar o padrão de uma ferramenta, e esse é o trabalho que realmente decide se o programa dá certo. Ela deixa de escalar quando você quer cobertura além de uma pequena amostra, porque o volume de avaliações fica limitado às horas dos avaliadores, e essa distância aumenta à medida que a equipe cresce.

Por que programas de QA novos fracassam?

Cinco causas explicam a maioria deles: excesso de critérios, que deixa a avaliação lenta demais para continuar consistente; nenhum ciclo de coaching, de modo que as notas não mudam nada; atendentes que nunca viram os critérios e por isso não confiam neles; nenhum responsável nomeado, de modo que as avaliações param em silêncio; e notas usadas na gestão de desempenho, o que destrói o sinal honesto. Cada uma delas é muito mais barata de evitar na fase de desenho do que de consertar com o programa já rodando.

Leituras relacionadas

• Qualidade no atendimento: o guia completo
• O guia da planilha de monitoria de qualidade
• Modelos de scorecard de QA (em inglês)
• Como conduzir sessões de calibração de QA (em inglês)
• Como transformar dados de QA em coaching (em inglês)
• Como fazer um programa de QA em que os atendentes confiam (em inglês)

Montou os critérios? Veja-os aplicados a todas as conversas

Traga o formulário de monitoria que você desenhou nos passos um e dois, junto com algumas conversas que os seus avaliadores já avaliaram, e nós mostramos os mesmos critérios aplicados às suas conversas, com cada nota ligada à transcrição, para que você confira a avaliação com o seu próprio julgamento antes de confiar nela.

Agendar demo Conheça o Agentic Auto QA