Pular para o conteúdo

Monitoria de qualidade

Mesma conversa, mesma nota.

As sessões de calibração fazem os seus avaliadores pontuarem os casos-limite do mesmo jeito, para que uma diferença de nota signifique uma diferença na conversa, e não em quem a revisou.

Sessões

Divergências expostas e resolvidas.

Passe uma conversa por vários avaliadores, compare onde eles divergiram e combinem o que o critério realmente significa. O resultado atualiza os critérios, em vez de ficar só na memória de alguém.

  • O desvio entre avaliadores fica visível, e não escondido
  • Casos-limite resolvidos dentro dos critérios
  • Novos avaliadores integrados a partir de um padrão combinado

Como funciona

Como funciona uma sessão de calibração, em quatro passos

  1. Escolher os casos-limite

    Separe algumas conversas que ficam no limite de um critério: as que geram discussão entre avaliadores, ou que um avaliador novo provavelmente pontuaria diferente.

  2. Passar por vários avaliadores

    Cada avaliador pontua as mesmas conversas com o mesmo formulário de monitoria.

  3. Comparar onde as notas divergem

    Veja onde os avaliadores divergiram e conversem sobre o porquê. A divergência quase sempre se resume ao que um critério realmente quer dizer.

  4. Registrar a decisão nos critérios

    Combinem o significado e atualizem a descrição do critério, para que o resultado fique nos critérios e não na memória de alguém. O AutoPilot aplica a nova descrição a cada avaliação futura.

Exemplo prático

Um critério, três avaliadores

Uma ilustração de uma sessão típica, não um caso de cliente.

  1. O critério

    "O atendente confirma que o problema foi resolvido antes de fechar o ticket."

  2. A divergência

    Dois avaliadores aprovam um chat porque o atendente perguntou "Posso ajudar em mais alguma coisa?". O terceiro reprova porque o cliente nunca confirmou a solução.

  3. A decisão

    A equipe combina que, para aprovar, é preciso a confirmação do cliente, ou um follow-up quando o cliente não responde, e inclui isso na descrição do critério.

  4. O resultado

    Da próxima vez que o caso aparecer, todos os avaliadores pontuam igual, e os avaliadores novos aprendem a regra nos critérios.

Para ir além: o que é calibração de monitoria, como conduzir sessões de calibração que eliminam o viés nas notas e como montar um golden set para conferir as avaliações.

FAQ

Perguntas frequentes

O AutoPilot precisa de calibração?

Não. Ele interpreta os critérios exatamente da mesma forma todas as vezes, e esse é justamente o objetivo. A calibração é para os avaliadores humanos que trabalham ao lado dele.

Com que frequência devemos calibrar?

A maioria das equipes faz uma sessão por mês, e sempre que um padrão muda de forma significativa.

Um atendente deve contestar uma nota causada por erro de sistema?

Sim. Se uma falha de ferramenta ou de processo causou o erro, a nota não diz nada sobre o atendente. Fale com o avaliador e leve o caso para a próxima sessão de calibração; se a equipe concordar, acrescente à descrição do critério como avaliar essa situação, para que ela não volte a pesar contra um atendente.

Quem deve participar da calibração?

Todos que avaliam conversas: avaliadores de QA, líderes de equipe que avaliam e avaliadores novos, que são treinados no padrão combinado.

Segurança e compliance

SOC 2 Type II, ISO 27001 e GDPR

Relatórios de auditoria, certificados e políticas em um só lugar.

Trust Center ›
  • Selo G2 Users Love Us, leia as avaliações da Kaizo no G2G24.9/5 no G2
  • Selo AICPA SOC 2SOC 2 Type IIAuditado
  • Marca ISO 27001ISO 27001Certificado
  • Estrelas do GDPRGDPREm conformidade

Descubra o quanto os seus avaliadores divergem

Passamos as mesmas conversas pela sua equipe e mostramos onde as notas divergem.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath