Un software de calibración de calidad es la parte de una herramienta de control de calidad que consigue que los evaluadores puntúen la misma conversación de la misma forma. Varios evaluadores puntúan una conversación, el software muestra dónde y cuánto difieren, sigue la deriva de cada evaluador en el tiempo y vuelve a escribir la decisión acordada en la scorecard. Así, la nota de un agente depende de la conversación y no de quién la revisó.
En resumen
- Un software de calibración de calidad sustituye la hoja compartida por una puntuación independiente, una comparación automática y un registro de cada decisión.
- Cada sesgo habitual de los evaluadores, de la indulgencia a la deriva, tiene una función que lo contrarresta; la tabla de abajo los relaciona.
- La checklist de compra enumera diez funciones, cinco de ellas imprescindibles para un equipo con varios evaluadores.
- El ejemplo calculado muestra cómo medir el acuerdo y la desviación de cada evaluador en un criterio, y por qué un evaluador puede mover la nota de un agente un punto entero.
- La evaluación con IA aplica la rúbrica igual cada vez, lo que elimina la variación entre evaluadores, pero no una rúbrica mal escrita.
- Una regla de decisión le dice cuándo una hoja de cálculo todavía basta.
Esta guía sirve para elegir la herramienta. Para el método en sí, lea nuestro artículo sobre la calibración en call center y nuestra guía para dirigir sesiones de calibración de QA (en inglés). Si compara software de calidad para atención al cliente, la calibración es una de las funciones que separan una herramienta de puntuación de una justa.
Qué hace un software de calibración que no hace una hoja de cálculo
Un software de calibración de calidad presenta la misma conversación a varios evaluadores por separado, compara sus notas por criterio y guarda la decisión junto a la scorecard. Una hoja de cálculo puede guardar las notas, pero depende de que alguien mantenga a ciegas a los evaluadores, haga las cuentas y actualice la rúbrica.
| Tarea de la calibración | En una hoja compartida | En un software de calibración |
|---|---|---|
| Elegir las conversaciones | Enlaces copiados, a menudo los casos fáciles | Selección dentro de la herramienta, incluidos los casos límite |
| Puntuar por separado | Los evaluadores ven las columnas de los demás | Notas ocultas hasta que todos han puntuado |
| Comparar | Alguien monta las fórmulas | Dispersión por criterio mostrada automáticamente |
| Seguir a los evaluadores en el tiempo | Casi nunca se hace | Desviación de cada evaluador respecto al grupo, sesión tras sesión |
| Registrar la decisión | Notas de la reunión | Escrita en la descripción del criterio |
| Aplicarla a notas futuras | Depende de la memoria | Cada evaluación posterior usa el criterio actualizado |
Las dos últimas filas son las que más importan. Una calibración que acaba en unas notas de reunión produce acuerdo durante una semana; una que acaba en el criterio lo mantiene.
De dónde vienen los sesgos de los evaluadores en las notas de calidad
Los sesgos de los evaluadores vienen de las personas, no de la mala fe: algunos puntúan alto o bajo por costumbre, se quedan en el medio, juzgan al agente en lugar de la conversación o derivan con los meses. Cada patrón tiene una función que lo contrarresta.
| Sesgo | Cómo se ve | Función que lo contrarresta |
|---|---|---|
| Indulgencia o severidad | Un evaluador siempre queda por encima o por debajo del grupo | Informe de desviación por evaluador frente al grupo o a una nota de referencia |
| Tendencia central | Todo recibe un 3 sobre 5 | Dispersión por criterio y anclas para cada punto de la escala |
| Efecto halo | Un buen saludo sube todos los demás criterios | Puntuación por criterio con prueba para cada línea |
| Familiaridad | Los agentes conocidos por su buen desempeño reciben el beneficio de la duda | Ocultar el nombre del agente durante la calibración (pregunte si la herramienta lo permite) |
| Anclaje | Los siguientes evaluadores copian la primera nota que ven | Puntuación a ciegas hasta que todos han entregado |
| Deriva | El criterio de un evaluador se desplaza con los meses | Desviación seguida en el tiempo y sesiones periódicas |
| Carga de trabajo | Un evaluador cansado puntúa distinto el final de la cola | Reparto equilibrado del trabajo de revisión |
| Selección | Calibrar solo conversaciones fáciles oculta el desacuerdo | Elegir casos límite a propósito |
La calibración resuelve el desacuerdo entre evaluadores. Por sí sola no arregla un criterio que mide lo que no debe; eso es una decisión sobre la scorecard.
Checklist de compra de un software de calibración de calidad
Busque diez funciones y trate las cinco primeras como imprescindibles si más de dos personas puntúan conversaciones. Pida a cada proveedor que las muestre en una demo en lugar de marcarlas en un formulario.
| # | Función | ¿Imprescindible? | Qué pedir que le muestren |
|---|---|---|---|
| 1 | Varios evaluadores puntúan la misma conversación en una sesión | Sí | Una sesión con tres evaluadores en el mismo ticket |
| 2 | Las notas quedan ocultas hasta que todos han puntuado | Sí | Qué ve un evaluador antes y después de entregar |
| 3 | Dispersión por criterio, no solo por conversación | Sí | Dónde está el mayor desacuerdo de una sesión |
| 4 | La decisión se escribe en la descripción del criterio | Sí | Un criterio editado tras una sesión y cuándo se aplica el cambio |
| 5 | Cada nota vinculada a una prueba en la transcripción | Sí | La línea de la conversación detrás de una penalización |
| 6 | Desviación de cada evaluador seguida entre sesiones | Muy recomendable | La tendencia de un evaluador durante varios meses |
| 7 | Reparto equilibrado del trabajo de revisión | Recomendable | Cómo se reparten las asignaciones entre evaluadores |
| 8 | Un proceso de impugnación para agentes | Recomendable | Un agente impugnando una nota y dónde llega |
| 9 | La IA como evaluador adicional, con acuerdo por criterio | Si automatiza | Notas de la IA frente a sus evaluadores calibrados en el mismo conjunto |
| 10 | Nombres de agentes ocultos durante la calibración | Opcional | Una vista de sesión sin el nombre del agente |
La función 9 es donde se cruzan calibración y automatización. Antes de fiarse de notas automáticas, necesita un conjunto de conversaciones en el que sus evaluadores calibrados estén de acuerdo, como explica nuestra guía para crear un golden set (en inglés).
Cómo medir si la puntuación es justa: un ejemplo calculado
Mida la justicia por criterio con tres cifras: con qué frecuencia coinciden exactamente los evaluadores, con qué frecuencia quedan a un punto o menos, y cuánto se aleja cada evaluador de la media del grupo. Este ejemplo ilustrativo usa notas inventadas para un criterio.
Tres evaluadores puntúan «Empatía» en una escala de 1 a 5 en las mismas seis conversaciones.
| Conversación | Evaluador 1 | Evaluador 2 | Evaluador 3 | Dispersión (máxima menos mínima) |
|---|---|---|---|---|
| 1 | 4 | 3 | 4 | 1 |
| 2 | 3 | 2 | 4 | 2 |
| 3 | 5 | 4 | 5 | 1 |
| 4 | 2 | 2 | 3 | 1 |
| 5 | 4 | 3 | 4 | 1 |
| 6 | 3 | 3 | 3 | 0 |
| Media | 3,50 | 2,83 | 3,83 | 1,0 |
Paso 1: Calcule el acuerdo exacto y el acuerdo a un punto
Los tres evaluadores dieron la misma nota en una de las seis conversaciones, así que el acuerdo exacto es de 1 de 6. Quedaron a un punto o menos en cinco de seis, así que el acuerdo a un punto es de 5 de 6. Esa diferencia suele indicar que la escala tiene más puntos de los que la descripción del criterio puede distinguir.
Paso 2: Calcule la desviación de cada evaluador
La media del grupo en las 18 notas es 61 ÷ 18 = 3,39. El evaluador 1 está en +0,11, el evaluador 2 en -0,56 y el evaluador 3 en +0,44. El evaluador 2 es el más bajo, o empatado como el más bajo, en las seis conversaciones: es un patrón de severidad, no casualidad.
Paso 3: Tradúzcalo a lo que siente un agente
Si el evaluador 2 revisa a un agente y el evaluador 3 a otro, dos agentes con conversaciones idénticas acaban a un punto entero de distancia en una escala de cinco: 2,83 frente a 3,83. Esa es la injusticia que notan los agentes, y se debe solo a quién abrió el ticket.
Paso 4: Corrija el criterio y vuelva a medir
Escriba un ancla con un ejemplo para cada punto de la escala, comente la conversación 2, donde la dispersión fue mayor, y puntúe un conjunto nuevo en la siguiente sesión. Siga las tres cifras por criterio en el tiempo; la guía existente explica con más detalle cómo medir si la calibración funciona (en inglés).
¿Puede la IA eliminar el sesgo humano de la puntuación de calidad?
La IA elimina la variación entre evaluadores porque aplica la misma rúbrica de la misma forma a cada conversación, pero no elimina el sesgo escrito en la propia rúbrica. La coherencia es necesaria para la justicia, pero no es lo mismo.
Tres cosas deciden si la evaluación con IA es justa además de coherente:
- La rúbrica: un criterio vago o sesgado se aplica de forma coherente y equivocada. Calibrar primero a sus evaluadores humanos es la forma de encontrar esos criterios.
- La prueba: compare las notas de la IA con un conjunto en el que sus evaluadores calibrados estén de acuerdo, criterio a criterio, antes del arranque. Nuestro protocolo para validar la evaluación con IA (en inglés) ofrece un plan de una semana.
- La impugnación: los agentes necesitan una forma de impugnar una nota y ver la prueba, como en nuestra guía para diseñar un proceso de impugnación de notas de IA (en inglés).
Cuando la IA evalúa todas las conversaciones, la calibración cambia de función. Deja de servir para vigilar a los evaluadores en una muestra y pasa a ser el lugar donde se acuerda el estándar que la IA aplica después en todas partes.
Hoja de cálculo o software de calibración: una regla de decisión
Una hoja de cálculo basta mientras puntúan una o dos personas y la scorecard es corta; el software compensa en cuanto puntúan tres o más evaluadores o las notas alimentan decisiones sobre agentes. Use la tabla para situar a su equipo.
| Su situación | ¿Basta una hoja? | Por qué |
|---|---|---|
| Uno o dos evaluadores, menos de 10 criterios | Sí | Pocas parejas que comparar, el desacuerdo se ve fácilmente |
| Tres o más evaluadores | No | La puntuación a ciegas y la dispersión por criterio son difíciles de gestionar a mano |
| Varios centros, equipos o clientes | No | Hay que seguir en el tiempo las desviaciones entre grupos |
| Las notas alimentan retribución, promoción o decisiones de rendimiento | No | Necesita una prueba para cada nota y un registro de cada decisión |
| La IA evalúa parte de su volumen | No | Necesita acuerdo por criterio entre la IA y sus evaluadores |
Si se cumplen dos filas o más, el tiempo dedicado a montar fórmulas y a recoger notas a ciegas cuesta más que la herramienta. Nuestro artículo sobre cuándo dejar de gestionar el QA en una hoja de cálculo (en inglés) trata el cambio más amplio.
Cómo gestiona Kaizo la calibración
En Kaizo, la calibración presenta una conversación a varios evaluadores, muestra dónde divergieron y escribe el significado acordado en la descripción del criterio. Después, AutoPilot aplica la descripción actualizada a cada evaluación futura.
Esto es lo que cubre de la checklist, según las páginas de producto de Kaizo:
- Sesiones con varios evaluadores que puntúan las mismas conversaciones con la misma scorecard (funciones 1 y 3).
- Decisiones escritas en la rúbrica, para que no vivan en la memoria de nadie, y nuevos evaluadores formados con el estándar acordado (función 4).
- Deriva de los evaluadores visible en lugar de invisible (función 6).
- Prueba de cada nota: cada nota enlaza con la prueba en la conversación (función 5).
- Asignaciones que reparten de forma equilibrada el trabajo de revisión (función 7).
- IA contrastada con su equipo: usted prueba la IA con sus valoraciones históricas antes del arranque, y AutoPilot interpreta la rúbrica de forma idéntica cada vez, así que la calibración es para los evaluadores humanos que trabajan a su lado (función 9).
Cómo empezar a hacer más justa la puntuación este mes
Empiece con un criterio sobre el que sus evaluadores discutan, cinco o seis casos límite y tres evaluadores que puntúen a ciegas. Calcule el acuerdo y las desviaciones como en el ejemplo, reescriba el criterio y repita en la siguiente sesión.
Hágalo con sus tres criterios más discutidos antes de comparar herramientas. Sabrá qué funciones necesita y tendrá el conjunto de referencia para probar más adelante la evaluación con IA de cualquier proveedor.
Vea una sesión de calibración en una demo en directo. Le mostramos cómo se comparan las notas de los evaluadores y cómo la decisión actualiza la rúbrica, con datos de ejemplo realistas. Reserve una reunión.
Preguntas frecuentes
¿Qué es la fiabilidad entre evaluadores en QA?
La fiabilidad entre evaluadores mide con qué coherencia distintos evaluadores dan la misma nota a la misma conversación. En QA suele medirse por criterio, como la proporción de acuerdo exacto, la proporción a un punto o con un indicador como el kappa de Cohen, que corrige el acuerdo por azar. Una fiabilidad baja significa que una nota dice tanto del evaluador como del agente.
¿Cómo se reduce el sesgo en la puntuación de calidad?
Puntúe a ciegas, compare por criterio y reescriba los criterios que causan desacuerdo una y otra vez. Siga la desviación de cada evaluador respecto al grupo en el tiempo, reparta el trabajo de forma equilibrada y exija una prueba de la conversación para cada penalización. Dé a los agentes una vía para impugnar una nota y lleve las impugnaciones a la siguiente sesión.
¿Hay que ocultar el nombre de los agentes en la calibración de QA?
Ocultar el nombre de los agentes durante la calibración reduce el sesgo de familiaridad, por el que el evaluador juzga a un agente conocido, bueno o flojo, en lugar de la conversación. Importa sobre todo en equipos pequeños donde todos se conocen. Quien dirige la sesión puede conservar los nombres para que después el feedback llegue al agente correcto.
¿Qué es una nota de referencia en la calibración de QA?
Una nota de referencia es la nota de base de una conversación de calibración, normalmente fijada por el responsable de calidad o acordada por el grupo, con la que se compara la de cada evaluador. Convierte un debate en una medida: ve quién queda por encima o por debajo de la referencia y en qué criterios.
¿Se puede hacer la calibración de QA en Excel?
Sí, con uno o dos evaluadores y una scorecard corta. Cada evaluador puntúa en una columna oculta y unas fórmulas sencillas calculan el acuerdo y la dispersión por criterio. Deja de funcionar cuando los evaluadores ven las notas de los demás, cuando hay varios equipos que comparar o cuando las decisiones nunca vuelven a la scorecard.
