Una scorecard para agentes humanos y de IA es un único estándar de calidad con dos capas: un núcleo común de criterios con los que se evalúa a ambos, con las mismas definiciones y pesos, y un bloque breve por tipo de agente para los fallos que solo produce uno de ellos. Personas y bots se comparan solo en el núcleo común, tema por tema, y ambos se presentan en una sola página.
En pocas palabras
- Una sola scorecard para agentes humanos y de IA significa un núcleo común más un pequeño bloque por tipo de agente, no una lista idéntica para los dos.
- El núcleo común solo funciona si cada criterio tiene una definición, una escala y un peso para ambos.
- Siete reglas la mantienen justa, desde redactar criterios comprobables en la transcripción hasta decidir a quién corresponde cada línea fallida.
- Compare en el núcleo común y por tema: en un ejemplo práctico, la media bruta hace que el bot parezca 7,9 puntos mejor, cuando en una base justa las personas son 3,8 puntos mejores.
- Se construye en seis pasos, partiendo de la scorecard que su equipo ya usa.
Esta página trata del estándar compartido. Si busca la lista de criterios que necesita un bot y no una persona, lea primero nuestra guía sobre la scorecard de agentes de IA. Para ver cómo Kaizo aplica una misma scorecard a su equipo y a sus agentes de IA, consulte QA de agentes de IA.
¿Por qué usar una sola scorecard para agentes humanos y de IA?
Porque sus clientes reciben un único estándar de servicio, responda quien responda. Dos scorecards separadas producen dos cifras que nadie puede comparar, y dos discusiones sobre cuál cuenta.
Hay tres razones prácticas que surgen en todo equipo que trabaja con ambos:
- La dirección hace una sola pregunta. “¿Es el bot tan bueno como nuestra gente?” solo puede responderse con una medida común. Con dos scorecards, la respuesta depende de qué definiciones se usen.
- Las decisiones de enrutamiento necesitan una comparación. Decidir qué temas debe atender el agente de IA y cuáles van a personas exige que ambos se evalúen igual en el mismo tema.
- Un solo estándar es más fácil de mantener. Cuando cambia una política, actualiza un criterio, no dos scorecards mantenidas por dos equipos que se van distanciando.
La trampa es el error contrario: aplicar al bot su scorecard humana sin cambios. Los saludos y la ortografía rara vez fallan en un bot, mientras que una política inventada rara vez falla en una persona. Un solo estándar significa un solo núcleo, no una lista idéntica.
¿Qué va en el núcleo común y qué no?
El núcleo común reúne los criterios que describen un buen resultado para el cliente, sea quien sea el que respondió. Los criterios que describen cómo falla un tipo de agente concreto van en su bloque.
Esta es una plantilla que puede copiar. Los pesos son un ejemplo; lo importante es que el núcleo común tiene el mismo peso para ambos tipos de agente:
| Bloque | Criterio | Se cumple cuando | Peso |
|---|---|---|---|
| Núcleo común | Respuesta correcta | Cada dato de la respuesta es correcto para el caso de este cliente | 25 |
| Núcleo común | Respuesta completa | Se responden todas las partes de la pregunta, condiciones incluidas | 15 |
| Núcleo común | Política respetada | No se ofrece, promete ni deniega nada fuera de la política escrita | 20 |
| Núcleo común | Siguiente paso claro | El cliente sabe qué ocurre después, o el problema queda resuelto | 15 |
| Núcleo común | Identidad y datos | Se verifica la identidad antes de compartir datos de la cuenta | 10 |
| Núcleo común | Tono acorde a la marca | La respuesta suena a su marca y se ajusta a la situación del cliente | 5 |
| Núcleo común | Derivación | Se transmite el contexto en una transferencia, y quien la recibe lo usa | 10 |
| Bloque del agente de IA | Respaldo en nuestro contenido | Cada dato procede de un artículo de ayuda o una política que publica | Cumple o no cumple |
| Bloque del agente de IA | Alcance | Se mantiene dentro de los temas y acciones que puede atender | Cumple o no cumple |
| Bloque del agente de IA | Desencadenante de escalamiento | Deriva ante los desencadenantes definidos, y no demasiado tarde | Cumple o no cumple |
| Bloque del agente de IA | Incertidumbre | Dice que no lo sabe en lugar de adivinar | Cumple o no cumple |
| Bloque humano | Notas del caso | Las notas y etiquetas permiten a la siguiente persona continuar sin volver a preguntar | Cumple o no cumple |
| Bloque humano | Seguimiento cumplido | Una llamada o actualización prometida se hizo a tiempo | Cumple o no cumple |
El núcleo común suma 100, lo que le da una nota comparable por conversación. Los bloques por tipo de agente son de cumple o no cumple y se presentan junto a la nota como tasas de cumplimiento propias. Un criterio de bloque incumplido puede seguir activando una acción, como un suspenso automático del bot por un reembolso inventado, sin distorsionar la comparación.
Las scorecards de Kaizo admiten sus propios criterios, escritos con sus palabras, y pueden limitarse por equipo, cola o cliente. Así es como un núcleo común y dos bloques por tipo de agente conviven en un solo estándar en lugar de en dos documentos.
Siete reglas que mantienen justa una sola scorecard
Una scorecard compartida es justa cuando ambos tipos de agente se evalúan con las mismas palabras, escala y pesos, se compara lo comparable y a cada uno solo se le imputan sus propias líneas.
Regla 1: una definición por criterio común
Redacte cada criterio común una sola vez, con palabras que no presupongan una persona ni un bot.
“El agente demostró conocimiento del producto” presupone una persona. “Cada dato de la respuesta es correcto para el caso de este cliente” sirve para ambos. Nuestra guía para redactar una rúbrica de QA que una IA pueda evaluar (en inglés) muestra cómo formular criterios que se puedan comprobar en la transcripción.
Regla 2: una sola escala
Evalúe el núcleo común con la misma escala para ambos, ya sea cumple o no cumple por criterio o puntos por criterio. Mezclar una escala de 1 a 5 para las personas con cumple o no cumple para el bot hace que los totales parezcan comparables cuando no lo son.
Regla 3: un solo conjunto de pesos en el núcleo
Dé a cada criterio común el mismo peso para ambos tipos de agente. Si pondera más el tono para las personas, el total humano sube por razones que no tienen nada que ver con el cliente. Nuestro artículo sobre la ponderación de los criterios de la scorecard explica cómo fijar los pesos a partir de los resultados, no de la costumbre.
Regla 4: compare en el núcleo, por tema
Compare a las personas y al bot solo en el núcleo común, tema por tema. El ejemplo práctico de más abajo muestra por qué una media global engaña.
Regla 5: cada línea fallida es de quien la escribió
Un error del bot nunca cuenta en la nota de un agente humano. Si el agente de IA prometió un reembolso y el agente humano tuvo que retirarlo, el criterio “política respetada” incumplido corresponde a la conversación del bot, y a la persona se la evalúa por cómo gestionó la retirada.
Regla 6: evalúe la derivación como una transferencia
El criterio de derivación está en el núcleo común porque ambas partes pueden fallarlo: el bot, al no transmitir contexto; la persona, al no leerlo. Evalúe a cada parte por lo suyo. Nuestra guía sobre cómo evaluar la derivación entre la IA y un agente humano cubre las dos direcciones.
Regla 7: una calibración, un proceso de cambios
Calibre a sus revisores y a su evaluador automatizado con un conjunto mixto de conversaciones humanas y de IA, para que “respuesta correcta” signifique lo mismo en ambas. Cuando cambia un criterio común, cambia para ambos el mismo día. En Kaizo, editar la descripción de un criterio se aplica a todas las evaluaciones futuras, y las sesiones de calibración mantienen a los revisores de acuerdo en los casos dudosos.
¿Cómo se compara de forma justa a agentes humanos y de IA?
Compárelos en el núcleo común, tema por tema, y después pondere ambos con la misma combinación de temas. Una media global bruta mide sobre todo qué temas recibe cada tipo de agente.
La razón es sencilla: el bot suele atender los temas fáciles y las personas, los difíciles. Este es un ejemplo práctico con cifras que hemos elegido para mostrar el cálculo, no datos de un cliente. Las notas son la nota del núcleo común sobre 100:
| Tema | Conversaciones del agente de IA | Nota del agente de IA | Conversaciones humanas | Nota humana |
|---|---|---|---|---|
| Seguimiento de pedidos | 6.000 | 96 | 1.000 | 94 |
| Disputas de facturación | 1.000 | 70 | 4.000 | 82 |
| Media bruta | 7.000 | 92,3 | 5.000 | 84,4 |
Con las medias brutas, el bot parece 7,9 puntos mejor. Tema por tema, el bot es 2 puntos mejor en seguimiento de pedidos y 12 puntos peor en disputas de facturación.
Para compararlos de forma justa, pondere ambos con la misma combinación. Aquí usamos la combinación total: 7.000 conversaciones de seguimiento de pedidos y 5.000 de facturación, de 12.000.
| Nota ajustada por combinación | Cálculo | Resultado |
|---|---|---|
| Agente de IA | (7.000 x 96 + 5.000 x 70) / 12.000 | 85,2 |
| Equipo humano | (7.000 x 94 + 5.000 x 82) / 12.000 | 89,0 |
Con la misma combinación, el equipo humano es 3,8 puntos mejor. La decisión que sigue no es “el bot es mejor” ni “el bot es peor”. Es “mantener el bot en el seguimiento de pedidos y dejar las disputas de facturación en manos de personas hasta que mejore la nota del bot en facturación”. Ese es el tipo de respuesta que hace posible un núcleo común.
Dos comprobaciones más mantienen honesta la comparación. Compare solo los temas en los que ambos tienen suficientes conversaciones para que la nota sea estable, e indíquelo cuando uno de los dos apenas tenga. Y mire los bloques por tipo de agente junto a la nota: un bot con una nota alta en el núcleo pero que incumple el respaldo en un tema sigue necesitando una corrección.
Cómo presentar la calidad humana y de IA en una página
Presente una página con la nota del núcleo común por tema para ambos, los totales ajustados por combinación y, al lado, las tasas de cumplimiento de cada bloque. La dirección lee la comparación; los equipos leen sus propios bloques.
| Sección | Equipo humano | Agente de IA |
|---|---|---|
| Núcleo común, ajustado por combinación | Nota y tendencia | Nota y tendencia |
| Núcleo común por tema | Nota por tema | Nota por tema |
| Bloque propio | Notas del caso, seguimiento cumplido: tasas de cumplimiento | Respaldo, alcance, escalamiento, incertidumbre: tasas de cumplimiento |
| Derivación | Recogió el contexto | Transmitió el contexto |
| Causas principales | Carencias de habilidad, fallos de proceso | Artículos, reglas, ajustes |
La última fila es donde los dos se separan. Los fallos de una persona suelen apuntar a coaching o a un proceso; los de un bot, a un artículo o un ajuste.
Nuestro artículo sobre si es un error del agente o un error del proceso (en inglés) muestra cómo distinguirlos antes de actuar. En Kaizo, evaluar las conversaciones humanas y de IA con la misma scorecard le permite ver el rendimiento de ambos lado a lado.
Cómo crear una scorecard para agentes humanos y de IA
Créela en seis pasos, partiendo de la scorecard que ya usa su equipo humano. Los tres primeros pasos ocupan una sesión de trabajo; el resto se hace a medida que evalúa.
Paso 1: clasifique sus criterios actuales en tres grupos
Tome su scorecard humana y marque cada criterio como común, solo humano o innecesario. La mayoría de los equipos descubre que la respuesta correcta, la política y el siguiente paso son comunes, mientras que el saludo y las frases de guion son solo humanos o pueden eliminarse.
Paso 2: reescriba los criterios comunes con palabras neutras
Reescriba cada criterio común para que no presuponga una persona ni un bot, y para que un revisor pueda señalar la línea que lo cumple o lo incumple.
Paso 3: añada el bloque del agente de IA
Añada los cuatro criterios del bot de la plantilla: respaldo en su contenido, alcance, desencadenante de escalamiento e incertidumbre. Manténgalos como cumple o no cumple.
Paso 4: fije los pesos y la escala del núcleo
Establezca una escala y un conjunto de pesos para el núcleo común, que sumen 100, y póngalos por escrito donde ambos equipos puedan verlos.
Paso 5: calibre con conversaciones mixtas
Haga una sesión de calibración con una mezcla de conversaciones humanas y de IA, y siga ajustando las descripciones de los criterios hasta que los revisores coincidan en ambas.
Paso 6: evalúelo todo y presente por tema
Evalúe todas las conversaciones, humanas y de IA, con la scorecard, y presente el núcleo común por tema con el ajuste por combinación. AutoPilot de Kaizo evalúa cada conversación con sus criterios cuando se resuelve, en llamadas, chat y correo electrónico.
Véalo en una demo en vivo. Kaizo evalúa a su equipo y a sus agentes de IA con una sola scorecard, con la evidencia detrás de cada nota, y muestra ambos lado a lado. Hablemos.
Preguntas frecuentes
¿Hay que exigir al agente de IA un estándar más alto que a los agentes humanos?
En el núcleo común, exija a ambos el mismo estándar, o la comparación no significa nada. Donde sí puede ser más estricto es en el bloque del agente de IA y en las consecuencias: un reembolso inventado puede ser un suspenso automático para el bot, y un solo fallo crítico puede costarle un tema, porque un bot repite el mismo error en muchas conversaciones.
¿Quién debe evaluar las conversaciones humanas y de IA?
El mismo evaluador para ambas, en el núcleo común. Si las personas revisan las conversaciones humanas y un evaluador automatizado revisa las del bot, las diferencias entre los dos evaluadores aparecen como diferencias entre los agentes. Evalúe ambas automáticamente con los mismos criterios y haga que los revisores comprueben cada mes una parte mixta de las dos.
¿Y si el agente de IA obtiene mejor nota que su equipo humano?
Revise primero la combinación de temas, porque el bot suele atender los más fáciles. Si después del ajuste sigue sacando mejor nota en el mismo tema, es una noticia útil: puede estar listo para asumir más de ese tema, y sus respuestas pueden mostrar dónde necesitan mejorar el proceso o el contenido de su equipo humano.
¿Cuántos criterios debe tener una scorecard compartida?
Limite el núcleo común a unos seis u ocho criterios y cada bloque por tipo de agente a dos o cuatro. Con más, los revisores dejan de evaluar de forma coherente y la comparación se vuelve ruidosa. Si un criterio lleva meses sin fallar y no motiva ninguna decisión, elimínelo o conviértalo en una comprobación de cumple o no cumple.
¿Puede una sola scorecard cubrir llamadas, chat y correo electrónico?
Sí, si los criterios describen el resultado y no el canal. Una respuesta correcta, la política respetada y un siguiente paso claro significan lo mismo en una llamada, en un chat o en un correo. Añada comprobaciones específicas de un canal solo cuando el canal cambie lo que es una buena conversación, como la verificación en las llamadas.
