La evaluación del desempeño del agente de IA es una reunión mensual en la que los responsables de su agente de IA revisan un mes de conversaciones evaluadas, lo comparan con los objetivos y deciden qué cambia. Funciona como la evaluación de un agente humano: la misma scorecard, evidencia real y objetivos claros. La diferencia está en el resultado: un cambio de contenido, de alcance o de enrutamiento, no un plan de coaching.
En pocas palabras
- Una evaluación mensual del desempeño del agente de IA convierte las notas en decisiones: ampliar el bot, mantenerlo o quitarle temas.
- Se diferencia de la evaluación de una persona en quién asiste, cuál es la evidencia y qué consecuencias tiene.
- En la sala hacen falta cinco roles, y quien presenta los hallazgos es QA, no el equipo que desplegó el bot.
- Un informe de una página y una agenda de 60 minutos la mantienen lo bastante breve como para hacerla cada mes.
- Una regla escrita para ampliar, mantener o restringir temas evita que la reunión se convierta en un debate.
Esta guía trata del ritual: frecuencia, personas, informe y decisiones. Para saber qué métricas seguir, consulte nuestra guía sobre cómo medir el rendimiento de los agentes de IA. Para la evaluación en sí, nuestra página de QA de agentes de IA muestra cómo Kaizo evalúa cada conversación de un agente de IA con la misma scorecard que a su equipo.
¿Por qué evaluar el desempeño de un agente de IA?
Porque los paneles informan y las personas deciden. Alguien tiene que ser responsable de decidir si el bot recibe más trabajo, se queda como está o pierde parte de él.
La mayoría de los equipos ya tiene los datos. El helpdesk cuenta las resoluciones automatizadas, el proveedor muestra intenciones y abandonos, y QA evalúa las conversaciones. Lo que suele faltar es un momento fijo en el que alguien con autoridad lo mire todo junto y tome una decisión. Sin él, un problema conocido con las respuestas sobre reembolsos puede quedarse semanas en un hilo de chat.
Las guías de riesgo de la IA también esperan ese momento. El Marco de Gestión de Riesgos de la IA del NIST (enero de 2023) establece, en Manage 4.1, que se aplican planes de seguimiento posteriores al despliegue, con mecanismos para recoger la opinión de los usuarios, apelar y anular decisiones, retirar el sistema, responder a incidentes, recuperarse y gestionar cambios. Una reunión mensual es una forma sencilla de dar a cada uno de ellos un lugar.
También hay una razón de equidad. Sus agentes humanos son evaluados, reciben coaching y deben cumplir un estándar. Cuando el bot atiende una parte creciente de sus conversaciones, aplicarle la misma disciplina es lo que hace honesta la comparación, y es lo que preguntará su dirección.
¿En qué se diferencia la evaluación de un agente de IA de la de una persona?
La evaluación de un agente de IA busca patrones en miles de conversaciones y termina en cambios de contenido y configuración. La de una persona revisa el trabajo de alguien concreto y termina en coaching.
| Evaluación de un agente humano | Evaluación del desempeño del agente de IA | |
|---|---|---|
| Qué se revisa | Una muestra o todas las conversaciones de una persona | Todas las conversaciones que atendió el agente de IA ese mes |
| Unidad de análisis | La persona | El tema, el artículo, la regla |
| Quién asiste | El agente y su responsable de equipo | QA, el responsable del bot, el responsable del contenido, operaciones de soporte, el responsable de CX |
| Hallazgo típico | Una carencia de habilidad o un hábito | Un artículo desactualizado, una regla que falta, una derivación tardía |
| Resultado | Coaching, un objetivo, un plan de desarrollo | Una corrección de contenido, un cambio de alcance, un cambio de enrutamiento o escalamiento |
| Consecuencia de un mal mes | Un plan de mejora | Temas restringidos o derivados a personas hasta corregirlos |
| Riesgo de injusticia | Se le evalúa por cosas que no controla | Los errores del bot acaban en la nota de una persona |
Conviene escribir en su proceso una regla que sale de esa última fila: un error del bot nunca cuenta en la nota de un agente humano. Si el agente de IA prometió un reembolso y el agente humano tuvo que retirarlo, el criterio incumplido es del bot.
¿Quién debe estar en la sala?
En la evaluación del desempeño de un agente de IA hacen falta cinco roles: QA presenta, el responsable del bot y el del contenido asumen las correcciones, operaciones de soporte habla por las colas y el responsable de CX decide.
| Rol | Qué aporta | Con qué se va |
|---|---|---|
| Responsable de QA (presenta) | Las notas, las tendencias, las transcripciones detrás de cada hallazgo | Cambios de criterios para el mes siguiente |
| Responsable del agente de IA | Cómo está configurado el bot y qué cambió este mes | Cambios de prompt, enrutamiento y escalamiento |
| Responsable del contenido de conocimiento | Con qué artículos responde el bot | Correcciones de artículos, con fecha |
| Responsable de operaciones de soporte | Volumen de derivaciones, impacto en las colas, contactos repetidos | Ajustes de personal o de enrutamiento |
| Responsable de CX (decide) | Objetivos y tolerancia al riesgo | Las decisiones de ampliar, mantener o restringir |
QA presenta porque el hallazgo debe venir de quienes no construyeron el bot. El equipo que lo desplegó es también el equipo cuyo proyecto queda bien cuando las cifras son buenas. Nuestro artículo sobre quién revisa a su agente de IA (en inglés) explica cómo separar el hallazgo, la corrección y la autoridad para desactivar un flujo.
Invite a riesgos o cumplimiento cuando el mes incluya un fallo crítico en un tema regulado. Invite al proveedor cuando necesite su ayuda con una corrección, no para presentar los resultados.
El informe de una página sobre el desempeño del agente de IA
El informe cabe en una página: una cifra principal frente a su objetivo, los criterios que cambiaron, los temas en riesgo, las causas de los fallos y las decisiones que necesita.
Copie esta plantilla y complétela cada mes con su herramienta de QA y su helpdesk:
| Sección | Qué incluye | De dónde sale |
|---|---|---|
| 1. Cifra principal | Tasa de resueltas y correctas frente al objetivo, este mes y el anterior | Notas de QA más contactos repetidos |
| 2. Volumen y alcance | Conversaciones del agente de IA, porcentaje del total, temas que atiende | Helpdesk |
| 3. Criterios compartidos | Notas en los criterios que comparten las personas y el bot, junto a las del equipo humano | Scorecard de QA |
| 4. Criterios del bot | Tasas de cumplimiento en respaldo en el contenido, límites de la política, alcance y escalamiento | Scorecard de QA |
| 5. Temas en riesgo | Cada tema por debajo de su objetivo, con el número de conversaciones | Notas de QA por tema |
| 6. Fallos críticos | Número, qué pasó, clientes afectados, estado | Hallazgos de QA |
| 7. Tres causas principales | El artículo, la regla o el ajuste detrás de la mayoría de los fallos, con una transcripción cada uno | Análisis de causa raíz |
| 8. Correcciones del mes anterior | Qué se implementó y si las notas cambiaron | Conversaciones evaluadas de nuevo |
| 9. Derivación | Derivaciones tardías o ausentes, contexto transmitido | Criterios de derivación |
| 10. Decisiones necesarias | Ampliar, mantener o restringir, por tema | La regla de decisión de más abajo |
Limítese a las cifras que llevan a una decisión. Si una fila no ha cambiado ninguna decisión en tres meses, quítela de la página y déjela en el anexo.
En Kaizo, las notas de las secciones 3 a 9 salen de la misma scorecard. Kaizo Insights reúne QA, sentimiento y coaching en una sola vista lista para presentar o exportar, y el análisis de causa raíz agrupa los fallos que hay detrás de una caída.
Ejemplo práctico: la evaluación de octubre
En este ejemplo, el agente de IA mejoró en conjunto pero falló en un tema, así que la reunión amplía un tema, mantiene tres y restringe uno. Las cifras son una ilustración que hemos creado, no datos de un cliente.
La sección de cifra principal del informe de octubre:
| Medida | Septiembre | Octubre | Objetivo |
|---|---|---|---|
| Conversaciones del agente de IA | 11.200 | 12.400 | |
| Resueltas y correctas | 70,4% | 73,1% | 75% |
| Respaldo en nuestro contenido (tasa de cumplimiento) | 95,8% | 98,0% | 98% |
| Límites de la política (tasa de cumplimiento) | 97,2% | 98,1% | 99% |
| Escalamiento con el desencadenante correcto | 91,0% | 89,5% | 93% |
| Contacto repetido en 7 días | 6,8% | 6,1% | 5% |
| Fallos críticos | 4 | 1 | 0 |
La cifra principal mejoró 2,7 puntos, pero el escalamiento fue en la dirección contraria. Es el tipo de mes mixto en el que la reunión justifica su hora: la cifra global se habría presentado como una buena noticia, mientras que la caída del escalamiento correcto necesita un responsable.
De la sección por temas salen las decisiones:
| Tema | Conversaciones | Tasa de cumplimiento en respaldo y política | Fallos críticos | Decisión |
|---|---|---|---|---|
| Seguimiento de pedidos | 4.900 | 99,3% (septiembre 99,1%) | 0 | Ampliar: añadir solicitudes de cambio de entrega |
| Devoluciones | 2.600 | 97,8% | 0 | Mantener |
| Preguntas sobre productos | 2.700 | 97,1% | 0 | Mantener, corregir los dos artículos detrás de la mayoría de los fallos |
| Reembolsos | 1.300 | 94,6% | 1 | Restringir: derivar los reembolsos parciales a personas hasta corregirlo |
| Cambios de cuenta | 900 | 98,4% (septiembre 97,6%) | 0 | Mantener un mes más antes de ampliar |
La reunión termina con cinco decisiones, cada una con un responsable y una fecha. La restricción de los reembolsos se revisa de nuevo en noviembre, después de que el responsable del contenido reescriba el artículo sobre reembolsos parciales y QA vuelva a evaluar el tema.
Una regla de decisión para ampliar, mantener o restringir
Ponga por escrito la regla de decisión antes de la primera reunión: umbrales para ampliar, mantener y restringir cada tema. Así la reunión aplica la regla en lugar de discutirla.
Una regla de partida, que puede ajustar a su tolerancia al riesgo:
| Decisión | Cuándo | Qué ocurre |
|---|---|---|
| Ampliar | Tasa de cumplimiento en respaldo y política igual o superior al 98% dos meses seguidos, y ningún fallo crítico | El bot asume una nueva intención o una versión más amplia del tema |
| Mantener | Tasa de cumplimiento entre el 96% y el 98%, o un mes bueno después de uno flojo | Sin cambio de alcance; corregir las causas principales |
| Restringir | Tasa de cumplimiento inferior al 96%, o cualquier fallo crítico en un tema de dinero | Derivar el tema, o su parte de riesgo, a personas hasta que una nueva evaluación lo valide |
Los umbrales anteriores son una sugerencia nuestra, no un estándar del sector. Fíjelos por tema si lo necesita: la misma tasa puede ser suficiente en preguntas sobre productos y demasiado baja en reembolsos. Lo importante es que la regla exista antes de que nadie vea las cifras.
La agenda de 60 minutos
Sesenta minutos bastan si el informe se envía dos días laborables antes de la reunión y el tiempo se dedica a decidir, no a leer cifras en voz alta.
| Minutos | Punto | Lo dirige |
|---|---|---|
| 0 a 5 | Cifra principal frente al objetivo, y decisiones del mes anterior: hechas o no | Responsable de QA |
| 5 a 20 | Temas en riesgo y fallos críticos, con una transcripción cada uno | Responsable de QA |
| 20 a 35 | Tres causas principales y correcciones propuestas | Responsable del contenido y responsable del bot |
| 35 a 45 | Correcciones del mes anterior: ¿cambiaron las notas? | Responsable de QA |
| 45 a 55 | Decisiones por tema, aplicando la regla | Responsable de CX |
| 55 a 60 | Responsables, fechas y cambios de criterios para el mes siguiente | Responsable de QA |
Mostrar una transcripción real de cada hallazgo importa más que cualquier gráfico. Convierte “el respaldo cayó en reembolsos” en una frase que toda la sala puede leer, y zanja las dudas sobre si el evaluador acertó. Nuestra guía sobre la trazabilidad de las notas de QA (en inglés) explica por qué cada nota necesita las líneas que la respaldan.
Semanal, mensual, trimestral: qué va en cada una
La reunión mensual se sitúa entre una revisión operativa semanal y un informe trimestral a la dirección. Cada ritmo tiene su función, y mezclarlos empeora los tres.
| Ritmo | Quién | Qué cubre | Qué decide |
|---|---|---|---|
| Semanal (15 minutos) | Responsable de QA, responsable del bot | Fallos críticos, nuevos patrones, si se mantuvieron las correcciones de la semana anterior | Correcciones urgentes y derivaciones |
| Mensual (60 minutos) | Los cinco roles anteriores | El informe de una página | Ampliar, mantener o restringir por tema |
| Trimestral | Responsable de CX ante la dirección | Tendencia de la cifra principal, crecimiento del alcance, coste de los fallos evitados | Presupuesto y hoja de ruta del agente de IA |
Para el informe trimestral, quédese con tres cifras que la dirección pueda seguir en el tiempo: la tasa de resueltas y correctas, el porcentaje de conversaciones del bot y los fallos críticos. Nuestra guía sobre informes de calidad de atención al cliente para la dirección (en inglés) explica cómo presentar una cifra de calidad a un VP o a un CFO. Para el ritmo semanal, nuestro artículo sobre la frecuencia del monitoreo de QA (en inglés) tiene los detalles.
Cómo hacer su primera evaluación del desempeño del agente de IA
Haga su primera evaluación del desempeño del agente de IA con un mes de conversaciones evaluadas, la plantilla de una página y una regla de decisión acordada de antemano. Cinco pasos le llevan hasta ahí.
Paso 1: evalúe un mes completo
Evalúe todas las conversaciones del agente de IA durante un mes con una scorecard que incluya los criterios del bot: respaldo en el contenido, límites de la política, alcance y escalamiento. AutoPilot de Kaizo evalúa cada conversación con sus criterios cuando se resuelve.
Paso 2: acuerde los objetivos y la regla de decisión
Fije un objetivo para la cifra principal y para cada criterio del bot, y acuerde los umbrales para ampliar, mantener y restringir antes de que nadie vea el primer informe.
Paso 3: ponga nombre a los cinco roles
Ponga un nombre junto a responsable de QA, responsable del bot, responsable del contenido, responsable de operaciones de soporte y responsable de CX. Reserve una franja recurrente de 60 minutos en la primera semana de cada mes.
Paso 4: envíe el informe dos días antes
Complete la plantilla de una página y envíela dos días laborables antes de la reunión, para que la hora se dedique a decidir.
Paso 5: termine con responsables y fechas
Cada decisión sale de la sala con un responsable y una fecha, y el siguiente informe empieza indicando si se cumplió.
Véalo en una demo en vivo. Kaizo evalúa cada conversación de agentes de IA con la misma scorecard que a su equipo y muestra las tendencias por semana, tema y equipo, listas para su reunión mensual. Hablemos.
Preguntas frecuentes
¿Con qué frecuencia hay que evaluar el desempeño de un agente de IA?
Evalúelo cada mes para tomar decisiones, con una revisión semanal breve de fallos críticos y correcciones. Un mes le da suficientes conversaciones por tema para ver una tendencia real, y es lo bastante frecuente para que un problema en un tema de dinero no dure un trimestre entero. Presente la tendencia a la dirección cada trimestre.
¿Qué debe incluir la evaluación del desempeño de un agente de IA?
Una cifra principal de calidad frente a su objetivo, las tasas de cumplimiento de los criterios propios del bot, los temas por debajo de su objetivo, los fallos críticos, las causas principales de los fallos con una transcripción cada una, si funcionaron las correcciones del mes anterior y las decisiones necesarias. Que quepa en una página, y lo que no lleve a una decisión, al anexo.
¿Se puede comparar al agente de IA con sus agentes humanos en la evaluación?
Sí, en los criterios que comparten, como una respuesta correcta y el tono adecuado, evaluados de la misma forma. Compare por tema y no en conjunto, porque el bot suele atender los temas más sencillos. No compare en criterios que solo tiene uno de los dos, y nunca deje que un error del bot cuente en la nota de un agente humano.
¿Qué ocurre cuando un agente de IA suspende su evaluación del desempeño?
Pierde alcance hasta que lo recupera. Los temas por debajo del umbral, o con un fallo crítico, pasan a agentes humanos o reciben una derivación forzada. El responsable del contenido corrige la fuente, QA vuelve a evaluar el tema y la siguiente reunión decide si el bot recupera ese tema.
¿Debe presentar los resultados el proveedor del agente de IA?
No. El proveedor puede explicar cómo funciona el bot y ayudar con las correcciones, pero los resultados deben venir de su propio QA, con su propia scorecard. Un proveedor que presenta la nota de su propio producto tiene interés en un buen resultado, y su dirección querrá una cifra que su equipo haya obtenido y pueda defender.
