Monitoreo y observabilidad de agentes de IA

La observabilidad de agentes de IA consiste en registrar paso a paso lo que hace un agente de IA, para que los ingenieros vean la latencia, el coste en tokens, los errores de las herramientas y las ejecuciones fallidas. Para un responsable de atención al cliente eso es solo la mitad del trabajo. La otra mitad es el monitoreo de calidad: comprobar que el agente dio al cliente la respuesta correcta, respetó la política, escaló cuando debía e hizo de verdad lo que dijo que hizo.

En resumen

• La observabilidad técnica responde a «¿funciona el agente?». El monitoreo de calidad responde a «¿acierta el agente?». Las herramientas de observabilidad están pensadas sobre todo para lo primero.
• Los fallos más caros en atención al cliente parecen éxitos en los logs: respuestas erróneas en conversaciones resueltas, escalamientos omitidos, incumplimientos de política y acciones que el agente afirmó haber hecho y nunca completó.
• Un dashboard útil de monitoreo de agentes de IA da a cada métrica una definición, una fuente de datos, un umbral de alerta y un único responsable. La especificación de abajo tiene 13 filas para copiar.
• Fije los umbrales a partir de su propia línea base de 4 semanas y lea cada métrica junto a un registro de cambios, para que la deriva tras un cambio de prompt o de la base de conocimiento aparezca en pocos días.
• Una revisión semanal de 45 minutos que termina con correcciones con nombre y responsable evita que el dashboard se convierta en decoración.

¿Qué es la observabilidad de agentes de IA?

La observabilidad de agentes de IA significa registrar cada ejecución de un agente de IA como una traza: el mensaje del cliente, cada petición al modelo, cada llamada a una herramienta o API, los datos recuperados y la respuesta, con tiempos, número de tokens y errores. Los ingenieros usan esas trazas para depurar fallos, controlar el coste y mantener el agente rápido y disponible.

El vocabulario viene de las operaciones de software. El libro de Site Reliability Engineering de Google define las cuatro señales doradas del monitoreo: latencia, tráfico, errores y saturación. La observabilidad de agentes de IA añade lo propio de los modelos de lenguaje: prompts, versiones del modelo, uso de tokens, recuperación de información y uso de herramientas. El sector converge hacia un formato de datos común, las convenciones semánticas de OpenTelemetry para IA generativa.

Una traza es el registro de una ejecución del agente, y cada paso dentro de ella (una petición al modelo, una búsqueda en la base de conocimiento, una consulta de pedido) es un span. La demanda de esta visibilidad es real: en un estudio de 2025 del IBM Institute for Business Value, aproximadamente la mitad de los directivos señaló «la falta de visibilidad sobre los procesos de decisión de los agentes como una barrera significativa para su implantación» (IBM).

¿Qué diferencia hay entre la observabilidad y el monitoreo de calidad de agentes de IA?

La observabilidad técnica le dice si el agente de IA funcionó: respondió rápido, sin errores y a un coste aceptable. El monitoreo de calidad le dice si el agente acertó: respuesta correcta, acción permitida, escalamiento adecuado y un cliente en mejor situación. Una conversación puede ser perfecta en la traza y errónea para el cliente, y la traza no lo mostrará.

LangChain, que desarrolla la plataforma de observabilidad LangSmith, lo dice con claridad: las herramientas de monitoreo tradicionales «se centran en métricas como la latencia, el tráfico, los errores y la saturación», mientras que «la observabilidad de agentes exige monitorear las propias entradas y salidas, no solo las métricas del sistema que las rodean» (LangChain, febrero de 2026).

La exposición legal está del lado de la calidad. En Moffatt v. Air Canada (2024 BCCRT 149), el chatbot del sitio web de la aerolínea le dijo a un cliente que podía solicitar una tarifa por duelo de forma retroactiva, algo que la política no permitía. El tribunal condenó a la aerolínea a pagar y escribió que «debería ser obvio para Air Canada que es responsable de toda la información de su sitio web» (decisión del tribunal). Ningún gráfico de latencia habría señalado esa respuesta.

Las dos capas se encuentran en el medio: un bucle aparece en la traza como pasos repetidos y en la conversación como un cliente frustrado. Evaluar las propias conversaciones frente a un estándar escrito es lo que los equipos de soporte llaman QA de agentes de IA.

¿Qué debe monitorear un responsable de soporte en un agente de IA?

Un responsable de soporte debe monitorear siete cosas: respuestas erróneas contadas como resueltas, fallos de escalamiento y de traspaso, incumplimientos de política, acciones afirmadas pero no completadas, bucles, caídas de sentimiento y deriva después de cada cambio. Todas superan un control de salud técnico, por eso cada una necesita su propia medida.

1. Erróneo pero resuelto. El cliente dejó de responder, así que el helpdesk contó una resolución, pero la respuesta era incorrecta. Es el núcleo de los fallos silenciosos que su dashboard cuenta como victorias, y las alucinaciones son una de sus causas. Solo evaluar el contenido de las conversaciones resueltas lo revela.
2. Fallos de escalamiento y de traspaso. Un escalamiento omitido es un caso que el agente se quedó cuando sus reglas dicen que debía atenderlo una persona. Un traspaso fallido es un escalamiento mal hecho: sin contexto, con un cliente que tiene que repetirlo todo, o sin que nadie lo recoja a tiempo.
3. Incumplimientos de política. El agente prometió un reembolso, una exención de cargo o una excepción que su política no permite. Una sola promesa así puede bastar para que la dirección congele cualquier nuevo despliegue de IA hasta que cumplimiento normativo lo haya revisado.
4. Afirmado pero no hecho. El agente dice «su reembolso está en camino», pero el backend no muestra ningún reembolso. La llamada a la herramienta falló sin aviso, o el agente describió una acción que nunca intentó. Detectarlo exige cotejar las transcripciones con el sistema de referencia.
5. Bucles. El agente hace la misma pregunta tres veces o rebota al cliente entre el chat y el teléfono. La traza muestra un número alto de turnos; el cliente se siente atrapado y vuelve a contactar, o se da de baja.
6. Caídas de sentimiento. El cliente termina más enfadado de lo que empezó, incluso en un caso técnicamente resuelto. Un aumento en un tema suele apuntar a una respuesta concreta que el agente maneja mal.
7. Deriva tras los cambios. La calidad se mueve cuando se publica algo: una versión del modelo, un cambio de prompt, un artículo reescrito, una política o una integración nuevas. Lea cada métrica junto a un registro de cambios y la deriva tendrá fecha y causa.

Si vale la pena mantener el agente (resolución, contención, coste por resolución, CSAT) es otra pregunta, que tratamos en cómo medir el rendimiento de los agentes de IA. El monitoreo es la capa inferior: detectar lo que salió mal esta semana, mientras todavía es pequeño.

La especificación del dashboard de monitoreo de agentes de IA

Un dashboard de monitoreo solo funciona si cada métrica tiene una definición precisa, una fuente de datos identificada, un umbral de alerta y un único responsable. Sin esos cuatro campos, un gráfico se pone en rojo y nadie se mueve. Copie la especificación de abajo y sustituya los umbrales de ejemplo, que son ilustraciones y no referencias del sector, por cifras de su propia línea base.

Tres reglas lo mantienen honesto. Cada métrica de calidad enlaza con las conversaciones que la generan, de modo que una celda en rojo abre ejemplos reales en lugar de un debate. Cada métrica se desglosa por tema, porque una media oculta el único artículo que está mal. Y las dos primeras filas pesan más que la última: un agente rápido y barato que da respuestas erróneas no está sano.

La mayoría de las filas dependen de una scorecard escrita. Si no la tiene, empiece por la scorecard para agentes de IA y los métodos de la guía de evaluación de agentes de IA.

¿Cómo se fijan los umbrales de alerta para el monitoreo de agentes de IA?

Fije los umbrales de alerta a partir de su propia línea base. Evalúe al menos 4 semanas de conversaciones, anote el rango semanal normal de cada métrica y alerte cuando salga de ese rango o supere un techo absoluto, lo que ocurra primero. Los eventos de la lista roja, como errores en pagos o promesas legales, alertan con un solo caso, sea cual sea la tasa.

La guía de SRE de Google dice que «cada aviso debe ser accionable», así que use tres niveles:

• El mismo día: un incumplimiento de política de la lista roja, un pago afirmado pero no hecho, una cobertura por debajo del 95%, una caída del servicio.
• En 2 días: un umbral de tasa superado en un tema con mucho volumen, o cualquier umbral superado en los 7 días siguientes a un cambio.
• En la revisión semanal: tendencias más lentas, temas con poco volumen, sentimiento y contacto repetido.

Ejemplo práctico: por qué la cobertura total cambia lo que se puede ver

Una ilustración con cifras redondas, calculada para este artículo. Un agente de IA atiende 50.000 conversaciones a la semana y resuelve 35.000 sin una persona. La línea base de erróneo pero resuelto es del 2,0%, unas 700 respuestas erróneas por semana. El lunes se reescribe un artículo sobre devoluciones y a la semana siguiente la tasa es del 2,8%: unas 980 respuestas erróneas, 280 más de lo habitual.

Los incumplimientos de política son más raros. Con un 0,1%, hay unos 35 por semana en 35.000 conversaciones resueltas. Una muestra del 2% contiene de media 0,7, así que la probabilidad de que no contenga ninguno es de aproximadamente el 50%. En la mitad de las semanas, una revisión basada en muestras informa de cero incumplimientos mientras a 35 clientes se les dijo algo que su política no permite.

¿Cómo es una revisión semanal de calidad de un agente de IA?

Una revisión semanal de calidad de un agente de IA es una reunión de 45 minutos en la que los responsables del agente, de QA, de operaciones y de la base de conocimiento repasan alertas, grupos de fallos y cambios recientes. Cumplimiento normativo se une si hay un incumplimiento de política. Sale una lista de correcciones con responsable y un registro de cambios actualizado.

1. Alertas desde la semana pasada (5 minutos): qué saltó, qué se hizo, qué sigue abierto.
2. Los 3 grupos de fallos principales (15 minutos): 3 conversaciones reales de cada uno, leídas en pantalla, no resumidas.
3. Cambios publicados (10 minutos): cada cambio del registro con sus cifras de 7 días antes y después.
4. Decidir correcciones (10 minutos): un responsable y una fecha por corrección, ya sea una edición de la base de conocimiento, una salvaguarda, una regla de escalamiento o una reversión.
5. Revisar las correcciones de la semana pasada (5 minutos): ¿se movió la métrica a la que apuntaba cada corrección?

Pase las correcciones por sus pruebas previas al lanzamiento antes de publicarlas; las pruebas de agentes de IA explican los conjuntos de pruebas que evitan que la corrección de un tema rompa otro. Quién aprueba los cambios de la lista roja y quién puede desactivar un tema forma parte de su modelo de gobernanza de agentes de IA.

¿Qué tipos de herramientas de monitoreo de agentes de IA existen?

Las herramientas de monitoreo de agentes de IA se dividen en cinco categorías: herramientas de trazas para desarrolladores, suites de monitoreo del rendimiento de aplicaciones, la analítica propia de la plataforma del agente, herramientas de QA de conversaciones que evalúan las conversaciones resueltas y herramientas de seguridad de IA. Cada una responde a una pregunta distinta, por eso la mayoría de los equipos de soporte con un agente de IA en producción acaban usando dos o tres.

Elija según la pregunta que hoy no puede responder: si los ingenieros no pueden depurar una ejecución fallida, empiece por las trazas; si nadie puede decir cuántas conversaciones resueltas fueron erróneas la semana pasada, empiece por el QA de conversaciones.

¿Cuándo este nivel de monitoreo de agentes de IA no es para usted?

Un monitoreo de calidad completo no compensa mientras el agente de IA atiende unos cientos de conversaciones a la semana sobre temas de bajo riesgo. Con ese volumen basta con que una persona lea conversaciones cada semana, y el tiempo rinde más en la base de conocimiento.

Tampoco es el primer paso adecuado si el agente aún no está en producción (lo que necesita son pruebas previas al lanzamiento) o si no tiene un estándar escrito de lo que es una buena respuesta: una herramienta no puede alertar sobre una regla que nadie ha escrito.

Cómo empezar a monitorear su agente de IA esta semana

Puede empezar a monitorear su agente de IA esta semana sin comprar nada: escriba una lista roja, abra un registro de cambios, lea las conversaciones resueltas de la semana pasada para una primera línea base y asigne un responsable a cada métrica. Las herramientas pueden llegar cuando sepa qué preguntas no puede responder.

1. Escriba la lista roja: de 5 a 10 temas, como reembolsos, cancelaciones, asuntos legales, seguridad y clientes vulnerables.
2. Abra un registro de cambios: fecha, qué cambió y quién lo cambió. Complete el último mes.
3. Lea 200 conversaciones resueltas por la IA la semana pasada frente a su política y cuente los erróneos pero resueltos, los escalamientos omitidos y los incumplimientos.
4. Copie la especificación del dashboard, borre las filas que aún no puede alimentar y rellene todas las celdas de responsable.
5. Reserve la revisión semanal en el mismo hueco cada semana.

Si sus conversaciones están en Zendesk o Salesforce y quiere la capa de calidad sin leer a mano, esa es la parte que cubre Kaizo. AutoPilot evalúa cada conversación con su propia scorecard en cuanto se resuelve y vincula cada nota con las evidencias, y usted lo contrasta con sus evaluaciones anteriores antes de ponerlo en marcha. El análisis de causa raíz rastrea una caída de calidad hasta las conversaciones que la produjeron. No sustituye las herramientas de trazas de sus ingenieros; vea en QA de agentes de IA cómo encaja.

Véalo con las conversaciones de su propio agente de IA. Reserve una reunión.

Preguntas frecuentes

¿Se pueden monitorear los agentes de IA?

Sí, en dos niveles. Las ejecuciones de un agente se pueden trazar para ver errores, velocidad y coste, y sus conversaciones se pueden evaluar en exactitud, política y escalamiento. Los equipos de soporte necesitan ambos, porque una ejecución técnicamente sana puede dar igualmente una respuesta errónea a un cliente.

¿Cuáles son las mejores herramientas para monitorear la IA agéntica?

No hay una única mejor herramienta, porque cada categoría responde a una pregunta distinta: las herramientas de trazas depuran ejecuciones, las suites de rendimiento vigilan la disponibilidad, la analítica de la plataforma informa sobre un solo agente y las herramientas de QA de conversaciones comprueban si las respuestas fueron correctas y permitidas. Empiece por la pregunta que hoy no puede responder.

¿Qué es una traza de un agente de IA?

Una traza es el registro completo de una ejecución de un agente de IA, desde el mensaje del cliente hasta la respuesta. Cada paso dentro de ella, como una petición al modelo o una consulta de pedido, es un span con sus propios tiempos, entradas, salidas y errores. Una traza muestra cómo llegó el agente a una respuesta, no si la respuesta era correcta.

¿Quién debe ser responsable del monitoreo de agentes de IA en un equipo de soporte?

Reparta la responsabilidad por capas. Ingeniería de IA se ocupa de la salud técnica y del coste. Un responsable del agente de IA con nombre, normalmente en operaciones de soporte, se ocupa de la calidad de las respuestas, el escalamiento y los bucles. El responsable de QA se ocupa de la scorecard y de la concordancia del evaluador. Cada métrica del dashboard debe llevar exactamente un nombre.

¿Basta la tasa de contención para monitorear un agente de IA?

No. La contención cuenta como éxito toda conversación que no llegó a una persona, incluidas aquellas en las que el agente se equivocó y el cliente se rindió. Léala junto a la tasa de erróneo pero resuelto, los contactos repetidos en 72 horas y el empeoramiento del sentimiento. Vea QA para conversaciones atendidas por IA (en inglés) para saber qué comprobar primero.