Saltar al contenido

Recopilación

Herramientas de evaluación y monitorización de agentes de IA

Herramientas de evaluación de agentes de IA para soporte: evals para desarrolladores, pruebas en Zendesk, Salesforce e Intercom, testing de chatbots y QA.

· 15 min de lectura

Revisado por Dominik Blattner, fundador de Kaizo

Las herramientas de evaluación de agentes de IA comprueban si las respuestas de un agente de IA son correctas, están permitidas y resuelven bien el caso; las herramientas de monitorización lo siguen vigilando cuando ya habla con clientes. Los equipos de soporte usan cuatro tipos: herramientas de evals y observabilidad para desarrolladores como LangSmith y Langfuse, las pruebas integradas en Zendesk, Salesforce e Intercom, herramientas de testing de chatbots y herramientas de QA de conversaciones que puntúan conversaciones reales con su propio estándar.

En resumen

  • La mayoría de las listas de herramientas de evaluación de agentes de IA están escritas para ingenieros: LangSmith, Langfuse, Arize Phoenix, Braintrust y DeepEval trazan y prueban el agente, pero sus puntuaciones rara vez coinciden con un scorecard de soporte.
  • Zendesk, Salesforce Agentforce e Intercom Fin incluyen pruebas para su propio agente de IA. Sirven antes de un lanzamiento y se quedan dentro de esa plataforma.
  • Las herramientas de testing de chatbots como Botium y Promptfoo ejecutan a escala conjuntos de pruebas guionizadas y adversarias. Prueban lo que usted imaginó, no lo que hicieron los clientes.
  • Las herramientas de QA de conversaciones puntúan conversaciones reales ya resueltas con su scorecard, con evidencia para cada puntuación. Esa es la capa que gestiona el responsable de QA.
  • La mayoría de los equipos con un agente de IA en producción necesitan una herramienta antes del lanzamiento y otra después. Elija según la pregunta que hoy no puede responder.

Esta guía es para responsables de soporte, de QA y de operaciones de soporte, no para los ingenieros que construyen el agente. Si primero necesita el método, lea nuestra guía de evaluación de agentes de IA. Si ya sabe que quiere puntuar cada conversación de su agente de IA, vea cómo funciona el QA de agentes de IA en Kaizo.

¿Qué aportan las herramientas de evaluación de agentes de IA a un equipo de soporte?

Las herramientas de evaluación de agentes de IA dan a un equipo de soporte pruebas de que su agente de IA responde bien, cumple las políticas y deriva cuando debe. Trabajan en dos momentos: con conversaciones de prueba antes de publicar un cambio y con conversaciones reales de clientes después del lanzamiento. Una herramienta que solo cuenta resoluciones automatizadas mide volumen, no calidad.

Los términos que se buscan se solapan. Esto es lo que suelen significar:

Lo que se buscaLo que hace la herramientaLa pregunta que responde
Herramientas de evaluación de agentes de IACalifica respuestas con criterios escritos, en pruebas o en producción¿La respuesta fue correcta y estaba permitida?
Herramientas de monitorización de agentes de IAVigila conversaciones en vivo y lanza alertas¿Algo va mal ahora mismo?
Herramientas de observabilidad de agentes de IARegistra cada paso de una ejecución: llamadas al modelo, llamadas a herramientas, coste, latencia¿Por qué falló esta ejecución?
Herramientas de pruebas de agentes de IA y de chatbotsEjecuta conversaciones guionizadas o simuladas antes de un lanzamiento¿Este cambio rompe algo?

Las listas de herramientas que posicionan hoy comparan profundidad de trazas, pipelines de CI y control de costes. En las tres que leímos el 19 de noviembre de 2026 (de MLflow, Amplitude y Sematext), ninguna menciona el CSAT, la escalada ni el traspaso a una persona. Justo lo que un responsable de soporte tiene que explicar.

¿Qué herramientas de evaluación y monitorización de agentes de IA existen?

Hay cuatro categorías de herramientas de evaluación y monitorización de agentes de IA: plataformas de evals y observabilidad para desarrolladores, las pruebas y analíticas de la propia plataforma del agente, herramientas de testing de chatbots y herramientas de QA de conversaciones. Se diferencian en quién las usa, si miran conversaciones de prueba o reales y qué definición de “bueno” aplican.

CategoríaEjemplosUsuario principalQué miraDónde se queda corta para soporte
Evals y observabilidad para desarrolladoresLangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEvalIngenieros de IATrazas, datasets de prueba, algo de tráfico realLos criterios viven en el código; sin vínculo con su scorecard ni con el CSAT
Pruebas de la plataformaAgentes de IA de Zendesk, Salesforce Agentforce Testing Center, Intercom Fin EvalsResponsable del agente de IAConversaciones de prueba y simuladasUna sola plataforma, y solo los casos que alguien escribió
Testing de chatbotsCyara Botium, PromptfooIngenieros de QA, equipo de IAConjuntos de pruebas guionizadas y adversariasPrueba lo previsto, no lo que preguntaron los clientes
QA de conversacionesZendesk QA, KaizoResponsable de QA, operaciones de soporteConversaciones reales resueltasFunciona cuando la conversación termina, no antes de un lanzamiento

La mayoría de los equipos enterprise acaban con una herramienta de la primera o segunda fila para el equipo de IA y otra de la última fila para soporte.

¿Qué muestran herramientas de observabilidad de agentes de IA como LangSmith y Langfuse?

Las herramientas de observabilidad de agentes de IA como LangSmith y Langfuse muestran lo que pasó dentro de cada ejecución: qué modelo y qué herramientas llamó el agente, en qué orden, cuánto costó y dónde falló. La mayoría ya añade evals, con datasets de prueba, jueces LLM y revisión humana. Su scorecard de soporte no viene incluido.

Lo que dice la documentación de cada proveedor, revisada el 19 de noviembre de 2026:

HerramientaQué hace según su documentaciónConviene saber
LangSmith (LangChain)Evaluación offline con datasets seleccionados antes de publicar, evaluación online de interacciones reales, LLM-as-judge y revisión humanaLas trazas fallidas de producción se pueden añadir a un dataset, así los fallos reales se convierten en pruebas
LangfuseTrazas, LLM-as-a-judge sobre trazas de producción o desarrollo, colas de anotación para revisión humana, datasets, gestión de promptsCódigo abierto y autoalojable
Arize PhoenixTrazas, evaluaciones, datasets y experimentosBasado en OpenTelemetry, creado por Arize AI y la comunidad open source
BraintrustSe define como plataforma de observabilidad para agentes: experimentos, monitorización en producción, feedback humano para crear datasetsFuerte para comparar prompts y modelos
DeepEvalPaquete de evals de código abierto que se integra con Pytest y se ejecuta en localConfident AI, del equipo detrás de DeepEval, añade trazas de producción de forma opcional

A un responsable de soporte le importan porque su equipo de IA ya usa una de ellas. Se quedan cortas en tres puntos. Los criterios los escriben ingenieros en código, así que “incumplimiento de política” significa lo que compruebe el evaluador. Ven trazas, no tickets, de modo que el CSAT, las reaperturas y las quejas están en otro sistema. Y están hechas para depurar una ejecución, no para decirle cuántos clientes recibieron una respuesta incorrecta la semana pasada.

Pida tres cosas a su equipo de IA: la lista de evaluadores con una definición de una línea cada uno, la tasa de fallo por criterio y una muestra semanal de conversaciones fallidas vinculadas a su scorecard.

¿Qué herramientas de pruebas de agentes de IA incluyen Zendesk, Salesforce e Intercom?

Zendesk, Salesforce e Intercom incluyen herramientas de pruebas para su propio agente de IA. Zendesk tiene un widget de prueba, Salesforce el Agentforce Testing Center e Intercom ofrece Evals y Batch test para Fin. Son la vía más rápida para probar un cambio antes de publicarlo, y solo cubren agentes creados en esa plataforma.

PlataformaPruebas integradas según la documentación del proveedorDónde se queda corta
Agentes de IA de ZendeskUn widget de prueba simula la experiencia del cliente y prueba los flujos de diálogo. Las conversaciones de prueba quedan en los registros de conversación y no cuentan como resoluciones automatizadas.El widget no está integrado con su CRM; Zendesk indica probar los eventos del CRM en el Web Widget
Salesforce AgentforceEl Testing Center ejecuta conjuntos de pruebas y marca cada prueba como superada o no según el subagente elegido, las acciones realizadas y la respuesta, con un porcentaje de aprobación para cada unoCompara con el resultado esperado que usted escribió para cada prueba
Intercom FinLos Evals agrupan simulaciones de varios turnos de un cliente hablando con Fin; un juez LLM puntúa cada una con los checks que usted define, incluido el traspaso. Hasta 50 simulaciones por Eval, con un límite mensual según el volumen de conversaciones. Batch test revisa preguntas de un solo turno que usted valora a mano; desde el 5 de noviembre de 2026, los workspaces nuevos usan Evals en su lugar.Clientes simulados, no reales

Si su agente de IA vive en una de estas plataformas, empiece aquí antes de comprar nada. El límite es el mismo en las tres: prueban los casos que alguien escribió. La conversación que le hace daño suele ser la que nadie previó.

¿Qué herramientas de testing de chatbots siguen sirviendo para agentes de IA?

Las herramientas de testing de chatbots siguen sirviendo cuando cambia un agente de IA a menudo y necesita ejecutar cientos de casos de regresión siempre igual. Cyara Botium cubre pruebas funcionales y de regresión para chatbots, voicebots e IVR. Promptfoo es una herramienta de línea de comandos de código abierto para evaluar y someter a red teaming aplicaciones LLM en un pipeline de CI/CD.

  • Cyara Botium está pensado para equipos de contact center que prueban chatbots y flujos IVR juntos, con regresiones tras cada actualización.
  • Promptfoo encaja con un equipo de IA que quiere los casos de prueba en un archivo junto al código, más red teaming contra prompt injection y otros ataques.
  • Una hoja de cálculo con 50 conversaciones reales y un resultado esperado por fila sigue siendo el buen punto de partida para la mayoría de los equipos de soporte.

Lo que entra en el conjunto de pruebas importa más que la herramienta. Nuestras guías de pruebas de chatbot y de pruebas de agentes de IA explican cómo crear casos a partir de tickets reales y repetirlos antes de cada cambio.

¿Cómo puntúan las herramientas de QA de conversaciones a los agentes de IA?

Las herramientas de QA de conversaciones puntúan conversaciones reales con clientes, atendidas por personas o por IA, con un scorecard escrito cuando termina cada conversación. Cada puntuación debe enlazar con las líneas que la justifican, y los revisores comprueban una parte de las puntuaciones para mantener calibrada la evaluación automática. Es la única categoría que muestra lo que el agente de IA hizo de verdad con los clientes.

Dos ejemplos, tal como los describe cada proveedor:

  • Zendesk QA detecta automáticamente los agentes de IA de Zendesk, permite a los revisores valorar conversaciones de bots en un scorecard y las revisa de forma automática si el autoscoring está activo, según su centro de ayuda. Comparamos ambas herramientas en nuestra página de alternativa a Zendesk QA.
  • Kaizo puntúa el 100% de las conversaciones de su agente de IA con su propio scorecard, el mismo con el que se evalúa a su equipo, y enlaza cada puntuación con la evidencia en la conversación. AutoPilot puntúa cada conversación cuando se resuelve. Usted prueba la puntuación con las valoraciones históricas de su equipo antes de activarla, y los revisores se quedan con las conversaciones que requieren criterio. Kaizo funciona dentro de Zendesk y Salesforce, y en Zendesk eso incluye las conversaciones que atienden los agentes de IA de Zendesk.

Una herramienta de QA de conversaciones no ejecuta pruebas antes del lanzamiento. Trabaja con conversaciones terminadas, así que convive con las herramientas anteriores en lugar de sustituirlas. Cada fallo que encuentra es un caso de prueba para la siguiente versión.

¿Qué debe buscar un responsable de soporte en las herramientas de monitorización de agentes de IA?

Un responsable de soporte debe buscar herramientas de monitorización de agentes de IA que puntúen conversaciones reales con el estándar del propio equipo, comprueben políticas y traspasos, muestren la evidencia de cada puntuación y permitan a los revisores calibrar. Los paneles de velocidad, latencia y coste ayudan a los ingenieros, pero no le dicen si el cliente recibió la respuesta correcta.

Use estas preguntas en cualquier demo:

Qué comprobarPregunta para la demoPor qué importa
Conversaciones reales“Enséñeme las conversaciones de IA resueltas la semana pasada, puntuadas.”Las pruebas solo cubren los casos previstos
Su propio estándar“¿Puede mi responsable de QA escribir y cambiar los criterios sin un ingeniero?”Las políticas cambian cada semana; los criterios en código se quedan atrás
Políticas y base de conocimiento“¿Cómo comprueba una respuesta con nuestro centro de ayuda y nuestras políticas?”Los reembolsos y excepciones inventados son los fallos caros
Traspasos“¿Puntúa si el agente de IA escaló con el disparador correcto y pasó el contexto?”Un traspaso perdido parece una resolución en el panel
Evidencia por puntuación“Haga clic en esta puntuación fallida. ¿Dónde está la línea que la causó?”Sin evidencia nadie puede actuar ni discutir una puntuación
Calibración“¿Cómo comparamos las puntuaciones automáticas con las de nuestros revisores?”Un LLM as a judge sin calibrar se desvía en silencio
Cobertura“¿Qué parte de las conversaciones puntúa?”Una muestra del 2% suele pasar por alto un error que el agente repite
Personas e IA juntas“¿Pueden los agentes humanos y de IA compartir un scorecard?”Las colas híbridas necesitan un solo estándar para comparar a ambos
Resultado para el cliente“¿Puedo ver las puntuaciones junto al CSAT, las reaperturas y las quejas?”La calidad que no se conecta con los clientes es difícil de financiar

¿Cómo se evalúa a agentes humanos y de IA en la misma cola?

En una cola híbrida, evalúe a los agentes humanos y de IA con un solo scorecard: los criterios comunes, como una respuesta correcta y el tono adecuado, mantienen los resultados comparables, y los criterios adicionales cubren donde falla un bot, como el apoyo en su contenido, el alcance, los límites de la política y la escalada. Puntúe el traspaso por ambos lados, porque ahí pierden clientes las colas híbridas.

Las herramientas para desarrolladores solo ven la mitad de IA de la conversación; la mitad humana está en el helpdesk. Una herramienta de QA de conversaciones lee el hilo completo: lo que dijo el agente de IA, cuándo traspasó, qué contexto pasó y qué hizo después el agente humano. Nuestro scorecard para agentes de IA indica qué criterios humanos mantener, cuáles quitar y cuáles añadir para un bot.

Ejemplo: una conversación de un agente de IA, puntuada con evidencia

Este es un ejemplo ilustrativo (una conversación inventada, no la de un cliente real) de lo que un responsable de soporte debería obtener de una herramienta de evaluación. Un cliente pide al agente de IA el reembolso de un pedido entregado hace 40 días. La política de reembolsos permite 30 días.

Cliente: Mi pedido llegó hace 40 días y está roto. Quiero un reembolso. Agente de IA: ¡Lamento oír eso! Ya he tramitado el reembolso completo, lo verá en 3 a 5 días.

CriterioResultadoEvidencia
Respuesta correctaNo superadoReembolso prometido fuera del plazo de 30 días
Límites de la políticaNo superado (crítico)“Ya he tramitado el reembolso completo”: ninguna excepción aprobada
La acción coincide con el sistemaNo superadoNo consta ningún reembolso en el pedido
EscaladaNo superadoUn artículo dañado después de 30 días debe pasar a un agente humano
TonoSuperadoSe disculpa y responde en un solo mensaje

Una traza de desarrollo mostraría una ejecución correcta: el modelo respondió, sin errores, con baja latencia. Un informe de contención contaría un éxito. Solo un scorecard con la evidencia adjunta muestra un incumplimiento de política que se repetirá cada vez que llegue la misma pregunta, y da al responsable del prompt o del artículo del centro de ayuda una línea concreta que corregir.

Kaizo ya automatiza este tipo de puntuación en el QA de soporte. En UiPath, el 100% del QA está automatizado con Kaizo, con un ROI del 200% y una mejora del 8% en la puntuación de calidad; esos resultados vienen de su QA de soporte, no de conversaciones de agentes de IA.

Véalo en las conversaciones de un agente de IA. Kaizo puntúa cada conversación de un agente de IA con su scorecard y enlaza cada puntuación con su evidencia. Reservar una demo.

¿Qué herramientas de evaluación de agentes de IA necesita su equipo?

Elija las herramientas de evaluación de agentes de IA según la pregunta que hoy no puede responder. Si los ingenieros no pueden depurar una ejecución fallida, empiece por la observabilidad. Si los cambios se publican sin regresión, empiece por las pruebas de la plataforma o una herramienta de testing. Si nadie sabe cuántas conversaciones de IA resueltas fueron incorrectas la semana pasada, empiece por el QA de conversaciones.

Su situaciónEmpiece porAñada después
Agente de IA en una plataforma, pocos motivos de contacto, menos de unos cientos de conversaciones por semanaLas pruebas de la plataforma más una hora semanal leyendo transcripcionesQA de conversaciones cuando crezca el volumen
Agente de IA propio, ingenieros que publican cada semanaHerramienta de evals y observabilidad para desarrolladoresQA de conversaciones para la visión de soporte
Cambios frecuentes, muchos motivos, miedo a regresionesUna herramienta de testing con un conjunto de regresión hecho con fallos realesFallos de producción que alimentan ese conjunto
Cientos de agentes, personas e IA en las mismas colasQA de conversaciones con un scorecard para ambosHerramientas para desarrolladores dentro del equipo de IA

Para saber qué vigilar cuando el agente ya está en producción, como umbrales de alerta y una revisión semanal, consulte nuestra guía de monitorización de agentes de IA.

Cuándo estas herramientas no son para usted

Si su agente de IA atiende unas pocas decenas de conversaciones por semana, todavía no necesita una herramienta: lea cada conversación con una lista breve, una hora a la semana. Si no tiene un estándar escrito de lo que es una buena respuesta, escriba primero el scorecard, porque todas las herramientas de esta página lo necesitan. Y si lo que necesita es un conjunto de pruebas que bloquee un lanzamiento en su pipeline de CI, una herramienta de QA de conversaciones como Kaizo no es la primera compra: puntúa las conversaciones cuando ya han terminado.

Probar un agente de voz con llamadas de prueba guionizadas es otra categoría distinta, más cercana a las pruebas de carga de un contact center que a las herramientas de esta página.

Preguntas frecuentes

¿Cuál es la mejor herramienta de evaluación de agentes de IA para atención al cliente?

No hay una única mejor herramienta, porque cada categoría responde a una pregunta distinta. Las herramientas para desarrolladores como LangSmith o Langfuse sirven al equipo de IA que construye el agente. Para un responsable de soporte, la más útil es la que puntúa conversaciones reales con su propio scorecard, con evidencia para cada puntuación.

¿Hay herramientas gratuitas o de código abierto para evaluar agentes de IA?

Sí. Langfuse se describe como código abierto y autoalojable, Arize Phoenix lo crean Arize AI y la comunidad open source, y DeepEval y Promptfoo son paquetes de código abierto. Usarlas no cuesta licencia, pero requiere tiempo de ingeniería para instalarlas y mantenerlas.

¿La misma herramienta puede probar un chatbot y un agente de IA basado en LLM?

En parte. Las herramientas de pruebas guionizadas sirven para ambos, pero un agente basado en LLM cambia la redacción en cada ejecución, así que las comprobaciones de coincidencia exacta fallan. Necesita evaluadores que juzguen el sentido, como un juez LLM calibrado con revisores humanos, y repetir varias veces la misma prueba.

¿Necesito una herramienta de evaluación si mi helpdesk ya informa de las resoluciones del agente de IA?

Sí, si el agente de IA habla con un número relevante de clientes. Un informe de resoluciones cuenta las conversaciones que no llegaron a una persona; no comprueba si la respuesta era correcta o estaba permitida. Una respuesta incorrecta que cierra la conversación se ve igual que una buena.

¿Quién debe ser responsable de las herramientas de evaluación de agentes de IA, soporte o ingeniería?

Ambos, con herramientas distintas. Ingeniería se ocupa de las pruebas y trazas que frenan un mal lanzamiento. Soporte se ocupa del scorecard y de puntuar las conversaciones reales, porque responde de lo que se dijo a los clientes y escribe las políticas que el agente debe seguir.

¿Con qué frecuencia hay que puntuar las conversaciones de un agente de IA?

De forma continua, a medida que se resuelve cada conversación, con una revisión semanal de los resultados. Repita su conjunto de pruebas antes de cada cambio de prompt, modelo o conocimiento. Calibre la puntuación automática con revisores humanos al menos una vez al mes y después de cada cambio del scorecard.

Las herramientas de esta página reparten el trabajo entre el equipo que construye el agente de IA y el equipo que responde por él. Si quiere que cada conversación de su agente de IA se puntúe con el mismo estándar que su equipo, con la evidencia a un clic, vea el QA de agentes de IA de Kaizo o reserve una demo.

En esta página

Lecturas relacionadas

Véalo en una demo en directo

Le guiaremos por Kaizo con conversaciones de muestra realistas, para que vea el ejemplo evaluado, explicado y convertido en coaching.

La confianza de equipos de atención al cliente de todo el mundo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath