El RFP de un agente de IA debe comprobar si se puede confiar en el agente a escala, no solo qué sabe hacer. Añada preguntas sobre cómo se define y se factura una “resolución”, el acceso a las transcripciones completas y a los registros de acciones, la exportación para un QA independiente, las pruebas de regresión, los controles de aprobación, los registros de auditoría, los incidentes, el aviso de cambios de modelo, las condiciones de los datos y el apoyo para el Reglamento de IA de la UE.
En resumen
- Las plantillas de RFP de los proveedores son sólidas en funcionalidades, canales e integraciones, y débiles en cómo comprobará usted el trabajo del agente después de la puesta en marcha.
- El banco de preguntas de abajo tiene 38 preguntas en 8 secciones, cada una con cómo es una buena respuesta y una señal de alerta que debe bajar la puntuación o terminar la conversación.
- Trate la definición de “resuelto” a efectos de facturación, el acceso a transcripciones y registros y el derecho a exportar las conversaciones para su propio QA como requisitos eliminatorios, no como funcionalidades puntuables.
- Un ejemplo práctico muestra cómo un 18% de fallos auditados dentro de las resoluciones facturadas convierte una resolución de 1,00 dólar en 1,22 dólares por resolución correcta.
- Cierre con una demo guionizada sobre sus propias conversaciones: ocho tareas, en el mismo orden para cada finalista, puntuadas con la misma escala que las respuestas escritas.
Este artículo es para equipos que compran una plataforma de agentes de IA para atención al cliente, tanto si la lista corta incluye Sierra, Decagon, Intercom Fin, Salesforce Agentforce, los agentes de IA de Zendesk, Ada o un desarrollo propio. No clasifica proveedores. Le da las preguntas que sus propias plantillas omiten. Si lo que compra es software de QA y no un agente de IA, use en su lugar nuestro RFP de software de calidad con 40 preguntas y una hoja de puntuación; esta página sigue el mismo formato.
¿Qué debe incluir el RFP de un agente de IA además de las funcionalidades?
Además de las funcionalidades, el RFP de un agente de IA debe incluir las condiciones que deciden si usted puede comprobar y controlar el agente: cómo se define una resolución facturada, qué evidencias puede ver y exportar, cómo se prueban y se anuncian los cambios, qué acciones necesitan aprobación, cómo se gestionan los incidentes y adónde van sus datos. Las funcionalidades deciden la demo; estas condiciones deciden el segundo año.
La mayoría de las plantillas publicadas, muchas escritas por proveedores de agentes de IA, cubren bien canales, idiomas, integraciones, fuentes de conocimiento, derivación, seguridad y precio, y profundizan menos en las preguntas que surgen cuando el agente ya está en producción. La tabla compara una plantilla típica (varias publicadas en webs de proveedores, leídas el 13 de noviembre de 2026) con este banco de preguntas.
| Tema | Plantilla típica de proveedor | Este banco de preguntas |
|---|---|---|
| Canales, integraciones, fuentes de conocimiento | Cubiertos en profundidad | Se dejan a su sección de funcionalidades |
| Cómo se define “resuelto” | Se pregunta a menudo | Se pregunta, con el desencadenante, el plazo y la verificación |
| Reclamar resoluciones facturadas | Rara vez, y sin un proceso | Un plazo de reclamación, reglas de evidencia y abonos |
| Transcripciones completas y registros de acciones | En parte (resúmenes, algunos registros) | Transcripciones en bruto, llamadas a herramientas y el conocimiento usado, por conversación |
| Exportación para un QA independiente durante el contrato | Casi siempre solo al terminar el contrato | Exportación continua, en un formato documentado |
| Pruebas de regresión tras la puesta en marcha | Una prueba antes de firmar | Un conjunto de pruebas que se vuelve a ejecutar antes de cada cambio |
| Aviso de cambio de modelo | A veces, sin puntuar | Aviso por escrito, un periodo de prueba y una alternativa |
| Proceso de incidentes específico para la IA | Rara vez | Gravedad, plazo de aviso, control de parada e informe por escrito |
| Apoyo al responsable del despliegue según el Reglamento de IA | No encontrado | Roles, información al usuario, documentación y registros |
La laguna no es casual: un equipo comercial puede responder a una pregunta sobre funcionalidades en una demo, pero las reclamaciones de facturación o el aviso de cambio de modelo necesitan una respuesta escrita de legal y de producto que se convierte en una cláusula del contrato.
¿Por qué la definición de “resuelto” debe estar en el RFP?
La definición de “resuelto” debe estar en el RFP porque suele ser a la vez la principal métrica de éxito y la unidad de facturación, y cada proveedor la define de una manera. Una resolución que se cuenta cuando el cliente simplemente deja de responder no es lo mismo que una comprobada frente a la respuesta, la acción y el recontacto. La diferencia aparece en su factura.
Dos ejemplos públicos muestran el abanico. Intercom cuenta una resolución de Fin cuando, tras la última respuesta de Fin, el cliente confirma que le ayudó o “sale de la conversación sin solicitar más ayuda”, y descuenta el cargo si el cliente vuelve a esa conversación para pedir más ayuda (centro de ayuda de Intercom, en inglés). Zendesk factura por resoluciones automatizadas y, en su nivel verificado, hace que un modelo de lenguaje grande revise la conversación cuando termina, lo que en mensajería ocurre por defecto 2 horas después del primer mensaje y en email a las 72 horas (centro de ayuda de Zendesk, en inglés).
Ninguna de las dos definiciones, tal como está documentada, comprueba si la respuesta era correcta según su política o si el reembolso prometido se tramitó. Eso le toca a usted, y su RFP debe preguntar cómo le ayuda el proveedor a hacerlo. Nuestra guía para auditar la tasa de resolución de un agente de IA da el método de muestreo, y la tasa de resolución correcta es la métrica que debe presentar junto a la cifra del proveedor.
Ejemplo práctico: lo que una auditoría hace con el precio de una resolución
Es una ilustración con cifras inventadas, no datos de ningún proveedor.
| Línea | Valor |
|---|---|
| Conversaciones gestionadas por el agente de IA en un mes | 40.000 |
| Resoluciones facturadas declaradas por el proveedor | 24.000 (60%) |
| Precio por resolución (ilustrativo) | 1,00 dólar |
| Factura mensual | 24.000 dólares |
| Resoluciones facturadas auditadas (muestra aleatoria) | 400 |
| Suspendieron la auditoría (respuesta errónea, acción no hecha, incumplimiento de política o recontacto en 7 días) | 72 (18%) |
| Resoluciones correctas estimadas | 24.000 × 0,82 = 19.680 |
| Coste por resolución correcta | 24.000 dólares ÷ 19.680 = 1,22 dólares |
| Margen de error sobre el 18% con 400 auditadas (95%) | unos ±3,8 puntos |
| Abono si se reembolsan las resoluciones fallidas | 24.000 × 0,18 × 1,00 dólar = 4.320 dólares al mes |
El margen de error sale de 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Así que la tasa real de fallos está probablemente entre el 14% y el 22%, una precisión suficiente para negociar. Sin una cláusula de reclamación en el contrato (preguntas H2 y H3 más abajo), los 4.320 dólares siguen en la factura cada mes.
El banco de preguntas para el RFP de un agente de IA (38 preguntas para copiar)
Estas 38 preguntas cubren las ocho áreas en las que las plataformas de agentes de IA más difieren en calidad y gobernanza. Cópielas junto a sus preguntas de funcionalidades, mantenga la numeración y pida evidencias con cada respuesta: una captura de pantalla, un documento, una cláusula del contrato o una demostración en vivo. Un “sí” sin evidencia se puntúa como respuesta en blanco.
Sección A: Definición de la resolución y facturación (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| A1 | ¿Qué desencadena exactamente una resolución facturada, por canal? | Una regla escrita por canal: el desencadenante, el plazo y lo que queda excluido | “Lo decide nuestra IA”, sin regla escrita |
| A2 | ¿Cómo se verifica una resolución antes de facturarla? | Una comprobación descrita (confirmación del cliente, revisión con un LLM, plazo de recontacto) que puede ver por conversación | El silencio del cliente cuenta como éxito, sin plazo |
| A3 | ¿Qué ocurre cuando el cliente vuelve por el mismo problema? | La resolución se anula o no se factura dentro de un plazo indicado, por ejemplo 7 días | El recontacto se factura como una nueva resolución |
| A4 | ¿Podemos ver, por cada conversación facturada, por qué contó como resuelta? | Un campo o una entrada de registro por conversación, exportable | Solo un total mensual en la factura |
| A5 | ¿Informan de las resoluciones por separado de la contención y la deflexión? | Definiciones separadas y cifras separadas | Una única “tasa de automatización” que las mezcla |
Sección B: Transcripciones, registros de acciones y exportación (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| B1 | ¿Podemos acceder a la transcripción completa de cada conversación del agente de IA, incluidos los pasos internos? | Cada mensaje, más los artículos de conocimiento y las instrucciones usados en cada respuesta | Solo resúmenes, o una muestra |
| B2 | ¿Registran cada acción y cada llamada a herramientas del agente, con entradas y resultados? | Un registro por conversación: qué sistema, qué llamada, qué parámetros, éxito o fallo | “Las acciones quedan registradas en el sistema de destino”, sin nada de su lado |
| B3 | ¿Podemos exportar todas las conversaciones y registros de forma continua durante el contrato, para nuestro propio QA? | Una API o una exportación programada en un formato documentado, sin coste adicional, hacia la herramienta que usted elija | Exportación solo al terminar el contrato, o solo hacia la analítica del propio proveedor |
| B4 | ¿Cuánto tiempo conservan las transcripciones y los registros, y podemos fijar el plazo? | Un plazo de conservación por defecto y otro configurable, por tipo de dato | Ningún plazo indicado, o borrados que usted no controla |
| B5 | ¿Puede un revisor independiente ver las mismas evidencias que usan sus dashboards? | La misma conversación, los mismos pasos y los mismos campos de resultado, exportables | Una puntuación o una etiqueta sin acceso a la conversación que hay detrás |
La pregunta B3 es la que más plantillas omiten y la que más importa si quiere evaluar las conversaciones del agente de IA con su propio scorecard, como describimos en nuestra guía de evaluación de agentes de IA.
Sección C: Pruebas y regresión (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| C1 | ¿Ejecutarán el agente sobre un conjunto de nuestras conversaciones históricas antes de firmar y compartirán todos los resultados? | Una prueba sobre varios cientos de sus conversaciones reales, con cada respuesta visible | Una demo solo con datos de ejemplo del proveedor |
| C2 | ¿Podemos crear y guardar nuestros propios casos de prueba, incluidas las respuestas y acciones esperadas? | Una biblioteca de pruebas que es suya y que puede exportar | Pruebas que solo puede crear el equipo del proveedor |
| C3 | ¿Podemos volver a ejecutar todo el conjunto de pruebas antes de cada cambio de prompts, conocimiento, políticas o modelo? | Ejecuciones de regresión con un clic o programadas, con una comparación con la ejecución anterior | Las pruebas se hacen una sola vez, en la implantación |
| C4 | ¿Podemos simular clientes difíciles: preguntas fuera de tema, clientes enfadados, intentos de conseguir un reembolso fuera de la política? | Conversaciones simuladas a partir de guiones o perfiles, con resultados que puede revisar | “El modelo se encarga de eso”, sin forma de comprobarlo |
| C5 | ¿Podemos bloquear una publicación cuando fallan las pruebas? | Un control de publicación con un umbral de aprobación que fija usted | Los cambios entran en producción en cuanto se guardan |
Nuestra guía de pruebas de agentes de IA explica cómo construir un conjunto de referencia a partir de conversaciones reales y qué debe comprobar un control de publicación.
Sección D: Controles de política y de aprobación (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| D1 | ¿Qué acciones puede ejecutar el agente solo, y podemos exigir aprobación por tipo de acción? | Una lista de acciones con un ajuste por acción: permitida, requiere aprobación, bloqueada | Todas las acciones activadas o todas desactivadas |
| D2 | ¿Cómo se aplican los límites, por ejemplo un tope de reembolso? | Límites que el sistema comprueba antes de ejecutar la acción, no solo indicados en el prompt | Límites escritos solo como instrucciones al modelo |
| D3 | ¿Quién puede cambiar prompts, políticas y conocimiento, y se aprueba y versiona cada cambio? | Roles, un paso de aprobación, historial de versiones y vuelta atrás | Cualquier administrador edita en producción, sin historial |
| D4 | ¿Podemos limitar el agente a determinados temas, clientes o canales? | Delimitación por intención, segmento y canal | Un único interruptor global |
| D5 | ¿Podemos parar el agente rápidamente, para un tema o por completo, y enviar las conversaciones a personas? | Un control de parada documentado por tema y global, con una ruta alternativa | Para pararlo hay que abrir un ticket al proveedor |
Sección E: Traspaso y derivación (4 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| E1 | ¿Qué desencadenantes envían una conversación a una persona, y podemos cambiarlos? | Desencadenantes configurables: petición de hablar con una persona, frustración, temas de riesgo, fallos repetidos | Un conjunto fijo que usted no puede ver |
| E2 | ¿Puede un cliente llegar siempre a una persona, y en cuánto tiempo? | Una ruta y un tiempo indicados por canal | El agente retiene al cliente cuando pide una persona |
| E3 | ¿Qué recibe el agente humano en el traspaso? | La transcripción completa, las acciones ejecutadas y el motivo del traspaso | Un resumen de una línea |
| E4 | ¿Cómo informan de los traspasos que llegaron demasiado tarde? | Un informe de las conversaciones con varios intentos fallidos antes del traspaso | El traspaso solo se cuenta como un fallo de la IA |
Un agente que retiene a un cliente que ha pedido una persona convierte una mala respuesta en una reclamación. Vea nuestro scorecard para la derivación del chatbot a un agente humano para saber qué evaluar.
Sección F: Gestión de cambios e incidentes (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| F1 | ¿Nos avisarán antes de cambiar el modelo subyacente o su versión, y con cuánta antelación? | Aviso por escrito con un número fijo de días de antelación, con notas de la versión | “Mejoramos el modelo de forma continua” |
| F2 | ¿Podemos probar un cambio de modelo con nuestro conjunto de pruebas antes de que llegue a nuestros clientes? | Un entorno de vista previa o de preproducción para el nuevo modelo | Los cambios llegan primero a producción |
| F3 | ¿Podemos quedarnos con el modelo anterior durante un tiempo si nuestras pruebas fallan? | Una opción de vuelta atrás o de fijar la versión durante un periodo indicado | Ninguna opción de aplazar |
| F4 | ¿Cuál es su proceso de incidentes para respuestas dañinas o erróneas a escala? | Niveles de gravedad, plazos de aviso, un contacto con nombre y un informe escrito después de cada incidente | Solo un SLA de disponibilidad |
| F5 | ¿Cómo detectan una deriva de calidad cuando nada ha cambiado en nuestra configuración? | Monitorización de la calidad de las respuestas, con alertas que usted puede configurar | La deriva la descubren sus clientes |
La deriva sin cambio de configuración es una preocupación real de los compradores: en un hilo de la comunidad de Intercom (noviembre de 2025), un cliente contó que Fin empezó a dar respuestas erróneas aunque “todo el contenido seguía igual” (comunidad de Intercom, en inglés). F1 y F5 existen para ese momento; nuestra guía de monitorización de agentes de IA cubre las alertas que conviene configurar.
Sección G: Datos, privacidad y regulación (5 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| G1 | ¿Dónde se almacenan y se tratan nuestros datos, también por parte del proveedor del modelo? | Regiones con nombre, y la posibilidad de elegir región cuando la necesite | “En la nube” |
| G2 | ¿Quiénes son sus subencargados del tratamiento, incluidos los proveedores de modelos, y cómo nos avisan de los cambios? | Una lista publicada y un aviso previo con derecho de oposición | Una lista disponible “bajo petición”, sin aviso |
| G3 | ¿Usan ustedes o sus proveedores de modelos nuestras conversaciones para entrenar o mejorar modelos? | Un no claro y por escrito, o una opción de aceptación expresa, en el contrato | Una opción de exclusión escondida en las condiciones |
| G4 | Según el Reglamento de IA de la UE, ¿qué papel asumen y cómo nos apoyan como responsables del despliegue? | Un papel declarado, el aviso de que el cliente habla con una IA, documentación y registros que usted puede conservar | “El Reglamento de IA no nos afecta” |
| G5 | ¿Podemos auditarles o recibir informes de auditoría independientes? | Informes vigentes bajo NDA y una cláusula de auditoría | Ningún informe, o informes de otro producto |
Algunas de estas preguntas se basan en la ley. Según el RGPD, un encargado del tratamiento no puede recurrir a otro encargado sin su autorización por escrito y, con una autorización general, debe informarle de los cambios previstos para que usted pueda oponerse; también debe permitir auditorías (artículo 28 del RGPD). Cuando el proveedor del modelo es un subencargado del proveedor, un cambio de proveedor de modelo debería llegarle por ese aviso. Una nueva versión del modelo del mismo proveedor normalmente no, y por eso F1 la pregunta por separado.
El Reglamento de IA de la UE exige a los proveedores que garanticen que las personas saben que interactúan con un sistema de IA, a partir del 2 de agosto de 2026 (preguntas frecuentes de la Comisión Europea sobre el artículo 50, en inglés). Las obligaciones de alfabetización en materia de IA para proveedores y responsables del despliegue se aplican desde el 2 de febrero de 2025 (Comisión Europea, en inglés). Si un uso se considera de alto riesgo, los responsables del despliegue también deben vigilar el sistema y conservar sus registros durante al menos seis meses (Reglamento (UE) 2024/1689, artículo 26). La mayoría de los agentes de soporte no son de alto riesgo, pero eso lo decide su equipo legal, no el proveedor. Nuestro artículo sobre el Reglamento de IA en la atención al cliente explica las categorías de riesgo.
Sección H: Condiciones comerciales y reclamaciones (4 preguntas)
| # | Pregunta | Cómo es una buena respuesta | Señal de alerta |
|---|---|---|---|
| H1 | ¿Qué pagamos por una conversación que no se resuelve, que se deriva o que se abandona? | Una tabla de precios por tipo de resultado | Cargos por resultados que no están en la tabla |
| H2 | ¿Cómo reclamamos una resolución facturada, y en qué plazo? | Un proceso de reclamación con un plazo, las evidencias aceptadas (por ejemplo, su auditoría) y un calendario | Reclamaciones “gestionadas caso por caso” |
| H3 | ¿Abonan las resoluciones que nuestra auditoría demuestra que eran erróneas? | Abonos, o un ajuste de precio, cuando la tasa de fallos auditada supera un umbral acordado | Facturación basada solo en el recuento del propio proveedor |
| H4 | ¿Qué ocurre con el precio y los compromisos de volumen cuando la calidad de las resoluciones cae por debajo de un nivel acordado? | Una compensación: abonos, derecho a pausar o derecho a salir | Compromisos mínimos sin ninguna condición de calidad |
Unas condiciones contractuales que le permitan reclamar y obtener abonos por las resoluciones hacen que la auditoría del ejemplo práctico se pague sola.
¿Cómo se puntúan las respuestas al RFP de un agente de IA?
Puntúe las respuestas al RFP de un agente de IA en dos pasadas. Primero, aplique los requisitos eliminatorios: un proveedor que falla uno queda fuera, sea cual sea su puntuación en funcionalidades. Después, puntúe cada respuesta restante de 0 a 3 según definiciones escritas, pondere las secciones y desempate los totales ajustados con la demo guionizada, no con una hoja de cálculo más larga.
Use la misma escala de 0 a 3 que en nuestro RFP de software de calidad: 0 si no hay respuesta, 1 si hay limitaciones importantes o “está en el roadmap”, 2 si cumple el requisito con evidencia parcial, 3 si lo cumple con evidencia mostrada. Un “sí” sin evidencia se puntúa con 0.
| Requisito eliminatorio | Preguntas | Por qué es eliminatorio |
|---|---|---|
| Una definición escrita de la resolución facturada | A1, A2 | Sin ella no puede comprobar una factura |
| Transcripciones completas y registros de acciones por conversación | B1, B2 | Sin evidencias no hay QA ni revisión de incidentes |
| Exportación continua para su propio QA | B3 | Sus cifras de calidad dependerían solo de las del proveedor |
| Un control de parada y una vía hacia una persona siempre disponible | D5, E2 | Daño al cliente mientras espera la respuesta a un ticket |
| Condiciones de datos por escrito: residencia, subencargados, entrenamiento | G1 a G3 | Legal bloqueará el contrato más adelante de todos modos |
Una ponderación de partida para los equipos que ya tienen la lista corta de funcionalidades; acuérdela con soporte, IT, legal y compras antes de que lleguen las respuestas, y no la cambie después.
| Sección | Peso |
|---|---|
| A. Definición de la resolución y facturación | 15 |
| B. Transcripciones, registros y exportación | 15 |
| C. Pruebas y regresión | 20 |
| D. Controles de política y de aprobación | 15 |
| E. Traspaso y derivación | 10 |
| F. Gestión de cambios e incidentes | 15 |
| G. Datos, privacidad y regulación | 5 (después del requisito eliminatorio) |
| H. Condiciones comerciales y reclamaciones | 5 |
| Total | 100 |
La puntuación ponderada es la suma del peso de cada sección por su puntuación media, dividida entre 3, de modo que un proveedor que saca 3 en todo obtiene 100. Haga que dos personas puntúen por separado y comente cada pregunta en la que difieran en más de un punto. Nuestros controles de gobernanza de agentes de IA le ayudan a decidir cuáles de las secciones D y F necesita más su organización.
¿Qué debe incluir una demo guionizada de un agente de IA?
Una demo guionizada de un agente de IA debe mostrar a cada finalista procesando sus propias conversaciones con las mismas tareas, en el mismo orden y en el mismo tiempo. Envíe el guion con una semana de antelación, pida que carguen su conjunto de pruebas y puntúe cada tarea en la escala de 0 a 3. Está probando los controles del producto, no al presentador.
Prevea 90 minutos por proveedor. Lleve de 30 a 50 conversaciones reales de su cola, sin datos personales, incluidas algunas que su equipo gestionó mal.
| Paso | Tarea para el proveedor | Qué comprueba | Preguntas relacionadas |
|---|---|---|---|
| 1 (10 min) | Responder en directo 10 de sus conversaciones, elegidas por usted el mismo día | Respuesta correcta, tono adecuado, fuentes visibles | C1 |
| 2 (10 min) | Abrir una resolución facturada y mostrar por qué contó | El desencadenante, el plazo y la verificación de esa conversación | A1, A2, A4 |
| 3 (10 min) | Mostrar la transcripción completa y el registro de acciones de una conversación en la que se emitió un reembolso o se modificó un pedido | Cada llamada a herramientas, sus parámetros y su resultado | B1, B2 |
| 4 (10 min) | Exportar las conversaciones de la semana pasada en el formato que usted recibiría | Campos, formato, exhaustividad | B3 |
| 5 (15 min) | Cambiar una política (por ejemplo, bajar el tope de reembolso), volver a ejecutar el conjunto de pruebas y comparar los resultados | Versionado, aprobación, informe de regresión, control de publicación | C3, C5, D2, D3 |
| 6 (10 min) | Ejecutar tres escenarios hostiles: una petición fuera de tema, un reembolso fuera de la política, un cliente que pide una persona | Negativas, límites respetados, traspaso con contexto | C4, E1, E3 |
| 7 (10 min) | Parar el agente para un tema y mostrar adónde van las conversaciones | Tiempo hasta la parada, la ruta alternativa | D5, E2 |
| 8 (15 min) | Recorrer el último cambio de modelo: el aviso, el periodo de prueba, la opción de volver atrás | Notas de la versión, preproducción, fijación de versión | F1 a F3 |
Después de la demo, haga tres preguntas a dos referencias con un volumen y una combinación de canales parecidos: qué salió mal en los tres primeros meses, cómo lo gestionó el proveedor y cómo se anunció un cambio de modelo. Su respuesta a la última le dirá si F1 es una política o una promesa.
¿Cómo encaja esto con el QA una vez que el agente está en producción?
Las respuestas al RFP se convierten en su modelo operativo cuando el agente está en producción: la exportación de B3 alimenta sus revisiones de calidad, el conjunto de pruebas de C2 se convierte en su batería de regresión y el proceso de reclamación de H2 funciona con los resultados de su auditoría. Un proveedor que puntúa bien en B, C y H abarata el QA independiente.
En la práctica, muchos equipos evalúan una muestra o todas las conversaciones del agente de IA con el mismo scorecard que usan para los agentes humanos, añaden comprobaciones de datos inventados y de política, y presentan una tasa de resolución corregida junto a la del proveedor. Si quiere automatizar esa evaluación, Kaizo evalúa el 100% de las conversaciones de agentes de IA según su propio scorecard, dentro del helpdesk donde ya están, y vincula cada puntuación con la evidencia en la conversación. Vea QA para agentes de IA para saber cómo funciona.
¿Cuándo este RFP es más de lo que necesita?
Este banco de preguntas es más de lo que necesita cuando el agente de IA solo va a responder un conjunto reducido de preguntas informativas, no ejecuta acciones en sus sistemas y gestiona unos cientos de conversaciones al mes. En ese caso, bastan los requisitos eliminatorios y las secciones A, B y E. Añada el resto cuando el agente empiece a emitir reembolsos, modificar pedidos o tratar temas regulados.
Tampoco es la herramienta adecuada para un primer vistazo al mercado: haga antes una solicitud de información (RFI) breve o algunas llamadas de descubrimiento, y después envíe este RFP a entre tres y cinco finalistas.
Cómo empezar el RFP de su agente de IA esta semana
Reúna de 30 a 50 conversaciones reales para la demo y la prueba previa a la firma, escriba sus requisitos eliminatorios, copie las 38 preguntas junto a sus preguntas de funcionalidades, fije los pesos en una reunión y envíe el RFP con un plazo de dos semanas.
- Elija las 30 a 50 conversaciones, incluidos sus cinco casos más difíciles.
- Escriba sus requisitos eliminatorios a partir de la tabla de arriba y quite los que no necesite.
- Pregunte a legal qué preguntas de la sección G sobre el Reglamento de IA y el RGPD quiere ver respondidas por escrito.
- Pida a finanzas que modele su factura mensual con la definición de resolución de cada proveedor, usando el volumen del mes pasado.
- Reserve las demos guionizadas para la semana siguiente a la llegada de las respuestas.
Si quiere ver cómo funcionaría evaluar cada conversación del agente de IA con su propio scorecard junto a la plataforma que elija, reserve una demo y traiga su lista corta.
Preguntas frecuentes
¿Qué es el RFP de un agente de IA?
El RFP de un agente de IA es una solicitud de propuesta que se envía a los proveedores de agentes de IA para atención al cliente, de modo que sus respuestas se puedan comparar sobre las mismas preguntas. Describe su volumen, sus canales y sus sistemas, enumera sus requisitos y criterios eliminatorios, y pide a cada proveedor que responda con evidencias. Uno completo cubre las funcionalidades y las condiciones de calidad, gobernanza, datos y facturación que deciden si el agente puede funcionar a escala.
¿A cuántos proveedores hay que enviar el RFP de un agente de IA?
Entre tres y cinco proveedores suele ser suficiente. Menos da poco que comparar, y más genera un trabajo de puntuación y de demos que rara vez cambia el resultado. Reduzca antes la lista con llamadas de descubrimiento y descarte a cualquier proveedor que falle un requisito eliminatorio en esa llamada, por ejemplo uno que no pueda exportar las conversaciones durante el contrato.
¿Conviene pagar por resolución o por conversación?
Pagar por resolución alinea el precio del proveedor con los resultados, pero solo si “resuelto” está definido por escrito, se comprueba y se puede reclamar. Pagar por conversación es más fácil de prever y de auditar. Elija la unidad que elija, modele el volumen del mes pasado con la definición de cada proveedor y pida abonos cuando su auditoría encuentre resoluciones facturadas que eran erróneas.
¿Cuánto tiempo debe durar un piloto de agente de IA antes de firmar?
Un piloto debe durar lo suficiente para ver los recontactos y algunos cambios de política, lo que suele significar de cuatro a ocho semanas sobre un conjunto definido de temas. Acuerde los criterios de éxito, el método de auditoría y las condiciones de salida antes de empezar, y ejecute su conjunto de pruebas antes y después de cualquier cambio que haga el proveedor durante el piloto.
¿Quién debe participar en la evaluación de un proveedor de agentes de IA?
Operaciones de soporte es dueña de los requisitos y de la demo. QA se encarga del conjunto de pruebas y de la evaluación de las conversaciones, IT de las integraciones y las acciones, legal y privacidad de la sección G y del contrato, y finanzas del modelo de facturación. Nombre a un único responsable de la decisión antes de enviar el RFP para que los pesos queden fijados de antemano.
