Crear el agente de inteligencia artificial es fácil. Demostrar que es seguro, no - Jonathan Osborne, NatWest

Highlights

• NatWest atiende a 19 millones de clientes minoristas en el Reino Unido y su asistente digital Cora gestiona alrededor de 100,000 conversaciones al día.

• Un agente de inteligencia artificial basado en razonamiento presenta cuatro formas principales de fallo: respuestas confiadamente equivocadas, inyección de comandos, respuestas correctas pero inútiles y comportamiento no determinista.

• La validación humana en 111 conversaciones de pago mostró una tasa de acuerdo del 95% en aspectos objetivos como el sesgo, pero de solo el 64% en la comprensión subjetiva de la intención.

• El uso de un modelo de lenguaje como juez en 14,000 casos de reclamaciones mostró que los jueces tienden a ser demasiado generosos y su media puede diferir significativamente de la evaluación humana.

• La implementación en la sombra permite clasificar las expresiones reales de los clientes con casi cero riesgos antes de responder directamente en entornos bancarios regulados.

Timeline

1. 00:00 - 04:54

   Desafíos de los agentes de inteligencia artificial en la banca regulada

   La creación inicial de un agente de inteligencia artificial resulta sencilla debido a las herramientas de asistencia actuales, pero su despliegue en un entorno financiero regulado implica un gran radio de impacto. Con 19 millones de clientes, los errores generan consecuencias económicas reales, indagaciones de los reguladores y daños reputacionales. A diferencia de los sistemas guionizados con superficies de fallo acotadas, los agentes razonan y generan respuestas de forma no determinista, lo que invalida las pruebas de regresión tradicionales.

   • NatWest es el segundo banco minorista más grande del Reino Unido con 19 millones de clientes.
   • Cora atiende 100,000 conversaciones diarias que anteriormente dependían en su mayoría de respuestas guionizadas.
   • Los sistemas basados en agentes introducen cuatro formas de fallo: alucinaciones confiadas, inyección de comandos, respuestas inútiles y no determinismo.
2. 04:54 - 06:33

   Reducción de la superficie de ataque mediante un embudo de enrutamiento

   Para mitigar los riesgos antes de endurecer el modelo, el sistema implementa un embudo de enrutamiento que procesa cada consulta de manera estructurada. Primero aplica un filtro contextual para eliminar clics de botones y utiliza reglas de preclasificación deterministas sin machine learning. Las consultas restantes pasan por un clasificador de intenciones basado en una red neuronal sobre embeddings y reglas de política para garantizar la seguridad y trazabilidad exigidas por el regulador.

   • El embudo de enrutamiento filtra las consultas mediante filtros contextuales, reglas deterministas y clasificadores de intenciones.
   • El control de acceso, la auditabilidad, la resiliencia y la gobernanza motivan esta arquitectura en capas.
   • La configuración versionada permite reaccionar rápidamente a las condiciones del mercado sin una reimplantación completa.
3. 06:33 - 09:16

   Evaluación humana y validación de agentes

   Las métricas tradicionales como la precisión global del enrutador resultan insuficientes para medir el éxito real de un asistente bancario. La evaluación de las conversaciones requiere monitorizar de forma separada la seguridad, el cumplimiento de la tarea y la experiencia del usuario. Las pruebas humanas demuestran discrepancias importantes en tareas subjetivas como la comprensión de la intención, lo que complica el establecimiento de objetivos estándar para la automatización.

   • La evaluación se divide en tres categorías independientes: seguridad, tarea y experiencia.
   • Una validación humana en el agente de pagos arrojó un 83% de aprobación general, con variaciones significativas entre escenarios de éxito y cambios de tema.
   • La tasa de acuerdo entre validadores humanos alcanza el 95% en sesgo pero cae al 64% en la comprensión de la intención.
4. 09:16 - 14:04

   Automatización de la evaluación y modelos juez

   La automatización mediante modelos juez busca replicar la supervisión humana, aunque los modelos tienden a puntuar con excesiva generosidad y presentan baja correlación con los errores reales de los evaluadores humanos. Para solucionar esto, el equipo utiliza familias de modelos diferentes entre el agente y el juez con el fin de evitar puntos ciegos compartidos. Asimismo, las trazas se capturan en un entorno aislado sin salida a internet y se evalúan mediante procesos fuera de línea e integrados en la integración y despliegue continuo.

   • El uso de un modelo de lenguaje como juez en un agente de reclamaciones interno mostró una alta puntuación media pero baja correlación con el error humano.
   • El modelo juez se convierte en parte de la configuración y sus cambios pueden provocar alteraciones disruptivas en las evaluaciones.
   • La plataforma Comet centraliza el seguimiento mediante OpenTelemetry para inteligencia artificial generativa y monitoreo de rendimiento para machine learning tradicional.
5. 14:04 - 17:52

   Estrategias de despliegue y conclusiones

   El despliegue gradual en entornos regulados se apoya en despliegues en la sombra para observar el comportamiento de los modelos frente a consultas reales sin exponer a los clientes a fallos. Mediante indicadores de características y aprobaciones manuales o automáticas por marcas, el banco gestiona el riesgo de manera controlada. La infraestructura de observabilidad y evaluación se establece como un activo reutilizable para futuros proyectos de inteligencia artificial.

   • La implementación en la sombra permite recopilar datos de producción con casi cero riesgos antes de activar respuestas automatizadas.
   • El uso intensivo de indicadores de características facilita aislar backends y revertir cambios en segundos.
   • La infraestructura de evaluación continua se consolida como un componente fundamental de producción en lugar de una tarea puntual de lanzamiento.