No apruebes el modelo de IA. Aprueba la aplicación - Doneyli De Jesus, Langfuse

Highlights

• Las industrias reguladas como la banca priorizan los datos internos y los casos de uso específicos por encima de las pruebas de rendimiento públicas de los modelos de inteligencia artificial.

• El despliegue de soluciones de inteligencia artificial en el sector financiero exige infraestructura local, aislamiento de red y cero exposición de datos a internet.

• Un modelo de lenguaje inicial obtuvo 97 por ciento en fundamentación de fuentes internas pero fallaba en cálculos numéricos debido a limitaciones matemáticas.

• La integración de herramientas de código determinista elevó la precisión numérica del agente desde un 60 por ciento hasta un 95 por ciento.

• El proceso integral de evaluación automatizada reduce el tiempo de revisión de riesgos y cumplimiento normativo desde meses o semanas hasta minutos.

Timeline

1. 00:00 - 06:03

   Contexto y requisitos en la industria financiera

   Las instituciones financieras manejan información altamente sensible que consideran parte de su ventaja competitiva. Por esta razón, descartan el uso de modelos expuestos públicamente y despliegan infraestructura local con GPU. La prioridad radica en garantizar que herramientas complejas, como los analistas de conferencias de resultados, cumplan con estrictos estándares de calidad antes de su uso.

   • Las pruebas de rendimiento públicas no reflejan el comportamiento con datos internos.
   • Los bancos exigen despliegues locales, aislamiento de red y control total de la infraestructura.
   • El objetivo principal consiste en certificar aplicaciones prácticas como analistas de informes financieros.
2. 06:03 - 13:15

   Arquitectura de pruebas y solución de fallos numéricos

   La metodología operativa comienza con la creación de un conjunto de datos dorados que funciona como caso de prueba automatizado. Durante las ejecuciones iniciales, los modelos alcanzan una alta fundamentación pero fallan en cifras financieras. Para solucionar este inconveniente, se dota al agente de un entorno de ejecución externo en Python que resuelve los cálculos de forma determinista.

   • El diseño de evaluaciones requiere un conjunto de datos de referencia estructurado como ancla de calidad.
   • Los modelos de lenguaje presentan deficiencias intrínsecas al realizar operaciones matemáticas complejas.
   • La integración de una herramienta de cálculo determinista corrige las fallas numéricas del agente.
3. 13:15 - 18:00

   Dimensiones de evaluación y umbrales de producción

   El marco de control mide múltiples dimensiones de manera simultánea, donde una sola infracción de cumplimiento normativo impide la promoción del agente a producción. La incorporación de expertos humanos en colas de anotación permite revisar fallos específicos y reciclar datos para refinar el sistema. Esta metodología iterativa acelera drásticamente los ciclos de validación interna.

   • La evaluación combina métricas deterministas, análisis de rutas y jueces basados en modelos de lenguaje.
   • El cumplimiento normativo opera como un filtro binario capaz de bloquear el paso a producción.
   • Los expertos en la materia establecen los umbrales de aprobación para cada dimensión de riesgo.