Nuestro modelo más pequeño superó a Opus en tareas financieras - Alexander Shevchenko, Ramp

Highlights

• El uso de modelos de lenguaje en Ramp ha aumentado un 123% durante el último año.

• Un modelo postentrenado de 35 mil millones de parámetros superó al modelo de frontera Opus 4.6 en precisión exacta para tareas financieras.

• La técnica de caché KV con cartridges permite comprimir hasta 30 veces más contexto en el caché sin conexión.

• El despliegue de 10 000 agentes en paralelo permitió detectar y parchear siete vulnerabilidades de máxima gravedad en la infraestructura.

• Los modelos de pesos abiertos utilizados en enjambres cuestan cinco veces menos manteniendo una tasa de detección similar a la de los modelos de razonamiento de vanguardia.

Timeline

1. 00:00:12 - 03:05:00

   Contexto y evolución del desarrollo de agentes

   El trabajo en Ramp Labs se rige bajo la influencia de la lección amarga. Mientras que en 2023 crear un agente exigía barreras estrictas, control exhaustivo de mensajes y acotar el contexto para evitar confusiones, el panorama actual permite proporcionar acceso directo a protocolos y amplios contextos con mayor facilidad.

   • El uso de casos con modelos de lenguaje ha crecido un 123% en Ramp en el último año.
   • La economía unitaria del gasto de tokens se abarató gracias al lanzamiento constante de nuevos modelos.
   • La construcción de agentes en 2026 es significativamente más sencilla que en 2023 debido a la incorporación de protocolos MCP y mejor comprensión de intenciones.
2. 03:05:00 - 07:54:00

   Modelos especializados y compresión de caché KV

   Para mitigar la lentitud de los modelos de frontera en tareas de modelado financiero, se desarrolló un enfoque híbrido combinando un orquestador inteligente con un modelo especializado en Q&A. Asimismo, las técnicas de caché KV permiten agilizar las tareas recurrentes de los profesionales financieros al precargar grandes volúmenes de datos contables antes de iniciar la jornada.

   • Se entrenó un modelo Qwen de 35 mil millones de parámetros enfocado en la recuperación y resolución de preguntas financieras.
   • El modelo especializado superó a Opus 4.6 en precisión exacta con una latencia reducida al nivel de Haiku.
   • Los cartridges permiten comprimir el contexto de documentos contables durante la noche previa al cierre mensual.
3. 07:54:00 - 09:59:00

   MapReduce agéntico y productos derivados de la investigación

   El uso masivo de enjambres agénticos automatiza procesos complejos que requieren la unificación de múltiples componentes de extremo a extremo. Esta metodología reduce los costes operativos mediante el uso estratégico de modelos de pesos abiertos en paralelo en lugar de depender exclusivamente de modelos de razonamiento costosos.

   • Se desplegaron 10 000 agentes en paralelo para realizar pruebas de penetración en toda la infraestructura de Ramp.
   • El enjambre agéntico permitió descubrir y solucionar siete vulnerabilidades de máxima gravedad, incluyendo una inyección de script de Lua a través de correo electrónico.
   • Los modelos de pesos abiertos reducen los costes hasta cinco veces sin sacrificar de forma significativa la tasa de detección.
4. 09:59:00 - 014:07:00

   Herramientas de optimización y conclusiones

   Las soluciones desarrolladas en Ramp Labs se traducen en productos comerciales orientados al ahorro de tiempo y dinero para los clientes. Las herramientas de control de tokens y enrutamiento permiten una visibilidad detallada del gasto, mientras que las publicaciones técnicas fomentan la exploración continua de metodologías avanzadas de IA.

   • Ramp ofrece gestión de gasto en tokens para categorizar contablemente y analizar semánticamente el uso de inteligencia artificial en las empresas.
   • Ramp Router optimiza la latencia y el coste por token mediante estrategias de enrutamiento avanzadas.
   • El blog de Ramp Labs documenta investigaciones adicionales sobre transferencia de postentrenamiento, monitorización con Datadog y etiquetado semántico.