Notre plus petit modèle a battu Opus sur les tâches financières - Alexander Shevchenko, Ramp

Highlights

• Au cours de la dernière année, le nombre de cas d'usage utilisant des LLM chez Ramp a augmenté de 123 pour cent.

• Le modèle QAN 3.5 post-entraîné en partenariat avec Prime Intellect a dépassé les performances d'Opus 4.6 en précision exacte sur les tâches financières tout en offrant des latences de niveau Haiku.

• L'utilisation de 10 000 agents parallèles pour tester la sécurité de l'infrastructure a permis d'identifier et de corriger sept vulnérabilités de sévérité maximale.

• Les modèles ouverts utilisés dans les essaims d'agents coûtent jusqu'à cinq fois moins cher que les modèles de pointe tout en conservant un taux de détection presque équivalent.

• Les cartouches de cache KV permettent de compresser jusqu'à 30 fois plus de contexte dans le cache hors ligne pour préparer le travail des agents pendant la nuit.

Timeline

1. 00:12 - 03:06

   Contexte de la recherche appliquée et leçon amère

   L'entreprise Ramp intègre l'intelligence artificielle pour améliorer ses produits destinés aux professionnels de la finance. Malgré les progrès constants des modèles de pointe fournis par l'industrie, le maintien d'une fonction de recherche appliquée en interne permet de concevoir des expériences adaptées aux besoins spécifiques du secteur financier dès leur apparition, sans attendre passivement les versions futures.

   • Ramp applique les principes de la leçon amère à travers une équipe de recherche dédiée.
   • La consommation de jetons augmente tandis que les coûts unitaires baissent grâce à l'apparition constante de nouveaux modèles.
   • Construire des agents en 2023 demandait des garde-fous stricts et un contrôle minutieux du contexte en raison des limites des modèles de l'époque.
   • Les modèles de 2026 intègrent des protocoles et un accès au contexte beaucoup plus performants.
2. 03:06 - 07:50

   Création d'un modèle spécialisé et astuces de cache KV

   Face aux limites des modèles généralistes lors de l'analyse de nombreux tableurs pour des modèles financiers complexes, Ramp a développé un modèle de questions-réponses financières spécialisé. Ce modèle surpasse les références de pointe en précision tout en réduisant la latence. En parallèle, l'utilisation de cartouches de cache KV permet de préparer le contexte des agents pendant la nuit pour les tâches récurrentes comme la clôture mensuelle.

   • Ramp Sheets a été lancé en novembre en tant qu'agent de gestion de tableur généraliste.
   • Le partenariat avec Prime Intellect a permis de post-entraîner le modèle QAN 3.5 de 35 milliards de paramètres.
   • Les cartouches de cache KV compressent jusqu'à 30 fois plus de contexte hors ligne pour anticiper les charges de travail.
3. 07:50 - 14:07

   MapReduce agentique et tests de sécurité par essaims

   L'application du MapReduce et des essaims d'agents permet d'automatiser des tâches d'envergure comme les tests de pénétration et l'analyse de code de manière autonome. Ces méthodes réduisent la mobilisation des équipes humaines tout en exploitant des modèles ouverts économiques. Les innovations issues de ces recherches alimentent également de nouveaux produits commerciaux pour la gestion et le routage des flux d'intelligence artificielle.

   • L'utilisation de 10 000 agents parallèles a permis d'analyser la sécurité globale de l'infrastructure.
   • Cette approche automatisée a permis de découvrir et de corriger sept vulnérabilités critiques.
   • Les modèles ouverts réduisent les coûts des essaims d'agents jusqu'à cinq pour cent sans perte significative d'efficacité.
   • Ramp propose de nouveaux outils de gestion des dépenses en jetons et de routage intelligent.