我们的更小型模型在金融任务上击败了 Opus - 亚历山大·舍甫琴科 (Alexander Shevchenko)，Ramp

Highlights

• Ramp在过去一年里使用大语言模型的用例数量增长了123%。

• Ramp与Prime Intellect合作后训练了一个350亿参数的模型QAN 3.5，其财务问答准确率超过了当时的前沿模型Opus 4.6，同时具备Haiku级别的延迟。

• Ramp Labs曾成功启动10,000个并行智能体对整个公司进行渗透测试，并最终发现了七个最高严重级别的漏洞并全部进行了修补。

• 使用开源权重模型的成本比前沿推理模型便宜多达五倍，且在智能体群配置下的检测率没有显著降低。

Timeline

1. 00:00:12 - 03:05:00

   Ramp的应用研究背景与苦涩教训

   演讲者介绍了自己所在的Ramp应用人工智能团队。尽管前沿技术不断发展，Ramp依然坚持在应用层设立研究职能，以解决金融专业人士的实际需求。回顾2023年，构建智能体需要克服缺乏思考Token和模型盲目冲撞等诸多摩擦力。如今虽然模型能力大幅提升，但通过进一步的深入研究依然能够创造更卓越的用户体验。

   • Ramp是一家极度信奉苦涩教训的公司，大语言模型用例在过去一年内增长了123%。
   • 随着前沿模型不断发布，核心功能的Token消耗在单位经济效益上变得更便宜、更快、更好。
   • 相较于2023年早期构建智能体需要严格护栏和极窄上下文，2026年的模型能够利用MCP和广泛的上下文理解任务。
2. 03:05:00 - 10:09:00

   三大应用研究实例：专家模型、KV缓存与智能体群

   本节详细介绍了Ramp Labs将研究成果落地到生产环境的三种具体方法。首先是针对电子表格和财务问答任务训练专用的小型专家模型，将其与前沿协调器配合使用。其次是利用离线KV缓存预先加载海量财务数据，降低智能体在月末对账等固定任务中的运行负担。最后是利用万级智能体群进行对抗性漏洞挖掘，并证明了开源权重模型在降低五倍成本的同时能维持极高的检测率。

   • Ramp与Prime Intellect合作后训练了350亿参数的QAN 3.5模型，其财务问答准确率超越Opus 4.6且延迟极低。
   • 通过Cartridges等KV缓存技术，系统可以在夜间离线压缩大量上下文，在月末结账等场景中大幅提升智能体的执行效率。
   • Ramp Inspect曾同时启动10,000个并行智能体进行自动化渗透测试，成功发现并修补了七个最高严重级别的漏洞。
3. 10:09:00 - 14:07:00

   研究成果转化为实际产品与博客分享

   研究最终回馈到了Ramp的商业产品中，包括帮助企业精细化管理LLM开销的代币支出管理工具，以及优化推理速度和成本的Ramp Router。演讲最后总结了Ramp Labs在博客中公开的其他前沿探索，并提供了相关链接以供进一步交流与探讨。

   • Ramp推出了代币支出管理产品，能够深入解析公司内部大语言模型的使用情况、会计分类及税务减免。
   • Ramp Router利用NVIDIA Switchyard和Smart Flex等路由策略，有效改善了智能体的延迟并降低了每Token成本。
   • Ramp Labs博客分享了包括后训练知识转移、智能体MapReduce和自我完善监控在内的多项前沿研究成果。