交易公司如何在同一天上线全新AI模型 - Noyan Tokgozoglu, Optiver
원제 · How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver
핵심 요약
高频交易公司通过构建本地化、模块化且支持多代理协作的AI平台,在确保极低延迟与严格数据安全的同时实现了端到端的高效运营。
하이라이트
简街资本每日开盘时将资产负债表清零并在收盘时核算盈亏,这种直接的反馈循环要求AI决策具备极高的行动偏好。
公司内部通过前置部署安排AI工程人员与交易员协同工作,直接从业务一线学习需求并将其带回平台中。
新会话中未加优化的默认上下文曾高达20万token以上,促使团队引入MCP工具搜索和CLI封装来进行代币成本控制。
团队在网页门户中构建了智能体工作台和智能体多人协作模式,将原先零散的命令行工具整合为统一会话管理界面。
타임라인
高频做市商业务中的AI应用背景
高频交易环境具有独特的经济学逻辑,交易越多且决策越迅速,创造的价值就越大。为了适应这种节奏,团队构建了从模型接入到用户界面的全栈平台。平台强调高韧性与模块化,允许在供应链出现故障时随时切换供应商,并通过前置部署让工程人员与交易员紧密合作。
- 简街资本作为做市商每天处理上千万笔交易和PB级数据,直接将资产负债表在开盘清零并在收盘时核算盈亏。
- 不同于传统科技公司数周或数月的反馈周期,交易场景下的决策改动能在几小时内直接体现对盈亏的影响。
- 公司所有操作采用本地部署或零数据保留协议,确保在高度监管和保护知识产权的前提下使用AI。
- AI平台底层涵盖第三方及开源模型、推理网关、智能体平台以及前端的智能体工作台与个人助手。
前沿模型评估与成本优化策略
为了在日新月异的模型生态中保持领先,团队建立了完善的评估与测试框架。面对由于自助服务带来的代币滥用和超大上下文问题,技术团队通过技术手段和管理透明度进行无情优化。通过提示词精简、知识库分离和智能路由,团队在保持高性能的同时有效压降了运营开销。
- 全新AI模型公开后可在当天接入内部黄金数据集进行基准测试,并评估其实际业务价值。
- 完全自助服务模式导致新会话默认上下文膨胀至20万token以上,引发了代币成本的激增。
- 通过引入MCP工具搜索、CLI封装以及优化缓存失效特性,系统实现了随着代币成本增加的规模化收益。
- 向各团队提供费用透明度与警报系统,并积极探索高性价比的开源模型和模型动态路由方案。
用户协同体验与系统扩展架构
当内部用户展现出极高主干能动性并自行开发工具时,平台直接提供了官方的高质量版本,并通过合并请求吸收来自交易员的代码贡献。在评估工具调用时,由于环境状态随时间变化,系统通过时间点快照和置信度追踪来应对挑战。面对扩展复杂业务的需求,合理的做法是限制单个代理的范围并依靠网关进行多代理协同。
- 针对交易员自行拼凑Tmux和网页界面的现状,官方网页门户直接整合了会话管理、聊天窗口与制品保存功能。
- 平台正在推进智能体多人协作模式,允许不同团队部署的智能体在统一房间内协同互动。
- 针对工具调用评估中遇到的世界状态快照难题,系统通过在MCP周围添加代理层并记录OTEL日志来提供置信度支持。
- 为避免单个代理臃肿带来的技术债,未来扩展采用代理网关和多代理协同编排的架构设计。
설명
At Optiver, a change rolled out to traders shows up in P&L within hours, so AI has to move fast and still be measurable. Noyan Tokgozoglu, head of AI Engineering, walks through Optiver's on-prem AI platform: an inference gateway for routing and budgets, same-day adoption of new frontier models benchmarked on internal golden sets, a model- and harness-agnostic "meta harness", and how they got AI spend back under control after the summer's big model releases. Chapters: 0:00 Intro 0:22 What a market maker does 1:00 Feedback in hours, not quarters 2:53 Platform principles 5:11 The AI platform stack 7:06 Shipping frontier models the same day 8:31 Staying model and harness agnostic 9:53 Getting AI spend under control 13:54 Meeting users where they are 16:11 Q&A Noyan Tokgozoglu https://optiver.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!
