桥水如何将1亿份文档转化为优势 — 萨姆·格林与亚伦·林斯基，桥水

하이라이트

• 桥水构建的数据平台 Vault 当前存储超过1亿份文档，每日有数千份新文档加入，并源自135个外部数据源。

• 智能体处理文本的速度约为每分钟30,000字，消耗速度比人类快约100倍。

• 传统向量数据库的后过滤速度快但召回率低，预过滤召回率高但速度慢，而 Vault 采用的 Turbo Puffer 原生过滤兼具两者的优势。

• Vault 中的投资者工作台让智能体从被动响应工具转变为主动参与者，始终在线追踪核心领域并推送内容。

타임라인

1. 00:00:00 - 07:00:05

   Vault 平台的构建背景与核心经验

   在过去 50 年中，桥水将对全球市场的理解转化为系统编码，并致力于将人工智能置于核心。随着语言模型的出现，新闻、研究报告、会议记录等非结构化数据变得极为重要，但市场中没有现成平台能提供所需控制权，因此桥水构建了 Vault。Vault 对所有数据进行对齐、丰富化处理，标注了国家、概念、市场和时间段。通过对比公开网络搜索与连接 Vault 的智能体表现，Vault 能够提供更精准、更具时效性的庞大语料库支撑。

   • Vault 是桥水构建的数据平台，旨在将非结构化数据转化为投资流程中的一流资产。
   • 构建 Vault 的三个核心经验包括：满足人类与智能体对数据平台的不同需求、单工具同时满足两者的最大影响力、以及让智能体成为投资流程的主动参与者。
   • Vault 当前存储超过1亿份文档，并从 135 个外部数据源持续增长。
   • 连接 Vault 的智能体能够锁定特定时间段并参考更多相关来源，从而给出更准确的投资问题回答。
2. 07:00:05 - 14:05:00

   产品工程经验与性能优化

   为人类和智能体设计数据平台面临诸多挑战，涵盖召回率、精度、过滤、权限和规模五个维度。人类的阅读速度较慢，而智能体处理字数极快，对系统规模提出了极高要求。在过滤方面，传统后过滤速度快但召回率低，预过滤相反，而 Turbo Puffer 仅在最近邻聚类中查找，兼顾了速度与召回率。此外，为了让研究员真正使用工具，Vault 模拟了他们熟悉的电子邮件订阅和文件夹管理习惯，并将其扩展至聊天、手机应用和 Slack 等多端。

   • 人类需要高精度和高信噪比，而智能体对精度的敏感度较低，扩展速度快约 100 倍。
   • Vault 通过基准测试发现早期搜索的 Top 10 精度仅为 60%，随后通过优化将召回率提升至 90% 到 95% 之间。
   • Vault 采用 Turbo Puffer 的原生过滤方法，解决了高级过滤在速度与召回率之间的折中难题。
   • Vault 成功将研究员的旧习惯迁移到新形式中，将订阅列表变为保存的搜索，文件夹变为保存的集合。
3. 14:05:00 - 00:16:36

   智能体作为主动参与者与最新功能

   Vault 的终极目标不仅是作为被动查询工具，而是让智能体成为主动参与者。通过投资者工作台，智能体将相关信息打包成卡片推送给高价值专业人员，提供摘要和底层证据。当投资者与智能体深入挖掘并产生新的洞察时，这些学习成果会被自动记录并存回语料库，从而加速研究循环并形成强大的数据复利效应。

   • 投资者工作台让智能体保持始终在线，追踪核心内容并主动向投资者推送需要关注的领域。
   • 投资者可以通过卡片快速浏览智能体生成的摘要及其依据的确切证据，并决定是否深入探讨。
   • Vault 能够自动记录投资者与智能体协作产生的新学习成果，并将其回传至数据库中供下一轮使用。
   • 数据库通过不断吸取新经验并放回语料库，最终实现了持续的复利效应。