你的 AI 分析师能保守秘密吗？ - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer

하이라이트

• 桥水的非结构化数据库The Vault包含约1亿份文档，整合了来自135个不同外部来源的数据以及内部著作和会议录音。

• TurboPuffer直接构建在对象存储之上，能够以十分之一的传统成本将搜索扩展到数TB的数据规模。

• 通过结合前过滤与后过滤的原生过滤策略，TurboPuffer在4.08亿个向量的数据规模下实现了120毫秒的P90搜索延迟。

타임라인

1. 00:00 - 02:07

   构建安全AI分析师的核心挑战与架构愿景

   用户向大语言模型提出诸如代币价格下跌原因等问题时，AI会展开调查并搜寻事实依据。虽然公开信息易于抓取，但企业内部的电子邮件、会议记录和报告各自属于不同的群组和权限分配。这种细粒度的权限隔离构成了构建企业级AI分析师的首要障碍。

   • AI分析师在调查问题时需要同时检索公开网络与组织内部的私密文档。
   • 公开网络文档对所有人可见，不存在权限问题，而内部私密文档则带有复杂且各不相同的权限控制。
   • 在信息检索中处理复杂的文档权限是一个经典大难题。
2. 02:07 - 06:24

   桥水的演进历程与非结构化数据库The Vault

   桥水的研究过程包含感知、假设、调查、系统化和产业化五个步骤。为了支撑这一体系，团队先后创建了 DeLorean 双时态宏观时间序列数据库以及包含1亿份文档的非结构化数据库The Vault。由于外部和内部数据源均带有严格的权限控制，原有的实现方案在面对海量数据时无法正常运行。

   • 桥水在过去50年中不断将经济理解系统化，并逐步从以人为中心的流程转向以机器为中心的研究圈。
   • 桥水的The Vault数据库包含约1亿份文档，汇聚了135个外部来源的研究以及内部报告与录音。
   • 随着vault中文档数量的急剧增加，传统的权限过滤实现方式迅速崩溃，促使团队引入TurboPuffer。
3. 06:24 - 09:43

   TurboPuffer的对象存储架构与朴素扫描的局限性

   TurboPuffer通过直接写入对象存储获得了极佳的经济效益，未被访问的数据保留在冷存储中，热数据则加载至高速缓存。然而，面对1亿份文档的庞大体量，采用简单的顺序扫描方法会导致查询速度过慢，因此必须采用更高级的数据表示和索引策略。

   • TurboPuffer完全构建在S3、GCS或Azure Blob等对象存储之上，具备极低的存储成本。
   • 数据默认处于冷状态，仅在查询时拉入高速缓存，使系统能够以极低成本扩展到数TB。
   • 如果对1亿份文档进行纯粹的顺序扫描，即使在现代硬件上也将耗费数秒，无法满足100毫秒左右的搜索延迟需求。
4. 09:43 - 17:50

   向量索引与权限过滤的冲突及原生过滤解决方案

   当引入用户权限后，最相关的文档往往不全在用户的访问范围内。后过滤会因丢弃不匹配向量而丢失结果，前过滤则在权限范围过大时丧失索引优势。TurboPuffer的解决方案是将向量聚类与权限索引进行深度结合，自动识别并排除无权访问的文档簇，从而在4.08亿个向量中达成120毫秒的P90搜索延迟。

   • 向量嵌入能够将概念转化为多维数字表示，使系统能够通过相似性搜索快速定位相关内容。
   • 传统的后过滤会导致召回率低下且耗时过长，而纯前过滤在用户权限覆盖面过大时会退化为顺序扫描。
   • TurboPuffer的原生过滤策略将向量聚类与权限索引相结合，直接抛弃无权限的聚类并仅在有权限的簇内部进行扫描。