更好的搜索将这个人工智能代理的准确率从 36% 提升到了 98% - Aamir Shakir, Mixedbread

하이라이트

• Mixedbread 研发的一款全新检索技术将 AI 智能体的回答准确率从传统的 36% 提升到了 98%。

• 传统 RAG 技术栈由于解析、分块和单点嵌入等多个有损环节，在数据规模扩大时导致检索质量显著下降。

• 系统支持摄取 PDF、电子表格、图像、视频、音频等 100 多种语言的数据，并实现零数据保留与 BYOB 存储桶模式。

• 潜交互模型为文档和查询生成多个嵌入向量，能够精准捕获页面上的细粒度信息并支持边界框引用。

• 智能体搜索功能支持多跳推理和多次查询，其性能与同类系统相当，而速度和性价比提升了 40 倍。

• 优质的上下文检索减少了 3 倍大语言模型开销，有效避免了 Token 成本随文档增加而失控。

타임라인

1. 00:00:00 - 01:30:00

   Mixedbread 的多模态检索技术与安全合规体系

   演讲开篇介绍了 Mixedbread 的背景与核心产品能力。该系统旨在解决数据摄取、OCR 管理等繁琐流程，让用户能够直接将各种类型的数据输入系统。过去三个月内，已有各大银行和对冲基金携数十亿份文档上线运行，主要得益于其严格的安全合规标准以及零数据保留的隐私设计。

   • Mixedbread 经过两年半的研究，打造了支持 100 多种语言的多模态、多语言搜索产品。
   • 系统支持摄取 PDF、电子表格、图像、视频和音频，并由自主构建的专门针对搜索优化的模型提供支持。
   • 平台提供零数据保留以及符合 SOC 2 和 ISO 标准的安全保障，并支持自带存储桶（BYOB）模式。
2. 01:30:00 - 08:50:00

   传统 RAG 与向量数据库架构的核心瓶颈

   通过一个英特尔发布 GPU 内存设计的实际金融分析场景，展示了传统技术栈的局限性。由于解析和向量化过程极具损耗，系统无法有效处理复杂表格和海量文件。这迫使智能体进行激进的子查询，不仅迅速填满上下文窗口，还导致单次查询成本飙升至数十美元。

   • 传统本地终端和词法搜索在面对大量 PDF 和二进制文件时往往缺乏相关性，导致查询成本剧烈上升。
   • 传统的 RAG 管道经历了转写、OCR、分块、嵌入和向量检索等多个步骤，每个环节都存在严重的信息丢失。
   • 单一向量模型难以区分财务报告或 SEC 申报文件中高度相似的细粒度内容，导致规模化生产时的回答质量显著下降。
3. 08:50:00 - 15:27:00

   潜在交互模型与多模态检索的突破

   回顾了从 1994 年 BM25 到 2022 年首批优秀嵌入模型的发展历程，并引出了 Mixedbread 的核心创新。新模型允许为文档和查询同时保留多个嵌入，并结合视觉布局信息，使得智能体在面对复杂查询时能够准确提取营收、利润率等关键图表数据，并回溯引述信息来源。

   • 检索技术在经历了长达数27年的 BM25 时代和随后的线性嵌入模型改进后，迎来了基于潜在交互模型的阶跃式变化。
   • 新模型为文档和查询生成多个带有上下文的嵌入向量，精准捕获图表和财务数据等细粒度信息。
   • 系统能够基于视觉预测创建嵌入，摆脱了传统 OCR 丢失表格和图形信息的困境，并支持边界框引用。
4. 15:27:00 - 01:21:20

   智能体搜索性能提升与企业级案例

   列举了大型对冲基金的实际应用案例，证明了准确率大幅提升的关键在于优化数据访问而非模型自身的智能水平。同时，多模态检索减少了模型在查找和解析信息上的 Token 消耗，让 LLM 能够专注于核心内容的解释，最后介绍了平台提供的免费额度与快速启用 BYOB 的通道。

   • 某大型对冲基金在接入 Mixedbread 后，处理超过 10 亿份文档的智能体回答准确率从 36% 跃升至 98%。
   • 智能体搜索功能支持针对复杂定性问题的多跳推理和多次查询，其速度和性价比高出同类系统 40 倍。
   • 优质上下文的输入大幅减少了大语言模型的 Token 开销，使 LLM 开销降低了 3 倍。