为什么 Datasite 停止自研解析 - Adit Abraham, Reducto & Raj Bakhru, Datasite

Highlights

• Datasite处理了全球大约60%金额超过1亿美元的交易。

• Datasite拥有超过50万的月活跃用户。

• Datasite收购了Blue Flame，并将其拥有的约2000万家私营公司数据库引入其中。

• Datasite的工程团队大约有250人。

• Datasite的年营业收入大致在10亿美元的量级。

Timeline

1. 00:00 - 03:36

   Datasite的规模与背景

   主讲人拉杰·巴卡鲁介绍了自己的职业背景以及Datasite在金融交易领域的垄断地位。该平台处理海量的非结构化数据，服务于全球各大银行、私募股权公司及尽调提供商。为了满足用户对人工智能功能的需求，Datasite收购了Blue Flame并开始全面引入外部解析工具。

   • Datasite承担了全球60%以上超1亿美元规模的交易。
   • Datasite拥有超过50万的月活跃用户。
   • Datasite收购了垂直人工智能初创公司Blue Flame。
2. 03:36 - 07:18

   放弃自研与选择Reducto的原因

   解析金融电子表格和图表涉及大量复杂的边缘情况，例如合并单元格、宏文件以及图例颜色对应错误等。投入有限的优秀工程师去重复造轮子维护这些底层解析功能毫无意义。借助Reducto的成熟能力，团队得以将精力转移到构建图检索增强生成平台和客户关心的智能体上。

   • 文档解析领域充满了各种极端的边缘情况。
   • 自研解析管道会导致工程团队消耗大量精力处理支持工单。
   • 选择Reducto能够确保解析的高质量、高速度与高召回率。
3. 07:18 - 13:00

   Blue Flame的创立与被收购历程

   第二次创业团队通过自筹资金起步，并招募了彼此信任的行业人才。在原本计划完成VC融资时，Datasite提出了收购意向。由于前沿模型竞争激烈且需要海量资金支持，加入Datasite让团队获得了虚拟数据室和私营公司数据库等极具差异化的专有数据集。

   • Blue Flame在完成风险投资条款清单签署前夕接受了Datasite的收购。
   • Datasite拥有包含2000万家私营公司的Grata数据库。
   • 虚拟数据室的数据从未向外界公开过。
4. 13:00 - 16:00

   工程资源分配与自研与采购的权衡

   在AI编程时代，顶尖工程师能够获得巨大的效率提升。为了支撑公司的大规模增长，250名工程师需要分散到五个核心创收项目中，而不是浪费在处理底层解析和支持工单上。将供应商能够解决的基础工作外包，能够最大化核心人才的产出价值。

   • Datasite拥有约250名工程师的团队。
   • 公司的核心目标是每年实现20%的增长并创造2亿美元的新增营收。
   • 将底层架构外包是优化团队时间分配的理想方案。
5. 16:00 - 19:42

   系统集成与自定义评估方法

   在面对大宗数据上传时，系统通过数据导入流水线将内容传递给Reducto进行处理。为了确保输出质量，团队建立了一个包含数百个文件与标准答案的VDR Bench进行基准测试。绝大部分问答的准确性取决于前端的提取端质量，只要这一步做好，其他问题便能迎刃而解。

   • Datasite将Reducto部署在自身环境中处理数十亿页的内容。
   • 系统使用TurboPuffer作为向量数据库并构建图检索增强生成平台。
   • 团队开发了名为VDR Bench的自定义评估标准来测试解析和问答效果。