Может ли ваш ИИ-аналитик хранить секрет? — Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
Прямая интеграция нативной фильтрации разрешений в поисковый движок TurboPuffer позволяет ИИ-аналитикам компании Bridgewater безопасно и быстро обрабатывать сотни миллионов конфиденциальных документов с учетом прав доступа за 120 миллисекунд.
하이라이트
Хранилище документов The Vault в компании Bridgewater индексирует около 100 миллионов документов из 135 различных внешних и внутренних источников.
Архитектура TurboPuffer на базе объектного хранилища S3, GCS или Azure Blob Storage снижает затраты на хранение терабайтов данных до десятой части стоимости традиционных дисковых систем.
Комбинация предварительной и последующей фильтрации в TurboPuffer позволяет выполнять векторный поиск на 450 миллионах векторов всего за 120 миллисекунд в 90-м перцентиле задержки.
타임라인
Проблема прав доступа в ИИ-аналитике
Взаимодействие пользователя с ИИ-аналитиком требует обращения к защищенным корпоративным источникам данных. В отличие от публичного интернета, где все документы открыты для каждого сотрудника, внутренние отчеты и письма требуют строгой проверки прав доступа перед выдачей результатов.
- ИИ-агент использует для ответов как общедоступный интернет, так и внутренние конфиденциальные документы организации.
- Каждый внутренний документ обладает индивидуальным набором прав доступа для разных групп пользователей.
Хранилище The Vault в компании Bridgewater
Компания Bridgewater собирает и систематизирует данные на протяжении пятидесяти лет, переходя от бумажных блокнотов к современным ИИ-системам. Для работы ИИ-агентов создана база данных The Vault, объединяющая сторонние исследования и внутренние отчеты с индивидуальными правилами доступа для сотрудников.
- Компания Bridgewater автоматизирует процесс макроэкономических исследований и торговли с помощью людей и машин в центре.
- Неструктурированная база данных The Vault содержит около 100 миллионов документов из 135 внешних и внутренних источников.
- Традиционные методы фильтрации данных со временем перестали справляться с ростом объема документов и сложной структурой разрешений.
Архитектура и производительность TurboPuffer
Поисковый движок TurboPuffer работает напрямую с S3, GCS или Azure Blob Storage, обеспечивая экономичное хранение терабайтов данных. Запросы обрабатываются за счет переноса горячих данных в оперативную память или на SSD, что сохраняет высокую скорость работы при минимальных затратах на холодное хранение.
- TurboPuffer хранит данные в облачном объектном хранилище и подтягивает их в кэш или память только в момент запроса.
- Наивный последовательный перебор 100 миллионов документов занимает около пяти секунд, что слишком медленно для поисковых систем.
Нативная фильтрация и масштабирование поиска
Раздельная предфильтрация или постфильтрация не обеспечивают высокую скорость и полноту поиска при проверке прав доступа. TurboPuffer решает эту проблему путем кластеризации векторов и отсечения недоступных кластеров на раннем этапе поиска, что позволяет эффективно обрабатывать запросы с учетом прав пользователей.
- Векторный индекс TurboPuffer автоматически кластеризует похожие концепты в пространстве эмбеддингов.
- Нативная фильтрация объединяет векторный поиск и проверку разрешений на уровне кластеров документов.
- Система обеспечивает задержку поиска в 120 миллисекунд на масштабе в 450 миллионов векторов.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!