Kann dein KI-Analyst ein Geheimnis bewahren? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
Die Kombination aus nativen Filtern und Vektorclustern ermöglicht eine sichere, feingranulare Dokumentensuche über hunderte Millionen Datensätze hinweg in unter 200 Millisekunden.
하이라이트
Bridgewater indexiert, organisiert und sichert im Rahmen seines internen Forschungstools namens The Vault etwa 100 Millionen Dokumente.
TurboPuffer speichert Daten standardmäßig kosteneffizient im Objektspeicher wie S3, GCS oder Azure Blob Storage und lädt sie bei Abfragen in den Cache.
Die naive Nachfilterung oder Vorfilterung von Vektoren führt bei Millionen von Dokumenten zu unzureichendem Recall oder untragbaren Suchzeiten von mehreren Sekunden.
Durch die Kombination von Vektorclustern und nativen Filtern erreicht TurboPuffer bei 450 Millionen Vektoren eine P90-Latenz von 120 Millisekunden.
타임라인
Das Berechtigungsproblem bei KI-Analysten
Die Architektur eines KI-Analysten erfordert die Einbindung privater Unternehmensdaten, die strengen Zugriffskontrollen unterliegen. Jedes interne Dokument weist einen spezifischen Satz von Berechtigungen auf, wodurch das Abrufen von Informationen zu einem klassischen und schwierigen Problem im Bereich des Information Retrieval wird.
- Benutzer stellen Fragen an LLM-gestützte KI-Agenten, die sowohl auf das öffentliche Web als auch auf private Unternehmensdokumente zugreifen.
- Öffentliche Webdokumente erfordern keine Berechtigungsprüfung, da alle Mitarbeiter darauf zugreifen dürfen.
- Interne Unternehmensdaten wie E-Mails, Berichte und Besprechungsnotizen besitzen hochgradig unterschiedliche, individuelle Berechtigungsstrukturen.
Die Dateninfrastruktur von Bridgewater und The Vault
Bridgewater wandelt seinen traditionellen, menschenzentrierten Forschungsprozess zunehmend in einen maschinenzentrierten Ansatz um. Für hochpräzise Analysen benötigen sowohl menschliche Investoren als auch KI-Agenten Zugriff auf strukturierte Makro-Zeitreihendaten sowie auf die unstrukturierte Wissensbasis The Vault.
- Bridgewater kodiert seit 50 Jahren das Verständnis von Märkten und Volkswirtschaften in systematische Logik.
- Der Lernprozess verläuft über einen geschlossenen Forschungskreis aus Wahrnehmung, Hypothese, Untersuchung, Systematisierung und täglichem Handel.
- Die unstrukturierte Datenbank The Vault umfasst rund 100 Millionen Dokumente aus 135 externen Drittanbieterquellen sowie internen Berichten und Aufzeichnungen.
Die Architektur und Wirtschaftlichkeit von TurboPuffer
Die Architektur von TurboPuffer trennt die kosteneffiziente Speicherung inaktiver Daten von der schnellen Verarbeitung im Arbeitsspeicher bei aktiven Abfragen. Dadurch skaliert die Suchmaschine kostengünstig auf Terabytes an Daten, während sie gleichzeitig eine hohe Leistungsfähigkeit bei geringer Latenz bereitstellt.
- TurboPuffer baut vollständig auf Objektspeichern wie S3, GCS oder Azure Blob Storage auf, wodurch kalte Daten extrem günstig bleiben.
- Bei Abfragen werden die relevanten Daten dynamisch in den Cache auf SSDs oder Arbeitsspeicher geladen.
- Das System unterstützt Stichwortsuche, Regex-Suche und Vektorsuche zu einem Bruchteil der Kosten traditioneller Systeme.
Die mathematischen Grenzen naiver Suchansätze
Einfache lineare Durchsuchungen stoßen bei großen Datenmengen schnell an physikalische Grenzen und verletzen die Anforderungen an interaktive Suchgeschwindigkeiten von rund 100 Millisekunden. Vektorindizes lösen dieses Problem, indem sie ähnliche konzeptionelle Inhalte in einem Koordinatensystem gruppieren.
- Eine naive lineare Suche über 100 Millionen Dokumente im Arbeitsspeicher dauert auf moderner Hardware etwa fünf Sekunden.
- Bei auf S3 ausgelagerten Daten kann der Abruf von Rohdaten mehr als eine Minute in Anspruch nehmen.
- Ein Vektorindex teilt Konzepte anhand numerischer Einbettungen in hochdimensionalen Räumen auf, um gezielt in relevante Bereiche heranzuzoomen.
Native Filterung für skalierbare und sichere Vektorsuche
Die Verknüpfung von Vektorindizierung und Berechtigungsprüfung erfolgt über native Filter, die im Hintergrund komplexe Abfragepläne ausführen. Dadurch lassen sich feingranulare Sicherheitsrichtlinien direkt auf Datenbankebene abbilden, ohne dass Entwickler manuelle Komplexität in ihrer Anwendungslogik handhaben müssen.
- Weder reines Post-Filtering noch reines Vor-Filtering von Berechtigungen liefern bei großen Vektorbeständen eine Kombination aus hohem Recall und hoher Geschwindigkeit.
- TurboPuffer kombiniert Vektorcluster mit Berechtigungsindizes, um unzulässige Dokumentencluster komplett von der Suche auszuschließen.
- Durch diese native Filterstrategie erreichen 450 Millionen Vektoren aus 100 Millionen Dokumenten eine P90-Latenz von 120 Millisekunden.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!