Votre analyste IA peut-il garder un secret ? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
La combinaison du pré-filtrage par clusters de vecteurs et du filtrage natif permet à TurboPuffer de rechercher parmi 100 millions de documents sécurisés en 120 millisecondes.
하이라이트
The Vault centralise 100 millions de documents provenant de 135 sources externes et de sources internes pour alimenter les agents IA de Bridgewater.
TurboPuffer s'appuie sur le stockage d'objets S3, GCS ou Azure Blob Storage pour offrir des avantages économiques sur les données froides.
Un balayage séquentiel naïf de 100 millions de documents prend cinq secondes avec un cache chaud, dépassant l'objectif de 100 millisecondes.
Le filtrage natif combine le pré-filtrage des clusters de vecteurs et le balayage séquentiel local pour respecter les autorisations d'accès.
TurboPuffer atteint une latence P90 de 120 millisecondes sur un ensemble de 450 millions de vecteurs et 100 millions de documents.
타임라인
Défis d'autorisation des agents IA
L'interaction avec un agent IA nécessite de croiser des informations publiques et des documents internes hautement cloisonnés. Chaque e-mail et compte-rendu de réunion dispose d'un ensemble de règles de permissions distinct. TurboPuffer prend en charge la complexité de cette recherche d'information sélective.
- Les données du web public ne comportent aucune restriction d'accès pour les membres d'une organisation.
- Les documents internes possèdent des permissions granulaires individuelles ou de groupe qui complexifient l'interrogation par un analyste IA.
Évolution et gestion des données chez Bridgewater
Le processus de recherche chez Bridgewater repose sur un cercle d'apprentissage en cinq étapes allant de la perception à l'exécution quotidienne. The Vault regroupe des millions de documents dotés de permissions strictes. La mise en place initiale d'un système de gestion des permissions sans TurboPuffer s'est effondrée face à la volumétrie.
- Bridgewater code systématiquement la logique des marchés depuis cinquante ans, passant du carnet papier à Python.
- The Vault centralise 100 millions de documents issus de 135 sources externes et de recherches internes pour les investisseurs et agents IA.
Architecture et stockage de TurboPuffer
Le moteur de recherche s'exécute directement sur l'infrastructure des hyperscalers, stockant les données de manière inerte sur le stockage d'objets jusqu'à leur interrogation. Le calcul naïf montre qu'un document d'un kilo-octet parcouru à vingt gigaoctets par seconde s'avère trop lent pour les exigences de performance à grande échelle.
- TurboPuffer utilise le stockage d'objets S3, GCS ou Azure Blob Storage pour maintenir les données inactives à faible coût.
- Un balayage séquentiel naïf sur 100 millions de documents nécessite cinq secondes même avec un cache chaud.
Limites du post-filtrage et du pré-filtrage
L'indexation vectorielle traduit les concepts en coordonnées multidimensionnelles pour rapprocher les notions similaires. Appliquer un filtrage après la recherche vectorielle oblige le système à s'éloigner en spirale sans trouver les meilleurs résultats. À l'inverse, filtrer en amont sur des millions de documents autorisés annule les gains de l'index vectoriel.
- Le post-filtrage élimine les résultats non autorisés après la recherche vectorielle mais dégrade le rappel et rate des documents pertinents.
- Le pré-filtrage par permissions isole les documents autorisés avant la recherche mais devient trop lent lorsque l'utilisateur accède à des dizaines de millions de fichiers.
Filtrage natif et performances à l'échelle
La stratégie combine le pré-filtrage et le post-filtrage en éliminant les clusters entiers non autorisés avant d'effectuer un balayage séquentiel local. Cette architecture cache la complexité sous-jacente tout en prenant en charge la recherche par mots-clés, expressions régulières et vecteurs. Le moteur intègre également des niveaux d'isolation stricts pour la conformité et le chiffrement.
- Le filtrage natif regroupe les vecteurs similaires en clusters d'environ deux cents documents pour associer permissions et proximité.
- TurboPuffer traite 450 millions de vecteurs répartis sur 100 millions de documents avec une latence P90 de 120 millisecondes.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!