¿Puede tu analista de IA guardar un secreto? - Aaron Linsky, Bridgewater y Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
La combinación de índices vectoriales y de permisos mediante clústeres permite realizar búsquedas seguras y escalables sobre 100 millones de documentos en 120 milisegundos.
하이라이트
TurboPuffer almacena datos de forma inerte en almacenamiento de objetos como S3 y los traslada a caché solo durante las consultas para reducir costos.
La bóveda de Bridgewater contiene aproximadamente 100 millones de documentos indexados procedentes de 135 fuentes externas y registros internos.
El filtrado posterior convencional en la búsqueda vectorial descarta resultados no coincidentes de forma ineficaz y reduce la calidad de la recuperación.
El filtrado nativo agrupa vectores similares en clústeres de 200 documentos para combinar índices vectoriales y de permisos de manera eficiente.
TurboPuffer alcanza una latencia en el percentil 90 de 120 milisegundos en búsquedas sobre 450 millones de vectores con restricciones de permisos.
타임라인
El problema de los permisos en la recuperación de información para la IA
Los agentes de inteligencia artificial interactúan con bases de datos públicas y privadas para responder preguntas complejas. A diferencia de los datos públicos uniformes, la información interna de una organización contiene múltiples capas de permisos individuales y grupales para cada documento, correo o nota de reunión. Este contraste estructural exige soluciones avanzadas de búsqueda que garanticen la seguridad de los datos privados.
- Las consultas de los usuarios a un agente de IA requieren acceder tanto a información de la web pública como a documentos internos privados.
- La web pública carece de restricciones de permisos, mientras que los documentos internos poseen esquemas de acceso complejos y fragmentados.
- La gestión de permisos en la recuperación de información representa un desafío clásico que TurboPuffer diseña específicamente para resolver.
La evolución de los procesos de inversión y The Vault en Bridgewater Associates
Durante 50 años, Bridgewater sistematiza la comprensión económica mediante un proceso estructurado en percepción, hipótesis, investigación e industrialización. La evolución tecnológica avanza desde blocs de notas en papel y hojas de cálculo hasta arquitecturas modernas en Python. El almacenamiento centralizado en The Vault acumula millones de archivos con permisos restrictivos, lo que genera problemas de rendimiento al escalar las consultas de los inversores y de los agentes de IA.
- Bridgewater analiza mercados y economías mediante un ciclo de investigación de cinco pasos que transita de operadores humanos a sistemas automatizados.
- The Vault integra 100 millones de documentos provenientes de 135 fuentes externas y fuentes internas propias.
- El crecimiento exponencial de los documentos superó la capacidad de los sistemas de permisos implementados inicialmente sin TurboPuffer.
Arquitectura y limitaciones de escalabilidad en motores de búsqueda basados en objetos
La arquitectura basada en almacenamiento de objetos permite gestionar terabytes de datos a una fracción del costo de los sistemas tradicionales basados en disco. Sin embargo, realizar una búsqueda sin índices estructurados resulta inviable a gran escala. Recorrer linealmente 100 millones de documentos supera los límites de latencia aceptables para los usuarios, quienes exigen respuestas en un margen de 100 milisegundos.
- TurboPuffer se construye sobre almacenamiento de objetos como S3, GCS o Azure Blob Storage para reducir los costos de infraestructura.
- El almacenamiento de objetos mantiene los datos fríos e inertes hasta que una consulta activa la caché en memoria o SSD.
- Una búsqueda ingenua que recorra secuencialmente 100 millones de documentos de un kilobyte requiere cinco segundos en hardware moderno.
Estrategias de filtrado y el enfoque de clústeres en TurboPuffer
Los índices vectoriales ubican conceptos similares en coordenadas cercanas para optimizar la localización de información relevante. Ante la adición de restricciones de permisos, el posfiltrado elimina resultados necesarios de forma prematura y el prefiltrado sobrecarga el sistema al escanear millones de archivos permitidos. TurboPuffer resuelve este conflicto agrupando los vectores en clústeres de 200 documentos, evaluando la pertenencia de los permisos a nivel de clúster y escaneando únicamente las zonas autorizadas. Esta estrategia procesa 450 millones de vectores con una latencia de 120 milisegundos.
- Los índices vectoriales agrupan representaciones numéricas de conceptos similares en un espacio multidimensional para acelerar las consultas.
- El posfiltrado y el prefiltrado tradicional fallan al escalar porque degradan la calidad de recuperación o ralentizan drásticamente el proceso.
- El filtrado nativo de TurboPuffer descarta clústeres de vectores sin permisos válidos antes de realizar búsquedas secuenciales locales.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!