O seu analista de IA consegue guardar um segredo? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
A combinação de índices vetoriais e de permissão em uma arquitetura de filtragem nativa permite que o TurboPuffer execute buscas em 100 milhões de documentos com controle de acesso em 120 milissegundos.
하이라이트
A Bridgewater Associates gerencia um banco de dados não estruturado chamado The Vault, contendo cerca de 100 milhões de documentos provenientes de fontes externas e internas.
O TurboPuffer armazena dados em provedores de nuvem como S3, GCS ou Azure Blob Storage, mantendo custos baixos até que as consultas exijam dados em cache.
A busca puramente sequencial em 100 milhões de documentos de um quilobyte leva cerca de cinco segundos, superando o limite ideal de 100 milissegundos.
A estratégia de filtragem nativa do TurboPuffer combina índices vetoriais e de permissão, agrupando vetores para descartar clusters inacessíveis.
O TurboPuffer realiza buscas em 400 milhões de vetores derivados de 100 milhões de documentos com uma latência P90 de 120 milissegundos.
타임라인
Desafios de permissão na recuperação de informações para IA
As interações com agentes de IA exigem o cruzamento de dados públicos com documentos internos de empresas. Enquanto a web pública apresenta permissões uniformes, os repositórios corporativos contêm e-mails, relatórios e notas de reuniões com regras de acesso individuais. Essa complexidade exige soluções específicas de busca para garantir que o agente consulte apenas as informações autorizadas para cada usuário.
- Os agentes de IA precisam consultar tanto a web pública quanto dados internos privados de uma organização.
- Os documentos internos possuem conjuntos complexos e distintos de permissões associados a diferentes grupos e usuários.
- A recuperação de informações com restrições de permissão rígidas representa um problema clássico e difícil na engenharia de dados.
A evolução dos sistemas de dados e o uso do The Vault na Bridgewater
A Bridgewater passou de anotações em blocos de papel e planilhas do Excel para linguagens como Scala e Python na modelagem de mercados. Para sustentar a transição de um processo centrado em humanos para um centro operado por máquinas, a empresa criou o banco de dados The Vault. Este repositório integra pesquisas externas e materiais internos, todos protegidos por regras de acesso restrito que precisavam de um mecanismo de busca escalável.
- A Bridgewater utiliza sistemas lógicos e computacionais há 50 anos para analisar mercados e economias.
- O banco de dados não estruturado da empresa, chamado The Vault, abriga cerca de 100 milhões de documentos de 135 fontes externas e acervos internos.
- A implementação inicial de controle de permissões em consultas vetoriais funcionou em pequena escala, mas falhou conforme o volume de documentos cresceu.
Arquitetura e limitações das abordagens tradicionais de busca
O TurboPuffer aproveita a economia do armazenamento em nuvem ao gravar dados no S3 e puxá-los para o cache apenas no momento da consulta. Abordagens simplistas, como percorrer linearmente todos os documentos armazenados, tornam-se inviáveis à medida que o volume atinge dezenas de milhões de itens. O tempo necessário para processar sequencialmente esses dados viola os limites de latência esperados em aplicações modernas de inteligência artificial.
- O TurboPuffer opera diretamente sobre o armazenamento de objetos em nuvem como S3, GCS e Azure Blob Storage para reduzir custos.
- Uma varredura sequencial linear em 100 milhões de documentos de um quilobyte exige cinco segundos de processamento, excedendo a latência aceitável de 100 milissegundos.
- O armazenamento em nuvem mantém os dados frios e inertes até que sejam trazidos para SSDs ou memória durante as consultas ativas.
Filtragem nativa e otimização de consultas vetoriais
Métodos tradicionais de pós-filtragem degradam a qualidade da busca porque eliminam os melhores resultados obtidos no espaço vetorial. Por outro lado, filtrar todos os documentos acessíveis antes da busca vetorial anula os ganhos de desempenho em bases gigantescas. O TurboPuffer resolve esse conflito unindo índices vetoriais e de permissão em uma abordagem chamada filtragem nativa, que descarta clusters inteiros fora do alcance do usuário e restringe o escaneamento sequencial a blocos menores.
- A pós-filtragem descartando resultados incompatíveis após a busca vetorial falha em recuperar os documentos mais relevantes.
- A pré-filtragem baseada apenas em permissões força um escaneamento massivo quando o usuário possui acesso a dezenas de milhões de arquivos.
- A filtragem nativa agrupa vetores semelhantes em clusters e cruza esses agrupamentos com os índices de permissão do usuário.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!