Bisakah Analis AI Anda Menyimpan Rahasia? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
Pencarian vektor skala besar dengan sistem izin ketat dapat dicapai dalam 120 milidetik melalui arsitektur pemfilteran bawaan yang menggabungkan pengelompokan vektor dan penyaringan izin di TurboPuffer.
하이라이트
Bridgewater menggunakan sistem basis data tidak terstruktur bernama The Vault yang mencakup 100 juta dokumen dari 135 sumber eksternal dan sumber internal.
TurboPuffer adalah mesin pencari berbasis penyimpanan objek yang menulis langsung ke S3, GCS, atau Azure Blob Storage dengan harga sepersepuluh dari sistem berbasis disk.
Strategi pemfilteran bawaan (native filtering) menggabungkan pemfilteran pra dan pasca untuk memproses 450 juta vektor dalam waktu 120 milidetik.
Pendekatan naif seperti pemfilteran pasca menghasilkan tingkat perolehan (recall) yang buruk dan memakan waktu terlalu lama pada skala 100 juta dokumen.
타임라인
Tantangan Perizinan dalam Analis AI dan Konteks Bridgewater
Interaksi pengguna dengan agen AI melibatkan pencarian fakta dari sumber publik dan privat. Informasi privat memiliki aturan izin akses yang rumit di setiap email, catatan rapat, dan laporan. Bridgewater telah mengembangkan proses penelitian dari metode manual hingga berbasis mesin yang memerlukan akses data berkualitas tinggi. Basis data tidak terstruktur yang disebut The Vault mengamankan dan mengatur data tersebut untuk dibaca oleh investor dan agen AI.
- Setiap dokumen internal memiliki izin akses yang berbeda, berbeda dengan web publik yang terbuka bagi semua orang.
- Bridgewater mengkodekan pemahaman pasar secara sistematis selama 50 tahun dari buku catatan kuning hingga sistem Python modern.
- Proses pembelajaran di Bridgewater melibatkan lima langkah yaitu persepsi, hipotesis, investigasi, sistematisasi, dan perdagangan.
- The Vault menampung 100 juta dokumen terindeks yang berasal dari 135 sumber eksternal serta catatan internal.
Arsitektur TurboPuffer dan Masalah Skala Pencarian
TurboPuffer menggunakan penyimpanan objek seperti S3 atau GCS untuk menjaga data tetap dingin dan murah, lalu menariknya ke memori atau SSD saat kueri aktif. Pendekatan pencarian tanpa indeks pada 100 juta dokumen memerlukan waktu yang terlalu lama untuk beban kerja modern. Oleh karena itu, indeks vektor otomatis digunakan untuk memetakan konsep dalam ruang multidimensi sehingga pencarian dapat langsung diarahkan ke vektor terdekat.
- TurboPuffer dibangun di atas penyimpanan objek untuk menekan biaya penyimpanan data hingga sepersepuluh dari sistem tradisional.
- Pencarian naif dengan memindai seluruh 100 juta dokumen memakan waktu lima detik, jauh di atas target 100 milidetik.
- Indeks vektor mengelompokkan representasi numerik konsep serupa untuk mempercepat proses pencarian dokumen relevan.
Solusi Pemfilteran Asli dan Kinerja Skala Besar
Menambahkan aturan izin akses merusak efisiensi indeks vektor standar. Pemfilteran pasca dan pemfilteran pra murni memiliki kelemahan dalam hal kecepatan dan akurasi pada skala besar. TurboPuffer mengatasi hal ini melalui pemfilteran bawaan yang mengelompokkan dokumen serupa ke dalam klaster, menyingkirkan klaster tanpa izin akses, dan hanya memindai klaster relevan. Pendekatan ini menghasilkan kinerja pencarian yang sangat cepat bahkan pada skala ratusan juta vektor.
- Pemfilteran pasca gagal karena membuang hasil yang tidak cocok setelah pencarian, menghasilkan tingkat perolehan yang buruk.
- Pemfilteran pra yang memindai semua dokumen sesuai izin pengguna juga melambat pada skala 50 juta dokumen.
- Pemfilteran bawaan menggabungkan indeks vektor dan izin dengan mengelompokkan dokumen ke dalam klaster kecil.
- TurboPuffer mampu mencakup 450 juta vektor dengan latensi P90 sebesar 120 milidetik.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!