هل يستطيع محلل الذكاء الاصطناعي لديك الاحتفاظ بسر؟ - آرون لينسكي، Bridgewater & نيكيل بينيش، turbopuffer
원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
핵심 요약
يتيح دمج التصفية المسبقة واللاحقة في محرك توربو بافر إجراء عمليات بحث متجهي مع مراعاة صلاحيات الوصول الأمنية خلال 120 مللي ثانية على نطاق 100 مليون مستند.
하이라이트
تضم قاعدة البيانات غير المهيكلة “الخزنة” في بريدجواتر نحو 100 مليون مستند مفهرسة من 135 مصدراً خارجياً ومصادر داخلية.
يحقق محرك البحث توربو بافر زمن انتقال قدره 120 مللي ثانية كقيمة P90 عبر 450 مليون متجه و100 مليون مستند.
يعتمد محرك توربو بافر على التخزين الكائني المباشر مثل S3 لتخزين البيانات بتكلفة منخفضة وسحبها للذاكرة السريعة عند الاستعلام.
تجمع استراتيجية التصفية الأصلية في توربو بافر بين التصفية المسبقة واللاحقة لتجاوز القيود الأمنية بكفاءة عالية.
تحتوي المجموعات الفرعية في فهارس توربو بافر على نحو 200 مستند لتعظيم معدل النقل وسرعة الاسترجاع.
타임라인
تحدي الصلاحيات في تحليل الذكاء الاصطناعي
يستعرض المقدمون التحدي الأساسي المتمثل في تزويد محللات الذكاء الاصطناعي ببيانات داخلية مؤمنة. بينما تفتقر بيانات الويب العام لقيود الصلاحيات وتتيح الوصول لجميع المستخدمين، تحتوي المستندات الداخلية والتقارير وملاحظات الاجتماعات على صلاحيات وصول دقيقة ومختلفة لكل مستخدم.
- تتطلب استعلامات وكلاء الذكاء الاصطناعي الوصول إلى مستندات داخلية ذات مستويات صلاحيات أمنية متباينة.
- تختلف المستندات الداخلية عن الويب العام بوجود تعيينات صلاحيات فردية وجماعية معقدة لكل ملف.
إدارة البيانات و”الخزنة” في بريدجواتر
يوضح آرون لينسكي مسيرة بريدجواتر في تشفير فهم الأسواق والاقتصادات ودائرة البحث الخماسية التي تشمل الإدراك والفرضية والتحقيق والمنهجية والتشغيل الصناعي. تعتمد الشركة على قواعد بيانات مثل ديلوريان للسلاسل الزمنية والخزنة للبيانات غير المهيكلة لتغذية المستثمرين والوكلاء الآليين ببيانات عالية الجودة.
- طورت بريدجواتر أساليب تشفير الأسواق على مدار 50 عاماً من الدفتر القانوني إلى أنظمة بايثون الحديثة.
- تضم قاعدة بيانات “الخزنة” 100 مليون مستند من 135 مصدراً خارجياً ومصادر داخلية مؤمنة بصلاحيات.
بنية محرك البحث توربو بافر واقتصاديات التخزين
يشرح نيكهيل بينيش المعمارية القائمة على التخزين الكائني في توربو بافر والتي تتيح توسيع النطاق بتكلفة زهيدة مقارنة بأنظمة الأقراص التقليدية. يوضح التحليل الحسابي أن البحث التسلسلي في 100 مليون مستند يستغرق وقتاً طويلاً جداً، مما يحتم استخدام فهارس المتجهات لمقارنة المفاهيم عبر نظام إحداثيات متعدد الأبعاد.
- يستند توربو بافر إلى التخزين الكائني مثل S3 لخفض التكاليف وتوفير أداء عالٍ عند طلب البيانات.
- يستغرق الحل الساذج لفحص 100 مليون مستند تسلسلياً نحو خمس ثوانٍ وهو ما يتجاوز الحد المطلوب البالغ 100 مللي ثانية.
التصفية الأصلية وتحقيق الأداء فائق السرعة
يستعرض العرض تقنيات دمج التصفية المسبقة واللاحقة لتجاوز المجموعات غير المصرح بها واستخراج المستندات ذات الصلة داخل المجموعات المسموح بها للمستخدم. يحجب توربو بافر التعقيد الهندسي عبر ترجمة منطق الأذونات إلى مرشحات بسيطة تدعم العزل الأمني والتنظيمي بكفاءة عالية على نطاق واسع.
- تفشل استراتيجيات التصفية اللاحقة والمسبقة المنفصلة في تحقيق الدقة والسرعة المطلوبتين مع الصلاحيات الواسعة.
- يحقق توربو بافر عبر التصفية الأصلية المدمجة زمن انتقال قدره 120 مللي ثانية عبر 450 مليون متجه.
설명
An AI analyst at a firm like Bridgewater needs private documents, but every email, memo and research note carries its own permissions. Aaron Linsky (head of product engineering, Bridgewater Associates) explains why the Vault's 100 million permissioned documents broke their first search setup, and Nikhil Benesch (CTO, turbopuffer) breaks down the fix: post-filtering loses recall, pre-filtering is too slow, and "native filtering" over a clustered vector index gets both, delivering about 120ms P90 searches across 400 million vectors. Chapters 00:00 Intro: why permissions matter for AI analysts 02:07 Bridgewater's research process 03:43 The Vault: 100M documents, many permissions 05:14 Modeling permissions, and where it broke 06:25 What turbopuffer is 08:01 Napkin math: why brute force fails at scale 09:43 How vector indexes work 11:50 Permissions break the index 12:19 Post-filtering vs pre-filtering 14:09 Native filtering: the best of both 15:23 Results: 120ms across 100M documents 15:47 Writing permission filters in practice 17:00 Beyond permissions: isolation-native search Aaron Linsky, Bridgewater Associates Nikhil Benesch, turbopuffer Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!