AIアナリストは秘密を守れるか？ - アーロン・リンスキー（Bridgewater）＆ ニキル・ベネッシュ（turbopuffer）

하이라이트

• ブリッジウォーター社は、非構造化データを格納する「ザ・ヴォルト」と呼ばれるデータベースで約1億件のドキュメントをインデックス化、整理、保護している。

• Turbo Pufferはオブジェクトストレージ上に構築された検索エンジンであり、S3のコスト効率を維持しながらテラバイト規模のデータへ拡張できる。

• 単純な全件スキャンでは1億件のドキュメント検索に約5秒かかるため、実用的な速度を出すには専用のインデックス設計が必要になる。

• プレフィルタリングとポストフィルタリングを組み合わせたネイティブフィルタリング戦略により、4億5000万のベクトル規模であってもP90レイテンシ120ミリ秒での検索が可能になる。

타임라인

1. 00:00 - 02:07

   AIアナリストにおける権限管理の課題

   AIアナリストへの質問に対して、LLMはパブリックウェブだけでなく組織内の非公開ドキュメントからも情報を取得して調査を行う。すべてのメールや議事録、レポートには異なる権限が設定されており、ユーザーの権限に応じた情報制御が検索システムに求められる。

   • 組織内の非公開ドキュメントにはそれぞれ異なる権限が設定されており、情報検索における困難な問題を引き起こす。
   • パブリックウェブ上のデータは全員が閲覧できるため権限の問題は存在しないが、内部情報はグループやドキュメントごとに個別のアクセス権が割り当てられている。
2. 02:07 - 06:24

   ブリッジウォーター社におけるリサーチプロセスの進化

   同社では1980年の債券システムから現在のPythonを活用したシステムへとプロセスをévolutionさせてきた。認知、仮説、調査、体系化、取引という5つのステップから成る学習プロセスを支えるため、時系列データベースと非構造化データベースの双方が運用されている。

   • ブリッジウォーター社は過去50年にわたり経済や市場の仕組みをシステムにエンコードし、長期的なストレステストを行ってきた。
   • 人間中心の学習プロセスから、高品質な時系列データと非構造化データを活用してマシンを中心に据えたプロセスへと移行しつつある。
   • 「ザ・ヴォルト」には135の外部ソースや内部の会議録音など約1億件のドキュメントが格納され、投資家やAIエージェントが利用している。
3. 06:24 - 09:43

   Turbo Pufferのアーキテクチャとコスト効率

   S3やGCSなどのハイパースケーラーを利用することで、他のシステムで多額のコストがかかる規模であっても低コストでの拡張が可能になる。クエリがホット状態になれば従来のディスクベース検索と同等のパフォーマンスを発揮するが、単純な全件スキャンでは100ミリ秒という目標レイテンシを満たせない。

   • Turbo Pufferはオブジェクトストレージ上に直接書き込む仕組みを採用し、優れたコスト効率を実現している。
   • データはコールド状態でオブジェクトストレージに保存され、クエリ実行時にキャッシュや高速なストレージへフェッチされる。
   • データ規模が1億件に達すると、すべてのデータをその都度処理する単純なリスト検索では数秒以上かかり、実用的な速度を出せない。
4. 09:43 - 17:52

   ベクトルインデックスと権限フィルタリングの統合

   ベクトル空間での類似性検索を活用しつつ、権限情報を組み合わせることで効率的な絞り込みを行う。ユーザーがアクセス権を持たないクラスターは最初から除外され、残りのクラスター内のみをスキャンする仕組みにより、大規模データとセキュリティの要件を同時に満たしている。

   • Turbo Pufferは類似したベクトルを自動的にクラスタリングし、ユーザーがアクセス権を持つクラスターのみを検索対象とする。
   • 検索後に一致しないものを捨てるポストフィルタリングや、フィルター合致分を順次スキャンする方法は、網羅性の低下やレイテンシの増大を招く。
   • プレフィルタリングとポストフィルタリングを組み合わせたネイティブフィルタリングにより、4億5000万のベクトルにわたる大規模検索でも120ミリ秒のレイテンシを実現している。