grepの使用をやめたら、エージェントが10倍高速化した話

하이라이트

• Claude Contextは、Tree-sitterによるコード解析とベクトル検索およびBM25キーワード検索のハイブリッド手法を用いて、大規模コードベースのコンテキスト使用量を最大40%削減する。

• Merkle DAGを使用して変更されたファイルのみを再インデックス化することで、効率的なデータ更新を実現する。

• 150万行のコードベースにおいて、特定のプロジェクト構造や複雑なプロセスを検索した際、従来のgrep手法と比較して情報提供の網羅性が高く、回答までに要する時間が最大5倍高速化するケースがある。

• 23,000行程度の平均的な規模のコードベースであれば、インデックス作成は1分以内で完了する。

• 23,000行のコードテストにおけるOpenAIの埋め込みコストはわずか1セントであり、コスト効率は高い。

타임라인

1. 00:00 - 01:36

   Claude Contextの概要と仕組み

   TypeScript、Python、Rustなど9つの言語に対応し、関数やクラスごとにコードをチャンク化する。大規模なコードベースにおいてコンテキスト使用量を40%削減するため、grepに頼らない正確なコード検索を可能にする。

   • MCPプラグイン「Claude Context」は、コード全体をインデックス化しコーディングエージェントへ提供する。
   • Tree-sitterによるコードの解析と、セマンティックベクトル検索およびBM25インデックス検索を組み合わせたハイブリッド方式を採用する。
   • Merkle DAGを用いて変更分のみをスナップショット化し、効率的にインデックスを管理する。
2. 01:37 - 03:41

   環境構築とインデックス化の性能

   23,000行のテストでは1分以内に完了し、OpenAIの埋め込みコストも1セントに抑えられた。一方、大規模リポジトリでは22万3,000件以上のエントリーが読み込まれ、インデックス作成コストは1.06ドルまで増加する。

   • 150万行規模のVS Codeリポジトリでテストを実施し、Zilliz Cloudを利用して構築した。
   • 小規模なコードベースでは数分で完了するインデックス作成も、150万行規模では約50分を要した。
   • クラスター利用にはサーバーレス版を採用することで、無料枠でのタイムアウト問題を解消した。
3. 03:42 - 07:05

   検索性能の比較検証

   Electronアプリの構造に関する検索では、Claude Contextは起動シーケンスや関連ファイルを含めた網羅的な回答を返した。サブエージェントによるファイル探索を行う既存のツールよりも、精度の高い情報を迅速に取得できることが確認された。

   • 単純な検索では従来のgrepが速い場合もあるが、情報の詳しさではClaude Contextが優位である。
   • 複雑なプロンプトに対しては、従来の探索手法が5分かかる処理を1分47秒で、かつ詳細なアーキテクチャ情報と共に完了させた。
   • 大規模なコードベースを日常的に扱う場合、結果の詳細さや効率面で明確な利点がある。
4. 07:06 - 08:02

   実用上の結論と評価

   設定の手間や大規模な初期インデックス作成というコストはあるものの、日常的なコード解析において得られる情報量の差は決定的な利点となる。コストについても許容範囲内であり、本格的な開発ツールとしての導入が適している。

   • 2万〜3万行程度の平均的なコードベースであれば、高い効率と詳細な回答を得られるため導入の価値が高い。
   • 大規模プロジェクトでは初回インデックス化に時間がかかるものの、以降の探索性能は優れている。
   • 実用的なRAGシステム構築の参考としてAndrisの技術解説動画が推奨される。