AIコードレビューエージェントの構築方法 - Daksh Gupta, Greptile

하이라이트

• 毎日何千もの企業がGreptileを利用しており、GitHub上のすべてのプルリクエストの約1%が同社を介して検証されている。

• 自作のAIコードレビューエージェントを運用すると、プルリクエスト1件あたりのコストが3ドルから25ドルに達し、トークン費用が急激に高騰する。

• コード生成に使用したモデルと異なるモデルをレビューに適用するモデル・インバージョンにより、バグの検出率が10%向上する。

• 致命的なバグが含まれている割合は、およそ1,000件のプルリクエストまたは1,000行のコードに対して1件である。

• エージェントの実行コストを大幅に削減するため、最先端モデルの使用比率を20%に抑え、ロングテールのタスクには小型モデルを割り当てる。

타임라인

1. 00:00 - 03:32

   AIコードレビューエージェントの基本構築と直面する課題

   毎日数千の企業やNVIDIA、CoinbaseなどのプロジェクトがGreptileを利用している。自社のニーズが特殊な企業向けに、優れたAIコードレビューエージェントを自作する方法論の解説が行われる。サンドボックス内にエージェントを配置し、PR作成時の自動レビューを組み込むことで開発のボトルネックを解消できる。

   • Greptileはコードベース全体の完全な文脈を把握し、プルリクエストの検証やテストを行うエージェントを提供している。
   • 特殊で専門的なニーズを持つ企業に対して、自社でコードレビューエージェントを構築するためのノウハウが共有される。
   • 最初の構築ステップとして、サンドボックスの用意、オープンソースのハーネスの活用、GitHubのウェブホック設定が必要となる。
2. 03:32 - 07:44

   自作エージェントにおけるバグ見逃しとプロンプトの最適化

   エージェントを実際に動かすと、膨大な細かい指摘によって人間が疲弊し、コーディングエージェントが過剰防衛的なコードを書き上げる問題が起きる。これに対抗するため、過去の障害データを基にしたバグカタログを作成し、プロンプトで特定のバグ種別を探索させると同時に、不要なスタイル的指摘をスキップさせる指示が必要となる。

   • 自作のエージェント運用では、バグの見逃し、コンテキストの取りこぼし、コストの高騰、重箱の隅をつつくような細かいコメントの発生という課題に直面する。
   • バグはフラクタル構造のように無限に存在し、致命的な障害を防ぐためには特定のバグの種類を指定したプロンプトの最適化が求められる。
   • 過去のインシデントや障害を引き起こしたプルリクエストのデータセットを活用することで、エージェントの精度を客観的に検証できる。
3. 07:44 - 14:26

   モデル・インバージョンと社内ナレッジベースによるコンテキスト強化

   クラウドモデルとGPTモデルでは生成するバグの傾向が異なるため、同一モデルでのレビューを避けるモデル・インバージョンが効果を発揮する。また、トークン消費の大半を占める非効率なgrep検索に頼らず、アプリケーションの全体像を捉えた生きたWikiやナレッジベースを用いることで、コード検索の精度とコスト効率が大幅に改善される。

   • コード生成に使用したモデルと異なるモデルをレビューに用いるモデル・インバージョンにより、検出率が10%向上する。
   • 従来のgrepによるコード検索は精度が低く高コストであるため、コードベース全体を横断してカタログ化した社内ナレッジベースが必要となる。
   • ドキュメントやチケット、生きたWikiを活用してコンテキスト理解力を高めることで、エージェントの誤解や曖昧な指示による失敗を防ぐことができる。
4. 14:26 - 18:19

   自律型テストの導入とサブタスクごとのモデル階層化

   画面上の表示崩れなどの問題を検出するためには、環境内でスタックを起動しビジョンモデルでテストを行う自律型テストの仕組みが不可欠となる。さらに、すべての処理に高価な最先端モデルを使用するのではなく、タスクごとに軽量モデルを適切に組み合わせることで、高額になりがちなプルリクエストレビューのコストを効果的に抑制できる。

   • 依存関係が豊富な仮想マシン環境とコンピューター・ユースを組み合わせることで、UIの変更やエンドツーエンドのQAが実現する。
   • 最先端モデルの使用比率を全体の20%に限定し、探索やファイル読み込みなどのタスクに小型モデルを割り当てることで実行コストが大幅に削減される。
   • 最適なモデルと推論予算をサブタスクごとに細かく割り当てることが、競合製品を超えるパフォーマンスとコスト効率の両立につながる。