AIエージェントにツールを渡すな。サンドボックスを与えろ - ミキョ・キング (Arize AI)

Highlights

• コードモードの導入により、従来のツール呼び出しと比較してトークン量を43%削減した。

• コードモードの活用によって、運用コストを31%減少させることに成功した。

• サンドボックス環境における多少のオーバーヘッドが存在する一方で、レイテンシはほぼ一定に保たれた。

• エージェントに単なるツールカタログではなくプログラミング環境を提供することで、1回のターンで複数のツールを自由に呼び出すことが可能になる。

• オープンソースのオブザーバビリティプラットフォームであるPhoenixでは、BashやPythonサンドボックス、SQL記述機能を組み合わせて独自のコードモードを構築している。

Timeline

1. 00:00:00 - 03:06:00

   ソフトウェア開発の境界線と従来のツール呼び出しの限界

   ソフトウェア開発の世界では、必要なツールをコードによって動的に構築する時代に移行している。しかし、従来型のエージェントは関係のない多くのツールやデータをコンテキストに含めてしまうため、コンテキストの劣化や圧縮への対応が大きな課題となっている。

   • プログラマーと非エンジニアの間で存在したツールの境界線が完全に消えつつある。
   • 従来のエージェントアーキテクチャでは、膨大なツールのカタログをコンテキストウィンドウにプッシュし続けるため、コンテキストが肥大化する。
   • ツールの呼び出しが増えるにつれて遅延とコストが増加し、ユーザーが価値にたどり着くまでの時間が長くなる。
2. 03:06:00 - 06:11:00

   コードモードのアーキテクチャとその優位性

   コードモードでは巨大なツールのメニューを最初にすべて渡す必要がない。モデルが動的に必要なツールを選択して組み合わせることで、複雑で効率的な処理を作り出し、コンテキストウィンドウの無駄な消費を抑えることができる。

   • コードモードは、エージェントに特定のツールを検索し、プログラミング環境内で実行する能力を与える代替アーキテクチャである。
   • 1回のターンで複数のツールをシーケンシャルまたは並列に呼び出し、必要なデータのみをコンテキストに戻すことができる。
   • ツールの段階的開示や構成可能性、トークンの効率性、そして独自のツールを動的に作成するという創発的振る舞いをもたらす。
3. 06:11:00 - 11:44:00

   コードモードの実装方法と運用上の課題

   実際のシステムでは、CRUDエンドポイントやテキストからSQLへの変換を活用して効率的なデータ操作を行っている。一方で、ホスト型サンドボックスのリソース管理やセキュリティ、デバッグの複雑さなど、未解決の課題にも適切に対処する必要がある。

   • Phoenix内部のエージェントには、Bash、Pythonサンドボックス、SQL記述機能が組み込まれている。
   • リソース管理、ネットワークの外部出力、機密情報の保護、および広すぎる権限の制御が主な運用上の課題となる。
   • コードの途中でのクラッシュからの再開の難しさや、フロンティアモデルと小型モデル間のパフォーマンスのギャップが存在する。
4. 11:44:00 - 01:43:30

   Harborフレームワークによる評価と導入成果

   非決定的なシステムにおける不安定さを排除するため、検証ツールを用いた厳密なテストが実施されている。その結果、コストとトークン効率の大幅な改善が実証されており、エージェントの自律的な挙動を引き出すための強力な基盤となっている。

   • ネットワークアクセスをオフにしたサンドボックス環境であるHarborフレームワークを用いて、エージェントの動作を複数回試行して評価している。
   • コードモードの導入により、トークン量が43%削減され、コストが31%減少した。
   • 実行の軌跡と評価をキャプチャすることで、エージェントの性能を段階的に向上させるヒルクライムが可能になる。