私たちはAIエージェントを作り直し続けた。生き残ったものとは？ - フアド・アリ（Arize AI）

Highlights

• 2023年後半の最初のプロトタイプの頃は、3.5系のモデルを使用していて、ハルシネーションが50%、役に立つことが50%くらいであった。

• 2025年8月にTODOツールを導入し、エージェント自身が自分の行っている作業を計画できるようにした。

• 2026年2月に行った大型リニューアルであるAlex 2.0では、Sonnet 4.5がデフォルトモデルになった。

• 長期記憶の仕組みとして、ベクトル検索や知識グラフではなく、ユーザーごとに最大8,000文字のマークダウンファイルを1つ持つ方法を採用した。

• 専門特化した複数のサブエージェントを廃止し、必要に応じてスキルを動的に読み込む1つのエージェントに統合した。

Timeline

1. 00:00 - 06:19

   エージェント開発の経緯とタイムライン

   AlexはArise AXの中でトレースを読み込み、テストや合成データを生成するプロダクト内エージェントである。初期の単純なルーターから、反復的なツール呼び出しや長期記憶を持つシステムへと発展した。モデル自体にすべてを任せるのではなく、ハーネスコード側でループや終了ルールを完全に制御している。

   • Arize AIのプロダクト内エージェントであるAlexの開発経緯について紹介している。
   • 2023年後半のプロトタイプから、2025年のTODOツールの導入、2026年の大型リニューアルへと進化してきた。
   • モデルの進化に対応しつつ、ほとんどの制御ロジックであるハーネスコードを自社で構築している。
2. 06:19 - 09:43

   計画立案とターンの終了条件の設計

   初期はモデルにTODOリストを与えていたが、LLM呼び出しが無駄に消費される問題が発生した。そのため、ハーネス側が状態と完了チェックを維持し、メッセージ内でインライン管理する方式へ移行した。また、予期せぬ動作を防ぐために明確な終了コールを用意し、未完了のまま終了することを防ぐガードレールを設けている。

   • モデルにTODOリストを持たせるとリストのチェックに時間を費やすため、ハーネス側で状態を管理する方式に変更した。
   • 計画の項目が未完了のまま終了しようとすると、最大3回まで差し戻される終了ゲートを導入した。
3. 09:43 - 13:32

   メモリ管理とコンテキストウィンドウの最適化

   コンテキストウィンドウの容量不足を防ぐため、膨大なデータはファイルのように扱い、必要な部分だけをコードで抽出する。長期記憶についても、オーバーエンジニアリングを避け、人間にとって監査しやすい小型のマークダウンファイルをバックグラウンドジョブで更新する設計に落ち着いた。

   • 巨大なツール結果やJSONデータはコンテキストを圧迫するため、内部を切り詰めてコードで検索させる仕組みを採用している。
   • 長期記憶には複雑な知識グラフやベクトルストアではなく、ユーザーごとに8,000文字のマークダウンファイルを1つ持つ方法を採用した。
4. 13:32 - 15:26

   単一エージェントへの統合とモデル選択

   専門特化したサブエージェントを多数配置する構成は複雑化を招いたため、必要に応じてスキルをオンデマンドで読み込める単一のエージェントへと回帰した。モデル選定においても、最高性能のモデルに固執せず、タスクに応じた適切なモデルや小型言語モデルの活用を進めている。

   • ページごとに10種類の専用エージェントを配置する構成から、スキルを動的に読み込む1つのエージェントに統合した。
   • 常に最先端のモデルが最適とは限らないため、高速で十分な性能を持つモデルをデフォルトにしている。
5. 15:26 - 19:57

   本番トレースを活用したテストとエージェントの生存要素

   本番環境でのセッションをそのままテストケースやデータセットとして蓄積し、実験機能でA/Bテストを実施している。エージェント開発ではエラーが明確に表面化しないため、レイテンシや同一ツールの過剰呼び出しなどを自動検出しつつ、最終的な品質判断には人間の専門知識を介入させている。

   • すべてのユーザーとのやり取りをリアルタイムでトレースし、生きた回帰テスト用データセットとして活用している。
   • エージェントのバグは定性的な問題として現れるため、自動検出や人間の判断力を組み合わせることが不可欠である。