寝ている間に自己進化するエージェント - フアド・アリ (Arize AI)

하이라이트

• Ariseのプラットフォーム上で動作する「Signal」というSREエージェントは、スケジュールに従ってトレースを読み込み、失敗のクラスタリングや修正案の作成を自動で行う。

• ショッピングアシスタントエージェントの検証では、商品カテゴリーの大文字小文字の区別や正規化の不備が原因で、不要な検索リトライが発生してレイテンシが14秒から17秒に急上昇していた。

• コードチェックによる決定論的な評価は実行コストが非常に低い一方で、LLMをジャッジとする評価やエージェントをジャッジとする評価は、より定性的で曖昧な分析に役立つ。

• 失敗したケースをデータセットに追加することで、今後の回帰テストや新しいユースケースに対応する「生きたフィクスチャ」として機能を維持・拡大できる。

• 信頼度スコアを活用することで、低い信頼度と判定された結果を人間のアノテーターによるレビュー待ちキューに自動でルーティングすることが可能になる。

타임라인

1. 00:00 - 05:40

   エージェント運用の課題と自己改善ループの必要性

   非決定的な動作をするエージェントが何千も存在する場合、障害モードの特定や人間の手によるトレースの確認は現実的ではない。そのため、人間のフィードバックや実際の証拠を活用して改善に役立てる仕組みが求められる。本セッションでは、Ariseプラットフォームの「Signal」を活用した自己改善ループの構築方法について解説する。

   • エージェントは非決定性を持つため、従来のエンジニアリングに比べて障害モードの把握が10倍複雑になる。
   • 本番環境におけるエージェントの予期せぬ失敗を防ぐため、自己修正のフィードバックループを組み込むことが重要である。
   • ワークショップでは、FastAPI、Next.js、ChromaDBなどで構成されたチャットベースのおもちゃ購入体験アプリ「Wonder Toys」を使用する。
2. 05:40 - 12:10

   トレーシングの仕組みとトレースデータの活用

   エージェントの動きを把握するためにトレーシングは不可欠であり、いつ失敗したかやどのツールを呼び出したかの全体像を確認できる。しかし、深夜に何千件ものトレースを人間が読み通すのは困難であるため、エージェント自身にこの情報を活用させる仕組みが必要となる。AriseのCLIを使用すれば、複雑な属性を美しいトレースツリーに容易に変換できる。

   • AX CLIを使用することで、手動での計装を行わずに主要なプロバイダーやフレームワークのトレーシングを簡単に開始できる。
   • トレースツリーでは、開始時刻、レイテンシー、入力内容、ツール呼び出しごとのスパンやメタデータを確認できる。
   • 個別の一過性トレースだけでなく、顧客とのセッション単位でのグルーピングも可能である。
3. 12:10 - 18:30

   Signalによる問題の検知と修正案の提案

   トレースが蓄積されたら、第2のステップであるSignalが稼働してトレースをレビューする。デフォルトでは6時間に1回実行され、問題の検出から概要の作成、評価の自動提案まで行う。デモでは、LLMが人間向けのタイトルケースを渡す一方、DB側が小文字のスラッグで保存していたためにおきた検索の非効率がSignalによって特定された。

   • Signalは常時稼働するSREエージェントとしてスケジュールに従いトレースを読み込み、問題をクラスタリングして修正案を特定する。
   • Wonder Toysのバグ検証では、商品カテゴリー名の大文字小文字の不一致により正規化が行われず、不要な検索リトライが発生していたことが判明した。
   • SignalはGitHubと連携してプルリクエストやissueを作成し、コード内の根本原因に対する修正案を自ら提示できる。
4. 18:30 - 27:08

   動的データセットと評価（エバル）の構築

   過去の失敗記録を保持して今後の回帰チェックを行うことで、継続的改善の基盤が築かれる。評価器には、フィールドの存在や有効なJSONを確認する決定論的なコードチェックのほか、別のモデルを使用してスコアリングを行うLLMジャッジ、さらにエージェント自身がスコアを決定する手法がある。これらを組み合わせることで、精度の高い評価テンプレートを作成できる。

   • 失敗したケースをデータセットに追加することで、将来の回帰テストに備える「生きたフィクスチャ」を維持できる。
   • 評価形式には、実行コストが低い決定論的なコードチェックと、より定性的な分析を行うLLMジャッジが存在する。
   • エージェント自身をジャッジとする評価は最もコストが高いが、目標が達成されたかどうかの高度な判断を委ねることが可能である。
5. 27:08 - 34:46

   エージェント実験による修正の検証と信頼度ルーティング

   システムプロンプトのわずかな変更が予期せぬ悪影響を及ぼす非決定的な世界において、修正が他の部分を壊していないことを証明するのが実験の役割である。閾値を満たしているかをテストし、結果に問題がなければ修正をデプロイへと昇格させる。また、スパムテストなどのユースケースでは、信頼度の低い判定のみを人間に回すことで効率的な運用が実現する。

   • 実験ステージでは、失敗ケースの動的なフィクスチャに対してエージェントを再実行し、提案された修正が有効であるかを証明する。
   • 人間によるチェックは、データセットのキュレーション、評価の設計、およびプルリクエストの検証において最大のレバレッジを発揮する。
   • 明確な信頼度スコアを設定することで、信頼度の低い結果を人間のアノテーターによるレビュー待ちキューに自動ルーティングできる。
6. 34:46 - 52:53

   エンドツーエンドの自律ループの未来とQ&A

   最終的な目標は問題から実験までを1クリックで完了させることであり、SlackやCLIなどのツールを通じた連携も進められている。評価の頻度やモデルの選定、サンプリングレートの設定によってコスト管理を行うことが重要となる。質疑応答では、評価設計の難しさや、信頼度の閾値設定、コスト対効果に関する詳細な議論が行われた。

   • 今後のビジョンは、テストが必要になる瞬間まで人間の関与をほぼゼロにした完全なエンドツーエンドのループを回すことである。
   • 評価やSignalの実行コストは監視可能であり、ROIやサンプリングレートを調整しながら運用コストを最適化できる。
   • エージェントのトレースだけでなく、Datadogなどの外部APMシステムや独自のスキルを接続して任意のデータソースを統合できる。