AIエージェントを信用するな。科学者のように検証せよ — ステファニー・ジャルマック (Omni Analytics)

하이라이트

• コーディングエージェントの評価においてプロンプトを変更しコストが28%削減されても、本来使用すべきツールが実際には使用されない現象が発生する。

• ハーネスの切り替えによってモデル構成の有効性に30%以上の差が生じるため、実際の環境を反映した構成で評価を行う必要がある。

• パブリックベンチマークの数値に過度に依存せず、組織内の実際のワークロードに合わせたカスタムベンチマークを設定することが重要である。

• LLMジャッジによる監査の誤検知率が1%に達すると1万件のアラートが生じるため、人間によるレビュー負荷を考慮したボトルネックの調整が必要である。

• エージェントのトレースやハッシュチェック自体が常に信頼できるとは限らないため、独立したトラフィック履歴の比較による検証が不可欠である。

타임라인

1. 00:00 - 03:59

   エージェントがツールを使わない現象とハーネスの影響

   エージェントの挙動を評価する際、コスト削減などの指標が改善されても内部でツールが正しく活用されていないケースが存在する。また、テストで使用するハーネスの違いによってパフォーマンスが大きく変動するため、実環境に最も近い構成で評価を行う必要がある。

   • プロンプトの変更によりコストが28%削減されても、エージェントが本来使うべきツールを使用しない問題が生じる。
   • 使用するハーネスの切り替えによってモデルの構成有効性に30%以上の差が生じる。
2. 03:59 - 09:55

   パブリックベンチマークの限界とカスタム評価の構築

   汎用的なベンチマークは特定のビジネス環境を完全に反映しないため、自社のタスク構造に合わせたテスト分類が不可欠である。例えば、情報検索において不要なファイルまで大量に取得してしまう挙動があるため、自社の目的に応じた評価軸を設定する。

   • パブリックベンチマークはショートリスト作成に役立つが、モデルの不安定性があるため結果の数値だけに依存すべきではない。
   • 組織内の実際のワークロードを反映したカスタムベンチマークを設定し、反復的なフライホイールプロセスを回す必要がある。
   • 検索ツールの評価では、要件に応じてプレシジョンとリカバリーのバランスを最適化することが求められる。
3. 09:55 - 17:02

   品質ゲートの自動化とトレースの信頼性検証

   自動化された品質ゲートや監査プロセスを運用する際、アラートの過剰発生が組織のボトルネックになる。さらに、システム上の記録のすり替わりを防ぐため、独立したトラフィック履歴の保持と徹底的な検証が求められる。最終的には本番環境の観測データをもとにリスク許容度に応じた制御を行う。

   • 誤検知率がわずか1%であっても大量のアラートが発生するため、人間によるレビュー負荷とのバランス調整が重要である。
   • エージェントのトレースやハッシュチェックだけではセキュリティ上の問題を検出できない場合があり、独立した記録の比較が必要となる。
   • デプロイ後は実環境でデータを収集し、自律的に処理する範囲と人間にエスカレーションする境界線を明確化する。