初めてのAI評価の書き方 - サリーアン・デルシア (Arize AI)

하이라이트

• 評価（evals）がなければ、プロンプトを変更した際のリグレッションの検知や、異なるモデルバージョンの客観的な比較、CIへの品質ゲートの組み込みができない。

• AIエージェントの評価タイプには、LLM as a judge、決定モデル、コードによる評価、アノテーション、エージェント・ジャッジなどがある。

• LLM as a judgeを使用する場合、一度に処理する基準は1つだけである場合に最もうまく機能する。

• Ariseの旅行代理店デモなどのトレースを活用し、ルートスパンやツール呼び出しをデータセットに保存して評価テストを行える。

• 評価の構築においては、20トレース、1つの次元、1つのジャッジという小さな規模から始め、説明を読みながら調整を重ねていくことが重要である。

타임라인

1. 00:00 - 06:12

   評価の定義と雰囲気チェックの限界

   プラットフォームへのAIエージェント構築経験を踏まえ、評価の役割や定義について解説している。プロンプト変更のたびに全体的な感触だけで判断していると、予期せぬ機能不全やリグレッションを見落とす原因になる。トレースというAIのログを基礎に据え、適切なテストを行う重要性が述べられている。

   • 評価はエージェントにとっての主要なシグナルである。
   • 評価がない状態では、プロンプト変更時のリグレッションを客観的に証明できない。
   • AIエージェントは従来のソフトウェアテストのような単体テストだけでは対応できないため、トレースと評価が必要になる。
2. 06:12 - 19:01

   評価の種類とデータの探索

   LLM as a judgeや決定モデル、コードによる評価、エージェント・ジャッジなど多様な評価手法が紹介されている。実際のプラットフォーム画面を用いて、旅行プラン作成エージェントのトレース構造や各スパンの役割を詳細に確認し、成功を測定するための土台を整えている。

   • LLM as a judgeは、QAや要約、関連性の評価に優れ、判断の裏にある説明（explanation）が得られる。
   • コードベースの評価は、特定の単語の有無やJSON形式の検証など、決定的なテストに有効である。
   • Ariseの旅行代理店デモプロジェクトを通じて、エージェントが実行したステップやツール呼び出しのトレースを確認できる。
3. 19:01 - 27:22

   評価基準の書き方とデータセットへの追加

   成功の定義を明確にするための具体的なコツや、タスク内容、合格・不合格の基準を表す箇条書きの作成方法を解説している。収集したトレースから必要なスパンを特定し、データセットへ追加する具体的な手順に繋げている。

   • 「良い」とは何を意味するのか、具体的で明確な合格・不合格の基準を書き出すことが最初のステップとなる。
   • LLM as a judgeを活用する場合、まずは1つの評価に1つの品質判定に絞るのが効果的である。
   • 特定したトレースやスパンをフィルターで絞り込み、データセットに保存してテストの準備を行う。
4. 27:22 - 35:18

   プレイグラウンドでの評価構築と実践

   プレイグラウンド画面で実際に評価プロンプトを作成し、データセットを読み込んでテストを実行する一連の流れを示している。小さな規模からスタートして徐々に評価を拡充するアプローチや、関係者全員でエージェントの成功を定義する重要性で締めくくられている。

   • プロンプト・プレイグラウンドを使用して評価テンプレートを記述し、変数マッピングで正確なデータに紐付ける。
   • 評価の実行結果をもとにプロンプトをブラッシュアップし、完成したEvaluatorを保存してプラットフォーム全体で利用する。
   • 評価とメトリクスを組み合わせることで、単なる異常検知にとどまらず具体的な失敗モードを把握できる。