AIエージェントの構築は簡単だが、安全性の証明は容易ではない - ジョナサン・オズボーン（NatWest）

Highlights

• ナットウエスト・グループは英国で2番目に大きいリテールバンクであり、約1,900万人のリテール顧客を抱えている。

• デジタルアシスタント「Cora」では、やり取りの約3分の1をRAGやナレッジベース、エージェントを活用したAI生成による回答へと移行している。

• エージェントベースのソリューションには、自信満々なハルシネーションやプロンプトインジェクションなど、従来のスクリプト型には存在しない4つの障害モードが存在する。

• 決済エージェントに対する人間の検証における平均合格率は83%であったが、標準シナリオの97%に対してトピック変更のエッジケースでは43%へと大きく低下した。

• リスクをほぼゼロに抑えて実データを把握するため、既存のスクリプト化されたソリューションで応答しながらAIで顧客の発話を分類するシャドウデプロイが導入されている。

Timeline

1. 00:00 - 04:45

   銀行環境におけるAIエージェントの導入と課題

   ナットウエスト・グループのデジタルアシスタント「Cora」は1日約10万件の会話に対応しており、従来は大部分がスクリプト化されていた。しかし現在は会話の約3分の1をAI生成による回答へ移行する取り組みが進められている。モデル自体の性能は優れているものの、顧客の実際の資産や規制に関わるため、影響範囲（ブラスト半径）の管理が最も重要な課題となる。ハルシネーション、プロンプトインジェクション、非生産的なループ、非決定的出力という4つの障害モードが、従来の回帰テストを適用困難にしている。

   • ツールや支援の普及によりAIエージェント自体の作成は比較的容易である。
   • ナットウエストでは1,900万人の顧客を抱えており、誤った応答は重大なレピュテーション失墜や規制上の問題につながる。
   • エージェントは推論や判断を行うため、従来のスクリプト型システムにはない4つの障害モードが発生する。
2. 04:45 - 07:32

   攻撃対象領域の縮小とルーティングファネル

   システムを強化する最初のステップとして、すべての顧客との会話に対してルーティングファネルが適用される。最初にコンテキストフィルターでボタンクリック等のイベントを取り除き、次に決定論的な事前分類ルールで目的地へとルーティングする。これにより、アクセス制御、監査可能性、レジリエンス、ガバナンスという銀行特有の要件を満たしている。また、ルーターの精度が94%であっても間違った6%に対して100%の自信を持つことが危険であるため、評価を単一のスコアではなく安全性やタスク達成度などのベクトルとして扱うアプローチが採用されている。

   • AIモデルに渡す前に攻撃対象領域を縮小するため、ルーティングファネルが導入されている。
   • コンテキストフィルターや決定論的ルールにより、モデルを使わずに不要なイベントやルーティング処理が行われる。
   • 評価を単一の精度スコアから脱却させ、安全性、タスク、エクスペリエンスの3つのカテゴリで多角的にモニタリングしている。
3. 07:32 - 11:02

   人間による検証とLLM審査員の活用

   37種類の決済ジャーニーにわたる検証の結果、全体平均では83%の合格率を示したが、トピック変更のようなエッジケースでは54%もの開きが隠されていた。主観的な意図理解に関する人間同士の一致率は64%に留まるため、LLM審査員を導入する際にはその点を考慮しなければならない。また、背後にあるモデルを変更した際に審査員のスコアが急落するなど、審査員モデル自体が破壊的変更を引き起こす要因になり得ることが判明している。

   • 決済エージェントの検証では標準シナリオで97%の合格率だったが、トピック変更では43%まで低下した。
   • LLMを審査員として自動評価に導入する場合、人間同士の主観的な合意率の限界を考慮する必要がある。
   • 審査する側と審査される側で異なるモデルファミリーを採用することが、スコアの信頼性を高める上で効果的である。
4. 11:02 - 17:52

   オブザーバビリティ、CI/CD、および段階的デプロイ

   エージェントの稼働状況はCometプラットフォーム上のOpikやNPMに集約され、トレースやデータドリフトが継続的に監視されている。インターネットにアクセスできないエアギャップ環境において、プライベートパスや署名付きパートナーアプリを通じて安全性が担保されている。本番稼働に向けては、シャドウデプロイによってリスクをほぼゼロに抑えながら実データを収集し、機能フラグを用いてブランドごとやパーセンテージベースで迅速に切り離しやロールアウトを行える仕組みが構築されている。

   • ライブ会話はオープンソース標準でキャプチャされ、オフラインスコアリングやCI/CDの回帰ゲートに組み込まれている。
   • モデルのリスク管理を満たすため、既存のスクリプトで応答しつつAIで分類を行うシャドウデプロイが活用されている。
   • 機能フラグを用いたきめ細かなロールアウトにより、リスクを抑えた段階的なリリースが実現されている。