なぜ私たちは今もAIエージェントをソフトウェアのように規制しているのか？ - ティム・タイラー（Gravitee）

하이라이트

• 企業はAIエージェントを従来のソフトウェアと同様に管理しているが、デジタル労働力として組織的な説明責任フレームワークで扱う必要がある。

• エージェントの運用には単一の信頼できる情報源に基づくユニークなIDと、組織図上に位置づけられた責任者であるスポンサーが必要である。

• エージェントの役割と権限は最小限のスコープに制限され、アクセス可能なデータやツールはスポンサーによって明示的に管理される。

• 決定論的なルールチェックと、信頼度スコアに基づく確率的なインテント評価を組み合わせることで、機械のスピードでエージェントの監視と制御を行う。

• 信頼スコアが90%以上の場合はコンテンツの非表示などの対応を行い、50%未満の場合は人間による介入にエスカレーションし、20%未満ではブロックする。

타임라인

1. 00:00 - 02:28

   エージェントをデジタル労働力として捉える視点

   多くの企業がAIエージェントを活用し始めている現状において、CTOや人事部での扱いに迷いが生じている。人間を管理してきたこれまでの組織的知見をデジタル労働力としてのAIに応用することで、適切な責任と管理体制を構築することが求められる。

   • 企業はAIエージェントという新しいデジタル労働力を採用しているが、依然としてソフトウェアと同等に扱っている。
   • 組織は1世紀にわたり人間である従業員の管理方法を考えてきたため、その手法をAIエージェントにも適用すべきである。
   • エージェントアカウンタビリティと呼ばれるフレームワークにより、割り当て、アライメント、管理の3つのステージで監査可能なコントロールを実現する。
2. 02:28 - 06:04

   割り当てステージにおけるアイデンティティとスポンサーの確立

   組織内で稼働するAIエージェントには、セキュリティ上の建物入館証のように一意のIDを付与して「誰であるか」を明確にする。さらに、単なる個人のツールではなくチームメイトとして機能させ、行動の全責任を持つ人間のスポンサーを紐付けることで、組織内での所在と責任の系統を明らかにする。

   • エージェントの存在を確立するためには、単一の共有レジストリに存在するユニークなIDによるアイデンティティが必要である。
   • エージェントは単独の存在ではなくチームの一員であり、チームの目標やコンテキストを共有し続ける必要がある。
   • エージェントの行動に対して責任と説明義務を負う人間であるスポンサーが割り当てられ、目的やコスト管理を担当する。
3. 06:04 - 11:17

   スコープと権限の定義

   仕事の目的や成功の定義をオンボーディング時に設定し、実行時には必要なツールやデータへのアクセス権限をスポンサーが与える。権限の範囲はエージェントの系譜とスコープによって厳格に制限され、外部エージェントからの入力に対しても境界が設けられる。

   • エージェントには曖昧な職務記述書ではなく、明確な目的、責任、予算を含む役割を定義する必要がある。
   • スポンサーがどのデータやツールにアクセスできるかを決定し、最小のスコープ原則に基づいて権限を制限する。
   • モデル自体が持つ継承されたアライメントと、組織側が定義する決定的・確率的な意図を区別して管理する。
4. 11:17 - 18:04

   管理ステージにおける監視と動的な制御

   四半期ごとのレビューを待つのではなく、ガーディアン・エージェントが機械のスピードでエージェントの出力を監視する。期待された成果から外れた場合は、信頼度に応じた段階的なアクションや制限を加え、人間であるスポンサーがコーチとしてルールや権限を微調整する。

   • 権限の範囲内に留まっているかをチェックする決定論的なルールと、インテントを評価する確率的なスコアカードを使い分ける。
   • 機械のスピードで動作するガーディアン・エージェントやAIゲートウェイを活用してリアルタイムに挙動を監視する。
   • 信頼スコアの閾値に応じて、コンテンツの非表示、人間の介入へのエスカレーション、操作の一時停止などの救済措置を実行する。