300のエージェント、60人の人間：自社AIエージェントの安全を守った方法 - エイデン・ソチョウスキー（Runlayer）

Highlights

• 50人から60人規模の社内において、毎日300以上のAIエージェントが稼働している。

• モデルの変更や最適化されていないMCPサーバーのエラーにより、わずか1週間でコストが100倍以上に跳ね上がる事例が発生している。

• エージェントの安全性を確保するため、すべてのセッション、ツール呼び出し、実行内容を中央システムに同期して記録するゲートウェイが導入された。

• 悪意あるメールの指示によるデータ流出や、不適切なPR承認を防ぐため、独自の分類モデルによるセッション全体の監視と権限の制限が行われている。

Timeline

1. 00:00 - 03:37

   社内におけるAIエージェントの急増と可視化の必要性

   多くの人が自社内で稼働するエージェントの全体像を把握できておらず、管理されていないデバイス上でMCPクライアントが実行されている。社内ではこの課題に対処するためゲートウェイをデプロイし、すべてのセッションやツール呼び出しを中央システムに記録している。その結果、50〜60人規模の企業でありながら毎日300以上のエージェントがチャットボットやSaaSアプリ経由で動いていることが判明した。これらは異なる時代に作られたシステム同士をつないでいるため、従来の手動API接続に比べてリスクが大きく増している。

   • 多くの企業で管理されていないエージェントやMCPクライアントが乱立している。
   • 50〜60人規模の社内において、毎日300を超えるエージェントが稼働している。
   • すべてのセッションとツール呼び出しを中央システムに同期して可視化する仕組みが導入された。
2. 03:37 - 12:01

   エージェントが抱えるセキュリティ脅威と制御の課題

   サポートデータやメールを取り込むエージェントに対し、攻撃者が巧妙な指示を送ることで顧客リストなどの機密情報が外部に流出する危険性がある。しかし、すべての挙動に対して細かくポリシーを静的に定義するのは非常に厄介であり、状況に応じた文脈判断が求められる。そのため、読み込まれるメールやプルリクエストのレビュープロセスにおいて、自前でトレーニングした分類モデルを活用し、不正な指示や意図しない権限昇格を防ぐ試みが行われている。

   • 悪意あるメールの指示や過剰な権限により、機密データが外部に流出するリスクが存在する。
   • エージェントの振る舞いやルールを細かく手動で定義・制御することは極めて困難である。
   • 独自の分類モデルを用いて、セッション内のデータやツール呼び出しが目的に合致しているか判定している。
3. 12:01 - 16:30

   エージェントの権限制限とコスト急増への対策

   単一のエージェントが読み込んだデータが別のエージェントに参照されるリスクを防ぐため、システム全体の書き込み権限を限定し、コンテキストウィンドウをクリーンに保つことが唯一の防御策となる。また、非エンジニアがノリで自作したテスト不足のMCPサーバーでエラーと回避策のループが発生し、トークン料金が大幅に増加した。さらに、安価なモデルから高価格帯のモデルへ切り替えたことで1週間足らずでコストが100倍になる事例もあり、適切な予算設定やタスクごとのモデル選択の正当化が不可欠である。

   • エージェント間のデータの混交や過剰な書き込み権限を制限することが安全性の維持につながる。
   • 十分なテストを行わずに自作されたMCPサーバーのエラーによるトークン消費がコストを膨れ上がらせる。
   • モデルの切り替えによってコストが100倍以上に跳ね上がる問題に対し、予算設定やタスクに応じた正当化が重要となる。