9億ドルの銀行エラーがAIエージェントについて教えてくれること - ジョン・フェミネラ（Two Sigma）
원제 · What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma
핵심 요약
AIエージェントの暴走やミスを防ぐには、完全なロックダウンではなく、レジストリやガードレール、評価、ランタイムガバナンスを組み合わせることで安全性と自律性を両立させることが重要である。
하이라이트
2020年8月、シティバンクは誤ってレブロンのローン未払い元本全額である約9億ドルを300以上の貸し手全員に送金した。
企業では日々、AIエージェントに実システムに対する本当の自律性が与えられている。
安全性とイノベーションはトレードオフの関係ではなく、適切な境界と可視性を提供することで両立可能である。
エージェントレジストリを使用することで、社内で稼働するすべてのエージェントの可視化とガバナンスが自動的に可能になる。
타임라인
銀行の送金ミスと統制の重要性
レブロンの融資契約において、銀行のソフトウェア「フレックスキューブ」の処理手順の不備とオペレーターの判断ミスにより、本来外部に出してはならない元本が全額送金された。受け取った貸し手側が返金を拒否したことで大きな問題となり、商業融資契約に特別な条項が加えられる契機となった。この事例は、統制やガードレールがなぜ必要なのかを浮き彫りにしている。
- 規制された企業において、統制が機能しなくなったときになぜ統制が存在するのかがよく理解できる。
- シティバンクの処理ミスにより、本来送るべき利息ではなく約9億ドルの元本全額が貸し手に送金された。
- 人間やシステムが確認画面の警告を上書きしてしまうことで大事故が発生する。
エージェントの自律性と安全性のアプローチ
エージェントに自律性を与える際、厳しすぎる制限を課すと使い物にならず、逆に野放しにするとリスクが高すぎる。人間が人間に対して一定の統制と自律性を与えているのと同様に、エージェントに対しても適切な境界と可視性を提供する必要がある。これにより、セキュリティを確保しながら業務効率やイノベーションを犠牲にせずに済む。
- 非決定論的なシステムであるAIエージェントの挙動を事前に完全に予測することはできない。
- すべてをサンドボックス化してロックダウンするアプローチは安全だが有用ではない。
- 安全性とイノベーションはトレードオフの関係ではなく、両立させることができる。
5つの統制によるエージェントの管理
エージェントの乱立と多様なリスクに対処するため、レジストリによる可視化、目的特化型の評価、必要なツールの事前宣言、共通の評価（Evals）の仕組み、そしてランタイムでの分類器の活用という5つの要素が導入される。これにより、すべての作業を人間が手動で承認する負担を軽減し、高リスクな案件のみに人間の注意を集中させることが可能になる。
- エージェントレジストリによって、社内のすべてのエージェントとそのツール、管理者を把握できる。
- エージェントに自らの目的や必要なツールをあらかじめ宣言させることで、適切な粒度でアクセス権を制御できる。
- 車にブレーキがあるのは速く走り安全に止まるためであり、エージェントのコントロールも同様の役割を持つ。
설명
In 2020, Citibank accidentally sent about $900 million to Revlon’s lenders instead of an $8 million interest payment, even though the procedure, the warning pop-up and three approvers all did what they were supposed to. John Feminella, who works on AI architecture and engineering at Two Sigma, uses that story to show how to give AI agents real autonomy without locking everything down. He walks through five composable controls: an agent registry, risk-based review, tool access that follows an agent’s declared purpose, shared firm-wide evals, and classifiers that send humans only the approvals that matter. Views are his own, not Two Sigma’s. Chapters: 0:00 Intro 0:43 When controls fail 1:03 The $900M Revlon payment mistake 4:58 What this has to do with AI agents 5:22 Humans aren’t deterministic either 6:07 Approaches that don’t work 7:32 Control 1: An agent registry 9:47 Control 2: Risk-based review 11:47 Control 3: Tools follow purpose 14:42 Control 4: Shared evals 16:17 Control 5: Ending approval fatigue 18:07 Putting it all together 18:32 Why cars have brakes John Feminella https://www.twosigma.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!