9亿美元银行失误给我们带来关于AI代理的启示 - 约翰·费米内拉 (John Feminella)，Two Sigma
원제 · What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma
핵심 요약
通过建立注册表、风险分级、护栏、共享评估与运行时治理这五项可组合的控制措施，企业可以在不牺牲创新速度的前提下安全运行具备真正自主权的AI代理。
하이라이트
花旗银行在2020年8月因错误操作，将露华浓大约9亿美元的贷款全额本金发送给了300多家贷款机构。
企业管理代理时必须避免过度沙盒化或仅仅依赖提示词策略，因为这会导致安全与实用性无法平衡。
智能体注册表作为单一真实数据源，能够自动记录代理工具、端点、产品归属与负责人信息。
通过分类器处理常规调用并将高风险请求发送给人工审核，可以有效解决人工审查的审核疲劳问题。
汽车刹车不仅是为了停下，更是为了让车辆能够安全地开得更快，AI代理的控制措施也遵循同样的原理。
타임라인
花旗银行9亿美元支付失误的启示
演讲者通过花旗银行错误向300多家贷款机构发放9亿美元的真实案例，引出了受监管公司中控制措施失效的问题。在日常运营中，系统和人类都会犯错，这为思考如何管理非确定性的AI代理提供了重要的切入点和警示。
- 花旗银行在2020年8月本应支付800万美元利息，却因内部软件FlexCube操作失误转出了约9亿美元本金。
- 处理该交易的人工操作员忽略了系统弹出的警告通知，导致贷款机构不愿退还意外获得的全额资金。
- 当控制措施失效时，会暴露出当初设立这些控制措施的根本原因。
平衡安全与创新的控制策略
探讨了在面对非确定性系统时常见的极端错误做法，包括过度沙盒化和纯提示词约束。指出理想的控制方案应该提供边界与共享能力，让团队在不降低效率的前提下，构建具备自主权的代理。
- 人类作为非确定性系统同样会犯错，但企业选择通过边界与可见性赋予其自主权而非将其锁死。
- 将所有内容完全沙盒化虽然安全，但会使系统毫无用处；仅靠提示词策略则无法在运行时进行有效强制执行。
- 安全与创新并不是光谱的两端，通过正确的控制组合可以鱼与熊掌兼得。
五大核心控制措施的前两项
分析了代理数量激增带来的管理难题，并提出了前两项解决方案。智能体注册表能够自动记录工具、端点和负责人；而风险分级则确保了微不足道的摘要工具不会与高风险系统承受相同的审批等待时间。
- 第一项控制措施是智能体注册表，用于解决代理激增时无法看见和管理的问题，充当单一真实数据源。
- 第二项控制措施是基于代理用途的风险分级，避免让低风险的小工具与直接接触生产环境的项目排在同一个漫长审查队列中。
- 强制统一的人工审查流程会导致员工转向影子IT，从而失去对系统的整体可见性。
工具粒度、共享评估与运行时治理
详细阐述了其余三项控制措施的具体运作方式。通过预先声明工具权限、统一样式评估以及利用分类器处理常规决策，企业能够有效防止由于审核疲劳导致的人为疏漏，并在最后以汽车刹车的比喻总结了控制措施的核心价值。
- 代理需要预先声明其用途和所需工具，从而在托管环境中自动转化为可执行的访问规则。
- 公司层面提供统一的共享评估方法，避免各个团队重复编写相似的测试代码。
- 通过分类器自动处理常规调用，仅将模棱两可或具潜在危险的请求提交给人类审核，以防止审核疲劳。
설명
In 2020, Citibank accidentally sent about $900 million to Revlon’s lenders instead of an $8 million interest payment, even though the procedure, the warning pop-up and three approvers all did what they were supposed to. John Feminella, who works on AI architecture and engineering at Two Sigma, uses that story to show how to give AI agents real autonomy without locking everything down. He walks through five composable controls: an agent registry, risk-based review, tool access that follows an agent’s declared purpose, shared firm-wide evals, and classifiers that send humans only the approvals that matter. Views are his own, not Two Sigma’s. Chapters: 0:00 Intro 0:43 When controls fail 1:03 The $900M Revlon payment mistake 4:58 What this has to do with AI agents 5:22 Humans aren’t deterministic either 6:07 Approaches that don’t work 7:32 Control 1: An agent registry 9:47 Control 2: Risk-based review 11:47 Control 3: Tools follow purpose 14:42 Control 4: Shared evals 16:17 Control 5: Ending approval fatigue 18:07 Putting it all together 18:32 Why cars have brakes John Feminella https://www.twosigma.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!