Чему нас учит банковская ошибка на 900 млн долларов об агентах ИИ — Джон Феминелла, Two Sigma
Original · What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma
Key Takeaway
Внедрение пяти компонуемых элементов контроля — таких как реестр агентов, политика принудительного доступа к инструментам и избирательное участие человека — позволяет предприятиям безопасно использовать автономных ИИ-агентов на высокой скорости.
Highlights
Ошибка в программном обеспечении Citibank в августе 2020 года привела к ошибочному переводу кредиторам всей суммы непогашенного долга компании Revlon в размере 900 миллионов долларов вместо 8 миллионов долларов процентов.
Программное обеспечение FlexCube требовало установки галочек в определенных полях для проведения внутренней реструктуризации кредита, но операторы пропустили их и проигнорировали предупреждающее уведомление.
Кредиторы отказались возвращать ошибочно переведенные средства, что привело к появлению в коммерческих кредитных договорах специальных пунктов для предотвращения подобных сценариев.
Организациям необходимы пять ключевых элементов контроля для безопасного использования автономных ИИ-агентов без ущерба для скорости инноваций: реестр агентов, классификация рисков, принудительные политики доступа, общие оценки и интеллектуальное вовлечение человека в контур управления.
Timeline
Уроки сбоя банковских систем на примере инцидента с Citibank
Разбор масштабного сбоя в финансовой сфере показывает, почему жесткие элементы контроля и проверки необходимы в сложных системах. Когда операторы игнорируют предупреждения автоматизированного ПО, возникают катастрофические последствия, требующие пересмотра процедур безопасности и заключения новых типов договоров.
- В августе 2020 года Citibank ошибочно перевел кредиторам компании Revlon около 900 миллионов долларов основной суммы вместо выплаты 8 миллионов долларов процентов.
- Программное обеспечение FlexCube требовало специальной отметки транзитного счета для проведения внутренней операции, но операторы проигнорировали системное предупреждение.
- Получатели средств отказались возвращать деньги, сославшись на то, что это полное погашение долга, что изменило юридическую практику коммерческого кредитования.
Баланс между автономностью ИИ и безопасностью предприятия
Попытки полностью запереть системы или запретить автономность подрывают продуктивность команд и подталкивают их к использованию теневых ИТ-структур. Решением является предоставление агентам четких границ и компонуемых защитных механизмов вместо жестких запретов.
- ИИ-агенты и люди функционируют как недетерминированные системы, которые неизбежно совершают ошибки.
- Полная изоляция агентов в песочницах делает их безопасными, но бесполезными для реальной работы.
- Безопасность и инновации не исключают друг друга, если внедрены правильные границы, прозрачность и средства контроля.
Первые три средства контроля: реестр, классификация и ограничение инструментов
Отсутствие видимости развернутых агентов порождает хаос и дублирование усилий. Реестр обеспечивает прозрачность, а декларативный подход к инструментам позволяет безопасно выдавать права без ручного согласования каждого запроса через ИТ-отдел.
- Реестр агентов автоматически отслеживает всех созданных в компании агентов, их владельцев и используемые инструменты.
- Дифференцированная классификация рисков предотвращает застой мелких проектов в общих очередях проверок.
- Агенты заранее декларируют список необходимых инструментов, получая доступ только к разрешенным конечным точкам и ресурсам.
Оценка моделей и управление участием человека в контуре
Масштабирование работы агентов требует автоматизации оценок качества и фильтрации запросов к человеку. Тормоза в автомобиле существуют не только для остановки, но и для того, чтобы безопасно передвигаться на высокой скорости — этот же принцип применим к элементам контроля ИИ.
- Единый корпоративный подход к оценкам работает аналогично модульным тестам в разработке программного обеспечения.
- Усталость от проверок у людей-операторов неизбежно приводит к случайному одобрению опасных действий.
- Консервативные классификаторы должны автоматически обрабатывать рутинные вызовы, передавая человеку только двусмысленные или критические запросы.
Description
In 2020, Citibank accidentally sent about $900 million to Revlon’s lenders instead of an $8 million interest payment, even though the procedure, the warning pop-up and three approvers all did what they were supposed to. John Feminella, who works on AI architecture and engineering at Two Sigma, uses that story to show how to give AI agents real autonomy without locking everything down. He walks through five composable controls: an agent registry, risk-based review, tool access that follows an agent’s declared purpose, shared firm-wide evals, and classifiers that send humans only the approvals that matter. Views are his own, not Two Sigma’s. Chapters: 0:00 Intro 0:43 When controls fail 1:03 The $900M Revlon payment mistake 4:58 What this has to do with AI agents 5:22 Humans aren’t deterministic either 6:07 Approaches that don’t work 7:32 Control 1: An agent registry 9:47 Control 2: Risk-based review 11:47 Control 3: Tools follow purpose 14:42 Control 4: Shared evals 16:17 Control 5: Ending approval fatigue 18:07 Putting it all together 18:32 Why cars have brakes John Feminella https://www.twosigma.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!