ماذا يعلمنا خطأ بنكي بقيمة 900 مليون دولار عن وكلاء الذكاء الاصطناعي - جون فيمنيلا، تو سيغما
Original · What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma
Key Takeaway
تتطلب إدارة وكلاء الذكاء الاصطناعي في المؤسسات المنظمة توفير ضوابط أمان مرنة وقابلة للتركيب بدلاً من الحظر الشامل أو المراجعات اليدوية البطيئة لضمان الابتكار والسرعة.
Highlights
تسبب خطأ في نظام فليكس كيوب (FlexCube) داخل سيتي بنك في تحويل 900 مليون دولار من أصل القرض بالكامل بدلاً من دفع 8 ملايين دولار من الفوائد لـ 300 مقرض في أغسطس 2020.
تعتبر الأنظمة غير الحتمية صفة مشتركة بين البشر والوكلاء الذكيين، مما يجعل التحكم في أخطائهم عبر فرض قيود معزولة تماماً غير عملي.
يوفر سجل الوكلاء مصدر موثوقاً للحقيقة من خلال تسجيل الأدوات المتاحة ونقاط النهاية وتحديد الجهة المالكة تلقائياً.
تخضع إجراءات الوكلاء لضوابط أمان تتيح لها الوصول فقط للأدوات المصرح بها مسبقاً دون الحاجة لمراجعات بشرية متكررة ومعطلة.
تعمل مكابح السيارات كمثال على أهمية الضوابط ليس فقط للتوقف، بل للتمكن من الحركة بسرعة وبأمان.
Timeline
قصة خطأ التحويل المالي وتداعياته
تتحدث القصة عن حادثة وقعت في أغسطس 2020 عندما اقترضت شركة ريفلون أموالاً قُسّمت على أكثر من 300 مقرض بينما تولى سيتي بنك دور الوكيل الإداري. استخدم البنك برنامج فليكس كيوب لتسجيل مدفوعات الفوائد، وفشل المشغلون في تحديد خانات حساب الغسل رغم ظهور نافذة تحذيرية، مما أدى إلى إرسال أصل القرض بالكامل للمقرضين الذين رفضوا إعادته لاحقاً.
- يؤدي خطأ في معالجة المدفوعات إلى تحويل 900 مليون دولار بالخطأ بدلاً من فوائد بقيمة 8 ملايين دولار.
- يفشل نظام معالجة المعاملات في تثبيت أصل المبلغ داخل حساب غسل داخلي.
- يتجاوز المشغلون البشريون رسائل التحذير المنبثقة وينفذون عملية التحويل بالكامل.
تحديات استقلالية الوكلاء والمفاضلة بين الأمان والابتكار
تطرح استقلالية الوكلاء تحديات تشريعية وتنظيمية تشبه الأخطاء البشرية. لا يمكن حبس المستخدمين أو منعهم من التواصل لمنع الأخطاء، بل يجب منحهم حدوداً وشفافية وضوابط تسمح بتحقيق الأمان والابتكار معاً دون الحاجة لبيئات معزولة عديمة الفائدة أو وثائق سياسات غير قابلة للتنفيذ.
- تعمل الأنظمة غير الحتمية مثل البشر والوكلاء بطرق تتطلب حدوداً واضحة وليس عزلاً تاماً.
- تتعدد أشكال وأنواع الوكلاء المستخدمة في المؤسسات من روبوتات محادثة إلى أدوات ويب.
- تفشل الحلول المتمثلة في عزل الوكلاء تماماً أو تقييدهم بقرارات يدوية بطيئة في تلبية احتياجات العمل.
حلول الضوابط الخمسة لتنظيم عمل الوكلاء
تتضمن منظومة الضوابط الخمسة سجلاً للوكلاء لمتابعة الملكية والأدوات، وتصنيفاً للمخاطر لتجنب طوابير المراجعة الطويلة، وأذونات محددة للأدوات وقت التهيئة، وتقييمات موحدة لاختبار النماذج، إضافة إلى آليات تصنيف تقلل من إرهاق المراجعة البشرية عبر أتمتة المهام الروتينية وحصر التدخل البشري في الحالات المعقدة فقط.
- ينشئ سجل الوكلاء رؤية واضحة وموثوقة لجميع الوكلاء والأدوات والمالكين تلقائياً.
- يعلن الوكلاء عن أغراضهم وأدواتهم المسموحة مسبقاً لتجنب قوائم السماح الضيقة أو الحظر الشامل.
- توفر التقييمات الموحدة على مستوى الشركة أداة اختبار دقيقة لكل تغيير في النماذج.
- تتخذ الآليات المستقلة القرارات الروتينية بينما تُحال الطلبات الحرجة والغامضة وحدها إلى العنصر البشري.
Description
In 2020, Citibank accidentally sent about $900 million to Revlon’s lenders instead of an $8 million interest payment, even though the procedure, the warning pop-up and three approvers all did what they were supposed to. John Feminella, who works on AI architecture and engineering at Two Sigma, uses that story to show how to give AI agents real autonomy without locking everything down. He walks through five composable controls: an agent registry, risk-based review, tool access that follows an agent’s declared purpose, shared firm-wide evals, and classifiers that send humans only the approvals that matter. Views are his own, not Two Sigma’s. Chapters: 0:00 Intro 0:43 When controls fail 1:03 The $900M Revlon payment mistake 4:58 What this has to do with AI agents 5:22 Humans aren’t deterministic either 6:07 Approaches that don’t work 7:32 Control 1: An agent registry 9:47 Control 2: Risk-based review 11:47 Control 3: Tools follow purpose 14:42 Control 4: Shared evals 16:17 Control 5: Ending approval fatigue 18:07 Putting it all together 18:32 Why cars have brakes John Feminella https://www.twosigma.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!