بناء وكيل الذكاء الاصطناعي أمر سهل. لكن إثبات أمانه ليس كذلك - جوناثان أوزبورن، ناتवेस्ट
Original · Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest
Key Takeaway
بناء وكيل ذكاء اصطناعي في بيئة مصرفية خاضعة للتنظيم يعتبر سهلاً نسبياً، بينما يكمن التحدي الحقيقي في إثبات أمانه واستخدامه للبنية التحتية والتقييم المستمر لتجنب المخاطر.
Highlights
يخدم المساعد الرقمي كورا (Quora) في مجموعة NatWest ما يقرب من 100,000 محادثة يومياً لخدمة 19 مليون عميل تجزئة.
يعمل البنك على إحضار ما يقرب من ثلث رحلات الخدمة داخل المساعد لتكون مدعومة بالذكاء الاصطناعي التوليدي عبر تقنية الاسترجاع المعزز.
يواجه النظام أربعة أنماط فشل رئيسية تشمل الهلوسة بثقة كاملة، وحقن الأوامر، وتقديم إجابات صحيحة بلا فائدة، وعدم الحتمية في المخرجات.
يقلل قمع التوجيه مساحة الهجوم من خلال مرشح سياقي وقواعد تصنيف مسبق حتمية قبل تشغيل أي نماذج ذكاء اصطناعي.
بلغ معدل الاتفاق بين المقيمين البشريين 95% في الأمور الموضوعية مثل التحيز، بينما انخفض إلى 64% في فهم النية.
يستخدم النظام عملية نشر ظل تشغل النظام حياً لتصنيف عبارات العملاء بينما يبقى الحل البرمجي القديم مسؤولاً عن الردود.
Timeline
تحديات نقل وكلاء الذكاء الاصطناعي إلى الإنتاج في القطاع المصرفي
يتناول القسم نظرة عامة على بنك NatWest ومساعده الرقمي كورا الذي يعتمد تقليدياً على نصوص معدة مسبقاً. ومع التحول نحو الذكاء الاصطناعي التوليدي، تتضح المخاطر الكبيرة الناتجة عن حجم العملاء والأموال الحقيقية على المحك. كما يوضح سبب فشل اختبارات الانحدار التقليدية في التعامل مع الأنظمة غير الحتمية.
- يعد NatWest ثاني أكبر بنك للتجزئة في المملكة المتحدة مع 19 مليون عميل.
- يخدم المساعد الرقمي كورا نحو 100,000 محادثة يومياً.
- الإنشاء الفعلي للوكيل سهل، بينما إثبات أمانه هو الجزء الأصعب.
- يواجه الذكاء الاصطناعي أنماط فشل تشمل الهلوسة وحقن الأوامر وعدم الحتمية.
استخدام قمع التوجيه لتقليص مساحة الهجوم
يشرح هذا الجزء آلية قمع التوجيه المكون من بوابات متعددة لضمان أمان وسلامة الطلبات قبل وصولها إلى النماذج. يتم توجيه الاستفسارات بناءً على التحكم في الوصول وإمكانية التدقيق والمرونة والحوكمة، مع الاعتماد على تقييم متعدد الأبعاد بدلاً من نتيجة دقة واحدة.
- يتم تطبيق مرشح سياقي لإزالة الأحداث الشائعة بنسبة 20% تقريباً.
- تستخدم قواعد التصنيف المسبق بيانات العملاء دون تعلم آلي في البداية.
- تتم مراقبة الأداء عبر ثلاث فئات رئيسية هي السلامة والمهمة والتجربة.
التقييم البشري ونماذج الحكم في بيئة الإنتاج
يناقش القسم نتائج التقييمات البشرية لوكيل الدفع وكيف تختلف تقديرات الأفراد باختلاف الموضوع. كما يوضح كيفية استخدام النماذج اللغوية كحكام لتقييم وكيل الشكاوى، مع تسليط الضوء على ضرورة مراقبة تغييرات نماذج الحكم لتجنب إحداث تغييرات مدمرة.
- أظهرت الاختبارات البشرية معدل اتفاق بلغ 95% في الأمور الموضوعية و64% في فهم النية.
- يستخدم مشروع الشكاوى الداخلي نموذجاً لغويماً كحكم لتقييم آلاف الحالات.
- يتم التقاط المحادثات الحية باستخدام معايير مفتوحة المصدر مثل OTel وOpenInference.
النشر التدريجي واعتماد أنظمة المراقبة
يختتم الحديث بعرض كيفية نشر النظام في بيئة معزولة تماماً باستخدام النشر الظل والتحقق المستمر عبر التكامل والنشر المستمر. تتيح هذه البنية اكتشاف التراجع بصرامة، مما يضمن أمان وكلاء خدمة العملاء قبل إطلاقهم بالكامل.
- تجمع منصة كوميت بين مراقبة الذكاء الاصطناعي التوليدي والتعلم الآلي التقليدي.
- تتيح عملية النشر الظل اختبار النظام حياً دون مخاطر على العملاء.
- تعتمد عملية النشر على مفاتيح الخصائص لإعادة التوجيه السريع عند الحاجة.
Description
NatWest lead AI engineer Jonathan Osborne shares how the UK's second-largest retail bank, with 19 million customers and about 100,000 assistant conversations a day, is moving its digital assistant Cora from scripted answers to AI agents. Building the agent was the easy part; proving it was safe was the hard part. He covers the routing funnel that limits what ever reaches a model, why quality is several scores instead of one, human reviews where an 83% pass rate hid a 54-point gap, an LLM judge that scored far higher than humans with almost no correlation, and shadow deployments with feature flags for a safe rollout. Chapters: 0:00 Intro 0:41 NatWest and Cora 1:43 The real risk: blast radius 2:23 Scripted bot vs. AI agent 3:40 Four new ways agents fail 4:52 The routing funnel 6:34 Why one accuracy score isn't enough 7:43 Human reviews: 83% hid a 54-point gap 9:16 LLM judges that grade too kindly 11:06 How scoring runs in production 14:06 Shadow mode and gradual rollout 15:42 Human feedback as a gate 16:48 Lessons for regulated agents Jonathan Osborne https://www.natwest.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!