البرمجة المدعومة بالذكاء الاصطناعي: الوعود والمخاطر

VVercel
AI/미래기술컴퓨터/소프트웨어

Transcript

00:00:00شكرًا لحضوركم.
00:00:01شكرًا لبقائكم.
00:00:02اسمي أليكس.
00:00:03أعمل في شركة صغيرة تدعى كوريدور.
00:00:06أنا هنا لأتحدث قليلًا عن البرمجة البديهية (vibe coding)، وبعض الأمور المثيرة للاهتمام من منظور أمني.
00:00:14أولًا، أنا من أشد المعجبين باستخدام الذكاء الاصطناعي لتوليد الأكواد.
00:00:20أعتقد أن هذه فرصة رائعة للناس لاستخدام أجهزة الكمبيوتر بطريقة لم يسبق لهم أن استخدموها بها.
00:00:27يوجد الكثير من مطوري البرمجيات المحترفين في هذه القاعة.
00:00:32نحن الذين نشأنا على كتابة الأكواد، واستخدام أجهزة الكمبيوتر من سطر الأوامر أو برمجتها منذ سن مبكرة، لا ندرك حقًا ما يعنيه هذا للأشخاص العاديين.
00:00:44ولكن للمرة الأولى على الإطلاق، سيتمكن الأشخاص العاديون من استخدام أجهزة الكمبيوتر بالطريقة التي كان ينبغي أن تكون متاحة لهم بها منذ فترة طويلة.
00:00:56البرمجة قوة خارقة.
00:00:58القدرة على أن تطلب من أجهزة الكمبيوتر فعل أشياء دون الحاجة لشراء برامج أو استخدام مصادر مفتوحة أو أن تطلب من الآخرين كتابة الأكواد لك، هذه قوة خارقة..
00:01:11البرمجة البديهية (vibe coding) تجلب ذلك لملايين الأشخاص.
00:01:15هذا أمر لا يصدق.
00:01:17يجب أن نكون سعداء للغاية لأننا في بداية، في بداية هذه الثورة التي ستجلب إمكانية الوصول للجميع.
00:01:24إنه أيضًا سلاح ذو حدين مذهل.
00:01:26وربما يكون وصفه بسلاح ذي حدين بخسًا لحقه.
00:01:29إنه أشبه بقاذفة بازوكا ذاتية التدمير نمنحها لكل هؤلاء الناس..
00:01:34هناك أمثلة تلو الأمثلة على أمور سيئة تحدث للأشخاص العاديين عندما يقومون ببرمجة تطبيقات بديهية، بعضها مجرد أشياء صغيرة ممتعة مثل جدول دوري أطفالهم أو أشياء يضعون فيها بياناتهم الشخصية.
00:01:49بعض الأشخاص يقومون ببرمجة أنظمة سجلات طبية أو أنظمة بيتكوين أو أشياء تحتوي على بيانات شخصية أو تأخذ أرقام بطاقات ائتمان الأشخاص أو تخزن رخص قيادتهم.
00:02:02هناك الكثير من الأمثلة لأشخاص يستخدمون تطبيقات البرمجة البديهية لإنشاء أشياء مهمة.
00:02:09ربما بعض المنصات المنافسة التي لن نذكر اسمها، ولكن أسماءها واضحة جدًا خلفي، تجعل هذا الأمر سيئًا بشكل خاص لأنها تستخدم إعدادات افتراضية سيئة للغاية ولا تسهل الأمر على الناس.
00:02:24وتجعل من السهل عليهم استخدام إعدادات افتراضية سيئة للغاية لأشياء مثل سوبر بيس.
00:02:31وهذا ليس خطأ سوبر بيس..
00:02:33الأمر هو أن طريقة عمل منصة البرمجة البديهية، وبعض المنصات الأخرى، لا تقوم بتكوين هذه الأشياء بشكل آمن افتراضيًا.
00:02:42هذا ليس رائعًا.
00:02:43وحتى في الوضع الذي لا نتحدث فيه عن مجرد برمجة بديهية مباشرة على منصة، بل عن محترفين يستخدمون، لدينا في الواقع بيانات أكاديمية تجريبية جيدة حول هذا الأمر.
00:02:55هذه ورقة بحثية ممتازة أوصيكم بقراءتها، صادرة عن مجموعة باك بينش الأكاديمية.
00:03:01قاموا بإنشاء مجموعة من المطالبات التي اعتقدوا أنها قد تخلق أكواد خلفية يمكن أن تحتوي على ثغرات أمنية لوكلاء البرمجة.
00:03:10ثم اختبروا هذه المطالبات مقابل مجموعة من أدوات البرمجة ونماذج اللغة الكبيرة ليروا.
00:03:17واختبروا أولاً ما إذا كان الكود المولّد صحيحًا.
00:03:21وثانيًا، ما إذا كان يحتوي على عيوب أمنية.
00:03:24ويحسب لهم أنهم يواصلون تحديث هذا مع ظهور نماذج جديدة ونشرها..
00:03:29يمكنكم الاطلاع على هذا.
00:03:31وكما قد تتوقعون، فإن نماذج اللغة الكبيرة في الواقع ترتكب الكثير من الأخطاء، ولكنها أيضًا تُدخل الكثير من العيوب.
00:03:39الآن، هذا يتجه في الاتجاه الصحيح..
00:03:41ولا داعي لالتقاط صور لهذا.
00:03:43يمكنكم الذهاب إلى backspends.com للحصول على نسخة أسهل بكثير للقراءة.
00:03:47كما أن جميع أكوادهم مفتوحة المصدر.
00:03:49لذا يمكنكم إعادة إنشائها بأنفسكم..
00:03:51إذن، أولاً، هذا يتجه في الاتجاه الصحيح، أليس كذلك؟ فإذا نظرت حتى داخل عائلة من المنتجات، مثل عائلة منتجات OpenAI، فإنها تسير في الاتجاه الصحيح.
00:04:02GPT-5 يعمل بشكل أفضل بكثير من GPT-4.1 و GPT-4.0 وما شابه.
00:04:07ثغرات أمنية أقل باستخدام نفس المطالبات..
00:04:10الآن، إحدى المشكلات هنا هي أن هذه المطالبات والاختبارات أصبحت مفتوحة المصدر.
00:04:14لذا قد تواجه مشكلة التحميل الزائد (overfitting) للاختبارات.
00:04:18على الرغم من أننا رأينا نفس الشيء، ما فعلناه في شركتنا هو أننا قمنا بتطوير هذا داخليًا، ونحن الآن نستخدم بعض اختباراتنا الخاصة.
00:04:26ونحن نرى نفس النتائج.
00:04:27في اختباراتنا الخاصة، الفائز هو كلود سونيت 4.5، الذي لم يتم إصداره علنًا بعد.
00:04:32لكن أنثروبيك تصدرت لوحة المتصدرين بفارق ضئيل جدًا عن GPT-5.
00:04:36ولكن على أي حال، إنه يتجه في الاتجاه الصحيح..
00:04:39ولكن مع ذلك، حتى في القمة هنا، من بين الأشياء التي تجتاز اختبارات الانحدار للكود الصحيح الفعلي، إذا كان 20% منها يحتوي على نوع من الثغرات الأمنية، فهذا ليس رائعًا.
00:04:52هذا ليس ما أعتبره، كخبير أمني، ما أرغب حقًا في رؤيته.
00:04:56أنا من كبار المعجبين بسلسلة فول آوت.
00:05:06الحرب لا تتغير أبدًا، أليس كذلك؟ ويشعرني الأمر قليلًا، أن ما نفعله هنا هو أننا نعطي هؤلاء المبرمجين البديهيين، خاصة أولئك الذين لم يكتبوا برامج احترافية من قبل، السلاح الأساسي.
00:05:53نعطيهم مقلاعًا وحقيبة ظهر.
00:06:00ثم ندفعهم إلى عالم مليء بالمسوخ الذين يحملون عصي حادة.
00:06:14ويتم التهامهم على الفور، أليس كذلك؟ لأنه ليس وكأن الأشرار يخترعون أكوادهم من الصفر.
00:06:36على مدى أكثر من 20 عامًا، كان لدينا مهاجمون محترفون يكتشفون كيفية اختراق تطبيقات الويب، وكيفية اختراق تطبيقات الهاتف المحمول، وكيفية الهندسة العكسية لهذه الأشياء، وخاصة كيفية بناء نماذج مالية لكيفية القيام بأشياء ضارة.
00:07:35وهكذا لدينا جيل جديد بالكامل من الأشخاص الذين أصبح لديهم الآن، بمعجزة، القدرة على استخدام أجهزة الكمبيوتر بطريقة جديدة، ويواجهون محترفين وظيفتهم بالكامل هي تحقيق الدخل من الأخطاء في البرامج.
00:08:25ينعكس هذا في صناعة الأمن بالطرق التي نصنف بها ونقيس هذه الثغرات الأمنية.
00:08:45أحد هذه الأطر التي نستخدمها يسمى إطار عمل MITRE ATT&CK.
00:08:59في مجال الأمن، سرقنا فكرة
00:09:09لذا، فإن البرمجة البديهية ستكون للأشخاص الذين، للمرة الأولى على الإطلاق، قادرون على الوصول إلى هذا النوع من القدرات باستخدام أدوات جديدة مصممة خصيصًا لهم.
00:09:18لذا، أول شيء يجب علينا فعله هو أن نفصل بين الفئات الكلية للمشكلات والطريقة التي يستخدم بها الناس هذه الأدوات.
00:09:25وأعتقد أننا يجب أن نتوقف عن تسمية الهندسة بمساعدة الذكاء الاصطناعي بالبرمجة البديهية.
00:09:31ربما الهندسة بمساعدة الذكاء الاصطناعي، يمكننا أن نجد مصطلحًا أفضل هنا.
00:09:35ولكن هذا يتراوح من الأشخاص الذين يستخدمون الإكمال التلقائي، والإكمال بالضغط على Tab، والمؤشر، إلى، كما تعلمون، الآن أصبح لديك مهندس محترف يرسل أربعة أو خمسة وكلاء مختلفين في الخلفية للقيام بمهام مختلفة بينما يقوم هو بالشيء الذي يرغب في فعله.
00:09:50وعلى الرغم من أن هؤلاء الوكلاء يعملون بشكل مستقل، إلا أن المهندس لا يزال هو المسؤول ويعرف ما يريده.
00:09:56وهذا لا يزال مختلفًا تمامًا عن البرمجة البديهية.
00:09:59مبرمج البرمجة البديهية غالبًا ما يعتمد على منصة متكاملة، أليس كذلك؟ لذا فهم يحتاجون إلى منصة تقوم بكل شيء لهم بشكل فعال من البداية إلى النهاية.
00:10:08إنهم لا يجمعون الأشياء قطعة قطعة.
00:10:10إنهم يصفون نتيجة.
00:10:11لديهم نتيجة يريدونها.
00:10:13يمكنهم فعل ذلك باللغة الإنجليزية أو أي لغة يتحدثونها.
00:10:16قد يفعلون ذلك بشكل مرئي، أليس كذلك؟ لذا هناك مجموعة من هذه المنصات التي تسمح لك بتصميمها باستخدام واجهات المستخدم الرسومية وما شابه.
00:10:24من الواضح أن V0 مثال رائع على ذلك.
00:10:26وهكذا لديهم نتيجة يريدونها.
00:10:28ليس بالضرورة، من غير المرجح أن يصفوا كيف يحاولون الوصول إلى هناك.
00:10:32غالبًا ما يبدأون من الصفر..
00:10:34لذا لديهم ميزة عدم الاضطرار إلى تكييف ما تفعله منصة البرمجة البديهية مع أي نوع من قواعد الأكواد الموجودة أو أي نوع من البنى الموجودة، وهو أمر رائع في الواقع من منظور أمني.
00:10:46يمكننا التحدث عن ذلك بعد قليل.
00:10:48ولكن هذا يمنح الكثير من الفوائد من منظور أمني لمنصة البرمجة البديهية من حيث أنها لا تحتاج إلى التكيف مع أي نوع من بنية AWS الموجودة أو، لا سمح الله، بنية مستضافة ذاتيًا..
00:11:00الجانب السلبي هنا هو أن لديهم قدرة قليلة بمفردهم على تأمين المخرجات.
00:11:11لذا هذا هو المكان الذي تنتهي فيه بتلك المشكلات التي نرى الناس يغردون عنها مثل: لماذا أرى هذا الخطأ أو أين ذهبت كل عملاتي البيتكوين؟ والتي إذا بحثت عنها على X (تويتر سابقًا) بعبارة
00:11:41ومرة أخرى، يمكن أن يكون الأمر بسيطًا مثل
00:12:56إذن، ما الذي يحتاجه مبرمجو البرمجة البديهية؟ أول شيء هو أنهم يحتاجون إلى أن تكون الأشياء آمنة بالتصميم.
00:13:01لذا عندما نتحدث عن
00:13:04غالبًا ما نتحدث عن أن منصة SaaS يجب أن تحتوي على خيارات مصادقة جيدة افتراضيًا، وأن جميع الإعدادات يجب أن تكون آمنة افتراضيًا، وأنه يجب عليك إيقاف تشغيل هذه الإعدادات الآمنة عمدًا وما شابه.
00:13:26من منظور البرمجة بالذكاء الاصطناعي، ما نريده حقًا هو أن تكون إعدادات البرمجة البديهية، والبنية، والكود،
00:13:39يجب أن يكون لديه رأي حول، حسنًا، افتراضيًا، يجب أن يكون لدى المستخدمين وصول قليل جدًا أو معدوم للبيانات، ثم يجب أن نمنحهم الوصول إلى البيانات صراحةً حسب حاجتهم، أليس كذلك؟
00:13:50لا ينبغي أن يكون لدينا مجرد قاعدة بيانات خلفية يمكنك الوصول إلى أي شيء فيها ثم حظرها لاحقًا.
00:14:01يجب أن يكون لديه رأي قوي حول هذا الأمر ثم يتخذ تلك القرارات نيابة عن المستخدم لأنه من غير المرجح أن يتمكن مبرمج برمجة بديهية في هذا السيناريو من اتخاذ تلك القرارات بنفسه.
00:14:21ربما يجب عليه أيضًا اكتشاف ما إذا كان المشروع الذي طُلب منه القيام به خارج نطاق ما يشعر بالراحة في القيام به.
00:14:33هناك عدد من منصات البرمجة البديهية حيث يمكنك أن تطلب منها،
00:14:40دعني أخبرك كخبير، كشخص يشغل منصب مدير أمن المعلومات (CSO) لشركة عامة، أن ذلك لم يكن صحيحًا.
00:14:59مجرد قول أن شيئًا ما متوافق مع HIPAA لا يجعله متوافقًا مع HIPAA بطريقة سحرية.
00:15:15هذه ليست الطريقة التي تعمل بها الأمور.
00:15:22وأشار إلى ذلك.
00:15:26يجب أن تعرف منصات البرمجة البديهية حدودها.
00:15:32ويجب أن يكون هناك شيء في المنتصف، إذا طلبت منها القيام بشيء متوسط مثل تخزين المعلومات الشخصية للأشخاص، فإنها ستسمح لك بذلك، ولكنها ستفعل مجموعة من ميزات الأمان، وإذا أمكن، ستستعين بوكلاء أمنيين تمامًا كما هو الحال في عدد من منصات البرمجة البديهية.
00:16:09إذا كنت ترغب في تخزين البيانات، ستقول،
00:16:15هذا ليس شيئًا سيجلبونه ببساطة.
00:16:17لذا، تريد أن يكون ذلك مدمجًا في المنتج الأساسي تمامًا كما لديك تلك العلاقة الأساسية مع شريك قاعدة بيانات أو شيء من هذا القبيل..
00:16:25الأبوية الأمنية أو الأمومية، إذا كنت تفضل، أمر مقبول.
00:16:37من المقبول اتخاذ قرارات نيابة عن المستخدمين الذين لا يملكون القدرة على القيام بذلك.
00:16:55أعتقد أن هذا شيء كانت صناعة الأمن تخشى القيام به لأننا كأشخاص أمنيين نخشى أن نتحمل المسؤولية عن القرارات التي نتخذها نيابة عن الآخرين.
00:17:23هذه مجرد مشكلة شائعة لدى الأشخاص الأمنيين هي أننا سنقوم بإنشاء حبل مشدود.
00:17:39وإذا سقط أحدهم من الحبل المشدود، نقول:
00:17:48لست متأكدًا بالضبط كيف تريد التعامل مع الأمر، لكنني أعتقد أن هناك تحديًا مثيرًا للاهتمام من منظور مدير المنتج.
00:17:55في أي نقطة تقوم بتفعيل وضع البرمجة البديهية حيث تقوم حقًا بأشياء نيابة عن المستخدم مقابل منحه المزيد من القدرات؟
00:18:01لذا، بالتأكيد، يجب أن يستخدم كيرسر على الأرجح من قبل المهندسين المحترفين فقط.
00:18:05لذا، يحتاج المهندسون المحترفون أيضًا إلى
00:18:56أعتقد أنكم جميعًا رأيتم هذا يحدث عندما تطلب من وكيل برمجة مثل،
00:19:26تفكر في ما هي متطلباتنا.
00:19:30تقوم بالكثير من إدارة المنتجات.
00:19:36هناك بعض الاستثناءات، ولكن في الغالب، وكلاء البرمجة يريدون فقط البدء في كتابة الكود.
00:19:49هذا ما يعرفونه.
00:19:52يقفزون إليه على الفور.
00:19:56ولذا أعتقد أن ما سيكون جيدًا هو أن تبدأ هذه الأشياء في التباطؤ وأن يكون لديها خطوات تخطيط وأن تكون أكثر تفكيرًا حول،
00:20:16ثم نحتاج أيضًا إلى القدرة على وجود وكلاء أمنيين للذكاء الاصطناعي.
00:20:16أحد الأشياء المضحكة التي تحدث هو أنك إذا كنت تعمل في شركة ناشئة صغيرة أو كان عمرك 22 عامًا، فإنك تعتقد أن الأشخاص الوحيدين الذين يكتبون البرامج هم مهندسو البرمجيات، لكنني أرى الكثير من المحترفين في هذه القاعة.
00:20:19عندما تكون محترفًا، وخاصة إذا كنت تعمل في شركة منظمة أو تقوم بشيء مهم مثل بناء الطائرات أو ما شابه، فإنك تدرك أن هناك مهندسي برمجيات، ولكن هناك أيضًا مهندسي أمن، ومهندسي معماريين أمنيين، ومهندسي خصوصية، وأشخاص امتثال، ومحامين.
00:20:21أعلم.
00:20:21نحن لسنا من كبار المعجبين بكل هؤلاء الأشخاص، لكن لديهم وظائف مهمة بالفعل.
00:20:22هناك سبب لوجود هؤلاء الأشخاص، وهناك سبب لتأثيرهم على قاعدة الكود، لأن أشياء سيئة حدثت مع البرامج، ولذا فقد وضعنا جميع أنواع القواعد حول سبب كتابتنا للبرامج ولماذا يجب أن تكون لدينا قواعد امتثال ولماذا لدينا إدارة منتجات، ولماذا لدينا قوانين خصوصية وما شابه.
00:20:24ما فعلناه هو أننا أخذنا وظيفة مهندس البرمجيات، وأخذنا أسبوع عمل مدته 40 ساعة، وحولناه إلى 20 دقيقة من وقت وحدة معالجة الرسوميات (GPU).
00:20:26حسنًا، كل هؤلاء الأشخاص الآخرين ما زالوا يعملون 40 ساعة في الأسبوع ويتفاعلون مع بعضهم البعض في غرف الاجتماعات وليس عبر MCP، ولا يستطيعون العمل بنفس سرعة مهندس البرمجيات الذي لديه 10 وكلاء يعملون في الخلفية، وينتجون الأكواد.
00:20:28ما نحتاج إلى فعله أيضًا هو بناء آليات بحيث يتمكن جميع الأشخاص الآخرين الذين ما زالوا يمتلكون وظائف مهمة من أن يكونوا بنفس كفاءة مهندس البرمجيات في عصر البرمجة بالذكاء الاصطناعي، لأنه في النهاية، لا يزال هناك بشر في الشركات يتحملون مسؤوليات حقيقية.
00:20:30في الواقع، قد يذهب بعض هؤلاء الأشخاص إلى السجن إذا قام مهندسو البرمجيات بوكلائهم البرمجيين بعمل سيء.
00:20:31لقد شغلت منصب مدير أمن المعلومات (CISO) لشركة عامة ثلاث مرات.
00:20:32إنها وظيفة مرعبة، مثل نكتة أحب أن أقولها، وهي ليست صحيحة، لكنها تبدو صحيحة بعض الشيء، وهي أن كلمة CISO يونانية تعني
00:20:33لذا، الشركة التي قطعت أبعد شوط هنا هي أنثروبيك.
00:20:47كلود كود يدعم معيارًا يعتمد على القياس عن بعد، لذا فهو معيار مفتوح ولطيف.
00:21:10إنه نظيف جدًا.
00:21:14في نسختهم الحالية، يحتوي على 70% مما يحتاجونه.
00:21:28وفي نسخة مستقبلية، يبدو أنهم سيقدمون 90% مما نحتاجه جميعًا.
00:21:47لذا سيكون رائعًا لو أن أنثروبيك أولاً قدمت كل شيء، ثم ثانيًا، لو أن الجميع قاموا بنسخهم.
00:22:14ولكن سيكون رائعًا حقًا لو أن جميع وكلاء البرمجة لديهم القدرة على الحصول على بيانات القياس عن بعد لما يفعله الجميع.
00:22:49هذه مجرد الخطوة الأولى.
00:22:56إنها الخطوة الأولى لأي حل أمني، لمجرد معرفة ما يحدث.
00:23:12وسيكون رائعًا حقًا لو أمكن تكوين هذا بواسطة MDM، بواسطة إدارة الأجهزة.
00:23:33لذا كمدير أمن معلومات مؤسسي (CISO)، يمكنك ببساطة الدفع باستخدام مزود MDM الخاص بك إلى جهاز كل شخص،
00:24:07المجال الثاني، الذي أعتقد أنه أكثر أهمية وإثارة للاهتمام، هو أننا نحتاج إلى آلية لتوحيد تلك المحادثة.
00:24:42كما تحدثنا، كان مهندسو البرمجيات ومهندسو الأمن يلتقون لتناول القهوة ويجرون محادثة..
00:25:10حسنًا، نحتاج إلى طرق قياسية لوكلاء الأمن ووكلاء البرمجيات للتحدث مع بعضهم البعض لتكرار ما كان يفعله هؤلاء البشر.
00:25:18ويجب أن يكون الأمر حتميًا نوعًا ما..
00:25:20لذا مرة أخرى، نحن نفعل هذا الآن بمنتجنا، لكن كان علينا نوعًا ما إدخاله بالقوة.
00:25:55وهو غير حتمي.
00:26:01إنه يعتمد على شعور نموذج اللغة الكبير (LM).
00:26:20وسيكون من الجيد أنه إذا أصدرت، إذا طلبت من وكيل برمجة القيام بشيء في الخلفية لمدة 30 دقيقة، أن يذهب ويتحدث مع وكيل الأمان الخاص بك ويقول،
00:27:22هذا جيد. يسعدنا أن نكون
00:27:42لقد أطلقنا هذا بفخر في التوفر العام اليوم، وقمنا بتوفيره في سوق وكلاء الذكاء الاصطناعي الخاص بـ Vercel.
00:27:48لذا نحن هناك في القمة.
00:27:50يمكنك الذهاب إلى corridor.dev للاطلاع علينا أو العثور علينا في سوق Vercel.
00:27:54نحن المنتج الأمني الوحيد هناك.
00:27:56لذا نشكر Vercel جزيل الشكر على شراكتهم في ذلك ونشكرهم على إعطائي هذا الوقت اليوم.
00:28:01إذا كنتم ترغبون في الدردشة معنا، فسأكون أنا وجاك، الرئيس التنفيذي والمؤسس المشارك، في الممر للحديث عن ذلك.
00:28:08على أي حال، أعتقد أن هناك الكثير الذي يمكننا القيام به معًا هنا لمنح هذه القوة الخارقة لوكلاء البرمجة بالذكاء الاصطناعي لملايين الأشخاص مع حمايتهم أيضًا من هؤلاء الأشرار الموجودين هناك.
00:28:20على أي حال، أنا أليكس، alex@corridor.dev.
00:28:23إذا أردت الدردشة في أي وقت، سأكون في الممر أو أرسل لي بريدًا إلكترونيًا.
00:28:27شكرًا جزيلاً لكم.
00:28:28شكرًا جزيلاً لـ Vercel.
00:28:30أتمنى لكم بقية يوم رائع..

Key Takeaway

بينما تقدم البرمجة المدعومة بالذكاء الاصطناعي قوة خارقة للملايين، فإنها تحمل مخاطر أمنية كبيرة تتطلب تصميمًا آمنًا للمنصات، وتخطيطًا أفضل لوكلاء الذكاء الاصطناعي، وتوحيدًا للتواصل بين وكلاء البرمجة والأمن لحماية المستخدمين.

Highlights

البرمجة المدعومة بالذكاء الاصطناعي تمثل "قوة خارقة" تتيح للأشخاص العاديين استخدام أجهزة الكمبيوتر بطرق جديدة، لكنها تحمل مخاطر أمنية كبيرة.

تُظهر الأبحاث الأكاديمية أن نماذج اللغة الكبيرة تُدخل عيوبًا أمنية في الأكواد المولّدة، حتى مع تحسن النماذج.

المستخدمون الجدد للبرمجة المدعومة بالذكاء الاصطناعي يواجهون مهاجمين محترفين لديهم عقود من الخبرة في استغلال الثغرات.

يجب أن تكون منصات البرمجة المدعومة بالذكاء الاصطناعي "آمنة بالتصميم" وتتخذ قرارات أمنية نيابة عن المستخدمين غير الخبراء.

هناك حاجة لوكلاء أمنيين للذكاء الاصطناعي وآليات موحدة للتواصل بين وكلاء البرمجة والأمن لضمان الكفاءة والأمان.

تُعد بيانات القياس عن بعد (telemetry) خطوة أولى حاسمة في الحلول الأمنية، ويجب أن تكون قابلة للتكوين مركزيًا.

شركة المتحدث، Corridor، أطلقت منتجًا أمنيًا في سوق وكلاء الذكاء الاصطناعي لـ Vercel لمعالجة هذه التحديات.

Timeline

مقدمة عن البرمجة المدعومة بالذكاء الاصطناعي وفوائدها

يبدأ المتحدث، أليكس، بتقديم نفسه وشركته Corridor، ويعبر عن حماسه الشديد للبرمجة المدعومة بالذكاء الاصطناعي، واصفًا إياها بـ "البرمجة البديهية" (vibe coding). يرى أليكس أنها فرصة رائعة للأشخاص العاديين لاستخدام أجهزة الكمبيوتر بطريقة لم يسبق لها مثيل، مما يمنحهم "قوة خارقة" لطلب تنفيذ المهام دون الحاجة لخبرة برمجية. يؤكد أن هذه الثورة ستجلب إمكانية الوصول للجميع، مما يفتح آفاقًا جديدة للتفاعل مع التكنولوجيا. يعتبر هذا التطور بداية لثورة تكنولوجية كبرى ستغير طريقة استخدامنا للحواسيب.

المخاطر الأمنية الكامنة في البرمجة المدعومة بالذكاء الاصطناعي

يحذر أليكس من أن البرمجة المدعومة بالذكاء الاصطناعي هي "سلاح ذو حدين مذهل"، بل يصفها بأنها "قاذفة بازوكا ذاتية التدمير" تُمنح للناس. يقدم أمثلة عديدة على المشاكل الأمنية التي يواجهها المستخدمون العاديون، مثل إنشاء تطبيقات تتعامل مع بيانات شخصية حساسة كجداول الأطفال، أو أنظمة سجلات طبية، أو محافظ بيتكوين، أو معلومات بطاقات الائتمان ورخص القيادة. يلوم بعض المنصات المنافسة على جعل الوضع أسوأ بسبب استخدامها لإعدادات افتراضية سيئة للغاية، مثل تلك المتعلقة بـ Supabase، والتي لا تقوم بتكوين الأشياء بشكل آمن افتراضيًا. هذه الإعدادات الافتراضية تعرض المستخدمين للخطر دون علمهم.

نتائج الأبحاث الأكاديمية حول عيوب الأكواد المولّدة بالذكاء الاصطناعي

يشير المتحدث إلى ورقة بحثية أكاديمية ممتازة من مجموعة باك بينش، والتي اختبرت قدرة وكلاء البرمجة ونماذج اللغة الكبيرة على توليد أكواد خلفية تحتوي على ثغرات أمنية. أظهرت النتائج أن نماذج اللغة الكبيرة ترتكب الكثير من الأخطاء وتُدخل عيوبًا أمنية، حتى لو كانت تتجه نحو التحسن بمرور الوقت، مثل تحسن GPT-5 مقارنة بـ GPT-4.1. ومع ذلك، يظل 20% من الأكواد التي تجتاز اختبارات الصحة الفعلية تحتوي على نوع من الثغرات الأمنية، وهو ما لا يعتبره خبير أمني مستوى مقبولاً من الأمان. هذه البيانات تؤكد أن التحدي الأمني لا يزال قائمًا حتى مع النماذج الأكثر تقدمًا.

التحدي غير المتكافئ: المبرمجون الجدد في مواجهة المهاجمين المحترفين

يستخدم أليكس تشبيهًا من لعبة Fallout "الحرب لا تتغير أبدًا" لوصف الوضع الأمني الحالي. يرى أننا ندفع المبرمجين البديهيين، خاصة أولئك الذين لم يكتبوا برامج احترافية من قبل، إلى عالم مليء بـ "المسوخ" الذين يمثلون المهاجمين المحترفين. هؤلاء المهاجمون لديهم أكثر من 20 عامًا من الخبرة في اكتشاف كيفية اختراق تطبيقات الويب والجوال والهندسة العكسية، وكيفية تحقيق الدخل من الأخطاء البرمجية. هذا الجيل الجديد من المستخدمين، الذين اكتسبوا قدرة برمجية جديدة بمعجزة، يواجهون محترفين وظيفتهم الأساسية هي استغلال الأخطاء، مما يخلق معركة غير متكافئة.

التمييز بين الهندسة بمساعدة الذكاء الاصطناعي والبرمجة البديهية

يدعو المتحدث إلى التمييز بين فئات المشكلات وطرق استخدام أدوات الذكاء الاصطناعي، ويقترح التوقف عن تسمية الهندسة بمساعدة الذكاء الاصطناعي بـ "البرمجة البديهية". يوضح أن المهندسين المحترفين يستخدمون وكلاء متعددين للقيام بمهام مختلفة، لكنهم يظلون مسؤولين عن العملية، بينما يعتمد مبرمج البرمجة البديهية على منصة متكاملة تصف النتيجة المطلوبة باللغة الطبيعية أو بصريًا. على الرغم من أن البدء من الصفر في البرمجة البديهية يوفر فوائد أمنية بعدم الحاجة للتكيف مع بنى موجودة، إلا أن الجانب السلبي هو أن المستخدمين لديهم قدرة قليلة على تأمين المخرجات بأنفسهم. هذا النقص في التحكم الأمني يؤدي إلى مشكلات مثل فقدان العملات المشفرة أو تسرب البيانات الشخصية.

ضرورة الأمن بالتصميم ومسؤولية المنصات

يؤكد أليكس أن مبرمجي البرمجة البديهية يحتاجون إلى أن تكون الأشياء "آمنة بالتصميم" (secure by design)، مما يعني أن المنصات يجب أن توفر خيارات مصادقة جيدة وإعدادات أمنية افتراضية قوية. يجب أن يكون للمنصة رأي قوي في تحديد الوصول إلى البيانات، بحيث يكون الوصول قليلاً جدًا أو معدومًا افتراضيًا، ويُمنح صراحةً حسب الحاجة، بدلاً من قاعدة بيانات مفتوحة يتم حظرها لاحقًا. كما يجب أن تعرف المنصات حدودها وتكتشف متى يكون المشروع خارج نطاق راحتها، مثل الامتثال لـ HIPAA، وتفعيل ميزات أمان إضافية أو الاستعانة بوكلاء أمنيين عند التعامل مع معلومات شخصية حساسة. يرى المتحدث أن "الأبوية الأمنية" مقبولة، حيث تتخذ المنصات قرارات نيابة عن المستخدمين الذين يفتقرون إلى الخبرة الأمنية.

تحسين وكلاء الذكاء الاصطناعي ودور وكلاء الأمن

يلاحظ أليكس أن وكلاء البرمجة غالبًا ما يقفزون مباشرة إلى كتابة الكود دون تخطيط كافٍ، مما يؤدي إلى مشاكل. يدعو إلى أن تبدأ هذه الأدوات في التباطؤ وتضمين خطوات تخطيط أكثر تفكيرًا قبل البدء في التكويد. الأهم من ذلك، يؤكد على الحاجة إلى وجود وكلاء أمنيين للذكاء الاصطناعي، مشيرًا إلى أن الشركات الكبيرة لديها أدوار أمنية وامتثال وقانونية مهمة لا يمكن أن تتماشى سرعتها مع سرعة مهندس البرمجيات الذي يستخدم وكلاء الذكاء الاصطناعي. يجب بناء آليات لتمكين جميع هذه الأدوار من العمل بكفاءة في عصر البرمجة بالذكاء الاصطناعي. يثني على أنثروبيك (Claude Code) لتقدمها في هذا المجال من خلال معيار القياس عن بعد (telemetry standard)، الذي يهدف إلى جمع بيانات حول ما يفعله وكلاء البرمجة.

توحيد الاتصال بين وكلاء الذكاء الاصطناعي وحلول Corridor

يوضح أليكس أن القياس عن بعد هو مجرد خطوة أولى أساسية لأي حل أمني، حيث يتيح معرفة ما يحدث. يقترح أن يكون هذا قابلاً للتكوين بواسطة MDM (إدارة الأجهزة المحمولة) لتمكين مديري أمن المعلومات من فرض الإعدادات الأمنية. المجال الثاني والأكثر أهمية هو الحاجة إلى آلية لتوحيد المحادثة بين وكلاء الأمن ووكلاء البرمجيات، لمحاكاة التفاعل البشري بين مهندسي البرمجيات والأمن. يجب أن يكون هذا الاتصال حتميًا، حيث يتحدث وكيل البرمجة مع وكيل الأمان قبل تنفيذ المهام. يختتم المتحدث بتقديم منتج شركته Corridor، الذي تم إطلاقه اليوم في سوق وكلاء الذكاء الاصطناعي لـ Vercel، كحل أمني يهدف إلى تمكين ملايين الأشخاص من استخدام قوة البرمجة بالذكاء الاصطناعي بأمان.

Community Posts

View all posts