ثغرة: وكلاء خصوم لاختبار ضغط أخلاقك — بريندان رابازو، مورجان ستانلي
AAI Engineer
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00سأتحدث عن مشروع ليوبهول (Loophole). في الواقع أنا باحث في تعلم الآلة في مورغان
00:00:17ستانلي، لكن هذا ليس له علاقة بمورغان ستانلي. هذا مجرد مشروع مفتوح المصدر قمت ببنانه
00:00:23من أجل المتعة. ولإعطاء فكرة عامة في البداية، فهو حقاً لعبة يمكنك
00:00:30لعبها ومبنية على إطار عمل وكيل خصم (adversarial agent). لذا أنت تحدد أخلاقك، وكيل واحد
00:00:37يقوم بتحويل ذلك إلى نظام قانوني، وبعد ذلك يحاول هذان الوكيلان الخصمان إيجاد
00:00:42تناقضات في أخلاقك. وفي الآونة الأخيرة كنت أقوم ببناء إضافات مختلفة فوقه. لكنني
00:00:49أردت، كما تعلم، أن أبدأ بقصة البداية وكيف توصلت إلى هذه الفكرة. لذا فقد بدأ هذا
00:00:56حقا، كما تعلم، منذ وقت طويل أرسلت الحمض النووي الخاص بي إلى شركة 23andMe لإجراء اختبار الأنساب. وكنت
00:01:05أسمع باستمرار، كما تعلم، مؤخراً كيف يمكن استخدام عينات الحمض النووي، بالطبع، للمساعدة في حل
00:01:11الجرائم وجميع أعمال الطب الشرعي والقضايا التي لم تُحل. وكنت أفكّر كيف أنني اخترت عدم المشاركة
00:01:17في كل شيء لأنني، كما تعلم، كنت خائفاً من نوع الانحدار التدريجي وكيف سيتم استخدام الحمض النووي الخاص بي.
00:01:26ولكن، كما تعلم، هناك حالات معينة لا مانع لدي منها. والأمر ممتع نوعاً ما. كنت
00:01:31أفكر، مثلاً، لو أن شخصاً ما استابح لي الأمر حالة بحالة، كما تعلم، سنستخدم حمضك النووي لـ
00:01:37نبيع، كما تعلم، المساعدة في حل هذه القضية التي لم تُحل أو جريمة القتل هذه، لكان بإمكاني الموافقة أو الرفض. وأنا أعرف أين تكمن
00:01:43تعريفات ودقائق أخلاقي. ولكن، كما تعلم، بالطبع، فإن سرد كل هذا حالة بحالة هو أمر صعب حقاً من الناحية المعرفية.
00:01:51بمعنى أنه ليس هناك طريقة جيدة للقيام بذلك
00:01:58حالياً. ثم كنت أفكر بشكل أوسع قليلاً أن هناك الكثير من أوجه التشابه مع النظام القانوني
00:02:04ككل. لذا، كما تعلم، إحدى الطرق للتفكير في ماهية النظام القانوني في مجتمعنا هي
00:02:10حقاً مجرد وسيلة نحاول من خلالها تقنين معتقداتنا الأخلاقية. وأعتقد أنه بطريقة مماثلة
00:02:17إلى حد ما، فإن إيجاد الدقة الحقيقية لأخلاقنا وما يجب أن يكون عليه القانون هو حقاً مهمة ترجمة صعبة.
00:02:23وأعتقد أننا غالباً ما نميل إلى أن نكون عموميين للغاية لأن، كما تعلم،
00:02:30العثور على تلك الدقة أمر صعب حقاً. وإذا حاولت الحصول على ترجمة مثالية، فقد يؤدي ذلك إلى
00:02:36هذه الحالات الاستثنائية الغريبة أو أنماط الفشل الغريبة. وأعتقد حتى عندما نتعامل مع بعضنا البعض سياسياً،
00:02:42في كثير من الأحيان تكون الخلافات أكثر شبهاً بالصراع حول القيم الأساسية التي لا نختلف حولها حقاً
00:02:48بدلاً من استكشاف النقاط الدقيقة حقاً لأخلاقنا.
00:02:57وأعتقد، كما تعلم، اتباعاً لذلك المثال القانوني الأوسع، أعتقد في، كما تعلم،
00:03:02نظام القانون العام الإنجليزي، هذا هو السبب في أننا نعتمد بشدة على قانون السوابق القضائية لأننا نعلم أن
00:03:09إيجاد هذه الدقة وهذه الحدود الدقيقة أمر صعب. ولذلك فإننا نعتمد على القضاء الذكي لتفسير
00:03:16وتطبيق القانون بشكل صحيح. و، كما تعلم، بالطبع، حتى مع المحكمة العليا،
00:03:22يمكن تصعيد الامور ويمكننا تحديد ما إذا كان القانون صائباً على الإطلاق.
00:03:28ولذا كانت هذه هي الفكرة، هل يمكنك أخذ أخلاقك وهل يمكنك القيام بهذا النوع من
00:03:34توليد السوابق القضائية الاصطناعية؟ لذا، كما تعلم، هذا أمر مرهق القيام به يدويًا، ولكنه يبدو وكأن
00:03:42الجيل الجديد من نماذج اللغات الكبيرة ذكي بما يكفي أخيرًا للقيام بهذا النوع من التفكير الأخلاقي رفيع المستوى.
00:03:48ولذا كانت هذه هي نقطة البداية لهذه اللعبة. وأريد فقط أن أطلعكم على نوع من
00:03:55الإصدار الأولي للعبة، والإعداد، وكيف تعمل، ثم أتحدث أيضاً عن بعض الفروع المختلفة
00:04:00التي كنت أبنيها فوق هذا المشروع مفتوح المصدر لأنني أعتقد أنه يمكن أن يذهب في اتجاهات مثيرة للاهتمام.
00:04:05وعلى مستوى عالٍ، كيف تعمل اللعبة هي أنك باللغة الطبيعية،
00:04:12وهذا كله يحدث، إنه يشبه نوعاً ما لعبة تعتمد على الطرفية (terminal)، فأنت تحدد أخلاقك. وقد تكون
00:04:19أخلاقك العامة أو ربما تتعلق بموضوع معين. وبعد ذلك يوجد وكيل واحد يأخذ تلك الأخلاق
00:04:24ويقوم بصياغة نظام قانوني غني جداً ومليء بالمصطلحات القانونية المقننة. وبعد ذلك يعمل في هذه الحلقة
00:04:31حيث يُعطى توجيه لوكيل واحد لمحاولة إيجاد ثغرات في نظامك، أي شيء يكون
00:04:38غير أخلاقي ولكنه قانوني. ويُحفز وكيل آخر لإيجاد تجاوزات، أي أمور أخلاقية بالفعل ولكنها
00:04:45غير قانونية بالنظر إلى نظامك. وينظر وكيل التحكيم إلى أخلاقك، والرمز القانوني المنتج،
00:04:52وأمثلة السوابق القضائية الاصطناعية هذه. يرى في البداية ما إذا كان يمكنه التصحيح التلقائي، مثل ربما
00:04:58المسودة الأصلية لرمزك القانوني كانت ترجمة غير مثالية وليس هناك حقاً
00:05:05تناقض ويمكنه إجراء هذا التحديث تلقائياً. أو ربما يكون هذا حقاً
00:05:10نقصاً في تحديد أخلاقك أو نوعاً من التناقض فيها. وفي هذه الحالة،
00:05:16يطرحه عليك أنت كستخدم لتكون الحكم وتتخذ القرار.
00:05:22هل ما زال البث يعمل لديك؟ لقد اختفى من عندي.
00:05:26لذا أعلم أنك، كما تعلم، إذا كنت مهتماً باللعبة، آمل أن تلعبها. إنها موجودة بالكامل على
00:05:31GitHub، ولكنني أردت فقط عرض بعض الأمثلة. وهذا الكثير من النص، لذا فهو يتعلق أكثر بإظهار
00:05:37شكل الإدخال والإخراج. هذه هي الطريقة التي تقدم بها مدخلاتك وبالعودة إلى مثال الحمض النووي ربما، كما تعلم،
00:05:44حسناً. لذا أعلم أنك، كما تعلم، إذا كنت مهتماً باللعبة، آمل أن تلعبها، إنها كلها على GitHub، ولكني أردت فقط عرض بعض الأمثلة وهذا الكثير من النص، لذا فهو يتعلق أكثر بإظهار شكل المدخلات والمخرجات. لذا فهذه هي الطريقة التي تقدم بها مدخلاتك وبالعودة إلى مثال الحمض النووي، قد تقوم، كما تعلم، بتحديد عدد من المبادئ الأخلاقية.
00:06:10ثم النظام القانوني المقنن، مرة أخرى، بالنظر فقط إلى الشكل، لديه مقدمة مليئة بالمصطلحات القانونية حقاً، والمواد، والأقسام، ويحاول حقاً، كما تعلم، كتابتها بلغة قانونية دقيقة.
00:06:24وبعد ذلك يتم اقتراح الأنواع المختلفة من السوابق القضائية الاصطناعية هذه. في هذه الحالة، يتحدث عن، هذه ثغرة وجدتها حيث قامت شركة تأمين
00:06:34تدريب نموذج تعلم آلة تنبؤي، ليس على حمضك النووي، بل على مخلفات الحمض النووي. وتقول، كما تعلم، هذا في الواقع غير أخلاقي، ولكنه قانوني حالياً بالنظر إلى نظامك.
00:06:46وفي هذه الحالة، وجدت أنه يمكنها إجراء نوع من التصحيح التلقائي هذا. وتحصل بعد ذلك على نوع من الفروق بأسلوب (git diff) لنظامك القانوني الأصلي والفرق الذي كان عليها إجراؤه لضمان،
00:06:58كما تعلم، أن يكون هذا متوافقاً مع أخلاقك. وهذا مثال على التجاوز. وفي هذه الحالة، وجد أنه لا يمكنه إجراء التصحيح التلقائي. لذا فهو يتحدث عن،
00:07:08كما تعلم، يقوم شخص ما بتقديم حمضه النووي للبحث الجيني، لكن الباحث يكتشف أن لديه اضطراباً جينياً نادراً ولكنه قابل للعلاج.
00:07:17ولكن حالياً، تقرر أخلاقك نوعاً ما أن هذا يجب ألا يكون مسموحاً به وأنه يمكنهم الإفصاح عن هذا المرض للشخص المُقدِّم. ولذلك تم طرح هذا الأمر على المستخدم - لي - لاتخاذ قرار بشأنه. وبالمثل، عندما تتخذ القرار، تحصل على هذا النظام القانوني المُصحَّح.
00:07:33لذا، كما تعلم، إنها مجرد لعبة ممتعة. ونشرتها على تويتر وشاركتها مفتوحة المصدر على GitHub. وبالنسبة لي على الأقل، كانت بفارق كبير أكثر منشور انتشر بشكل واسع حصلت عليه. وجعلني أفكر نوعاً ما، أعتقد أن الكثير من الناس قالوا ببساطة إنها ممتعة نوعاً ما.
00:07:50يمكنك اختبار أخلاقك تحت الضغط، ومعرفة ما إذا كان لديك أي تناقضات ممتعة. ولكنه جعلني أفكّر أيضاً، كما تعلم، هل هناك ربما شيء أكثر هنا؟ مثل، هل يمكن أن يكون هذا،
00:07:59كما تعلم، ذو آثار عملية أو أوسع نطاقاً؟ وسأتحدث فقط عن ثلاثة فروع مختلفة حول استكشاف الفرع الأول والابتعاد حقاً عن المجال القانوني، والأكثر عملية هو التفكير في طريقة آلية لصناعة دساتير لروبوتات الدردشة أو حقاً، كما تعلم، للوكلاء بشكل عام، حيث، كما تعلم، لنفترض أنك شركة، وتريد أن يكون لديك وكيل أو روبوت دردشة يتفاعل مع العملاء،
00:08:29وتريده أن يلتزم بمدونة أخلاقية، ولكن أن تكون لديه أيضاً أمور سيتحدث عنها وأمور لن يتحدث عنها. لقد قمت بصياغتها في أحد الفروع بطريقة ما. بحيث تقوم بطريقة مشابهة بكتابة أخلاقك، وتكتب ما يجب أن يتحدث عنه روبوت الدردشة وما لا يجب أن يتحدث عنه. وبعد ذلك يحاول كتابة موجه نظام مقنن هذا، وبعد ذلك يكون لديك هؤلاء الوكلاء الخصوم الذين يحاولون جعله يتحدث إما عن شيء لا ينبغي له، أو يرفض التحدث عن شيء ينبغي له.
00:08:56وأرى أنه نوع من القياس أو الطريقة المماثلة لـ GEPA، ولكنها تهدف حقاً إلى نوع من بناء موجهات النظام المقننة هذه.
00:09:03حالة الاستخدام الثانية التي أهتم بها بشكل خاص هي التفكير فيها كطريقة للقيام بعقود أكثر تخصيصاً أو لامركزية. لذلك أعتقد في حالة بسيطة، قُل مثلاً يمكنك تحديد كيف تريد أن يتم التعامل مع بياناتك أو خصوصيتك عبر الإنترنت، ويمكنك خوض هذه اللعبة الخصمية للحصول على هذا النظام القانوني المقنن لكيفية تريد أن تُتعامل مع بياناتك عبر الإنترنت.
00:09:30وإذا ذهبت إلى، كما تعلم، قُل أصدرت شركة أبل شروط خدمة جديدة أو ما شابه، يمكنك تشغيل التناقضات بين نظامك القانوني وبين شروط خدمة أبل وإبراز أي تناقضات ممتعة أو حالات اصطناعية قد تؤدي إلى اختلاف بين كيف، كما تعلم، أخلاقك، وما تريده وما تفعله الشركة.
00:09:57وكما تعلم، في حالة أنها شركة كبيرة، ربما لا يمكنك تغيير أي شيء حقاً، فهي ليست مفاوضة، ولكن يمكنك على الأقل أن تكون متمتعاً بمعلومات أفضل حول العقد الذي توقعه.
00:10:08ولكنني أعتقد أيضاً في حالة، كما تعلم، التفكير بشكل أكثر لامركزية، مثل إذا كنت محاولة إبرام عقود بدون، كما تعلم، سلطة مركزية تقوم بتنفيذها، وربما تحاول إبرام عقود عبر بلدان مختلفة.
00:10:23التفكير فيما إذا كان بإمكانك تحديد أخلاقك وكيف تريد التفاعل، (كما تعلم، ربما يكون الأمر مجرد عمل متعاقد عليه)، كيف تريد أن يتم الدفع مقابل عملك والأخلاق المختلفة المحيطة بذلك، ويمكن للطرف الآخر أن يفعل الشيء نفسه.
00:10:40وبعد ذلك يحصل كليكما على هذا النوع من العقود المقننة المختبرة تحت الضغط ومن ثم يمكنك نوعاً ما العثور على الخلافات إن وجدت وإبرازها قبل أن توافقوا ومن ثم يمكنك أن تكون أكثر ثقة في العقد ككل.
00:10:55والشيء الأخير وربما الزاوية الأكثر طموحاً هي التفكير في حكومة أذكى أو حكومة أكثر كفاءة.
00:11:07أعتقد أنه سيكون هناك الكثير من مشاكل الخصوصية ومشاكل لوجستية مختلفة ولكن بغض النظر عن ذلك في الوقت الحالي والتفكير فقط في الصورة الكبيرة.
00:11:15أعتقد بالنسبة للناخبين أو المواطنين، كما تعلم، قد تكون هذه طريقة ممتعة حقاً إذا قمت بتحديد أخلاقك، وكان لديك هذا الرمز القانوني المختبر تحت الضغط، فبإمكان أي مشروع قانون جديد أو سياسي يظهر،
00:11:28أن تقوم نوعاً ما بتشغيل عقدك ضد عقدهم وإبراز، كما تعلم، ما هي الحالات التي قد تختلف فيها أو النقاط المثيرة للاهتمام التي تعتبر غير أخلاقية بالنسبة لك أو تمثل تناقضاً.
00:11:41وأعتقد أيضاً، كما تعلم، فيما يتعلق ببعضنا البعض، إنه مثل، أعتقد أننا جميعاً لدينا الكثير من الدقة في الطريقة التي نشعر بها حيال الأمور وهذه طريقة للوصول إلى تلك الدقة بدلاً من المجادلة حول مجرد القيم،
00:11:57والتي هي، كما تعلم، غالباً ما تكون القيم غير متناقضة.
00:12:01وبعد ذلك أعتقد ربما بشكل عملي أكثر بالنسبة للمشرعين، يمكنك تخيل ما إذا كنت تريد اقتراح مشروع قانون ويمكنك الحصول على محاكاة لجميع المشرعين الآخرين في هيئة تشريعية،
00:12:15يمكنك نوعاً ما اختبار تحمله للضغط قبل تقديمه.
00:12:18ولذا فإن الفرع الثالث الذي كنت أقوم ببنائه في هذا المشروع هو أنني حاولت القيام بذلك لمجلس الشيوخ الأمريكي.
00:12:24ولذا فإن ما فعلته هو أنني جعلت كلود (Claude) أولاً يمر عبر جميع أعضاء مجلس الشيوخ الأمريكي الحاليين وينظر في، كما تعلم، إلى كل تاريخ تصويتهم وأي شيء آخر كان علنياً ويبني نوع نظامهم الأخلاقي الخاص بهم ثم أجرته عبر عملية الثغرات للحصول على رمز قانوني مقنن نوعاً ما.
00:12:43وعلى هذا النظام يمكنك، كما تعلم، أخذ أي مشروع قانون حالي يتم اقتراحه أو حتى اقتراح مشروعك الخاص وتقديمه ويمكنك جعل كلود يحاكي نوعاً ما كيف سيصوت كل عضو في مجلس الشيوخ.
00:12:56وهنا يمكنك أن ترى تفصيلاً لبعض أعضاء مجلس الشيوخ، والاتجاه الذي يميلون إليه ونوع التفكير الكامن وراء التصويت.
00:13:07وأعتقد، كما تعلم، أنه لأمر ممتع نوعاً ما التفكير فقط في رؤية ما، كما تعلم، مشروع قانون مقترح، وكيف سيصوت الناس.
00:13:16ولكن هذا يصبح أيضاً، وأعتقد أنه يتماشى مع موضوع المؤتمر، نطاقاً أو حلقة خاصة به قابلة للتحقق.
00:13:22ويمكنك التفكير حتى في صعود التل (hill climbing) بمشروع القانون نحو الحصول على أغلبية ساحقة أو أياً ما تحتاج إليه لإقراره.
00:13:30وفي هذه الحالة، مثل مشروع قانون الرعاية الطبية (Medicare) هذا الذي كنت أختبره، كما تعلم، وجد أنه أعتقد أنه بدأ في الأصل كتصويت بنسبة 50/50 ووجد طرقاً لتحسين صياغة مشروع القانون بحيث تمت الموافقة عليه بـ 52 صوتاً.
00:13:45وأعتقد، كما تعلم، هذا مثال على أنه يمكنه العثور على المبادئ الأساسية لمشروع القانون ويمكنه محاولة إيجاد تشغيل مشروع القانون مقابل عقد كل عضو مجلس شيوخ والعثور على ما إذا كانت هناك أي طريقة يمكنني من خلالها تغيير الصياغة بحيث لا أخرق المبادئ الأساسية أو أخلاق مشروع القانون والقيام بهذه التصحيحات التلقائية بهذه الطريقة.
00:14:09ويمكنه أيضاً إيجاد، كما تعلم، ترتيب التغييرات حسب الأهمية التي يجب أن تكون موجودة لتحقيق أقصى قدر من الأصوات ويمكنك أنت كستخدم اختيار المقايضات بهذه الطريقة.
00:14:23والشيء الأخير الذي كنت أجربه مؤخراً مع هذا الفرع هو النظر بالفعل في، كما تعلم، حتى الصورة الأكبر مثل هل يمكن أن يؤدي هذا إلى حكومة أكثر كفاءة حيث يكون لديك كل نوع من المواطنين
00:14:38في ولاية أو أياً كانت المنطقة لديه نوعاً ما رمزه القانوني وبعد ذلك يمكنك فقط تقديم أي مشروع قانون وقياس مدى الاتفاق بين الناخبين الفعليين نوعاً ما.
00:14:50ولهذا الغرض أخذت، تمتلك شركة NVIDIA مجموعة البيانات الرائعة هذه لتمثيلات (personas) الولايات المتحدة الأمريكية لذلك أخذت 500 تمثيل لكل ولاية ومن المفترض أن تكون ممثلة بشكل جيد لسكان الولاية.
00:15:03قمت بنفس العملية لجعلهم بالنظر إلى التمثيل، صياغة أخلاقهم، صياغة عقدهم القانوني نوعاً ما ثم أخذ أي مشروع قانون تهتم به وتشغيله مقابل كل ولاية.
00:15:15ويمكنك أيضاً، كما تعلم، قياس مدى إعجاب الناس بهذا المشروع القانوني أو مدى توافقه مع أخلاقهم ومن ثم القيام أيضاً بهذا الصعود حيث تقوم بتحسين مشروع القانون للناس.
00:15:25وختاماً، كما تعلم، كحد أدنى، أعتقد أنها لعبة ممتعة إلى حد ما، أنا متحيز، ولكن من الممتع جداً تجربة أشياء مختلفة تهتم بها، وضع أخلاقك، ومعرفة ما إذا كان هناك أي تناقضات.
00:15:40كما تعلم، غالباً ما سيطرح هذا بعض الأسئلة الممتعة حقاً وعندما تقدم تلك الدقة، فلن تتمكن اللعبة، كما تعلم، الوكلاء من العثور على أي تناقضات أخرى ويمكنك أن تشعر بالرضا بأن لديك نظاماً أخلاقياً دقيقاً ومتسقاً.
00:15:56ولكني مهتم، كما تعلم، بالاستكشاف هل يمكن أن يكون هذا، هل توجد تطبيقات حقيقية هنا لنوع من العقود اللامركزية أو الأفضل وربما حتى للمشرعين كطريقة لاختبار تحمل مشاريع القوانين الخاصة بك وتفكير حتى في كيفية كتابة قوانين أفضل تكون، كما تعلم، أفضل للناس في منطقتك أو أكثر تمثيلاً لما يريده الناس في منطقتك.
00:16:19ولذا فإن رمز الاستجابة السريعة (QR code) هذا هو لمحاكي مجلس الشيوخ، لذا أشجعك إذا كنت مهتماً على اللعب. والآخر هو لموقعي على الويب، والذي يحتوي على مشروع ليوبهول الكامل على GitHub. ومن فضلك، كما تعلم، العب به، واصنع نسخة (fork). يسعدني جداً وجود مساهمين آخرين. شكراً لك.
00:16:49شكراً لك.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기