وكلاؤك يفتقرون إلى السياق: إليك كيفية إصلاح "أنت على حق تماماً!" — براندون واسيلنوك، Unblocked
AAI Engineer
컴퓨터/소프트웨어AI/미래기술
스크립트
00:00:00مساء الخير. أرجو أن تكونوا جميعاً تقضون وقتاً ممتعاً هنا في مؤتمر AIE. لقد كان الطقس
00:00:17رائعاً، على الرغم من أن مؤشر الأشعة فوق البنفسجية بلغ نحو تسعة، لذا نأمل أنكم وضعتم واقي الشمس
00:00:20وأنكم تتصرفون كبالغين عقلاء. أنا هنا لأتحدث إليكم عن هندسة
00:00:24السياق (Context Engineering)، وحالفني الحظ بأن أكون بعد AJ من لينكد إن، لأنه
00:00:27تحدث كثيراً عن النظام الذي نقوم بتصميمه وبيعه للحلول
00:00:29الأخرى، وسأقدم لكم مجموعة من الأدوات مفتوحة المصدر؛ لذا إذا حضرتم
00:00:33تلك المحادثة التي سبقتني مباشرة، فستحصلون على مجموعة من سلاسل الأدوات التي يمكنكم
00:00:36تجربتها بأنفسكم وسأعلمكم اليوم عدداً من التقنيات. والهدف بالطبع
00:00:39هو إصلاح عبارة "أنت مححق تماماً". أظن أنهم أزالوا ذلك من
00:00:44التعليمات البرمجية الآن لكي تصبح مجرد "أنت محق" أو عبارات أخرى، لكني متأكد من أنكم
00:00:47جميعاً مررتم بذلك. إذن، أنا براندون وأعمل في شركة Unblocked. نعم، لدي جوز هند، فقد كنا
00:00:53نوزعها للحصول على سياق منعش، جوز هند طازج، ولكن الشئ الذي أريد
00:00:57التحدث إليكم عنه هو أنه مع هذه النماذج، لا سيما نماذج الفئات الكبرى،
00:01:01أعتقد أن Fable 5 ستعود اليوم لذا يقولون يمكنك مشاهدة تسجيل مكالمة غراين
00:01:05الخاصة بي محاولة حجز هذا وسنتجاهلها. ولكن ما أود منكم القيام به هو التفكير
00:01:11في حقيقة أنه مع هذه الأدوات، يجب أن تبدو الكود البرمجي المُوَلَّد بالذكاء الاصطناعي وكأنَّه
00:01:15كتبه شخص كان في فريقكم لسنوات. لذا، لكي تدخلوا في الحالة الذهنية المناسبة لسنوات،
00:01:23يجب أن تأخذوا في الاعتبار أنكم كنتم محرك السياق. كيف فعلتم ذلك؟
00:01:27لقد بنيتم السياق من خلال الذهاب إلى العمل وطرح الأسئلة، وإرسال طلبات السحب (PRs)
00:01:34والحصول على رفض لها، وحضور الاجتماعات، وكل هذا ببطء بمرور الوقت بنى
00:01:39المحرك الذي هو عقلكم. أنتم تفهمون كيف تسير الأمور هنا، وتعلمون كيف يتم إطلاق
00:01:42المنتجات، وكنتم في المناوبة في تلك الليلة عندما تسببتم في تعطل بيئة الإنتاج ولماذا حدث ذلك. المشكلة
00:01:48هي أن هذه الوكلاء تواجه هذه المشكلة بالضبط في كل مرة تنشئون فيها
00:01:53جلسة طرفية جديدة مع وكيل بداخله، فهو ذكي للغاية ولكنه لا يمتلك
00:01:57أي سياق حول كيفية عمل شركتكم، لذا فهو بحاجة إلى الحصول على ذلك بطريقة ما. المشكلة
00:02:02هي أنه كلما نقلت هؤلاء الوكلاء إلى نطاق أوسع، تتضاعف تلك التكلفة إذا أخطأت
00:02:07في البداية. الاستفادة من السياق والمحتوى. سنقوم فقط بإصلاح هذا
00:02:13لأنني أعتقد أن الناس يريدون التقاط بعض الصور. ممتاز. ستتضاعف مشكلة السياق تلك.
00:02:20لذا في أقصى اليسار، نتذكر جميعاً الزمن القديم قبل عامين
00:02:25حيث كان لدينا نماذج إكمال علامات التبويب التي كانت رائعة جداً. ما حدث هو أنها
00:02:29ظهرت وقالت هل تريد إكمال هذا باستخدام علامة التبويب وبسرعة في عقلك مع
00:02:32سياقك تقول لا هذا سيء. أو قلت يا رائع ضغطت على علامة التبويب. جميل. بينما
00:02:37نتحرك على منحنى تبني الوكلاء، ما يحدث هو أنك تنتقل إلى
00:02:41مزيد من المواقف التي يكون لديك فيها وكلاء يعملون بدون بشري ضمن الحلقة أو
00:02:46على الأقل تتمنى ألا تضطر إلى أن تكون ضمن الحلقة. ما يحتاجون إليه هو طريقة ما لتكون
00:02:50قادرة على طرح الأسئلة التي يحتاجون إليها عندما يصطدمون بعقبات من أجل كتابة التعليمات البرمجية أو
00:02:54الحل أو في الاساس إصلاح المشكلة وفي النهاية إخراج تعليمة برمجية قابلة للدمج
00:02:58في قاعدة التعليمات البرمجية الخاصة بك وخاصة مع وجود العديد من الأشخاص هنا الذين يعملون بالفعل في قواعد تعليمات برمجية بنية تحتية قديمة (brownfield)
00:03:02والتي كانت موجودة لفترة طويلة وتدير إيرادات حقيقية من خلالها
00:03:06وليست مجرد مشاريع خضراء (greenfield) ممتعة. لذا فإن تكلفة السياق السيئ الذي يتضاعف في
00:03:12البداية تكون رخيصة إذا فكرت في الأمر مثل التحول نحو اليسار (shift left) العثور على خلل أو خطأ، سترغب في
00:03:17العثور عليه في أقرب وقت ممكن. والأمر سيان مع السياق لأنه كلما تحركت
00:03:22إلى الأمام، ستدخل في حلقات لا نهائية (doom loops)، وعادة ما تطلب من وكيلك أن يفعل شيئاً فيقول
00:03:26لي لقد فعلت ذلك فتقول لا يا رجل ثم تصحح وتصحح وتصحح.
00:03:29تلك رموز بحث مهدرة وهي أيضاً وقت إعادة عمل مهدر وهذا غير
00:03:34مقبول مع اقتصاديات الرموز (tokenomics) القادمة، ثم عندما تنتقل إلى الوكلاء الموازيين وما إلى ذلك
00:03:39فإنك تبدأ في مواجهة ضريبة المراجعة، لذا فإن مراجعي التعليمات البرمجية بالذكاء الاصطناعي هؤلاء كنا نحاول
00:03:43استخدامهم ولكن مرة أخرى السياق الأساسي مهم هناك لكي تكون مراجعات التعليمات البرمجية تلك قادرة
00:03:48على فهم كيفية سير عمليات العمل في الشركة بشكل أساسي لكي تعرف
00:03:52منطق العمل وأكثر من ذلك، وأخيراً إذا كان أملك هو الخروج تماماً من الحلقة
00:03:57فأنت تقول دع وكلاء الخلفية ينجزون المهمة ولا يرتكبون أخطاء، فأنت تحتاج حقاً إلى التأكد من
00:04:02أن لديك محرك سياق لكي يتمكن هؤلاء الوكلاء من الاستعلام عنه والحصول على كل
00:04:05الإجابات التي يحتاجونها حتى يتمكنوا من الاستمرار في العمل بطريقة فعالة.
00:04:08هناك بعض المقاربات الشائعة التي لا تنجح، وهي تشبه إلى حد ما القمة المحلية (local maxima) اثنتان من تلك التي
00:04:16نراها أكثر من غيرها مع مئات عملائنا من مؤسسات الأعمال والشركات المتوسطة الحجم هي
00:04:21فخ السياق المنسق إذا سبق لك أن جلست وأخذت نظام ملفات افتراضي أو ربما نظام ملفات
00:04:26محلي، وضعت بعض ملفات ماركداون (Markdown) فيه وقلت ها هو كل سياق هذا المشروع هكذا
00:04:30يعمل، فأنت بعد ذلك تسمح لوكيلك بالبحث (grep) عبر ذلك ويحصل على مجموعة من البيانات الجيدة ثم سيعمل بشكل أفضل.
00:04:35المشكلة هي أولاً أن عليك الآن توزيع ذلك، لذا ربما ترميه على غيت هاب (GitHub) ويمكن لفريقك الحصول عليه ولكن التالي هو أن المستودع سيتعرض للتلف تماماً مثل كل المستندات الأخرى التي كتبتها ومن ثم من هو الشخص القوي في مؤسستك الذي يمتلك الذوق لتنسيق هذا الملف أو المستودع حرفياً لكل شخص في المؤسسة.
00:04:52لذا تبدأ في مواجهة هذه المشكلات، التالي هو هضبة بروتوكول سياق النموذج (MCP plateau) هذه واضحة تماماً لدينا بروتوكولات MCP وهي رائعة يمكنك منحها لوكيلك والآن يمكنه أساساً الحصول على معلومات من نظام مصدر آخر، المشكلة بالطبع بناءً على كيفية كتابة وصف الخادم وأوصاف الأدوات قد لا يستدعيها وكيلك أبداً على الرغم من أنه كان ينبغي عليه ذلك أو إذا فعل فهناك انحياز معروف يسمى انحياز الاكتفاء من البحث (satisfaction of search bias) وما تعنيه هو أن الوكيل عندما يجد
00:05:22أول قطعة معلومات يعتقد أنها صحيحة يقول أوه لدي ما أتحتاجه ويستمر وفي معظم المؤسسات هناك محادثة على سلاك (Slack) من الليلة الماضية تقول يجب أن تقوم بـ أ بدلاً من القيام بـ ب ولن يجدها الوكيل أبداً إذا عثر على سجل معماري أولاً لذا فهو لا يأخذ في الاعتبار في الواقع كل السياق.
00:05:40المشكلة هنا هي أن الوصول إلى المعلومات لا يمثل فهماً، لذا لتقديم الفهم لنموذج يجب عليك القيام بتقنيات أخرى وما أود قوله أساساً هو أن ما لا يستطيع وكيلك رؤيته هو كل ما يوجد تحت خط الماء، يمكنه بنسبة مئة بالمئة الحصول على تعليمات برمجية يتم تجميعها ولكن تلك التعليمات البرمجية التي يتم تجميعها تتسبب في تعطل الإنتاج ويكون لديك خطأ فادح ذو أولوية صفرية (p0) في الساعة الواحدة صباحاً لأنه أغفل حقيقة أن لديك إجراء طرح معين ومن المفترض أن تقوم بإيقاف تشغيل علامة ميزة (feature flag) أو أياً كان ما قد
00:06:10يكون. لذا يحتاج فريقك إلى محرك سياق لأنه ما يجب عليه فعله هو فهم من أنت وأين تعمل في مؤسسة، لذا إذا قلت لك أريد إعداد المصادقة (auth) فهو يعرف أين أعمل وهو يعرف أين توجد التزامات جيت (git) الخاصة بي وهو يعرف من يراجع تلك الالتزامات وهو يفهم سياقي ويمكنه تركيزي ثم استخدام ذلك نقطة زناد للعثور على باقي المعلومات.
00:06:33إنه يحل النزاعات كما ذكرنا مخطط معماري قديم ومحادثة على سلاك الليلة الماضية مع المدير التقني (CTO) أيهما على حق أنت بحاجة إلى استخدام مجموعة من التقنيات لتحديد ذلك.
00:06:44يحترم الأذونات والحوكمة بالطبع يسمح لنا بروتوكول MCP باستخدام OAuth والنطاقات الأخرى وSSO ولكن إذا طرح شخص ما سؤالاً هنا ليس من المفترض أن يعرف عن المشروع السري أ، يجب عليك التأكد من عدم تسرب ذلك إلى الاستجابة.
00:06:58وأخيراً تقديم السياق المناسب في الوقت المناسب للنموذج بطريقة محسنة للرموز.
00:07:03لدينا مساحات أسطح متعددة لأن المهندسين البشريين ما زالوا يتحدثون إلى Unblocked طوال الوقت للحصول على المعلومات التي يحتاجونها في سلاك أو بطريقة أخرى.
00:07:09ولكن بعد ذلك تريد استجابات محسنة للرموز إذا كنت تتحدث فقط من آلة إلى آلة لكي لا تهدر حفنة من فئات العمل الخطري على إنفاقك من الرموز.
00:07:17هكذا يعمل المحرك. سأكون موجزاً في هذا ولكن بشكل أساسي على الجانب الأيسر ترى جميع مصادر البيانات الواردة.
00:07:26بالنسبة لنا نحن نركز على فرق الهندسة وهذا هو من يستخدمنا بالإضافة إلى الفرق الخفيفة تقنياً من حولها مثل الدعم والمبيعات وما إلى ذلك.
00:07:34أنت تستوعب كل تلك البيانات وتحصل على بيانات في الوقت الفعلي من أدوات مثل سلسلة أدوات إدارة الحوادث الخاصة بك.
00:07:39تأتي إلى المحرك حيث يوجد هذا المحرك إنه يفكر في الأسفل سأسهب في شرح تلك الشريحة بعد قليل.
00:07:45ولكن بشكل أساسي يستخدم هذه الخصائص الرئيسية الست ثم على اليمين تقوم بإخراج السياق إلى سير العمل بالضبط بالطريقة التي يحتاجها.
00:07:53تلك النقاط الست الرئيسية، كما ذكرنا سياق النظام الموحد، يجب عليك اجتياز الأمر برمته.
00:08:01في المؤسسات الكبيرة، الشركات مثل مقياس لينكد إن، ووركداي، جنرال موتورز، أياً كانت، فإنهم يحتاجون إلى هذا النوع من البيانات.
00:08:08إنهم بحاجة إلى فهم كل ما يحدث.
00:08:10وقد كان طارق هذا الصباح يتحدث في الواقع عن احتمال صدور Fable في وقت لاحق اليوم.
00:08:15وذكر أنه يجب عليك في الواقع توفير خريطة ثم السماح لـ Fable باكتشاف الأراضي.
00:08:21الطريقة للمساعدة في حصر ذلك هي التأكد من أن هذه النماذج تتمتع بإمكانية الوصول إلى كل السياق لأنها ستجد مجاهيلك غير المجهولة.
00:08:29هناك بالتأكيد أمور تحدث في شركتك لست على دراية بها ولكنها ستكون مفيدة حقاً للمهمة التي تحاول القيام بها.
00:08:35سيزيد ذلك من سرعة التحرك.
00:08:37ولكن الاسترجاع المستهدف، يجب أن تكون قادراً إذا قدمت رابطاً بسرعة، على فرده، واستعادة ذلك المستند والمضي قدماً.
00:08:43لذا مهمتان، بحث عميق، انطلق مطولاً، لا بأس بذلك.
00:08:46ولكنك تحتاج أيضاً إلى السرعة عندما تكون السرعة مطلوبة.
00:08:49حل النزاعات، لقد تحدثنا عن ذلك بالفعل.
00:08:51ولكن شيئاً واحداً يقول افعل أ، وشيئاً آخر يقول افعل ب، أيهما على حق.
00:08:55الملائمة الشخصية، من أنا، وأين أعمل، وما الذي أعمل عليه.
00:08:59ذلك التحسين للرموز، التأكد من أن الاستجابة جيدة وفعالة ولا تضخم نافذة السياق.
00:09:04وفرض الأذونات، بالطبع، OAuth، يجب ألا تراه، يجب ألا تراه.
00:09:10ما قمنا به في بعض الاختبارات هو أننا قمنا بالفعل بتشغيل نفس الموجه تماماً على نفس النموذج وواحد مع سياق وآخر بدون.
00:09:17هذا هو توفير وقت ساعة الحائط (wall clock time savings) ومن ثم ساعتان، وهو أمر رائع.
00:09:21ومن ثم توفير الرموز.
00:09:23لذا كانت مهمة كبيرة.
00:09:25استغرقت حوالي 21 مليون رمز بدون سياق ومن ثم 18، أو عذراً، 10.8 مليون رمز معه.
00:09:31هذا هو نوع التجربة التي عادة ما تراها عندما تستخدم محرك سياق لأن غالبية تلك الرموز البحثية المهدرة حيث يتعين عليه البحث (grep) في بداية كل جلسة لفهم الأشياء واكتشافها لم تعد موجودة عندما يتم ترطيبه بالسياق.
00:09:45مُرطّباً (Hydrated).
00:09:47ثم كلما تقدمت، تحصل على هذه الأنواع من النتائج.
00:09:50رموز أقل بنسبة 50٪، وفرز أسرع، وجودة الإجابة أفضل في الواقع لأنه كان يعرف ما يدور داخل العمل.
00:09:57الآن هذا الجزء التالي، ربما سترغب في التقاط صورة.
00:10:01إذا لم تكن تعلم، يمكنك في الواقع التقاط صورة لرمز الاستجابة السريعة (QR code) ثم لاحقاً في الصور، النقر عليه ومن ثم تحميل الرابط حتى لا تحتاج إلى الطفو هنا لأنني سأعطيك ثلاثة رموز استجابة سريعة.
00:10:09هذا الأول هو لشبكة التعليقات الاجتماعية.
00:10:12سأعرضه حتى تتمكن من التقاط صورة.
00:10:14ولكن هذه أداة مفتوحة المصدر لدينا والتي تستخدم بالفعل كل البرمجة الحتمية لتمريرها عبر غيت هاب الخاص بك وفهم من يعمل في فريقك.
00:10:22هذا هو فريق الحقيقي.
00:10:23أطلقنا على رشين لقب الآلة لأنه يقوم بالإرسال بجنون.
00:10:26ولكن على الجانب الأيمن، يمكنك معرفة الالتزامات التي يقوم بها، وأماكنها، ومن يراجع عمله.
00:10:30ثم في تلك علامات التبويب، يمكنك العثور على رسم بياني للخبراء المستخلصين.
00:10:33تحصل على تغطية شاملة لما يحدث في عملك.
00:10:35وإذا أضفت بشكل اختياري أحد مفاتيح API الخاصة بـ OpenAI أو Anthropic، فسيحدد فرقك عن طريق إجراء بعض التصنيف نيابة عنك.
00:10:44إنها أداة رائعة حقاً لفهم المكان الذي يعمل فيه فريقك والحصول على شبكة التواصل الاجتماعي هناك من أجل تركيز محرك السياق إذا كنت ست自身の بناء هذه الأدوات بنفسك.
00:10:52التالي يسمى وكيل قواعد المستودع.
00:10:55هذه عينة من قاعدة التعليمات البرمجية الحقيقية الخاصة بنا.
00:10:57سأقوم بتשغيلها على أي حال، لذلك لا داعي للتحدث إلى الشيء.
00:11:00ولكن باختصار، ما يفعله هو اكتشاف جميع الأماكن التي كتب فيها فريقك ملفات قواعد، وفحصها جميعاً، ثم يخبرك بمستويات الخطورة التي حددتها، والأمور الأخرى التي أعطيتها.
00:11:11هل يجب أن أتحول إلى هذا مباشرة؟
00:11:13إنه يخبرك بما -- أه، مرحباً.
00:11:15من الجيد لقاؤكم جميعاً.
00:11:17في الأساس، سيعثر على جميع القواعد الموجودة داخل المستودع الخاص بك ثم يخبرك إذا كان لديك مشكلات مكررة أو مشكلات أخرى.
00:11:24وبعد ذلك يمكنك البحث باستخدام grep كفهرس.
00:11:26لذا يمكن استدعاء هذا الفهرس ويمكنك إزالة التكرارات، وسيساعد في تحسين استرجاع السياق.
00:11:32وأخيراً، يوم الاثنين، قدمنا هذه الورشة، والتي كانت تتجاوز RAG، وعلمت كيف تبني محرك سياق علائقي من الصفر.
00:11:40لذا إذا قمت بمسح ذلك ضوئياً، ستحصل على الدليل الكامل.
00:11:43إنه يحتوي على ست طلبات سحب متراكمة تعلمك كيفية تنفيذ ذلك.
00:11:46ولكن باختصار، تقنية RAG هي تقنية مذهلة، وأنت تريد ذلك.
00:11:49ولكن النصف الآخر من المشكلة هو ما يسأله الناس بالفعل، وهو:
00:11:53ما هي طلبات السحب المفتوحة التي عملت عليها في الأسبوع الماضي والتي تتعلق بالمصادقة؟
00:11:57لا يمكن لـ RAG الإجابة عن هذا السؤال بمفرده.
00:12:00أنت بحاجة إلى استعلامات.
00:12:01لذا يوضح لك هذا كيفية إجراء بحث بدون مخطط أساساً يسمح للوكيل باكتشاف المخطط،
00:12:08ثم كتابة استعلامات ضده بشكل حتمي من أجل استخراج هذا النوع من البيانات العلائقية.
00:12:13تقنية مفيدة للغاية.
00:12:15حالات الاستخدام لمحرك السياق تتجاوز بالطبع توليد التعليمات البرمجية.
00:12:21هذا هو المكان الذي نعيش فيه كثيراً.
00:12:22يقضي الكثير من عملائنا وقتهم هناك.
00:12:24ولكن من المذهل أن ترى ما يحدث عندما يبدأ مجموعة من الأشخاص الآخرين في جميع أنحاء الشركة في التقاط هذه الأدوات.
00:12:30يحل موظفو نجاح العملاء التذاكر في الوقت المناسب تماماً عند ورودها من العميل.
00:12:35لدينا موظفو مبيعات يغلقون الصفقات في وقت مبكر من ربعهم لأنهم قادرون على الاستعلام عن محرك السياق غير المحظور بشكل فورى أثناء وجودهم في الميدان.
00:12:44وغير ذلك الكثير.
00:12:45ما يمكنك القيام به أيضاً هو أنه إذا رأيت مخطط المنحنى في وقت سابق حيث تحدثت عن المستويات،
00:12:51فقد قنا ببناء أداة صغيرة ممتعة حيث سيقوم نموذج لغة كبير باختبارك ويسألك عما يجري،
00:12:55ثم سيقوم بتحديد مكانك بدقة ويخبرك ببعض التقنيات حول كيفية الارتقاء بمستواك من خلال ذلك
00:13:01إذا كنت تتطلع إلى مضاعفة قدراتك والشحن باستخدام أدوات الذكاء الاصطناعي على نطاق واسع.
00:13:07إنه readiness.getunblocked.com.
00:13:11الفجوة لم تعد الذكاء بعد الآن.
00:13:13إنها السياق.
00:13:14سنستمر في الحصول على نماذج مذهلة مثل Mythos كما تم تطويرها بواسطة Anthropic،
00:13:19وأنا متأكد من أن Sol، بمجرد أن يُسمح لي برؤيته، سأحصل عليه.
00:13:22عيد كندا سعيد، بالمناسبة.
00:13:24ولكن ما يحدث هو أنه يتعلق بالسياق الذي تحيط به هذه النماذج لكي تكون فعالة
00:13:30وفعالة من حيث الرموز داخل مؤسستك.
00:13:35لذا لدي شريحة للأسئلة، لكني لست متأكداً مما إذا كان مسموحاً لي.
00:13:40لا.
00:13:41لذا ما ستفعله هو القدوم لمقابلتي في المقصورة P16.
00:13:44يمكنك البحث عن جوز الهند.
00:13:46سيكون من الرائع قضاء بعض الوقت معكم جميعاً والخوض في التفاصيل هنا إذا احتجتم إلى ذلك.
00:13:49شكراً لكم على وقتكم.
00:14:00شكراً لك.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기