Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
إذا كنت مديراً هندسياً، فمن المحتمل أنك تبدأ بالتحقق من لوحات صدارة Hugging Face أو درجات MMLU. لنكن صادقين: هذه الأرقام لا علاقة لها بالعمل الفعلي. فالمقارنات المعيارية الأكاديمية لا تعكس إطلاقاً المعرفة المتخصصة والمعقدة داخل الشركة أو أسلوب ونبرة شركتك الخاصة. وفقاً لدراسة GSM1K التي أجرتها شركة Scale AI، انخفضت قدرات الاستنتاج الرياضي للنماذج بنسبة تصل إلى 13% عند إزالة البيانات الملوثة. المؤشرات العامة هي مجرد وسيلة للتحقق مما إذا كان النموذج قد حفظ البيانات، ولا تخبرك أبداً بكيفية أداء النموذج في بيئة الإنتاج الخاصة بك.
لتجنب إهدار الميزانية، يجب عليك وضع معايير التقييم بناءً على بيانات العمل الفعلية التي عالجها فريقك خلال الأشهر الثلاثة الماضية.
تعتبر الإجابات المثالية التي يكتبها مطور أول قواعد عمل واضحة بحد ذاتها. يمكن لمجموعة البيانات هذه، التي تبدأ بـ 20 سؤالاً، أن تتطور لاحقاً إلى مجموعة اختبار انحدار تضم أكثر من 150 سؤالاً.
من المستحيل أن يقوم البشر بقراءة وتقييم إجابات النماذج واحداً تلو الآخر. قم بكتابة نصوص برمجية بلغة بايثون تستخدم GPT-4o أو Claude 3.5 Sonnet كـ "حكام" (Judge) للتقييم.
`python
def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?
질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환
`
لمنع الانحياز للموقع، قم بتبديل ترتيب الأسئلة في كل مرة. قامت شركة Shopify بدمج هذه البنية التحتية للتقييم الذكي، مما أدى إلى زيادة سرعة التحقق من صحة سيناريوهات البريد الوارد بنسبة 62%، والحفاظ على اتساق الردود بنسبة تزيد عن 93%.
إضاعة الوقت في التحقق اليدوي من الجودة في كل مرة يتم فيها تبديل النموذج أمر غير مجدٍ.
من خلال اعتماد هذا الروتين، يمكنك تقليل وقت اختبار الانحدار الذي يحدث مع كل ترقية للنموذج بنسبة 80%، تماماً كما وفرت شركة Duolingo موارد ضمان الجودة اليدوية بنسبة 70%. الآن، يمكنك التحقق من جدوى اعتماد أي نموذج كمياً في غضون أسبوعين فقط. التفكير في الأمر لأكثر من ذلك يعد غير فعال.