نموذج الذكاء الاصطناعي الأرخص الذي يكلفك أكثر - ريان كريشنان، فالس إيه آي
원제 · The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI
핵심 요약
تتطلب إدارة تكاليف الذكاء الاصطناعي بناء تقييمات مخصصة تقيس الأداء الفعلي بدلاً من الاعتماد على البطاقات العامة للنماذج.
하이라이트
يرتفع إنفاق المؤسسات على الذكاء الاصطناعي بمعدل الضعف سنوياً، بينما يبلغ عائد الاستثمار المحقق 7% فقط.
تتسبب النماذج الأقل ذكاءً في استهلاك رموز إضافية لإنجاز المهام، مما يجعلها أغلى بـ 14 مرة في الممارسة العملية.
حققت الشركة خفضاً بنسبة 90% في التكاليف مع الحفاظ على نفس مستوى المخرجات عبر أدوات التقييم المخصصة.
تجاوز حجم تقييمات النماذج حاجز 6 تريليونات رمز باستخدام التشغيل المتوازي.
타임라인
قصور بطاقات النماذج القياسية
تعرض مقدمة العرض حدود النماذج المعيارية وكيفية تباين الأداء عند التطبيق العملي في مجالات مثل التمويل والقانون والبرمجة. ترتفع أصول الإنفاق على الذكاء الاصطناعي سنوياً، بينما يواجه القادة صعوبة في تتبع العائد الفعلي على الاستثمار.
- تعكس بطاقات النماذج العامة فهماً إجمالياً لقدرات الذكاء الاصطناعي لكنها تكشف عن أداء غير متسق.
- يؤدي ارتفاع الإنفاق المؤسسي على الذكاء الاصطناعي إلى عائد استثمار منخفض نسبياً.
- تساعد أدوات التقييم الأساسية في توجيه الإنفاق نحو الاستخدام الأكثر كفاءة.
التناقض بين التكلفة والأداء الفعلي
توضح دراسة الحالة الخاصة بالضرائب ونماذج الاستحواذ بالديون أن اختيار نموذج أرخص على الورق قد يؤدي إلى نتائج عكسية تزيد التكلفة الإجمالية أضعافاً مضاعفة. تتغير كفاءة النماذج بشكل ملحوظ عند قياسها على مهام محددة بدلاً من النتائج الإجمالية.
- تتسبب النماذج الرخيصة نظرياً في تكاليف أعلى بسبب استهلاك رموز مضاعفة.
- تتغير حدود باريتو للأداء والتكلفة عند الانتقال إلى المهام الفرعية المتخصصة مثل نماذج الاستحواذ المالي.
- يتطلب النجاح العملي التركيز على فئات المهام الدقيقة التي تهم الشركة.
منهجية بناء المعايير والتحديات التقنية
يناقش القسم معايير الصلاحية والموثوقية والقدرة على التمييز عند تقييم النماذج. تظهر مشكلة قرصنة المكافآت عندما تستغل الوكلاء أدوات أو نماذج أخرى لتجاوز القيود دون إنجاز المهمة المطلوبة بالشكل الصحيح.
- يؤثر اختيار مقياس الدقة بشكل مباشر على استنتاجات أداء النموذج.
- تتطلب الموثوقية العالية أحجام عينات صارمة ومهام متسقة.
- تحاول النماذج أحياناً التحايل على الاختبارات بدلاً من حل المشكلات الفعلية.
تطبيقات عملية لخفض التكاليف واستثمار البيانات
تختتم الجلسة بعرض نتائج استخدام أداة التقييم لتقليل النفقات وتحديد النماذج المناسبة لكل مهمة برمجية. تمثل البيانات التاريخية والخبرات المؤسسية المخزنة الأساس الحقيقي لبناء تقييمات ناجحة واعتماد الذكاء الاصطناعي بشكل منهجي.
- أسفر استخدام أداة التقييم الداخلية عن خفض التكاليف بنسبة 90% مع الحفاظ على الإنتاجية.
- تمتلك الشركات كنوزاً مخزنة من بيانات العمل والبريد الإلكتروني التي تمثل مفتاح التقييم.
- تضمن عمليات التقييم إضفاء الطابع الرسمي على الميزة التنافسية للمؤسسة.
설명
Vals AI builds benchmarks that frontier labs cite in their model cards, and Rayan Krishnan explains why those single scores hide a jagged frontier. In finance tasks like tax and Excel LBO modeling, the best model changes by task, and a model that's cheaper on paper can cost more and score lower because it burns extra tokens. He shares lessons from building benchmarks (the right accuracy metric, reward hacking, multi-turn work), a case study of a team that spent $1.5M on tokens in a month before cutting spend about 90% with internal evals, and why a firm's own work history is its best eval. Chapters: 0:00 Intro 0:23 What model cards tell you 1:18 The jagged frontier 2:20 AI spend is up, ROI is unclear 3:40 The cheaper model that cost more 4:43 Finance benchmarks and the Pareto curve 6:36 Lessons from building benchmarks 8:41 Agents solve the test, not the problem 9:55 Evals are hard to run 10:59 Case study: $1.5M in tokens in a month 13:22 Where is your firm's history of work? 14:10 What evals unlock Rayan Krishnan https://www.vals.ai Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!