لماذا لا تزال كتابة الذكاء الاصطناعي تبدو رديئة — لويس فرانسوا بوشار، Towards AI
Original · Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI
Key Takeaway
يحد استخدام الموجهات المفصلة للغاية ونماذج التكلفة المنخفضة مع مراجعة ذكية واحدة من انتشار النصوص الركيكة المولدة بالذكاء الاصطناعي.
Highlights
يشتمل معيار ToneBench الجديد على تسع مقاييس مختلفة لتقييم ركاكة ونبرة النصوص المولدة بالذكاء الاصطناعي عبر عشر مهام متنوعة.
تتطلب إعادة تكوين موجه إدخال واحد لنموذج الذكاء الاصطناعي في عمليات التجربة تكلفة تتجاوز 4000 دولار.
يوفر نموذج GLM 5.3 Flash نتائج مماثلة لتلك الخاصة بنموذج Opus 5.5 Extra High بتكلفة أقل بخمسين مرة.
يؤدي توليد عشر مسودات باستخدام نموذج منخفض التكلفة ثم دمج الأجزاء الأفضل بواسطة نموذج ذكي إلى خفض تكاليف الإنتاج بشكل ملحوظ.
تعتمد موثوقية تقييمات نماذج اللغات الكبيرة على استخدام عائلات نماذج متعددة لتجنب تحيز النماذج لصالح عائلاتها الخاصة.
Timeline
تعريف ظاهرة الركاكة ومقدمة معيار ToneBench
تتناول هذه القسم ظاهرة النصوص الركيكة التي تنبأ كارباتي بحدوث كارثتها بحلول عام 2026، حيث تتسم بالكلمات المتكررة مثل delve والعمومية المطلقة وغياب النبرة البشرية الحقيقية. ولتجاوز هذه المشكلة رغم تطور النماذج، جرى إطلاق معيار ToneBench بهدف قياس قدرة النماذج على محاكاة الصوت البشري الأصيل بدلاً من الاعتماد على مقاييس الركاكة التقليدية.
- تتكون النصوص الركيكة من كلمات مفرطة الاستخدام، وتعميمات مفرطة، وتكرار، وهلوسة، وغياب للنبرة الشخصية.
- يطلق معيار ToneBench لقياس مدى ركاكة النصوص وتحديد النماذج الأفضل في الكتابة الإبداعية.
- يواجه صانعو المحتوى والفرق الصغيرة صعوبات مستمرة في مراجعة النصوص المولدة بالذكاء الاصطناعي وإصلاح ركاكتها.
منهجية وتكلفة بناء معيار ToneBench
يشرح هذا القسم التفاصيل التشغيلية وراء بناء معيار ToneBench، بدءاً من استخدام عشر مهام بحثية ونصوص مرجعية وانتهاءً بالاستعانة بأربعة محكمين من نماذج اللغات الكبيرة للتقييم الأعمى. كما توضح البيانات التكاليف المرتفعة للتجربة وتعديل موجهات الإدخال، فضلاً عن إجراء مقارنات يدوية لعينة تضم ألف زوج مقارنة لضمان دقة النتائج ومعالجة انحياز النماذج.
- يعتمد المعيار على 10 نصوص مختلفة يتم توليد 5 مسودات لكل نموذج لقياس التباين داخل النموذج نفسه.
- تتضمن عملية التقييم تسعة مقاييس رئيسية تفحص النبرة، وجودة الكتابة، والالتزام بالتعليمات، ودقة البحث، ومستوى الركاكة.
- تتجاوز تكلفة إجراء تعديل واحد على موجه إدخال النماذج أربعة آلاف دولار نظراً لارتفاع حجم البيانات والعمليات.
الدروس المستفادة وتوصيات تحسين كتابة الذكاء الاصطناعي
يستعرض هذا القسم الخلاصة المستفادة من أشهر التجربة الطويلة، مؤكداً أن البحث عن النموذج المثالي من محاولة واحدة غير مجدي، بل يجب التركيز على النماذج الأقل إزعاجاً مثل GLM 5.3 Flash. ويقترح استراتيجيات تشمل تزويد النماذج بتوجيهات مفصلة، واستخدام مسودات متعددة يدمجها نموذج متقدم، مع الإقرار بأن اللمسة البشرية تظل ضرورية لضمان جودة المحتوى النهائي.
- يؤدي استخدام الموجهات الطويلة المدعومة بأمثلة إيجابية وسلبية إلى تحسين جودة مخرجات نماذج الذكاء الاصطناعي بشكل ملحوظ.
- يسهم توليد عدة مسودات بواسطة نموذج اقتصادي ودمجها عبر نموذج ذكي في تحقيق كفاءة عالية بتكلفة منخفضة.
- تبقى المراجعة البشرية النهائية عنصراً أساسياً لا غنى عنه للوصول إلى محتوى إبداعي خالٍ من العيوب.
Description
Louis-François Bouchard of Towards AI breaks down what makes AI writing feel like slop: overused words, vague generalities, saying nothing, repetition, hallucination and a voice that sounds like everyone at once. He then shows how his team built a benchmark to measure whether a model can write a video script in his own voice: 10 scripts, 5 drafts per model, 4 LLM judges, nine scoring metrics and 1,000 human A/B checks. He shares what it cost, why judges favor their own model family, and practical tips for writing with AI: very long prompts full of examples, one review pass from a strong model, many cheap drafts merged together, and always a human edit. Chapters: - 00:00 What is slop? - 02:41 Measuring sloppy writing - 03:49 Why build another benchmark - 05:44 Can a model write like me? - 07:19 10 scripts, 5 drafts, 4 judges - 09:14 What gets measured - 11:10 How the judges score - 12:38 Judges prefer their own models - 13:46 Human A/B checks - 14:15 What it cost - 15:20 What we learned - 16:21 How to write better with AI Louis-François Bouchard, Towards AI: https://towardsai.net Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!