هذا المحرك الجديد يشغل الذكاء الاصطناعي محليًا بذاكرة عشوائية أقل بـ 10 أضعاف! (كابتوس)
원제 · This New Engine Runs Local AI Using 10x Less RAM! (Cactus)
핵심 요약
يحل محرك Cactus مشكلة القيود الصارمة لذاكرة الأجهزة المحمولة عبر معمارية تعتمد على وحدات المعالجة العصبية أولًا وتقنية تخريج الذاكرة بدون نسخ بصيغة .CACT مع توجيه هجين يضمن استقرار التطبيقات وزمن انتقال محلي يصل إلى 260 مللي ثانية.
하이라이트
يخفض محرك الاستدلال Cactus استهلاك ذاكرة الوصول العشوائي بمقدار 10 أضعاف عند تشغيل نماذج الذكاء الاصطناعي محليًا على أجهزة الحافة.
يعتمد المحرك على تقنية تخريج الذاكرة بدون نسخ (Zero-copy memory mapping) لسحب مصفوفات محددة من وحدة التخزين مباشرة إلى دورة الحوسبة النشطة عند الحاجة.
يستخدم المحرك صيغة ملفات خاصة تحمل الامتداد .CACT بديلًا عن صيغة GGUF التقليدية لتفعيل خرائط الأوزان بخصائص تتوافق مع قيود الهواتف المحمولة.
يتصل Cactus مباشرة بوحدات المعالجة العصبية (NPU) في رقاقات Apple وQualcomm وMediaTek ويتجاوز طبقات الترجمة التقليدية لتقليل زمن الانتقال.
يحتوي المحرك على موجه هجين (Hybrid Router) يحول الطلبات تلقائيًا إلى نماذج السحابة مثل Gemini 2.5 Flash عند انخفاض مستوى ثقة النموذج المحلي أو تعقد المهمة.
سجل التشغيل المحلي لنموذج الكلام parakeet على جهاز iPhone 12 Pro زمن انتقال متوسطًا يبلغ 260 مللي ثانية ببث مباشر في الوقت الفعلي.
يبلغ متوسط زمن انتقال النسخ النصي عبر السحابة باستخدام Gemini 2.5 Flash حوالي 2000 مللي ثانية لدفعة بيانات مدتها ثلاث ثوانٍ بسبب رحلة البيانات إلى الخادم.
타임라인
حل مشكلة قيود الذاكرة على أجهزة الحافة
تفرض أنظمة تشغيل الهواتف المحمولة سياسات صارمة تغلق التطبيقات التي تسجل ارتفاعًا مفاجئًا في استهلاك الذاكرة العشوائية. يعالج هذا المحرك العائق الأكبر للذكاء الاصطناعي المحلي وهو عبء الذاكرة وليس قوة المعالجة ذاتها. يسحب النظام بدون نسخ المصفوفات المحددة فقط إلى دورة الحوسبة النشطة عند الحاجة إليها. يحمي هذا الأسلوب التطبيقات من الإغلاق القسري ويحافظ على القدرة التحليلية للنماذج الضخمة.
- تواجه نماذج الذكاء الاصطناعي التقليدية على أجهزة الحافة مشكلات تتعلق بثقل الحجم واستنزاف البطارية والإغلاق المفاجئ بواسطة مدير ذاكرة نظام التشغيل.
- يتجنب نظام Cactus تحميل كامل النموذج في الذاكرة العشوائية عبر تخريج الأوزان مباشرة من وحدة التخزين.
- تستبدل البنية الجديدة صيغة GGUF المعتادة بصيغة ملكية خاصة تسمى .CACT لتسريع عمليات الخرائط الفعالة.
التكامل المباشر مع وحدة المعالجة العصبية والتحويل الهجين
تعتمد أغلب محركات الاستدلال المحلية على وحدة معالجة الرسومات بشكل افتراضي. صُمم هذا المحرك ليعتمد على وحدة المعالجة العصبية أولًا للاستفادة من شرائح الدعم في معالجات Apple وQualcomm وMediaTek. تظل الأسئلة البسيطة داخل وحدة المعالجة العصبية للحفاظ على السرعة والخصوصية والتكلفة الصفرية. يتولى المحرك إدارة التبديل الاحتياطي في الخلفية للحفاظ على انخفاض التكاليف وتأمين تجربة مستخدم مستقرة.
- يتجاوز Cactus طبقات الترجمة المعتادة بالاتصال المباشر بوحدات المعالجة العصبية المدمجة في رقاقات الهواتف الحديثة.
- يتضمن المحرك نظام توجيه يعتمد على مستوى الثقة للفصل بين المهام المحلية والمهام السحابية.
- يحول الموجه الهجين الطلبات المعقدة ذات نوافذ السياق الضخمة تلقائيًا إلى السحابة دون تغيير الكود البرمجي للمطور.
اختبار الأداء الفعلي ومقارنة زمن الانتقال
يعتمد التطبيق التجريبي المبني بحزمة Swift Cactus على تشغيل نموذج الكلام parakeet محليًا ونموذج Gemini على السحابة. يعد زمن الانتقال المحلي البالغ 260 مللي ثانية على طراز هاتف قديم مؤشرًا على كفاءة البنية المخصصة. يعود الارتفاع في زمن الانتقال السحابي إلى رحلة الذهاب والإياب إلى خادم البيانات. تظل الخيارات السحابية مفيدة للمهام الأثقل مثل تحليل الصور المعقدة بينما ينتهي النسخ النصي على جهاز الحافة في معظم الأوقات.
- يوفر العرض التوضيحي للمحرك إمكانية النسخ النصي في الوقت الفعلي بزمن انتقال يقارب 100 مللي ثانية.
- يسجل الأداء المحلي لنموذج parakeet على هاتف iPhone 12 Pro زمن انتقال متوسطًا يبلغ حوالي 260 مللي ثانية.
- يتطلب البديل السحابي عبر نموذج Gemini 2.5 Flash حوالي 2000 مللي ثانية لنسخ دفعة مدتها ثلاث ثوانٍ.
설명
In this video, we dive into Cactus, a low-latency inference engine designed to run AI models directly on mobile silicon and edge devices without killing your battery or RAM. We break down how it utilizes its proprietary .cact format and zero-copy memory mapping to run a 1.2B parameter model with a footprint smaller than a web browser. Finally, we put it to the test on an older iPhone 12 Pro to see how its NPU-first architecture and Hybrid Router handle real-time speech transcription locally and in the cloud. 🔗 Relevant Links Cactus: https://cactuscompute.com ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 - Intro 00:19 - The Local AI Memory Problem 00:58 - Zero-Copy Memory Mapping 01:30 - Bypassing Translation Layers for NPU-First AI 02:11 - How the Hybrid Router Architecture Works 02:34 - Confidence-Based Cloud Fallbacks 03:07 - Building a Real-Time Transcription App in Swift 03:35 - Live Benchmarking: Local NPU vs. Gemini Cloud 04:29 - Final Thoughts