यह नया इंजन 10 गुना कम RAM का उपयोग करके लोकल AI चलाता है! (Cactus)
Original · This New Engine Runs Local AI Using 10x Less RAM! (Cactus)
Key Takeaway
Cactus इंजन .CACT फॉर्मेट, जीरो-कॉपी मेमोरी मैपिंग और NPU-फर्स्ट आर्किटेक्चर के जरिए मोबाइल डिवाइसेज पर बिना रैम ओवरहेड के तीव्र लोकल AI इन्फरेंस सक्षम करता है और जरूरत पड़ने पर हाइब्रिड राउटर से जटिल काम क्लाउड को सौंप देता है।
Highlights
Cactus एक लो-लेटेंसी इन्फरेंस इंजन है जो मोबाइल और एज डिवाइसेज पर सीमित रैम और न्यूरल प्रोसेसिंग यूनिट्स (NPU) की सीमाओं के भीतर लोकल AI चलाता है।
यह इंजन रैम यूसेज को बढ़ने से रोकने के लिए जीरो-कॉपी मेमोरी मैपिंग का उपयोग करके मॉडल के वेट्स को सीधे स्टोरेज से मैप करता है।
ट्रेडिशनल GGUF फॉर्मेट के बजाय Cactus अपने प्रोपराइटी .CACT फॉर्मेट का उपयोग करके एज डिवाइसेज पर मेमोरी मैपिंग को प्रभावी बनाता है।
iPhone 12 Pro पर लोकल स्तर पर Parakeet स्पीच मॉडल का उपयोग करने पर लाइव स्ट्रीमिंग के साथ औसतन 260 मिलीसेकंड की लेटेंसी प्राप्त होती है।
क्लाउड पर Gemini 2.5 Flash मॉडल के माध्यम से तीन सेकंड के बैच ट्रांसक्रिप्शन के लिए औसतन लगभग 2000 मिलीसेकंड का समय लगता है।
Timeline
एज डिवाइसेज पर लोकल AI की चुनौतियाँ और Cactus का समाधान
मोबाइल ऑपरेटिंग सिस्टम का मेमोरी मैनेजर रैम यूसेज अचानक बढ़ने पर ऐप्स को बंद कर देता है। Cactus सब कुछ रैम में लोड करने के बजाय जरूरत पड़ने पर ही खास टेंसर को एक्टिव कंप्यूट साइकिल में लाता है। इससे बड़े मॉडल्स की रीजनिंग पावर मिलती है और ऐप के क्रैश होने का जोखिम खत्म हो जाता है।
- लोकल AI के लिए सबसे बड़ी रुकावट सीमित कंप्यूट क्षमता नहीं बल्कि भारी मेमोरी ओवरहेड है।
- Cactus जीरो-कॉपी मेमोरी मैपिंग तकनीक से मॉडल के वेट्स को सीधे स्टोरेज से जोड़ता है।
- इस मैपिंग प्रक्रिया को सुचारू बनाने के लिए ट्रेडिशनल GGUF फॉर्मेट की जगह .CACT फॉर्मेट काम करता है।
NPU-फर्स्ट आर्किटेक्चर और हाइब्रिड राउटिंग सिस्टम
Apple, Qualcomm और MediaTek के मॉडर्न चिप्स में डेडिकेटेड सिलिकॉन मौजूद होता है। Cactus इन यूनिट्स से सीधे कम्युनिकेट करके ट्रांसलेशन लेयर्स को बाईपास करता है जिससे इन्फरेंस की गति बढ़ती है। आसान सवाल NPU पर ही प्रोसेस होते हैं जिससे गोपनीयता बनी रहती है और लागत शून्य होती है, जबकि मुश्किल काम यूजर एक्सपीरियंस से समझौता किए बिना क्लाउड पर चले जाते हैं।
- Cactus डिफ़ॉल्ट रूप से GPU के बजाय NPU यानी न्यूरल प्रोसेसिंग यूनिट का प्राथमिक रूप से उपयोग करता है।
- एक कॉन्फिडेंस-बेस्ड हाइब्रिड राउटर लोकल मॉडल और क्लाउड मॉडल के बीच ऑटोमैटिक स्विचिंग को संभालता है।
- जटिल काम या बड़े कॉन्टेक्स्ट विंडो की जरूरत होने पर रिक्वेस्ट बैकग्राउंड में क्लाउड के फ्रंटियर मॉडल को ट्रांसफर हो जाती है।
iPhone 12 Pro पर रीअल-टाइम ट्रांसक्रिप्शन का परफॉर्मेंस टेस्ट
यह टेस्ट लोकल स्तर पर Parakeet स्पीच मॉडल और क्लाउड पर Gemini का उपयोग करके किया गया। क्लाउड ट्रांसक्रिप्शन में 3 सेकंड के बैच के लिए अधिक समय लगता है क्योंकि डेटा को सर्वर तक आने-जाने का एक राउंड ट्रिप लगाना पड़ता है। हालांकि, भारी इमेज एनालिसिस या जटिल कामों के लिए क्लाउड का यह विकल्प उपयोगी साबित होता है जबकि सामान्य कामों के लिए ऑन-एज ट्रांसक्रिप्शन ही मुख्य साधन रहता है।
- Swift Cactus पैकेज की मदद से बने ऐप पर लोकल और क्लाउड दोनों स्तरों पर ट्रांसक्रिप्शन टेस्ट संभव है।
- पुराने iPhone 12 Pro डिवाइस पर ऑन-एज ट्रांसक्रिप्शन औसतन 260 मिलीसेकंड की लेटेंसी देता है।
- क्लाउड विकल्प के रूप में Gemini 2.5 Flash पर स्विच करने पर लेटेंसी बढ़कर 2000 मिलीसेकंड हो जाती है।
Description
In this video, we dive into Cactus, a low-latency inference engine designed to run AI models directly on mobile silicon and edge devices without killing your battery or RAM. We break down how it utilizes its proprietary .cact format and zero-copy memory mapping to run a 1.2B parameter model with a footprint smaller than a web browser. Finally, we put it to the test on an older iPhone 12 Pro to see how its NPU-first architecture and Hybrid Router handle real-time speech transcription locally and in the cloud. 🔗 Relevant Links Cactus: https://cactuscompute.com ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 - Intro 00:19 - The Local AI Memory Problem 00:58 - Zero-Copy Memory Mapping 01:30 - Bypassing Translation Layers for NPU-First AI 02:11 - How the Hybrid Router Architecture Works 02:34 - Confidence-Based Cloud Fallbacks 03:07 - Building a Real-Time Transcription App in Swift 03:35 - Live Benchmarking: Local NPU vs. Gemini Cloud 04:29 - Final Thoughts