पुराने रास्पबेरी पाई (Raspberry Pi) के साथ बिना किसी क्लाउड लागत के लोकल टेक्स्ट क्लासिफायर बनाना
makedream15 de mayo de 2026
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
दराज के किसी कोने में फेंका हुआ पहली पीढ़ी का रास्पबेरी पाई (Raspberry Pi 1) या पाई ज़ीरो (Pi Zero) आमतौर पर किसी काम का नहीं लगता। महज़ 512MB मेमोरी के साथ आज के ऑन-डिवाइस AI टूल्स को चलाने की कोशिश करने पर डिवाइस तुरंत क्रैश हो जाता है। हर महीने आने वाले AWS या OpenAI API के खर्च को देखकर इस कबाड़ का इस्तेमाल करने का मन तो करता है, लेकिन कोई रास्ता नहीं सूझता। सीधे मुद्दे की बात करें तो, लिनक्स कर्नेल को उसकी आखिरी सीमा तक निचोड़कर और 90M का एक बेहद छोटा मॉडल लोड करके, आप 24 घंटे चलने वाला एक स्वतंत्र ऑटोमेशन नोड बना सकते हैं। भले ही इसकी स्पीड धीमी होगी, लेकिन इसमें आपका एक भी पैसा खर्च नहीं होगा।
पहली पीढ़ी के रास्पबेरी पाई में ऑपरेटिंग सिस्टम द्वारा ली जाने वाली डिफ़ॉल्ट मेमोरी को हटाकर, AI इन्फ्रेंस (inference) प्रोसेस के लिए 300MB से भी कम जगह बचती है। इस कमी को पूरा करने के लिए SD कार्ड पर डिफ़ॉल्ट स्वैप (swap) फ़ाइल बनाना आत्मघाती कदम है। बेहद धीमी गति के कारण यह बॉटलनैक (bottleneck) पैदा करेगा और सीमित राइट-लाइफ़ (write limit) वाले SD कार्ड की उम्र को भी कम कर देगा। इसके बजाय, आपको लिनक्स कर्नेल के zram मॉड्यूल को लोड करना चाहिए, जो रैम (RAM) के एक हिस्से को कंप्रेस करके डिस्क की तरह इस्तेमाल करता है।
700MHz वाले सिंगल-कोर ARMv6 प्रोसेसर के लिए lz4 एल्गोरिदम ही सही समाधान है। उच्च कंप्रेशन रेट वाला zstd इस बूढ़े CPU को ओवरहीटिंग के कारण मार डालेगा। सबसे तेज़ और हल्के lz4 के साथ 1GB क्षमता का zram एरिया सेट करने पर, आप फिजिकल मेमोरी स्पेस को लगभग 3 गुना तक बचा सकते हैं।
हमें उस स्थिति को भी रोकना होगा जहाँ लिनक्स कर्नेल बड़े पैमाने पर कंप्यूटेशन के दौरान AI प्रोसेस को जबरन बंद (kill) कर देता है। कर्नेल पैरामीटर vm.swappiness की वैल्यू को डिफ़ॉल्ट 60 से घटाकर 10 कर दें। यह मॉडल वेट्स (model weights) को फिजिकल मेमोरी से बाहर निकालकर डिस्क पर भेजे जाने की आपदा से बचाता है। फ़ाइल सिस्टम मेटाडेटा रैम को न घेरे, इसके लिए vm.vfs_cache_pressure सेटिंग को बढ़ाकर 500 कर देना चाहिए ताकि प्रोसेस स्पेस को सांस लेने की जगह मिल सके।
टर्मिनल खोलें और बिना रीबूट किए कर्नेल को फिक्स करने के लिए नीचे दी गई सेटिंग्स को सीधे लागू करें।