अपने लैपटॉप पर S3 चलाएं? यह सब कुछ बदल देगा (MinIO)

BBetter Stack
Computing/SoftwareSmall Business/StartupsInternet Technology

Transcript

00:00:00S3 के बिल बहुत ज़्यादा महंगे हो सकते हैं, ऐप्स इतना सारा डेटा जनरेट करते हैं कि हर अपलोड और डाउनलोड
00:00:05काफी भारी पड़ सकता है। और ज़्यादातर डेवलपर्स को लगता है कि ऑब्जेक्ट स्टोरेज का मतलब सिर्फ एक ही चीज़ है, क्लाउड।
00:00:09लेकिन यह हमेशा सच नहीं होता। क्या होगा अगर आप अपने लैपटॉप पर ही एक S3 कम्पैटिबल ऑब्जेक्ट स्टोर चला सकें?
00:00:15यहीं पर Mini I/O काम आता है। यह तेज़ है, S3 कम्पैटिबल है, और लगभग कहीं भी चल सकता है,
00:00:20यहाँ तक कि आपके Mac पर लोकली भी। अगले कुछ मिनटों में, मैं आप लोगों को तीन चीज़ें दिखाने जा रहा हूँ।
00:00:25इसे सेटअप और रन कैसे करें, डेवलपर्स इसका उपयोग क्यों कर रहे हैं, और इस तरह के टूल्स की असलियत क्या है।
00:00:30[संगीत]
00:00:35अगर आप क्लाउड खर्च कम करने या डेवलपमेंट को आसान बनाने की कोशिश कर रहे हैं, तो यह आपको बहुत
00:00:39परेशानी से बचा सकता है। यह असल में इन समस्याओं को सुलझाता है। ज़्यादातर डेवलपर्स और टीमें इन्हीं तीन
00:00:45समस्याओं से जूझ रहे हैं। क्लाउड बिलों का अंदाज़ा लगाना मुश्किल है। डेटा उस ऐप से बहुत दूर है जो उसका उपयोग कर रहा है,
00:00:51और AI वर्कलोड जिन्हें तेज़ लोकल स्टोरेज की ज़रूरत है। Mini I/O हमें एक और विकल्प देता है। हमें S3
00:00:57कम्पैटिबिलिटी, मज़बूत परफॉरमेंस और क्लाउड पर निर्भर रहे बिना पूरा कंट्रोल मिलता है।
00:01:01यह लोकल डेवलपमेंट, प्रोटोटाइप, RAG पाइपलाइन, मीडिया, बैकअप, इन सब चीज़ों के लिए बेहतरीन है। और हाँ,
00:01:07आप इसे पूरा लोकली चला सकते हैं, कोई VPS नहीं, कोई क्लाउड अकाउंट नहीं। अब, एक छोटा सा डिस्क्लेमर,
00:01:12इसका GitHub रेपो अब आर्काइव हो चुका है और यह मेंटेनेंस मोड में है। इसलिए हम इसे हमेशा के लिए
00:01:17इस्तेमाल नहीं कर सकते। उन्होंने अपना ध्यान Mini I/O से हटाकर Mini I/O AI Store पर लगा दिया है, लेकिन I/O अभी भी मौजूद है।
00:01:24हम इसे काफी समय तक वास्तविक फायदों के साथ इस्तेमाल कर सकते हैं। अगर आपको ऐसे टूल्स पसंद हैं जो आपके
00:01:29वर्कफ्लो को तेज़ करते हैं, तो सब्सक्राइब ज़रूर करें। हमारे वीडियो हर समय आते रहते हैं।
00:01:32ठीक है, मैं आपको दिखाता हूँ कि यह कितना आसान है। मैंने अपने M4 Pro पर एक डॉकर कंटेनर में
00:01:37Mini I/O चला रखा है। पहले, मैं इसे कनेक्ट करता हूँ और 'MC alias set local' रन करूँगा। मैं अपना
00:01:44लोकल होस्ट जोड़ूँगा और अभी के लिए उनके दिए गए लॉगिन क्रेडेंशियल्स का उपयोग करूँगा। फिर मैं एक बकेट बना सकता हूँ,
00:01:50'MC, MB local demo bucket' इसे हम कह सकते हैं। और फिर मैं बस कुछ फाइलें अपलोड करना शुरू करूँगा,
00:01:55इमेज, टेक्स्ट, JSON। तो पहले मेरी इमेज, फिर मैं एक हल्की टेक्स्ट फाइल कर सकता हूँ।
00:02:02और आखिर में, चलिए यहाँ कुछ JSON डेटा जोड़ते हैं। अब, अगर मैं सब कुछ लिस्ट करूँ, तो यह रहा। एकदम साफ़ स्ट्रक्चर,
00:02:08बिल्कुल S3 की तरह। अब यहाँ वो हिस्सा है जिसकी परवाह हममें से ज़्यादातर लोग करते हैं। मैं यह Mini Python
00:02:14स्क्रिप्ट यहाँ चलाता हूँ। और यह अभी भी Boto3 का उपयोग कर रही है, वही कोड स्टाइल जो AWS का है। यहाँ कोई बदलाव नहीं है।
00:02:22और ब्राउज़र में, यह बस लोकल होस्ट पर है। बकेट खोलें। मैं फ़ोल्डर्स को बड़ा कर सकता हूँ। मैं
00:02:27इमेज पर क्लिक कर सकता हूँ और यह रहा आपका प्रिव्यू। यह S3 जैसा ही लगता है, बस यह आपके लैपटॉप पर चल रहा है।
00:02:33तो Mini I/O वास्तव में क्या है? मूल रूप से, यह एक ऑब्जेक्ट स्टोरेज सर्वर है जो Amazon S3
00:02:39API पर काम करता है। इसलिए आप वो सब कुछ बरकरार रखते हैं जो आप पहले से जानते हैं। हम वही SDKs रख सकते हैं। हम वही कमांड्स,
00:02:46वही मेंटल मॉडल रख सकते हैं, लेकिन AWS से बंधे होने के बजाय, यह जहाँ आप चाहें वहाँ चलता है। डॉकर,
00:02:53कुबेरनेट्स, बेयर मेटल, एज, या बस आपके लैपटॉप पर जैसे मैं यहाँ चला रहा हूँ। और यह अब पहले की तुलना में
00:02:59ज़्यादा मायने रखता है क्योंकि बीतते सालों के साथ हमारे ऐप्स और भी ज़्यादा डेटा हैवी होते जा रहे हैं। क्योंकि जब
00:03:05आपका कंप्यूटर यहाँ है और आपका डेटा कहीं और, तो हम उसके लिए बहुत सारा पैसा चुकाते हैं,
00:03:10लेटेन्सी में और क्लाउड खर्च में। Mini I/O यह सब बदल देता है। यह स्टोरेज को वहीं ले आता है जहाँ काम
00:03:17होता है। और इसीलिए यह सेटअप डेवलपमेंट और टेस्टिंग के लिए इतना उपयोगी है। प्रोडक्शन के लिए नहीं,
00:03:22लेकिन उन दोनों के लिए यह बहुत अच्छा है। मेरे मामले में, मैं इसे लोकली चला रहा हूँ, जो इसे प्रोडक्शन में
00:03:27जाने से पहले डेटा हैवी ऐप्स बनाने और डीबग करने के लिए बेहतरीन बनाता है। अब हमारे पास और भी बहुत सारे
00:03:33विकल्प मौजूद हैं, ज़रूर। जैसे AWS S3 के साथ, आपको पूरी तरह से मैनेज्ड स्टोरेज और बड़े पैमाने पर स्केलेबिलिटी मिलती है। लेकिन फिर से,
00:03:40समझौता लागत, फीस और फिर आप AWS से बंध जाते हैं। Ceph के साथ, आपको कुछ बेहतरीन और
00:03:46स्केलेबल मिलता है, लेकिन इसे चलाना ज़्यादा जटिल है। इसमें ज़्यादा मूविंग पार्ट्स और ओवरहेड है। अब एक सामान्य पैटर्न
00:03:52कुछ इस तरह दिख सकता है। मैं डेवलपमेंट के लिए लोकली Mini I/O का उपयोग कर सकता हूँ, और स्टेजिंग
00:03:57तथा क्लाउड प्रोडक्शन में Mini I/O या S3 का। यह काम करता है क्योंकि आपका लोकल सेटअप अभी भी उसी S3 मॉडल से मेल खाता है जिसे
00:04:03आपका ऐप पहले से इस्तेमाल करता है या करेगा। इसलिए अगर आपका ऐप बहुत ज़्यादा डेटा हैंडल करता है, तो डेवलपमेंट के दौरान
00:04:10Mini I/O का इस्तेमाल करना समझदारी है। ठीक है, अब मैं थोड़ा काम की बात करता हूँ। क्या आपको इसका इस्तेमाल करना चाहिए? खैर,
00:04:15इसे डिप्लॉय करना आसान है, यह सिंगल बाइनरी या डॉकर है, इसमें मज़बूत S3 कम्पैटिबिलिटी है और यह बहुत तेज़ है।
00:04:21और अगर आप बहुत सारा डेटा मूव कर रहे हैं, तो 'एग्रेस फीस' से बचना एक बड़ी जीत है। लेकिन बात यह है कि,
00:04:26ओपन सोर्स Mini I/O जिसे आप यहाँ देख रहे हैं, अभी भी AGPL वर्जन 3 लाइसेंस के तहत फ्री है।
00:04:33और यह डेमो, लोकल डेवलपमेंट और प्रोटोटाइप के लिए अच्छा काम करता है। अब फिर से, उन्होंने अपना
00:04:38ध्यान Mini I/O AI Store पर शिफ्ट कर दिया है। इसमें सिंगल नोड उपयोग के लिए एक फ्री टियर शामिल है, लेकिन फिर
00:04:43वे अब क्लस्टरिंग, हाई अवेलेबिलिटी और इन सभी अन्य फीचर्स के लिए पेड टियर्स जोड़ रहे हैं।
00:04:48तो सीखने, लोकल डेवलपमेंट और छोटे प्रोजेक्ट्स के लिए, यह वाकई शानदार है। यह अच्छा है। लेकिन प्रोडक्शन
00:04:53क्लस्टर्स के लिए, आपको संभवतः AI Store या Ceph या Garage जैसे विकल्पों की ज़रूरत होगी। तो यह
00:04:59तब तक सार्थक है जब तक हम लोकल डेवलपमेंट या सिर्फ प्रयोग कर रहे हैं
00:05:04पहले दिन से ही इन-बिल्ट HA की ज़रूरत हो। इसके लिए हम अभी भी दूसरों के साथ बने रह सकते हैं। Mini I/O या AI Store फ्री
00:05:11आपको S3 स्टाइल स्टोरेज, मज़बूत परफॉरमेंस और आपके डेटा पर पूरा कंट्रोल देता है, वो भी तुरंत
00:05:16क्लाउड प्रीमियम चुकाए बिना। और आप इसे अभी अपने लैपटॉप पर आज़मा सकते हैं जैसे मैंने यहाँ किया है।
00:05:21अगर आप ओपन सोर्स टूल्स और कोडिंग टिप्स पसंद करते हैं जो आपके वर्कफ्लो को तेज़ करते हैं,
00:05:25तो Better Stack चैनल को सब्सक्राइब ज़रूर करें। आपसे दूसरे वीडियो में मिलते हैं।

Key Takeaway

Mini I/O डेवलपर्स को क्लाउड खर्च और लेटेन्सी से बचने के लिए अपने स्थानीय मशीन पर डॉकर के माध्यम से पूर्णतः S3 कम्पैटिबल ऑब्जेक्ट स्टोरेज चलाने की सुविधा देता है।

Highlights

Mini I/O Amazon S3 API के साथ पूरी तरह कम्पैटिबल है, जिससे AWS SDKs और Boto3 जैसे टूल्स का उपयोग बिना कोड बदले किया जा सकता है।

यह क्लाउड के भारी भरकम स्टोरेज बिल और डेटा ट्रांसफर की एग्रेस फीस को पूरी तरह खत्म कर देता है।

M4 Pro जैसे लैपटॉप पर डॉकर कंटेनर के जरिए लोकल होस्ट पर S3 जैसा एनवायरनमेंट सेटअप करना संभव है।

Mini I/O का मुख्य GitHub रेपो अब आर्काइव हो चुका है और विकास का ध्यान Mini I/O AI Store पर केंद्रित है।

ओपन सोर्स वर्जन अभी भी AGPL वर्जन 3 लाइसेंस के तहत फ्री है, जो प्रोटोटाइप और लोकल डेवलपमेंट के लिए उपयुक्त है।

Timeline

क्लाउड स्टोरेज की लागत और लेटेन्सी की समस्या

  • क्लाउड स्टोरेज के बिलों का सटीक अनुमान लगाना कठिन होता है क्योंकि ऐप्स बहुत अधिक डेटा जनरेट करते हैं।
  • डेटा और ऐप के बीच की दूरी लेटेन्सी बढ़ाती है, जो विशेष रूप से AI वर्कलोड के लिए नुकसानदेह है।
  • डेवलपर्स को अक्सर लगता है कि ऑब्जेक्ट स्टोरेज के लिए केवल क्लाउड ही एकमात्र विकल्प है।

ऐप्स द्वारा उत्पन्न डेटा की विशाल मात्रा हर अपलोड और डाउनलोड को महंगा बना देती है। डेटा सर्वर से दूरी के कारण परफॉरमेंस में गिरावट आती है। Mini I/O इन समस्याओं का समाधान स्थानीय स्तर पर कंट्रोल और प्रदर्शन प्रदान करके करता है।

Mini I/O का सेटअप और वर्तमान स्थिति

  • यह टूल लोकल डेवलपमेंट, प्रोटोटाइप और RAG पाइपलाइनों के लिए एक बेहतरीन विकल्प है।
  • मूल Mini I/O अब मेंटेनेंस मोड में है क्योंकि ध्यान अब Mini I/O AI Store की ओर चला गया है।
  • बिना किसी VPS या क्लाउड अकाउंट के इसे पूरी तरह से स्थानीय स्तर पर चलाया जा सकता है।

भले ही मुख्य प्रोजेक्ट आर्काइव हो गया हो, लेकिन यह अभी भी प्रभावी ढंग से काम करता है। यह डेवलपर्स को बिना क्लाउड पर निर्भर रहे पूरा डेटा कंट्रोल देता है। इसका उपयोग मीडिया बैकअप और टेस्टिंग के लिए किया जा सकता है।

लोकल होस्ट पर तकनीकी कार्यान्वयन

  • डॉकर कंटेनर के माध्यम से M4 Pro लैपटॉप पर Mini I/O का सफल संचालन संभव है।
  • कमांड लाइन इंटरफेस (MC) का उपयोग करके बकेट बनाना और फाइलें अपलोड करना S3 के समान ही है।
  • पायथन स्क्रिप्ट में Boto3 लाइब्रेरी का उपयोग करके कोड में बिना किसी बदलाव के डेटा एक्सेस किया जा सकता है।

लोकल होस्ट पर लॉगिन क्रेडेंशियल्स सेट करने के बाद इमेज, टेक्स्ट और JSON फाइलों को आसानी से मैनेज किया जा सकता है। ब्राउज़र में इसका इंटरफ़ेस बिल्कुल Amazon S3 जैसा दिखता है और प्रिव्यू की सुविधा भी देता है। यह मेंटल मॉडल और कोडिंग स्टाइल को क्लाउड जैसा ही बनाए रखता है।

ऑब्जेक्ट स्टोरेज विकल्पों की तुलना

  • Mini I/O डॉकर, कुबेरनेट्स और बेयर मेटल जैसे विभिन्न वातावरणों पर काम करता है।
  • Ceph एक शक्तिशाली विकल्प है लेकिन इसमें बहुत अधिक जटिलता और मूविंग पार्ट्स होते हैं।
  • डेवलपमेंट के लिए Mini I/O और प्रोडक्शन के लिए S3 का हाइब्रिड मॉडल सबसे प्रभावी है।

AWS S3 स्केलेबिलिटी तो देता है लेकिन यूजर को वेंडर लॉक-इन और भारी फीस में बांध देता है। डेटा को काम करने वाली जगह (स्थानीय लैपटॉप) के करीब लाने से लेटेन्सी और खर्च दोनों कम होते हैं। यह विशेष रूप से डेटा-हैवी ऐप्स को डीबग करने के लिए उपयोगी है।

लाइसेंसिंग और भविष्य की राह

  • ओपन सोर्स वर्जन AGPLv3 लाइसेंस के तहत फ्री है, जो छोटे प्रोजेक्ट्स के लिए पर्याप्त है।
  • Mini I/O AI Store में सिंगल नोड के लिए फ्री टियर है, लेकिन क्लस्टरिंग जैसे फीचर्स के लिए भुगतान करना होगा।
  • हाई अवेलेबिलिटी (HA) की आवश्यकता वाले प्रोडक्शन क्लस्टर्स के लिए Ceph या Garage जैसे विकल्प बेहतर हो सकते हैं।

यह टूल सिंगल बाइनरी या डॉकर के रूप में डिप्लॉय करना आसान और तेज़ है। एग्रेस फीस से बचना उन लोगों के लिए बड़ी जीत है जो बहुत सारा डेटा ट्रांसफर करते हैं। सीखने और प्रयोग करने के लिए यह एक उत्कृष्ट टूल बना हुआ है।

Community Posts

View all posts