मैंने सस्ते क्लाउड स्टोरेज को 1PB लोकल ड्राइव में बदल दिया (JuiceFS के साथ)
BBetter Stack
Computing/SoftwareInternet Technology
Transcript
00:00:00यह Juice.FS है। यह एक उच्च-प्रदर्शन वाला, ओपन-सोर्स, वितरित फ़ाइल सिस्टम है जिसे क्लाउड ऑब्जेक्ट स्टोरेज की अनंत स्केलेबिलिटी को स्थानीय फ़ाइल सिस्टम की पूर्ण कार्यक्षमता और गति के साथ प्रदान करने के लिए डिज़ाइन किया गया है।
00:00:14इस वीडियो में, हम Juice.FS पर एक नज़र डालेंगे, देखेंगे कि यह कैसे काम करता है, और मैं आपको दिखाऊंगा कि आप Juice.FS के साथ अपना खुद का स्थानीय उच्च-प्रदर्शन नेटवर्क अटैच्ड स्टोरेज समाधान कैसे सेट कर सकते हैं।
00:00:24यह बहुत मजेदार होने वाला है, तो चलिए इसमें गहराई से उतरते हैं।
00:00:30S3, Google Cloud Storage, या Backblaze B2 जैसे मानक ऑब्जेक्ट स्टोरेज अविश्वसनीय रूप से लागत प्रभावी हैं, लेकिन इनके साथ इंटरैक्ट करने के लिए आमतौर पर विशेष API या विशेष टूल की आवश्यकता होती है जो पारंपरिक एप्लिकेशन वर्कफ़्लो को तोड़ देते हैं।
00:00:48Juice.FS एक पारदर्शी एब्स्ट्रैक्शन लेयर के रूप में कार्य करता है।
00:00:51यह आपके डेटा को आपके मेटाडेटा से अलग करता है, कच्चे डेटा चंक्स को सीधे आपके क्लाउड प्रदाता के पास भेजता है, जबकि Redis, Postgres, या TIKV जैसे तेज़ डेटाबेस के अंदर फ़ाइल सिस्टम लेआउट, अनुमतियों और निर्देशिका संरचनाओं का प्रबंधन करता है।
00:01:07जो चीज़ Juice.FS को पारंपरिक क्लाउड गेटवे या मानक नेटवर्क फ़ाइल शेयर से पूरी तरह अलग बनाती है, वह है इसका सख्त स्थापत्य अलगाव और इसका आक्रामक मल्टी-टियर कैशिंग इंजन।
00:01:19हर बार फ़ाइल एक्सेस करने पर अपने एप्लिकेशन को उच्च-विलंबता वाले क्लाउड नेटवर्क अनुरोधों की प्रतीक्षा करने के लिए मजबूर करने के बजाय,
00:01:26Juice.FS फ़ाइलों को छोटे, अनुकूलित ब्लॉकों में तोड़ता है और हॉट स्क्रैच स्पेस के रूप में स्थानीय NVMe या SSD विभाजन का उपयोग करता है।
00:01:35जब कोई एप्लिकेशन पहली बार डेटा पढ़ता या लिखता है, तो यह नेटवर्क पर संचार करता है, लेकिन दूसरी बार जब वह डेटा मांगा जाता है, तो यह स्थानीय स्टोरेज से हार्डवेयर लाइन की गति पर तुरंत सेवा देता है।
00:01:47यह लीगेसी एप्लिकेशन, डेटाबेस, मशीन लर्निंग, प्रशिक्षण पाइपलाइन और कंटेनर वातावरण को कोड की एक भी पंक्ति को फिर से लिखे बिना सीधे ऑब्जेक्ट स्टोरेज के ऊपर चलने की अनुमति देता है।
00:01:59तो यह सब बहुत अच्छा लगता है, लेकिन आइए इसे खुद परखें और देखें कि यह कैसे काम करता है।
00:02:04तो इस डेमो के लिए, मैं एक स्थानीय नेटवर्क अटैच्ड स्टोरेज या NAS सेट करने जा रहा हूं, जो मेरे सभी डेटा को मेरे अपने रिमोट S3 बकेट में होस्ट करेगा और हमारे मेटाडेटा इंजन के रूप में Redis का उपयोग करेगा।
00:02:16सबसे पहली चीज जो आपको करनी है, वह है Docker के साथ Redis इंस्टेंस को स्पिन अप करना और आप इस कमांड के साथ ऐसा आसानी से कर सकते हैं।
00:02:24और फिर हमें juice.FS फॉर्मेट कमांड चलाकर फ़ाइल सिस्टम को इनिशियलाइज़ करने की आवश्यकता है।
00:02:29यह चरण juice.FS को बताता है कि हमारे डेटाबेस को हमारे स्टोरेज बकेट के साथ कैसे मैप करना है।
00:02:34हम इसे अपना Redis कनेक्शन स्ट्रिंग, अपना AWS S3 बकेट नाम और अपने क्लाउड एक्सेस क्रेडेंशियल पास करते हैं।
00:02:41लेकिन यह सब करने से पहले, सुनिश्चित करें कि आपने इस कमांड को चलाने से पहले एक S3 बकेट और एक एक्सेस की और सीक्रेट की बनाई है।
00:02:48मैंने अपना पहले ही बना लिया था।
00:02:50तो अब जब मैं इसे चलाता हूं, तो juice.FS अभी हमारे S3 बकेट के अंदर कुछ भी नहीं बदलता है।
00:02:56यह बस Redis के अंदर स्टोरेज स्कीमा को कॉन्फ़िगर करता है और हमारे नए वर्चुअल फ़ाइल सिस्टम को एक अद्वितीय UUID निर्दिष्ट करता है।
00:03:03और एक बार फॉर्मेट चरण पूरा हो जाने पर, हम juice.FS माउंट कमांड का उपयोग करके डिवाइस को अपनी स्थानीय मशीन पर माउंट करते हैं।
00:03:10हम juice.FS को अपने Redis इंस्टेंस पर पॉइंट करते हैं और एक स्थानीय निर्देशिका पथ प्रदान करते हैं।
00:03:15मेरे मामले में, मेरी होम निर्देशिका के अंदर एक फ़ोल्डर।
00:03:18और इसे चलाने से पहले, एक महत्वपूर्ण चेतावनी है।
00:03:21यदि आप Mac पर हैं, क्योंकि Mac OS बॉक्स के बाहर कस्टम फ़ाइल सिस्टम का समर्थन नहीं करता है, तो आपको पहले Mac Fuse नामक एक कर्नेल एक्सटेंशन उपयोगिता स्थापित करनी होगी।
00:03:30यह वे अंतर्निहित सॉफ़्टवेयर हुक प्रदान करता है जिनकी juice.FS को Mac ऑपरेटिंग सिस्टम के साथ संवाद करने के लिए आवश्यकता होती है।
00:03:37और फिर मैं यह फ्री स्पेस रेशियो वाला फ़्लैग भी प्रदान कर रहा हूं, क्योंकि डिफ़ॉल्ट रूप से, यह इसे आपकी ड्राइव के 20% पर सेट करता है, जो काफी अधिक है।
00:03:47और मूल रूप से यह juice.FS को बताता है कि यदि आपके कैश को होस्ट करने वाली स्थानीय ड्राइव अपनी कुल क्षमता के एक निश्चित प्रतिशत से नीचे गिर जाती है,
00:03:55तो इसे नई कैश फ़ाइलें लिखना बंद कर देना चाहिए और सबसे पुराने, कम से कम एक्सेस किए गए ब्लॉकों को आक्रामक रूप से हटाना शुरू कर देना चाहिए।
00:04:01यह आपके स्थानीय ऑपरेटिंग सिस्टम को डिस्क स्पेस खत्म होने से पूरी तरह बचाता है।
00:04:05ठीक है।
00:04:06तो चलिए अब यह कमांड चलाते हैं।
00:04:07और जैसे ही यह निष्पादित होता है, ऑपरेटिंग सिस्टम एक मानक POSIX अनुपालन फ़ाइल सिस्टम माउंट पंजीकृत करता है।
00:04:15और कंप्यूटर के लिए, ऐसा लगता है जैसे हमने अभी एक टेराबाइट उपलब्ध स्थान वाली एक विशाल बाहरी हार्ड ड्राइव प्लग इन की है।
00:04:23और अब मैं आसानी से इस निर्देशिका में फ़ाइलों को ड्रैग कर सकता हूं जैसे कि यह एक बाहरी ड्राइव हो।
00:04:28और यदि हम अब S3 बकेट डैशबोर्ड पर जाएं, तो हम देखते हैं कि juice.FS ने हमारी फ़ाइलों को संग्रहीत किया है और उन्हें डेटा चंक्स में विभाजित किया है।
00:04:37और यह सब पर्दे के पीछे होता है और हमें कोई भारी काम करने की ज़रूरत नहीं है।
00:04:42और यह दिखाने के लिए कि कैशिंग कैसे काम करती है, हम क्लासिक टर्मिनल कमांड DD का उपयोग करके फ़ाइल सिस्टम का बेंचमार्क करने जा रहे हैं।
00:04:49तो अगर आपने पहले DD का उपयोग नहीं किया है, तो यह कच्ची डेटा कॉपी करने के लिए उपयोग की जाने वाली एक अंतर्निहित उपयोगिता है।
00:04:55और इस विशिष्ट कमांड में, IF इनपुट फ़ाइल के लिए है, जो हमारी बड़ी वीडियो फ़ाइलों में से एक की ओर इशारा कर रही है जिसे मैंने हमारी juice.FS ड्राइव में जोड़ा है।
00:05:03और OF आउटपुट फ़ाइल के लिए है।
00:05:06और हम इस डेटा को सीधे dev/null में भेज रहे हैं, जो हमारे ऑपरेटिंग सिस्टम में वास्तव में एक ब्लैक होल है जो डेटा को तुरंत अनदेखा कर देता है क्योंकि हम वास्तव में डेटा कॉपी नहीं कर रहे हैं।
00:05:17हम इस उदाहरण में सिर्फ एक बेंचमार्क कर रहे हैं।
00:05:19और हम ब्लॉक साइज़ को चार मेगाबाइट पर भी सेट करते हैं ताकि यह मेल खा सके कि juice.FS डेटा चंक्स को कैसे स्लाइस करता है।
00:05:25और अंत में, हम पूरी लाइन को टाइम यूटिलिटी के साथ प्रीफ़िक्स करते हैं ताकि हम देख सकें कि फ़ाइल ट्रांसफर में कितना समय लगता है।
00:05:32और पहली बार जब हम एंटर दबाते हैं, तो इसे कोल्ड रीड कहा जाता है क्योंकि फ़ाइल अभी अपलोड की गई थी।
00:05:38हमारी स्थानीय मशीन के पास अभी इसकी कोई कॉपी नहीं है।
00:05:41इसलिए juiceFS को इंटरनेट के माध्यम से हमारे S3 बकेट तक पहुंचना पड़ता है, उन सभी चार मेगाबाइट डेटा चंक्स को एक-एक करके लाना पड़ता है और उन्हें स्ट्रीम करना पड़ता है।
00:05:50और मेरे कनेक्शन पर, पहला रन, जैसा कि आप देख सकते हैं, काफी लंबा समय लेता है।
00:05:55लेकिन देखें कि क्या होता है जब हम दूसरी बार बिल्कुल वही कमांड चलाते हैं।
00:05:59तो बम।
00:06:00तो यह रहा।
00:06:01टर्मिनल प्रॉम्प्ट लगभग तुरंत वापस आ जाता है।
00:06:03दूसरा रन एक सेकंड से भी कम समय में पूरा हो गया क्योंकि अब यह हमारे कैश में है और हम इसे स्वाभाविक रूप से पढ़ रहे हैं।
00:06:10तो इस तरह से मल्टी-टियर कैशिंग इंजन काम में आता है।
00:06:14जब juiceFS हमारे पहले रन के दौरान उन चंक्स को डाउनलोड करने में व्यस्त था, तो यह चुपचाप उन्हें हमारे स्थानीय NVMe स्क्रैच डिस्क में कॉपी कर रहा था।
00:06:22लेकिन दूसरे पास पर, सिस्टम ने इंटरनेट को पूरी तरह से बायपास कर दिया, डेटा को सीधे स्थानीय हार्डवेयर लाइन गति से खींच लिया।
00:06:29तो आपको क्लाउड की अनंत सस्ती स्टोरेज क्षमता के साथ स्थानीय ड्राइव की शून्य विलंबता गति मिलती है।
00:06:37तो इस डेमो में, मैंने कार्यक्षमता दिखाने के लिए वीडियो फ़ाइलों का उपयोग किया, लेकिन यह लगभग किसी भी वास्तविक दुनिया के बुनियादी ढांचे के परिदृश्य पर लागू होता है।
00:06:45यदि आप कंटेनर वातावरण का प्रबंधन करने वाले DevOps इंजीनियर हैं, तो आप Kubernetes क्लस्टर में साझा पर्सिस्टेंट स्टोरेज प्रदान करने के लिए बस juiceFS का उपयोग कर सकते हैं।
00:06:54और हर एक नोड के लिए महंगे क्लाउड ब्लॉक स्टोरेज के लिए भुगतान करने के बजाय, आपके सभी पॉड्स एक साथ बिल्कुल वही juiceFS वॉल्यूम माउंट कर सकते हैं।
00:07:03कॉन्फ़िगरेशन फ़ाइलों, एप्लिकेशन एसेट या उपयोगकर्ता अपलोड को वैश्विक रूप से साझा करना जबकि लागत को अविश्वसनीय रूप से कम रखना।
00:07:10और यह मशीन लर्निंग और डेटा साइंस पाइपलाइनों के लिए भी एक बड़ी जीत है।
00:07:14क्योंकि यदि आपके पास S3 बकेट में पड़ा हुआ डेटा का एक विशाल सेट है, मान लीजिए सैकड़ों गीगाबाइट प्रशिक्षण चित्र या टेक्स्ट डेटा, तो ML मॉडल को प्रशिक्षित करने के लिए आमतौर पर पहले उस पूरे डेटा सेट को स्थानीय रूप से डाउनलोड करने की आवश्यकता होती है, जो समय और स्टोरेज स्पेस बर्बाद करता है।
00:07:30लेकिन juiceFS के साथ, आपकी प्रशिक्षण स्क्रिप्ट तुरंत चलना शुरू हो सकती है।
00:07:35पाइपलाइन माउंट के माध्यम से डेटा को क्रमिक रूप से पढ़ती है और juiceFS पृष्ठभूमि में उच्च थ्रूपुट स्ट्रीमिंग और स्थानीय कैशिंग को संभालता है, जिससे आपके GPU स्थानीय स्टोरेज बाधाओं के बिना पूरी तरह से संतृप्त रहते हैं।
00:07:49और एक और अच्छी चीज़ है जो मैं आपको दिखाना चाहता हूं।
00:07:51आप बेटर स्टैक के साथ अपने फ़ाइल सिस्टम में आसानी से मेट्रिक्स भी जोड़ सकते हैं।
00:07:55हर बार जब आप juiceFS वॉल्यूम माउंट करते हैं, तो यह चुपचाप पृष्ठभूमि में एक स्थानीय प्रोमेथियस संगत मेट्रिक्स सर्वर स्पिन करता है।
00:08:03यदि आप अपना ब्राउज़र खोलते हैं और इस URL पर जाते हैं, तो आप यहां सभी मेट्रिक्स सादे टेक्स्ट में देख सकते हैं, जो वास्तविक समय में हर कैश हिट, रीड अवधि और S3 अनुरोध त्रुटियों को ट्रैक कर रहे हैं।
00:08:13और इस टेलीमेट्री डेटा को सीधे हमारे डैशबोर्ड में भेजने के लिए, हम बेटर स्टैक की मूल प्रोमेथियस स्क्रैपिंग सुविधा का उपयोग कर सकते हैं।
00:08:21सबसे पहले, हमें स्रोतों पर जाना होगा और अपने juiceFS को एक स्रोत के रूप में कनेक्ट करना होगा।
00:08:25और मेट्रिक्स टैब से प्रोमेथियस स्क्रैप चुनें और कनेक्ट सोर्स पर क्लिक करें।
00:08:31अब हमें अपने लॉग्स को इंजेस्ट करने की आवश्यकता है।
00:08:33लेकिन इससे पहले कि हम ऐसा करें, हमें ngrok जैसे टूल का उपयोग करके अपने स्थानीय मेट्रिक्स पोर्ट के लिए एक सुरक्षित सार्वजनिक टनल खोलने की आवश्यकता है और फिर अपना ngrok URL पेस्ट करें।
00:08:43लेकिन इसे ngrok के साथ काम करने के लिए, हमें उन्नत विकल्पों पर जाने और ngrok स्किप ब्राउज़र वॉर्निंग नामक एक कस्टम HTTP हेडर जोड़ने और इसे true पर सेट करने की भी आवश्यकता है।
00:08:53और यह ngrok को चेतावनी पृष्ठ को पूरी तरह से बायपास करने के लिए कहता है, जिससे बेटर स्टैक को हर कुछ सेकंड में सुरक्षित रूप से कच्चे मेट्रिक्स स्क्रैप करने की अनुमति मिलती है।
00:09:01और अब हमारे मेट्रिक्स स्वचालित रूप से इंजेस्ट होना शुरू हो जाने चाहिए।
00:09:05और मैं आपको सबसे अच्छा हिस्सा दिखाता हूं।
00:09:07यदि हम अब बेटर स्टैक के AI SRE पर जाएं, तो हम बस AI SRE को हमारे लिए एक ऐसा डैशबोर्ड बनाने के लिए प्रॉम्प्ट दे सकते हैं जो कैश प्रदर्शन या विलंबता और हमारे सिस्टम के थ्रूपुट की निगरानी करता है।
00:09:19और कुछ ही सेकंड में, AI SRE हमारे लिए juiceFS से आने वाले सभी मेट्रिक्स के साथ एक कस्टम सुंदर डैशबोर्ड तैयार कर देगा।
00:09:27और हम यह भी देख सकते हैं कि यह वास्तविक समय में अपडेट हो रहा है।
00:09:32तो यह कितना अच्छा है?
00:09:34तो मुझे उम्मीद है कि यह छोटा डेमो आपको दिखाता है कि जब आप इसे आधुनिक बुनियादी ढांचे की निगरानी के साथ जोड़ते हैं तो juiceFS कितना शक्तिशाली हो सकता है।
00:09:41हमने एक सस्ता मानक क्लाउड स्टोरेज बकेट लिया, उसे हार्डवेयर लाइन गति पर काम करने वाली एक अनंत स्केलेबल स्थानीय ड्राइव में बदल दिया और इसे कुछ ही मिनटों में एक पूरी तरह से स्वचालित अवलोकन डैशबोर्ड से जोड़ दिया।
00:09:57तो यह रहा, दोस्तों।
00:09:58वह संक्षेप में juiceFS है।
00:10:00आप juiceFS के बारे में क्या सोचते हैं?
00:10:02क्या आपने इसे आज़माया है?
00:10:03क्या आप इसका उपयोग करेंगे?
00:10:04हमें नीचे कमेंट सेक्शन में बताएं।
00:10:06और दोस्तों, अगर आपको इस तरह के तकनीकी ब्रेकडाउन पसंद हैं, तो वीडियो के नीचे उस लाइक बटन को दबाकर मुझे बताएं।
00:10:12और हमारे चैनल को सब्सक्राइब करना न भूलें।
00:10:15यह बेटर स्टैक से एंडरस था, और मैं आपको अगले वीडियो में देखूंगा।
Community Posts
No posts yet. Be the first to write about this video!
Write about this video