클로드 코드 토큰 비용을 20배 저렴하게 만드는 방법 (& 4가지 추가 사용 팁)
CChase AI
Computing/SoftwareSmall Business/StartupsInternet Technology
Transcript
00:00:00आप अपनी क्लाउड कोड टोकन के लिए ज़रूरत से 20 गुना ज़्यादा भुगतान कर रहे हो सकते हैं और आपको शायद इसका पता भी न हो।
00:00:05अपने क्लाउड कोड टोकन का अधिकतम लाभ कैसे उठाया जाए, यह समझना सबसे महत्वपूर्ण
00:00:08कौशलों में से एक है जिसे आप सीख सकते हैं, और यह आपकी Cloud.md फ़ाइल में केवल एक लाइन लिखने से कहीं आगे जाता है
00:00:14यह कहते हुए कि संक्षेप में रहें। क्योंकि यदि आप यह नहीं समझते हैं कि प्रॉम्प्ट कैशिंग कैसे काम करती है,
00:00:19तो आप ज़रूरत से बहुत ज़्यादा भुगतान कर रहे हो सकते हैं। इसलिए इस वीडियो में, मैं आपको पांच
00:00:23अलग-अलग तरीके बताने जा रहा हूँ ताकि आप अपने क्लाउड टोकन को बेहतर ढंग से प्रबंधित कर सकें ताकि आप वास्तव में
00:00:27इन टॉप-टियर मॉडल का अधिकतम लाभ उठा सकें। अब टिप नंबर एक सबसे महत्वपूर्ण है। इससे आपकी अधिक बचत होगी
00:00:31पैसा और उपयोग बाकी सभी युक्तियों की तुलना में कहीं अधिक है, और वह यह समझना है कि प्रॉम्प्ट कैशिंग वास्तव में कैसे काम करती है
00:00:37काम करता है। अब प्रॉम्प्ट कैशिंग को समझने के लिए, आपको यह समझने की ज़रूरत है कि टोकन कैसे काम करते हैं। इसलिए हम
00:00:43एक बहुत ही त्वरित समीक्षा करने जा रहे हैं, जैसे 60 सेकंड, ताकि हम सब एक ही पृष्ठ पर हों। अब टोकन मुद्रा हैं
00:00:47बड़े भाषा मॉडल, और सभी व्यावहारिक उद्देश्यों के लिए, यह कुछ हद तक सरल है, हर एक है
00:00:52शब्द एक टोकन के बराबर है। इसलिए जब आप, उपयोगकर्ता, Fable को अपने पहले संदेश पर कहते हैं, आप आज कैसे कर रहे हैं,
00:01:00आपने पाँच इनपुट टोकन भेजे हैं। अब जब Fable आपको जवाब देता है और कहता है, मैं बहुत बढ़िया कर रहा हूँ, धन्यवाद,
00:01:09इसने आपको चार आउटपुट टोकन दिए हैं। इनकी कीमत अलग-अलग होती है। वास्तव में, आउटपुट टोकन, बड़े पैमाने पर,
00:01:16इनपुट टोकन की लागत से पांच गुना अधिक खर्च होता है। अब ये पांच इनपुट टोकन और ये चार आउटपुट टोकन अब हैं
00:01:23संदर्भ विंडो के भीतर जमा हो जाते हैं। यदि टोकन मुद्रा हैं, तो संदर्भ विंडो हमारा बजट है।
00:01:31ओपस, फेबल, सोनेट, उन सभी के पास दस लाख टोकन का बजट है, इसलिए इस बिंदु पर हमने इसका उपयोग किया है
00:01:37हमारे दस लाख में से नौ, बहुत अधिक नहीं। अब जो बात दिलचस्प हो जाती है वह तब होती है जब हम अनुवर्ती संदेश भेजते हैं
00:01:43पहले वाले के बाद। तो हमारे दूसरे संदेश में, मैं, उपयोगकर्ता, कहता हूँ, मेरे लिए एक ऐप बनाओ, कोई गलती नहीं,
00:01:50छह इनपुट टोकन, है ना? मैं एंथ्रोपिक और फेबल को केवल छह इनपुट टोकन भेजने जा रहा हूँ। कुएं,
00:01:56बिलकुल नहीं। मैं वास्तव में इसे जो भेजने जा रहा हूँ वह सब कुछ है। मैं एंथ्रोपिक भेजने जा रहा हूँ
00:02:04यह पूरी बातचीत उस बिंदु तक। इसलिए मैं वास्तव में छह इनपुट टोकन नहीं भेज रहा हूँ, बल्कि मैं वास्तव में हूँ
00:02:1116 इनपुट टोकन भेजना क्योंकि मैं उन्हें यहाँ से पाँच और यहाँ से चार भेजने जा रहा हूँ क्योंकि
00:02:16इसे पूरा संदेश मिलने जा रहा है ताकि यह संदर्भ को समझ सके। और हर एक के लिए
00:02:20फॉलो-ऑन संदेश ऐसा ही होगा, मैं हमेशा बातचीत का पूरा हिस्सा भेज रहा हूँ
00:02:26उस नवीनतम संदेश से पहले। और आप जल्दी से देख सकते हैं कि यह बहुत, बहुत जल्दी कैसे संयोजित हो जाता है जहाँ तक
00:02:32आप हर एक संदेश पर भेजे जाने वाले 5,000, 10,000, 100,000 इनपुट टोकन के बारे में बात कर रहे हैं। और आप हैं
00:02:37इसके लिए भुगतान कर रहे हैं। अब, यदि ऐसा है, तो हम अपने सभी उपयोग के माध्यम से क्यों नहीं चलते हैं
00:02:43तुरंत? जब भी वे इन एआई प्रणालियों का उपयोग करने का प्रयास करते हैं, तो हर कोई एक अरब डॉलर का भुगतान क्यों नहीं करता है?
00:02:47क्योंकि जाहिर है हम संदेश दर संदेश भेज रहे हैं। इसलिए बहुत सारे पसंद हैं
00:02:51सर्वरों को भेजे जा रहे मिश्रित संदेश। खैर, यहाँ समाधान नकद प्रणाली है। तो हाँ,
00:02:57जब मैं यहाँ संदेश संख्या दो भेजता हूँ, तो मैं वास्तव में यह सब भेज रहा हूँ। लेकिन क्या बनाया गया है
00:03:05इस बिंदु पर संदेश नकद है। और हमारे दूसरे संदेश के लिए, वह संदेश नकद पहले वाले हैं
00:03:12दो संदेश. मैं चाहता हूँ कि आप संदेश नकद के बारे में एक दस्तावेज़ के रूप में सोचें जो क्लाउड के सामने है
00:03:17यह है कि उस बिंदु तक आपकी पूरी बातचीत है। तो हमने आपको यहीं क्लाउड से बात करते हुए पाया,
00:03:23अब आप संदेश संख्या दो भेज रहे हैं, जो मेरे लिए एक ऐप बनाओ, कोई गलती नहीं है। लेकिन हमारे पास नकदी है
00:03:30प्रणाली। तो यह पूरा खंड, ये पहले दो संदेश अब इस दस्तावेज़ में बैठे हैं। तो क्या
00:03:36क्लाउड और एंथ्रोपिक सक्षम है कि यह उस दस्तावेज़ को पढ़ने में सक्षम है, यह नकदी को पढ़ने में सक्षम है,
00:03:42उस बिंदु तक के पूरे संदेश इतिहास को बहुत सस्ती दर पर देखें, यदि आप थे
00:03:47बस इसे नकदी के बिना एक बार में भेजना। और यह लागत की गणना इस प्रकार करता है। और यह लागत
00:03:54महत्वपूर्ण है क्योंकि यह नकद प्रणाली हमेशा के लिए नहीं रहती है। आपको क्या समझने की जरूरत है कि जब
00:04:00आप और क्लाउड एक दूसरे से बात कर रहे हैं, और हमारे बीच यह कैश दस्तावेज़ है, जिसमें सब कुछ है
00:04:06हमारे बातचीत के इतिहास में, जिसे आप बहुत सस्ते में पढ़ सकते हैं, यह केवल एक घंटे के लिए उस पर रहता है।
00:04:11इसलिए यदि आप और क्लाउड इस चर्चा को कर रहे हैं, तो आप बार-बार आगे-पीछे कर रहे हैं,
00:04:16आप जानते हैं, बस वापस, वापस, वापस, वापस, वापस, और फिर एक घंटे के लिए चले जाओ। और तुम्हारे पास एक है
00:04:21दस्तावेज़ जो 500,000 टोकन लंबा है, 500,000 टोकन वार्तालाप है। एक घंटे के बाद यह गायब हो जाता है।
00:04:29यह चला गया है। और इसलिए जब आप कोई संदेश भेजते हैं, आप जानते हैं, 500,000 में से एक, तो अंदाज़ा लगाइए, आप अब हैं
00:04:38पूर्ण दर 500,000 टोकन संदेश के लिए शुल्क लिया जाने वाला है, भले ही आपने केवल यह कहा हो, “अरे, क्या चल रहा है?”
00:04:46अब समझें जब मैं यह कहता हूँ कि यह नकदी केवल एक घंटे तक चलती है, मेरा मतलब बिना किसी गतिविधि के एक घंटे से है। तो यह है
00:04:52प्रत्येक संदेश को ताज़ा किया जाता है। इसलिए यदि हमारे अंतिम संदेश से 59 मिनट हो चुके हैं और मैं इसे फिर से मारता हूँ,
00:04:56खैर, वह एक घंटे का काउंटर रीसेट हो जाता है। अब, यह इतना महत्वपूर्ण क्यों है? खैर, यह कीमत है। मैंने बात की
00:05:01इंट्रो में, कैश रीड के बीच का अंतर, यानी इस पूरे इतिहास को पढ़ना बनाम 500,000 पढ़ना
00:05:08नकद के बिना संदेश शाब्दिक रूप से 20 X का अंतर है। और यह कीमत में झलकता है
00:05:16दस्तावेज़ बढ़ाना। तो आउटपुट टोकन याद रखें, क्लाउड हमें क्या दे रहा है, वह कभी नहीं बदलता है।
00:05:22फेबल के लिए, हम प्रति मिलियन टोकन $50 देख रहे हैं और जब ओपस की बात आती है तो $25 देख रहे हैं। लेकिन इनपुट टोकन
00:05:27वह जगह है जहाँ यह पूरी बातचीत रह रही है। इसलिए हम हमेशा आधार इनपुट टोकन होने के बारे में बात करते हैं
00:05:33प्रति मिलियन $10, लेकिन यह एक तरह से गलत नाम है क्योंकि वास्तव में, हम हमेशा नकद लिखते हैं।
00:05:40इसलिए एक घंटे का कैश राइट, जो आप सब्सक्रिप्शन प्लान पर कर रहे हैं, वास्तव में लागत से दोगुना है।
00:05:47इसलिए जब हम उस पहली बार उस नकदी में लिख रहे हैं जैसे कि उस पहले संदेश के लिए, यह प्रति $20 है
00:05:54मिलियन टोकन। आपको यहाँ पाँच मिनट का नकद अधिकार दिखाई देगा, लेकिन यह वास्तव में केवल उन लोगों के लिए है जो
00:05:59API पर हैं। अब इसकी तुलना कैश हिट्स से करें, यानी एंथ्रोपिक सिर्फ उस दस्तावेज़ को पढ़ रहा है जो अंदर है
00:06:05सामने, कि यह हर घंटे जमा हो रहा है और ताज़ा हो रहा है। यह $1 है, 20 गुना सस्ता है। यही है
00:06:13एक जंगली अंतर। और यही कारण है कि यह पूरी बात, यह विशेष टिप, प्रॉम्प्ट कैशिंग को समझना और
00:06:18टोकन सिस्टम कैसे काम करता है यह बहुत महत्वपूर्ण है। इस बिंदु से आगे मैं जिसके बारे में बात करने जा रहा हूँ, उसमें कुछ भी नहीं है
00:06:22जो आपको इसके करीब किसी भी प्रकार का, आप जानते हैं, दक्षता लाभ देगा। कुछ भी नहीं।
00:06:29अब हम उस 500,000 टोकन वार्तालाप के अपने उदाहरण पर वापस चलते हैं जो हम कर रहे हैं
00:06:35क्लाउड कोड के साथ और हम एक फॉलो ऑन संदेश भेजने वाले हैं। परिदृश्य संख्या एक में, हम जा रहे हैं
00:06:40कल्पना कीजिए कि हमारे पास नकद प्रणाली है। तो यह 500k वार्तालाप इतिहास कैश किया गया है और मैं भेज रहा हूँ
00:06:46वह नया संदेश। जिस तरह से मूल्य निर्धारण काम करने जा रहा है वह यह है कि इसे अभी भी इस पूरी बातचीत को पढ़ना है
00:06:51इतिहास। और यह प्रति मिलियन टोकन दर पर $1 है। तो यह मुझे उस पर 50 सेंट खर्च करने जा रहा है
00:06:58सब कुछ पढ़ने के लिए अगले संदेश के लिए प्लस नया संदेश। तो कल्पना कीजिए कि वह नया संदेश एक हजार था
00:07:05टोकन लंबा। वह एक हजार टोकन फॉलो-ऑन संदेश प्रति मिलियन $1 पर चार्ज नहीं किया जाता है। यह $20 पर चार्ज किया जाता है
00:07:14प्रति मिलियन। तो एक हजार टोकन के लिए, वह क्या है, जैसे दो सेंट या ऐसा कुछ? मुझे नहीं पता।
00:07:18मेरा गणित शायद बंद है, लेकिन बात यह है कि इतिहास $1 पर है। नया वाला $20 प्रति माह है क्योंकि यह कैश किया गया है।
00:07:26अब, अगली बार जब हम कोई संदेश भेजेंगे, तो वही परिदृश्य, सिवाय इसके कि ये एक हजार टोकन अब इसका हिस्सा होंगे
00:07:32नकद दस्तावेज़। एक प्रकार से समझ में आता है। ठीक है। वह परिदृश्य एक है। परिदृश्य दो, हमारे पास कोई नकदी नहीं है। हमने एक घंटा इंतजार किया
00:07:40इसे भेजने के लिए। इसे भेजने का अधिकार है। खैर, इसके 50 सेंट होने के बजाय, हम इसके बजाय अब प्राप्त करने जा रहे हैं
00:07:47कैश रीड दर पर शुल्क लिया जाता है, मुझे खेद है, कैश राइट दर पर, जो याद रखें प्रति मिलियन $20 है। तो क्या है
00:07:54इसकी कीमत चुकानी होगी? खैर, अब यह एक संदेश हमें लगभग 10 डॉलर का खर्च उठा रहा है। तो हम 50 सेंट से चले गए
00:08:00सिर्फ इसलिए कि हमने एक घंटा इंतजार किया, 10 डॉलर। यह इसे न समझने के परिणाम की तरह है।
00:08:05अब, जब नकदी खोने की बात आती है तो समय एकमात्र ऐसी चीज नहीं है जिसके बारे में हमें सोचना है। वहाँ
00:08:10अन्य चीजें हैं जो इसे पूरी तरह से रीसेट कर देंगी। और यह सीधे क्लाउड कोड दस्तावेज़ीकरण से है।
00:08:14यदि आप अपना मॉडल बदलते हैं, आप जानते हैं, आप फेबल पर हैं और आप ओपस पर स्विच करते हैं और आप 500,000 टोकन में हैं,
00:08:20वह चला गया है। कैश रीसेट है। प्रयास स्तर, इसे बदलने जा रहा है। फ़ास्ट मोड, कनेक्ट करना या डिस्कनेक्ट करना
00:08:26एक MCP सर्वर, प्लगइन्स, टूल्स से इनकार करना, बातचीत को कॉम्पैक्ट करना, या बस क्लाउड कोड को अपग्रेड करना
00:08:32सामान्य तौर पर। इनमें से कोई भी चीज़ कैश को रीसेट कर देगी और आपका अगला संदेश 20 गुना अधिक महंगा होगा
00:08:38जितना होने की जरूरत है। तो यह सब कहने के बाद, आप इस जानकारी के साथ वास्तव में क्या कर सकते हैं?
00:08:42जब आप ऐसी स्थिति में हों जहाँ आपको किसी बातचीत से दूर जाने की आवश्यकता हो, तो आप क्या करते हैं
00:08:46जिसमें बहुत सारी महत्वपूर्ण जानकारी है, लेकिन आप एक घंटे से अधिक समय तक दूर रहने वाले हैं,
00:08:50या आप एक घंटे से अधिक समय के लिए दूर चले गए और अभी वापस आ रहे हैं और महसूस कर रहे हैं, अरे, गोली मारो, पसंद है
00:08:54मैंने इसके बारे में समय से पहले नहीं सोचा था। खैर, यही हम टिप नंबर दो में बात करेंगे।
00:08:59लेकिन पहले, आज के प्रायोजक, मेरे से एक त्वरित शब्द। तो इस हफ्ते, मैं पूरी तरह से अद्यतन जारी कर रहा हूं
00:09:06चेज़ एआई+ के अंदर मेरे क्लाउड कोड मास्टरक्लास का संस्करण। जब मैं पहली बार बाहर आया था तब से बहुत कुछ बदल गया है
00:09:12इसके साथ। मैं इसे हर समय अपडेट करता रहता हूँ। लेकिन मौलिक रूप से, मार्च के बाद से हमने एक लंबा सफर तय किया है जब मैं बाहर आया था
00:09:19इस चीज़ के साथ। इसलिए यदि आप कोई ऐसा व्यक्ति हैं जो अपने एआई गेम को ऊपर उठाने की कोशिश कर रहा है, तो कोई ऐसा व्यक्ति जो निश्चित रूप से है
00:09:24तकनीकी पृष्ठभूमि से नहीं आता है और आप वास्तव में यह जानने के लिए एक रोडमैप चाहते हैं कि इस उपकरण का उपयोग कैसे किया जाए
00:09:28ग्राउंड अप से और कुछ ऐसा जो वास्तविक उपयोग के मामलों पर केंद्रित है, तो यह आपके लिए है। इसके अंदर है
00:09:33चेज़ एआई+ का। पिन किए गए कमेंट में इसका लिंक दिया गया है। अब, टिप नंबर दो आपकी के बारे में है
00:09:37विकल्प जब हम नकदी खो देते हैं। हम बहुत लंबे समय तक दूर चले गए हैं। हमारे पास कुछ बातचीत है जो दो है,
00:09:42तीन, चार, पांच सौ हजार टोकन लंबे। और हम यह जानना चाहते हैं कि अगला कदम क्या होना चाहिए
00:09:47बल्कि यह इस बात पर निर्भर करता है कि आपकी स्थिति क्या है।
00:09:52अब, हमारा पहला विकल्प एक तरह का न्यूक्लियर विकल्प है, और वह है सिर्फ फॉरवर्ड स्लैश क्लियर करना।
00:09:58फॉरवर्ड स्लैश क्लियर करने से पूरी बातचीत का इतिहास मिट जाएगा। और यह हमेशा बुरी बात नहीं होती।
00:10:04वास्तव में, यदि आपके पास कोई ऐसा कोडबेस है जिस पर आप काम कर रहे हैं, या बहुत सारी फ़ाइलों
00:10:10और संदर्भ के साथ कोई प्रोजेक्ट है, तो आप शायद बस फॉरवर्ड स्लैश क्लियर करना चाहेंगे। जो भी
00:10:15आप काम कर रहे थे, जिसके बारे में भी आप बात कर रहे थे, इस बात की संभावना है कि खुद प्रोजेक्ट में ही
00:10:20इस बात के सबूत मौजूद हैं कि क्या हुआ है। क्लाउड कोड बस उस पर एक नज़र डाल सकता है। और जब आप शुरुआत से
00:10:25एक नई बातचीत शुरू करते हैं, तो यह कड़ियों को जोड़ सकता है और आपको वहीं वापस ला सकता है जहाँ आप थे। आपको पिछली बातचीत का गुलाम बनने की ज़रूरत नहीं है।
00:10:31अब आपका दूसरा विकल्प कॉम्पैक्शन का उपयोग करना है। अब क्लाउड कोड के अंदर एक ऑटो कॉम्पैक्ट सुविधा है
00:10:38एक निश्चित मात्रा में टोकन तक पहुँचने के बाद। मेरा सुझाव है कि उस बिंदु तक पहुँचने का इंतज़ार न करें
00:10:42क्योंकि जब हम छह, सात, आठ लाख टोकन रेंज में काम कर रहे होते हैं, तो हम
00:10:47संदर्भ क्षय (context rot) से निपटने लग जाते हैं। इन बड़े मॉडलों, इन अधिक शक्तिशाली मॉडलों के साथ यह अभी भी एक समस्या है,
00:10:51लेकिन हम किसी भी समय फॉरवर्ड स्लैश कॉम्पैक्ट कर सकते हैं। और इससे हमारे लिए यह होगा कि यह एक
00:10:57सारांश तैयार करेगा कि हमने किस बारे में बात की है। और फिर सभी व्यावहारिक उद्देश्यों के लिए, यह फॉरवर्ड स्लैश
00:11:03क्लियर कर देगा, लेकिन उस सारांश के साथ एक नई बातचीत शुरू करेगा, ठीक वैसे ही जैसे मेमोरी में होता है। इसलिए
00:11:10यदि उस बातचीत में महत्वपूर्ण सामान था, तो आपको नहीं लगता कि कोडबेस में जो कुछ भी है वह
00:11:15इसे समझने के लिए पर्याप्त होगा। तो फिर बस कॉम्पैक्शन करें, फॉरवर्ड स्लैश कॉम्पैक्ट। यह उस सारांश के साथ एक नई
00:11:20बातचीत शुरू करेगा। और वह सारांश सिर्फ संदेश इतिहास में रहता है। अब आपका तीसरा विकल्प
00:11:26कॉम्पैक्ट के बहुत समान है और वह है किसी प्रकार के कस्टम हैंडऑफ़ टूल का उपयोग करना। ऐसे कई कस्टम
00:11:32हैंडऑफ़ कौशल मौजूद हैं। मेरे पास खुद एक है। आप इसे मेरे मुफ़्त समुदाय के भीतर प्राप्त कर सकते हैं। और अंतर
00:11:38हैंडऑफ़ और कॉम्पैक्शन के बीच यह है कि वह सारांश कहाँ रहता है। तो अगर मैं हैंडऑफ़ कर रहा हूँ, तो यह क्या करने वाला है
00:11:46यह असल में इसे मेरी डिस्क पर रख देगा। यह मेरे द्वारा चाही गई किसी भी चीज़ के साथ सारांश वाली एक वास्तविक मार्कडाउन फ़ाइल बनाएगा।
00:11:51और फिर मैं एक नई बातचीत शुरू कर सकता हूँ और कह सकता हूँ, अरे, क्लाउड कोड, डिस्क पर उस हैंडऑफ़ दस्तावेज़ पर
00:11:59एक नज़र डालें ताकि आपको इस बात की जानकारी मिल सके कि आपको क्या जानने की आवश्यकता है। इसके विपरीत कॉम्पैक्ट,
00:12:04यह किसी भी प्रकार की फ़ाइल नहीं बनाता है। यह उस विशेष बातचीत में संदेश इतिहास में सिर्फ एक संदेश है
00:12:10जो आप कर रहे हैं, थोड़ा सा अंतर है। लेकिन कुछ लोगों के लिए, वे डिस्क पर किसी प्रकार की फ़ाइल चाहते हैं।
00:12:15और अक्सर यह एक जीवित, सांस लेने वाला दस्तावेज होता है जिसे लगातार अपडेट किया जाता है।
00:12:20तो ये वास्तव में आपके तीन विकल्प हैं। क्या आप बस सब कुछ साफ़ करना चाहते हैं और नए सिरे से शुरुआत करना चाहते हैं?
00:12:26अक्सर, यह पूरी तरह से ठीक है। क्या आप बस क्लाउड की मूल सुविधा का उपयोग करना चाहते हैं और इसे कॉम्पैक्ट करना चाहते हैं
00:12:31और सारांश को सीधे अंदर डाला हुआ चाहते हैं? या क्या आप चाहते हैं कि सारांश एक वास्तविक दस्तावेज़ हो जिसे क्लाउड देख सके
00:12:37उस स्थिति में, हैंडऑफ़ का उपयोग करें। ये आपके तीन विकल्प हैं। और अक्सर वे केवल एक नया संदेश भेजने से बेहतर होते हैं
00:12:42क्योंकि कुल मिलाकर, आपको वास्तव में 400, 500, 600,000 टोकन रेंज में काम नहीं करना चाहिए
00:12:48वैसे भी। अब, टिप नंबर तीन पूरी तरह से मॉडल रूटिंग के बारे में है। हम काम के लिए सही मॉडल कैसे चुनें?
00:12:53ताकि हम हर चीज़ के लिए सिर्फ फेबल का उपयोग न करें। क्या हम सरल कार्यों के लिए एक छोटे, सस्ते, कम स्मार्ट
00:12:59मॉडल का उपयोग कर सकते हैं? इसका उत्तर हाँ है। और हम कई अलग-अलग तरीकों से इस पर विचार कर सकते हैं।
00:13:04हम बाहरी मॉडलों का उपयोग कर सकते हैं। हम जीपीटी, सोल के पास जा सकते हैं। हम जीपीटी, लूना और टेरा के पास जा सकते हैं, जो अभी
00:13:10बहुत सस्ते हो गए हैं। हम स्थानीय मॉडलों का उपयोग कर सकते हैं, या यदि हम एंथ्रोपिक पारिस्थितिकी तंत्र में रहना चाहते हैं तो हमारे पास विकल्प हैं।
00:13:16और ऐसा करने का सबसे आसान तरीका, मेरे विचार से, एडवाइजर मोड है। अब, आप यहाँ जो देखते वह मूल
00:13:22एडवाइजर ब्लॉग पोस्ट से है जो कई महीने पहले आया था। और इसलिए यह ओपस और सॉनेट को दिखाता है, लेकिन वही सिस्टम
00:13:29फेबल जैसे मॉडलों के साथ बना हुआ है। और विचार यह है कि हमारे पास फेबल या ओपस जैसा एक स्मार्ट मॉडल है जो किसी छोटे मॉडल को सलाह दे रहा है
00:13:37जैसे कि सॉनेट जब कार्यों को निष्पादित करने की बात आती है। इसलिए बड़ा मॉडल एक योजना लेकर आता है,
00:13:43छोटा मॉडल इसे निष्पादित करता है, और छोटा मॉडल जब भी समस्याओं का सामना करता है तो बड़े मॉडल के साथ अपना संदर्भ साझा करने में सक्षम होता है।
00:13:50और इस मॉडल ने कम लागत पर बेहतर परिणामों का दावा किया है। और हमारी पिछली चर्चा को शामिल करने के लिए
00:13:54प्रॉम्प्ट कैशिंग के बारे में, सलाहकार और निष्पादक दोनों के पास एक ही समय में अपना स्वयं का प्रॉम्प्ट कैश काम कर रहा है।
00:14:01अब, आपका दूसरा विकल्प क्लाउड कोड के बाहर के मॉडल को कार्य सौंपना है।
00:14:06करने के लिए एक आसान है कोडेक्स। क्लाउड कोड के लिए एक कोडेक्स प्लगइन है, जो इसे बहुत सरल बनाता है
00:14:12क्लाउड कोड इंटरफ़ेस से कोडेक्स को कॉल करने के लिए। तो आपके पास फेबल अनिवार्य रूप से उसी प्रकार का
00:14:18सलाहकार मोड कर रहा होगा, लेकिन ओपस या सॉनेट को कॉल करने के बजाय, यह जीपीटी मॉडल को कॉल करता है। अन्य रेपो हैं
00:14:24इस फेबल एडवाइजर की तरह जो बिल्कुल वैसा ही करते हैं। और अंत में अपना खुद का कौशल स्थापित करना काफी तुच्छ है
00:14:31जो ठीक ऐसा ही करता है। और यदि आप उन सस्ते मॉडलों की तलाश कर रहे हैं, तो मैं वास्तव में सुझाव देता हूँ
00:14:36जीपीटी वाले को देखना, विशेष रूप से लूना और टेरा, क्योंकि ए, उनकी लागत काफी कम हो गई है,
00:14:41और बी, एंथ्रोपिक परिवार में वास्तव में ऐसा कोई मॉडल नहीं है जो वे करते हैं
00:14:48उस मूल्य बिंदु पर। यह एक कदम आगे भी बढ़ सकता है और कुछ स्थानीय मॉडल ला सकता है यदि कार्य इसके लिए समझ में आते हैं।
00:14:53अब, टिप नंबर चार पूरी तरह से आपकी क्लाउड स्वच्छता के बारे में है। आपने हाल ही में यह वीडियो देखा होगा
00:14:57बोरिस चेर्नी के चक्कर लगाते हुए, क्लाउड कोड के निर्माता ने कहा,
00:15:01आपको अपनी Claude.md फ़ाइल को हटाने की ज़रूरत है। खैर, क्या आपको वास्तव में उस Claude.md फ़ाइल को हटाने की ज़रूरत है? खैर,
00:15:07ज़रूरी नहीं, लेकिन आपको क्या करने की ज़रूरत है, और इसमें पिछले कुछ हफ़्तों में कुछ हालिया बदलाव हुए हैं
00:15:12फॉरवर्ड स्लैश डॉक्टर कमांड चलाएँ। और टोकन से इसका क्या लेना-देना है?
00:15:18खैर, सबसे पहले, यह कमांड अन्य चीजों के अलावा क्या करने जा रहा है, लेकिन हम तरह-तरह से रख रहे हैं
00:15:23यह टोकन संबंधित है कि यह आपके Claude.md पर एक नज़र डालेगा और इस चीज़ को ट्रिम कर देगा।
00:15:30ये मॉडल जिस तरह से काम करते हैं, विशेष रूप से ये पाँच श्रृंखला वाले मॉडल, वह यह है कि उन्हें उतने अधिक की आवश्यकता नहीं होती है
00:15:36निर्देश। यदि आप देखें कि लोग तीन, छह, नौ महीने पहले Claude.md के लिए क्या बना रहे थे
00:15:42पहले, वे बहुत अधिक नुस्खे वाले और अत्यधिक विस्तृत थे। और शायद उस समय, एक तर्क दिया जा सकता था
00:15:46कि उन्हें इसकी आवश्यकता थी। अब ऐसा नहीं है। और इसलिए न केवल एक फूला हुआ Claude.md
00:15:53इसे धीमा कर रहा है, यह शाब्दिक रूप से आपको टोकन खर्च कर रहा है। और फॉरवर्ड स्लैश डॉक्टर उस पर एक नज़र डालेगा
00:15:59और आपके Claude.md में ऐसी चीज़ों से छुटकारा मिळें जिन्हें वहाँ होने की आवश्यकता नहीं है। दूसरा,
00:16:04यह उन चीज़ों पर एक नज़र डालेगा जो आपके संदर्भ को नुकसान पहुँचा रही हैं या आपकी संदर्भ विंडो को फुला रही हैं।
00:16:10क्योंकि जब आप एक नई बातचीत शुरू करते हैं और आप फॉरवर्ड स्लैश संदर्भ चलाते हैं, तो ऐसी चीजें होती हैं
00:16:15इसे भरना। अब मैंने हाल ही में फॉरवर्ड स्लैश डॉक्टर चलाया है, इसलिए मैंने अपने बहुत सारे सूजन से छुटकारा पा लिया है,
00:16:20लेकिन यह मेरी संदर्भ खिड़की कैसी दिखती है, बिना किसी संदेश के बातचीत की शुरुआत में
00:16:25भेजा गया। हमने पहले ही 40,000 टोकन का उपयोग कर लिया है। और इसका एक बड़ा हिस्सा क्या उपयोग कर रहा है? खैर, इसका कुछ हिस्सा आता है
00:16:31कौशल जैसी चीज़ों से, जैसा कि आप यहाँ देख सकते हैं। इसका कुछ हिस्सा सिस्टम प्रॉम्प्ट के साथ-साथ मेमोरी फ़ाइलों जैसी सामग्री को भी शामिल करता है।
00:16:36फॉरवर्ड स्लैश डॉक्टर क्या करने जा रहा है, वह आपकी पसंद की चीज़ों पर एक नज़र डालेगा
00:16:41कौशल, आपके MCP की तरह और उन लोगों को ट्रिम करना शुरू करना जिनका आपने उपयोग नहीं किया है। क्या यह एक बहुत बड़ा टोकन है
00:16:47बचाना? नहीं, लेकिन यह कुछ है, यह हाशिये पर कुछ है और यह इतना आसान समाधान है। ऐसा कोई कारण नहीं है
00:16:53ऐसा न करने के लिए, खासकर यदि आप ऐसे व्यक्ति हैं जो पिछले छह महीनों में सिर्फ 10 मिलियन कौशल जमा कर रहे हैं
00:16:58और आपने वास्तव में जाकर उन्हें काटना शुरू नहीं किया है क्योंकि ऐसा करने से
00:17:03आपके कौशल अधिक प्रभावी ढंग से आग लगेंगे। और क्लाउड की ओर से इस बात को लेकर कोई भ्रम नहीं होगा
00:17:08किस कौशल को कॉल करने की आवश्यकता है। मैं शर्त लगाता हूँ कि आपके पास शायद 10 कौशल बैठे हैं जो सभी के पास हैं
00:17:12फ्रंट और डिज़ाइन से संबंधित है और आपको उन सभी की आवश्यकता नहीं है। इसलिए यह बहुत ही सरल और निष्पादित करने में आसान टिप है
00:17:17जब आपकी क्लाउड स्वच्छता की बात आती है तो एक ऐसा होना चाहिए जिसे आपको छोड़ना नहीं चाहिए। बस डॉक्टर चलाओ। और इसलिए वह
00:17:22हमें हमारी अंतिम टिप पर लाता है, जो मुझे लगता है कि इन दिनों समूह में सबसे कम प्रभावी है, लेकिन वह है
00:17:28अतिरिक्त कौशल और मचान का एक प्रकार जो आप हर जगह घूमते हुए देखते हैं।
00:17:33इन दिनों सबसे लोकप्रिय है पोनीटेल और अनिवार्य रूप से यह कोड की मात्रा को कम करता है
00:17:38क्लाउड अपनी प्रभावशीलता को बनाए रखते हुए लिखता है और इसलिए इसे सस्ता और तेज बनाता है। अब मैं
00:17:44इन नंबरों की तुलना वास्तविक रूप से होने वाली चीज़ों से करते हुए इस पर एक वीडियो बनाया क्योंकि गिटहब
00:17:51रेपो केवल हाइकू 4.5 दिखाता है, जो स्पष्ट रूप से बहुत पुराना है। जब मैंने फेबल का उपयोग करके यह चलाया, तो संख्याएँ
00:17:56पकड़ लिया। वास्तव में, बेहतर मॉडल के साथ संख्याएँ और भी बेहतर दिखती हैं। अब मैंने उन बेंचमार्क का उपयोग किया जो थे
00:18:01इस गिटहब रेपो के साथ प्रदान किया गया। वास्तविकता में आपके लिए जो काम करता है वह थोड़ा अलग हो सकता है
00:18:06आपके प्रोजेक्ट की जटिलता। लेकिन यह कुछ ऐसा है जिसे आप उन सभी चीज़ों से जोड़ सकते हैं जिनके बारे में हमने ऊपर बात की है
00:18:11तब तक यदि आप अपने टोकन उपयोग को कम करना जारी रखना चाहते हैं। एक और जो आप बहुत देखेंगे वह है केवमैन,
00:18:18जो इन दिनों दावा कर रहा है कि यह आपके आउटपुट टोकन को 65% तक कम कर देता है। वहाँ बहुत से लोग हैं जो
00:18:25क्लाउड एमडी में सिर्फ वन-लाइनर्स करने के बारे में भी बात करें, बस संक्षिप्त होने के लिए कहने जितना सरल कुछ,
00:18:30जो आपके आउटपुट टोकन को भी कम कर देगा। लेकिन याद रखें, आउटपुट टोकन पहेली का सिर्फ एक टुकड़ा हैं।
00:18:36और वह पहेली हमारी मूल चर्चा में वापस लाने के लिए प्रॉम्प्ट कैशिंग का बोलबाला है। इसलिए यदि
00:18:41आपको इस वीडियो से कुछ और नहीं मिला, मुझे उम्मीद है कि आप इसे प्राप्त करने में सक्षम थे क्योंकि यहीं हम हैं
00:18:46आज इसे समाप्त करने जा रहा हूँ। तो हमेशा की तरह, मुझे बताएं कि आप क्या सोचते हैं। जाँच करना सुनिश्चित करें
00:18:50ChaseAI Plus यदि आप क्लाउड कोड मास्टरक्लास पर हाथ रखना चाहते हैं। फिर से, एक विशाल गिरा रहा है
00:18:55इस हफ़्ते उस पर अपडेट करें। और इसके अलावा, मैं आपको आसपास देखूंगा।