Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
500,000 वॉन से कम के मासिक विकास बजट के साथ काम करने वाले फ्रीलांसर्स या छोटी टीमों के लिए एंथ्रोपिक का यह नीतिगत बदलाव काफी सिरदर्द पैदा करने वाला है। थर्ड-पार्टी टूल के उपयोग पर प्रतिबंध लगा दिए गए हैं, और हर महीने बचे हुए क्रेडिट अगले महीने तक आगे नहीं बढ़ते हैं, बल्कि वैसे ही गायब हो जाते हैं। हालांकि, यदि आप आँख मूंदकर केवल आधिकारिक क्लाइंट का उपयोग करते हैं, तो कुछ कोडिंग सत्रों के बाद API बिलिंग राशि आसानी से सैकड़ों हजार वॉन से अधिक हो जाती है।
टूल बदलने से समस्या का समाधान नहीं होगा। अपने बैंक खाते की शेष राशि की रक्षा के लिए आपको उस संरचना को ही ठीक करना होगा जिसके माध्यम से प्रॉम्प्ट प्रवाहित होते हैं।
एजेंट-आधारित कोडिंग टूल एक ही अनुरोध में दसियों हजारी टोकन संदर्भ भेजते हैं। Anthropic की आधिकारिक मूल्य निर्धारण सारणी को देखने पर, Claude 3.5 Sonnet की मूल इनपुट लागत प्रति 10 लाख टोकन $3.00 है, और आउटपुट $15.00 है। इसके विपरीत, यदि प्रॉम्प्ट कैशिंग लागू की जाती है, तो इनपुट यूनिट मूल्य गिरकर $0.30 हो जाता है। यह 90% का अंतर है। जैसे ही कोई थर्ड-पार्टी एक्सटेंशन सिस्टम प्रॉम्प्ट के शीर्ष पर टाइमस्टैम्प या सेशन ID डालता है, यह सारा कैश टूट जाता है और आपको हर बार $3.00 का भुगतान करना पड़ता है।
सबसे पहले, पिछले 3 महीनों के लॉग खोलें और इनपुट टोकन के विरुद्ध cache_read_input_tokens अनुपात की गणना करें।
git diff के आधार पर केवल संशोधित फाइलों को संदर्भ के रूप में पारित करने के लिए संशोधित करें।cache_control: {"type": "ephemeral"} घोषित करें।गतिशील चर को प्रॉम्प्ट के नीचे ले जाने और स्थिर पाठ को कैश करने से अकेले पृष्ठभूमि टोकन की बर्बादी को लगभग आधा किया जा सकता है।
कोडिंग की हर पंक्ति को Sonnet या Opus में लिखना आवश्यक नहीं है। टैब ऑटो-पूर्णता के लिए क्लाउड फ्रंटियर मॉडल को कॉल करना स्पष्ट बर्बादी है।
| कार्य वर्गीकरण | कॉल किया गया मॉडल | निष्فيذन स्थान | लागत स्तर |
|---|---|---|---|
| आर्किटेक्चर डिज़ाइन और बड़े पैमाने पर रीफैक्टरिंग | Claude 3.5 Sonnet | क्लाउड API | मानक दर (100%) |
| सरल यूटिलिटी फ़ंक्शन और यूनिट टेस्ट | Claude 3.5 Haiku, DeepSeek-V3 | क्लाउड API | 20% से 30% सीमा |
| रीयल-टाइम टैब पूर्णता और बॉयलरप्लेट | Ollama (Qwen2.5-Coder 14B) | स्थानीय ऑन-डिवाइस | $0.00 |
ट्रैफिक गेटवे के रूप में अपनी स्थानीय मशीन पर LiteLLM लॉन्च करें। config.yaml में मॉडल रूटिंग नियम लिखें।
`yaml
model_list:
`
टर्मिनल में export ANTHROPIC_BASE_URL="http://localhost:4000" निर्दिष्ट करें और Continue.dev या Claude Code को लिंक करें। रीयल-टाइम ऑटो-पूर्णता को स्थानीय GPU पर Qwen मॉडल द्वारा संभाला जाता है, और केवल जटिल डिज़ाइन प्रश्नों को Sonnet पर भेजा जाता है।
आउटपुट टोकन को कम करने का काम भी समानांतर में किया जाता है। यदि आप सिस्टम प्रॉम्प्ट में अनावश्यक प्रस्तावना, अभिवादन और कोड स्पष्टीकरण को पूरी तरह से छोड़ देते हैं और केवल कोड ब्लॉक लौटाने के लिए लिखते हैं, तो उच्च-यूनिट-मूल्य वाले आउटपुट टोकन खर्च में काफी कमी आएगी।
Anthropic मासिक क्रेडिट की समाप्ति तिथि बीत जाने पर बस वाष्پیकृत हो जाते हैं। शेष शेष राशि को बर्बाद होने से बचाने के लिए, आपको समाप्ति से 3 दिन पहले Anthropic Batch API चलाना होगा।
Batch API 24 घंटे के भीतर एक एसिंक्रोनस रिटर्न की शर्त पर सभी टोकन की कीमतों में 50% की छूट देता है। यदि आप इसमें प्रॉम्प्ट कैशिंग जोड़ते हैं, तो इसे मूल कीमत के 5% स्तर पर संसाधित किया जा सकता है। उन कार्यों को इकट्ठा करें जिन्हें तुरंत वास्तविक समय के उत्तरों की आवश्यकता नहीं है और उन्हें एक बार में पास करें।
यदि आप इन कार्यों को JSONL फ़ाइल में बंडल करते हैं और उन्हें बैच एंडपॉइंट में धकेलते हैं, तो आप उस क्रेडिट को बदल सकते हैं जो परीक्षण कोड और दस्तावेज़ संपत्तियों में समाप्त होने वाला था।
अत्यधिक बिलिंग को रोकने के लिए, एंथ्रोपिक कंसोल की भुगतान सेटिंग में ऑटो-रीचार्ज बंद कर दें और महीने की शुरुआत में मैन्युअल रूप से लगभग $150 का भुगतान करें।
कंसोल के Spend Limits मेनू में सीधे कॉल सीमा को $150 पर बांधने के बाद, LiteLLM प्रॉक्सी में फ़ॉलबैक सेटिंग्स जोड़ें।
`yaml
router_settings:
fallbacks:
- claude-3-5-sonnet-20241022: ["ollama/qwen2.5-coder:14b"]
`
भले ही क्रेडिट समाप्त हो जाए और 429 त्रुटि हो जाए, स्थानीय Ollama तुरंत कॉल को अपने हाथ में ले लेता है। यदि आप टीम के आधार पर काम कर रहे हैं, तो आप गिट रिपॉजिटरी रूट में .continue/config.json साझा कर सकते हैं और LiteLLM प्रशासक पृष्ठ में प्रति टीम सदस्य वर्चुअल कुंजी की मासिक सीमा $50 निर्दिष्ट कर सकते हैं। सीमा से अधिक होने वाले डेवलपर्स का ट्रैफिक स्थानीय मॉडल पर स्विच हो जाता है, इसलिए पूरी टीम का खर्च बजट से अधिक नहीं होगा।