Claude 3.5 Sonnet API लागत को 40% तक कम करने के लिए प्रॉम्प्ट इंजीनियरिंग के तरीके
makedream2026년 4월 12일
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreamLog in to leave a comment
No posts yet
AI से विनम्रतापूर्वक अनुरोध करने की आदत आपके बटुए को ढीला कर सकती है। 'कृपया' या 'करने की कृपा करें' जैसे भाव मॉडल के लिए केवल निरर्थक शोर (noise) हैं, जो सीधे तौर पर गणना लागत (computation cost) में बदल जाते हैं। KERNEL फ्रेमवर्क के शोध के अनुसार, जब इन विशेषणों को हटा दिया गया और एक सख्त आदेशात्मक संरचना का उपयोग किया गया, तो पहली बार में सफलता की दर 72% से बढ़कर 94% हो गई। इनपुट टोकन में लगभग 70% की कमी आती है। मॉडल के साथ भावनात्मक जुड़ाव बनाने की कोई आवश्यकता नहीं है। 500 शब्दों के बैकग्राउंड स्पष्टीकरण की तुलना में स्पष्ट निर्देश की एक पंक्ति प्रतिक्रिया की गति को 3 गुना तेज कर देती है।
इस तरह से बदलाव करने पर, 1,000 कॉल के आधार पर लागत 0.267 डॉलर से गिरकर 0.081 डॉलर हो जाती है। आप पैसे भी बचाते हैं और मॉडल द्वारा गलत जानकारी देने की संभावना भी कम हो जाती है, तो इसे न करने का कोई कारण नहीं है।
असंरचित टेक्स्ट (unstructured text) से डेटा निकालते समय मॉडल को पूरी आजादी नहीं देनी चाहिए। जैसे ही मॉडल स्पष्टीकरण जोड़ना शुरू करता है, आउटपुट टोकन की लागत बढ़ जाती है। याद रखें कि आउटपुट टोकन इनपुट की तुलना में 5 गुना अधिक महंगे होते हैं। ProjectDiscovery ने वर्गीकरण प्रणाली को सरल बनाकर आउटपुट की मात्रा को 80% से अधिक कम कर दिया है। 'सकारात्मक' (Positive) शब्द को पूरा सुनने के बजाय 'P' अक्षर ही पर्याप्त है।
इस पद्धति का उपयोग करने पर प्रति कॉल आउटपुट टोकन 1~2 पर स्थिर हो जाते हैं। पार्सिंग त्रुटियां गायब हो जाती हैं और लागत आसानी से 40% से अधिक कम हो जाती绕।
Claude API की प्रॉम्प्ट कैशिंग (Prompt Caching) का यदि सही ढंग से उपयोग किया जाए, तो यह इनपुट लागत को 90% तक कम कर सकती है। हालांकि, कैशिंग शुरुआत से मिलान करने के सिद्धांत पर काम करती है, इसलिए यदि शुरुआत में 1 बाइट भी बदलता है, तो कैश टूट जाता है। केवल गतिशील डेटा (dynamic data) को प्रॉम्प्ट के अंत में ले जाने से कैश हिट रेट 7% से बढ़कर 84% होने के मामले सामने आए हैं। सिर्फ स्थान बदलने से बिल की राशि बदल जाती है।
cache_control: {"type": "ephemeral"} मार्कर लगाकर कैशिंग बिंदु घोषित करें।20k टोकन के लिए 0.06 डॉलर की लागत कैश का उपयोग करने पर 0.006 डॉलर हो जाती है, जो कि 1/10 हिस्सा है। बड़े दस्तावेजों को संभालने वाली सेवाओं के लिए, यह वह बिंदु है जहां लाभ संरचना ही बदल जाती है।
जटिल समस्याओं को हल करते समय यदि आप "कदम दर कदम सोचें (CoT)" कहते हैं, तो मॉडल एक डायरी की तरह लंबी प्रक्रिया लिखने लगता है। वह सब लागत है। इसका विकल्प CoD (Chain of Draft) है। मॉडल को निर्देश दें कि वह केवल मुख्य शब्दों का उपयोग करके नोट्स की तरह 5 शब्दों के भीतर संक्षिप्त तर्क दे। अंकगणितीय तर्क परीक्षणों में, जहां CoT ने 172.5 टोकन का उपयोग किया, वहीं CoD ने केवल 31.3 टोकन में समान सही उत्तर दिया।
सटीकता बनाए रखते हुए आप आउटपुट टोकन को 92% तक कम कर सकते हैं। प्रतिक्रिया में होने वाली देरी (latency) भी आधी से कम हो जाती है।
यह सारा अनुकूलन तभी सार्थक है जब यह दिखाई दे। एक शॉपिंग मॉल सेवा जो प्रति माह 300,000 कॉल करती है, यदि प्रॉम्प्ट कैशिंग और CoD को जोड़ती है, तो लागत 4,500 डॉलर से घटकर 660 डॉलर रह जाती है। प्रॉम्प्ट सुधार की कुछ पंक्तियों से प्रति माह लगभग 5 मिलियन वॉन (कोरियाई मुद्रा के अनुसार) का परिचालन लाभ उत्पन्न होता है।
.claudeignore फ़ाइल बनाएं ताकि अनावश्यक फ़ाइलें संदर्भ (context) में शामिल न हों।$Cost = N \times (T_{in} \times P_{in} + T_{out} \times P_{out})$ फॉर्मूला लगाएं और साप्ताहिक प्रदर्शन की जांच करें।आज ही अपने सिस्टम प्रॉम्प्ट से 'धन्यवाद' हटाएं और डेटा का क्रम बदलें। वह छोटी सी परेशानी आपके मासिक बिल को मुनाफे में बदल देगी।