बिना कैशिंग के, आपका AI एजेंट 10 गुना अधिक खर्चीला है - जॉर्ज कैमरून, आर्टिफिशियल एनालिसिस
Original · Without Caching, Your AI Agent Costs 10x More - George Cameron, Artificial Analysis
Key Takeaway
प्रॉम्प्ट कैशिंग और टर्न की संख्या एजेंट वर्कलोड में लागत के सबसे बड़े चालक हैं, जहाँ कैशिंग के बिना एआई एजेंट 10 गुना अधिक खर्चीले हो जाते हैं।
Highlights
आर्टिफिशियल एनालिसिस एक स्वतंत्र एआई बेंचमार्किंग कंपनी है जो एआई स्टैक के सभी स्तरों का मूल्यांकन करती है।
एंथ्रोपिक का ओपस 5.5 वर्तमान में इंटेलिजेंस इंडेक्स में सबसे आगे है।
खुले वजन वाले मॉडल अग्रणी मालिकाना मॉडल के तीन से नौ महीने के भीतर बने रहते हैं।
एजेंटिक वर्कलोड में कैशिंग सक्षम न होने पर लागत 20 डॉलर से बढ़कर 200 डॉलर से अधिक हो जाती है।
एआई मॉडल की बुद्धिमत्ता के स्तर को प्राप्त करने की लागत एक वर्ष के भीतर लगभग 10 गुना कम हो जाती है।
Timeline
एआई बेंचमार्किंग और परिदृश्य का परिचय
संस्थापक जॉर्ज कैमरून आर्टिफिशियल एनालिसिस के दृष्टिकोण को साझा करते हैं, जिसमें भाषा मॉडल, हार्डवेयर और इन्फेरेंस परतों के बीच के ट्रेड-ऑफ को परखा जाता है। प्रमुख तकनीक कंपनियाँ इन स्वतंत्र बेंचमार्क का उपयोग अपने प्रोडक्शन निर्णयों के लिए करती हैं।
- आर्टिफिशियल एनालिसिस एआई स्टैक की सभी परतों को बेंचमार्क करता है।
- यह कंपनी केवल कच्चे बुद्धिमत्ता अंकों के बजाय विभिन्न तकनीकी विकल्पों के बीच ट्रेड-ऑफ का विश्लेषण करती है।
बुद्धिमत्ता सूचकांक और एआई प्रगति की गति
एआई परिदृश्य तेजी से बदल रहा है और नए मॉडल लगातार रिलीज़ हो रहे हैं। यद्यपि मालिकाना मॉडल सबसे आगे हैं, फिर भी खुले वजन वाले मॉडल डेवलपर्स के लिए एक किफायती और शक्तिशाली विकल्प के रूप में बने रहते हैं।
- इंटेलिजेंस इंडेक्स 10 अलग-अलग मूल्यांकनों का एक संश्लेषण मीट्रिक है।
- खुले वजन वाले मॉडल अग्रणी मालिकाना मॉडल से केवल तीन से नौ महीने पीछे रहते हैं।
एआई मॉडल की लागत और इसके चालक
एआई पर खर्च में पिछले एक साल में काफी वृद्धि हुई है जहाँ कुछ कार्यो पर 5 डॉलर से अधिक खर्च होता है। कैशिंग सक्षम होने पर इनपुट टोकन की कीमत पर लगभग 10 गुना छूट मिलती है, जिससे कैशिंग न होने पर एजेंट बेहद महंगे हो जाते हैं।
- विभिन्न मॉडलों की प्रति टास्क लागत में परिमाण के कई आदेशों का अंतर होता है।
- इनपुट टोकन की संख्या और कैश हिट प्रतिशत एजेंट कार्यों में लागत के सबसे बड़े चालक हैं।
लागत और बुद्धिमत्ता के बीच ट्रेड-ऑफ और निर्णय
सस्ते और शक्तिशाली मॉडलों के बीच चयन करते समय डेवलपर्स को पारेतो वक्र का उपयोग करना चाहिए। सीमित बुद्धिमत्ता वाले कार्यों के लिए महंगे मॉडल की आवश्यकता नहीं होती, जबकि असीमित बुद्धिमत्ता वाले कार्यों में अधिक बुद्धिमत्ता बेहतर परिणाम देती है।
- कार्य को असीमित और सीमित बुद्धिमत्ता श्रेणियों में विभाजित करना निर्णय लेने में मदद करता है।
- ऑप्टिमा उत्पाद उपयोगकर्ताओं को उनके विशिष्ट कार्यों के लिए ट्रेड-ऑफ वक्र प्रदान करता है।
Description
Some models now cost dollars to complete a single task, while others cost a few cents. George Cameron, co-founder of Artificial Analysis, breaks down what actually drives agent costs in 2026: input tokens, cache hit rate and the number of steps. In one example, an agent task costs about $21 with caching and over $200 without it. He then shows how to decide when you need the smartest model and when a cheaper one gives the same answer. 0:00 Intro to Artificial Analysis 2:47 The AI landscape and the Intelligence Index 5:25 Progress is accelerating 6:27 Open weights models stay close behind 6:53 Why cost matters now 8:53 Intelligence gets about 10x cheaper every year 10:18 Breaking down the cost of an agent task 12:59 Why caching matters so much 13:38 Reasoning effort and cost 15:30 Making the trade-off decision 17:02 Limited vs. unlimited intelligence tasks 18:12 How to shortlist and benchmark models George Cameron, Artificial Analysis: https://artificialanalysis.ai Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!