Fable 5.1 अब तक का सबसे बेहतरीन मॉडल है (और Fable 5 से सस्ता भी)

CChase AI
컴퓨터/소프트웨어

스크립트

00:00:00तो Fable 5.1 आ गया है, और यह बेहतर, सस्ती,
00:00:02और आज मैं आपको बताने जा रहा हूँ
00:00:04इसके बारे में वो सब कुछ जो आपको जानना ज़रूरी है।
00:00:05तो सबसे पहले बात करते हैं कीमत की।
00:00:07Fable 5.1 की कीमत Fable 5 से लगभग 25% कम होगी,
00:00:11और ऐसा इसलिए है क्योंकि वे कैश रीड्स
00:00:13की कीमतें घटा रहे हैं।
00:00:14यह बहुत बड़ी बात है अगर आप बहुत सारे लंबे समय तक चलने वाले एजेंटिक काम करते हैं,
00:00:19और उन्होंने खास तौर पर इसका जिक्र किया है,
00:00:21और ऐसे मामलों में आपकी लागत में 45% तक की कमी आ सकती है
00:00:23जहाँ आप ऐसा काम कर रहे हैं
00:00:24जिसमें हजारों-हजारों टोकन शामिल होते हैं,
00:00:27और आप 50, 60, 70%
00:00:28की Context Window लंबाई के साथ काम कर रहे हैं।
00:00:30वे अपनी डेटा रीटेनशन पॉलिसी को अपडेट कर रहे हैं,
00:00:32वे अपने एंटरप्राइज़ ग्राहकों के लिए इसे धीरे-धीरे लागू कर रहे हैं,
00:00:34और सुरक्षा उपायों की बात करें,
00:00:35तो वे फॉल्स पॉज़िटिव्स को कम कर रहे हैं,
00:00:37जो मूल Fable 5 के साथ
00:00:38एक तरह से सिरदर्द था,
00:00:40क्योंकि अगर आप इससे साइबर सुरक्षा जैसी
00:00:41चीजों से जुड़े सवाल पूछते थे,
00:00:43तो आपको लगातार ब्लॉक कर दिया जाता था,
00:00:44और इस मामले में, अब फॉल्स पॉज़िटिव की संभावना 60% कम हो गई है।
00:00:47अबBenchmarks पर एक नज़र डालते हैं।
00:00:49हर मामले में, यह Fable 5, Opus 5,
00:00:50और GPT 5.6 को लगभग हर चीज़ में मात देता है।
00:00:53अब, कुछ छलांगें काफी महत्वपूर्ण हैं।
00:00:56जब हम एजेंटिक वैज्ञानिक अनुसंधान को देखते हैं,
00:00:58तो यह Fable 5 की तुलना में दोगुना है।
00:01:00एजेंटिक कोडिंग में भी एक बड़ी छलांग देखने को मिलती है।
00:01:03हम Fable 5 के साथ 42% से बढ़कर Fable 5.1 के साथ 55.8 पर पहुँच रहे हैं।
00:01:05मुझे याद है जब हमने Opus 5 के बेंचमार्क देखे थे,
00:01:09तो कच्चे अंकों के मामले में Opus 5 हमें जो देने में सक्षम था,
00:01:11उससे हम काफी हद तक प्रभावित हुए थे।
00:01:14वास्तव में, मुझे लगता है कि
00:01:16ज्यादातर लोग अभी भी Opus 5 की तुलना में Fable 5 को पसंद करते हैं,
00:01:19लेकिन मुझे लगता है कि Fable 5 बनाम 5.1 की तुलना
00:01:23शायद इस बात में थोड़ी अधिक सटीक है
00:01:24कि जब आप वास्तव में इसका उपयोग कर रहे होंगे,
00:01:26तो यह कैसा महसूस होगा।
00:01:28इसके अलावा, अधिकांश बेंचमार्क वृद्धि
00:01:29 relativamente वृद्धिशील (incremental) हैं।
00:01:31हम यहाँ और वहाँ कुछ प्रतिशत अंकों की बात कर रहे हैं,
00:01:32इसके अलावा अपवाद ऑटोमेशन बेंचमार्क
00:01:34का उपयोग करने वाले व्यावसायिक वर्कफ़्लो हैं।
00:01:37अब, केवल बेंचमार्क ही महत्वपूर्ण नहीं है,
00:01:39बल्कि यह है कि हम इस तरह के स्कोर के लिए कितना भुगतान कर रहे हैं,
00:01:41और जब हम प्रयास स्तर (effort level) के साथ छेड़छाड़ करते हैं,
00:01:43तो हमें किस तरह के बदलाव दिखाई देते हैं?
00:01:44क्योंकि देखना हमेशा से काफी दिलचस्प होता है,
00:01:46क्योंकि अक्सर जब हम अतिरिक्त उच्च
00:01:48या अधिकतम प्रयास स्तरों को देखते हैं,
00:01:49तो उच्च या मध्यम की तुलना में हमें वास्तव में
00:01:51उतना अधिक लाभ नहीं मिलता है।
00:01:53तो हमारे पास यहाँ Terminal Bench 4.0 है।
00:01:56हमारे पास यहाँ सबसे ऊपर Mythos 5.1 है,
00:01:59बीच में Fable 5.1 है,
00:02:00और फिर नीचे Mythos 5 है,
00:02:02और आप कल्पना कर सकते हैं कि Fable 5, Mythos से थोड़ा नीचे है।
00:02:05तो Fable 5.1 और Mythos 5.1,
00:02:07जाहिर तौर पर Mythos 5 की तुलना में एक बड़ी छलांग है,
00:02:10और यह सस्ता है।
00:02:12और वास्तव में जो बहुत बढ़िया है वह यह है कि जब हम
00:02:13उदाहरण के लिए 'high' जैसी किसी चीज़ को देखते हैं,
00:02:15जो मुझे लगता है कि अधिकांश लोग उपयोग करते हैं,
00:02:16अक्सर जब मैं अपने Fable उपयोग के मामलों
00:02:17की बात आती है तो 'medium' का उपयोग कर रहा होता हूँ,
00:02:20तो अनिवार्य रूप से,
00:02:20अगर हम medium को देखें,
00:02:21तो हम Mythos 5 के अधिकतम आउटपुट से मेल खा रहे हैं,
00:02:25लेकिन इसके $26 होने के बजाय,
00:02:27यह $7.80 होगा।
00:02:30और जब हम high पर जाते हैं,
00:02:32और हम high की तुलना max से करते हैं,
00:02:34तो आप केवल देख रहे हैं,
00:02:35आउटपुट के मामले में क्या, 6% का बदलाव?
00:02:38फिर भी $19.50 बनाम $10.50।
00:02:42तो इन नए मॉडलों के बारे में वास्तव में जो अच्छी बात है
00:02:43वह यह है कि आप इन मध्यम प्रयास स्तरों पर
00:02:45अत्यंत उच्च प्रदर्शन प्राप्त कर सकते हैं
00:02:47और लागत पर वास्तव में बचत कर सकते हैं।
00:02:50और हम इन अन्य बेंचमार्क में भी
00:02:52यही पैटर्न देखते हैं, है ना?
00:02:53यह Humanity's last exam है।
00:02:55फिर से, जब हम high से लेकर सीधे max
00:02:57तक छलांग लगाते हैं तो कोई भारी वृद्धि नहीं दिखती,
00:02:59फिर भी हमारे पास इन मध्यम-स्तरीय सेटिंग्स
00:03:00पर काफी उचित लागत पर
00:03:02वास्तव में अच्छा प्रदर्शन होता है।
00:03:04इसका एकमात्र अपवाद तब होता है जब हम
00:03:05Cursor Bench पर एजेंटिक कोडिंग को देखते हैं,
00:03:07Fable 5.1,
00:03:08हमें high से extra high तक काफी बड़ी छलांग देखने को मिलती है,
00:03:11लेकिन फिर से, extra high और max के बीच,
00:03:13बहुत ज्यादा नहीं।
00:03:14लेकिन, आप जानते हैं, अगर मैं high पर हूँ,
00:03:15Fable 5.1 पर,
00:03:17यह Fable 5 के साथ extra high
00:03:18पर होने के समान है,
00:03:20फिर भी लागत आधे से भी कम है।
00:03:22तो यहाँ भारी मूल्य बचत होती है,
00:03:24भले ही आप ऐसे व्यक्ति न हों
00:03:25जो जरूरी तौर पर अत्यधिक जटिल काम कर रहे हों।
00:03:27यदि आप सिर्फ 'कोट-अनकोट',
00:03:29अपने औसत सोलो डेवलपर हैं,
00:03:30जैसे आपकी समस्याएँ उतनी जटिल नहीं हैं,
00:03:32लेकिन आपको इन फ्रंटियर मॉडलों का उपयोग करना पसंद है,
00:03:33तो अब आपके पास क्षमता है
00:03:34कि आप बस प्रयास स्तर को कम कर दें
00:03:36और आप लगभग वही कर रहे हैं
00:03:37जो आप पहले कर रहे थे
00:03:38वह भी आधी कीमत पर,
00:03:40जिसे कम करके नहीं आंका जा सकता।
00:03:41अब, वैज्ञानिक अनुसंधान
00:03:42हमेशा से एक बहुत बड़ा बिक्री बिंदु रहा है
00:03:44जब Fable और Mythos मॉडलों की बात आती है।
00:03:46और इसलिए 5.1 रिलीज़ के साथ,
00:03:48वहाँ कोई बदलाव नहीं हुआ है।
00:03:49वे आणविक डिज़ाइन (molecular design) के बारे में बहुत बात करते हैं,
00:03:51कम्प्यूटेशनल विश्लेषण और मॉडलिंग,
00:03:53साथ ही कम्प्यूटेशनल जीव विज्ञान।
00:03:55फिर से, ये अधिक विशिष्ट समस्याएँ हैं
00:03:57जिन्हें कुछ लोग हल कर रहे हैं,
00:03:58लेकिन यह देखना हमेशा दिलचस्प होता है
00:04:00कि इन डोमेन में क्या चल रहा है
00:04:01बजाय आपके मानक के,
00:04:03यह इस पर क्या कर रहा है
00:04:03एजेंटिक कोडिंग बेंचमार्क।
00:04:05और जैसा कि मैंने परिचय में संकेत दिया था,
00:04:07कुछ बदलाव हुए हैं
00:04:08जब सुरक्षा की बात आती है,
00:04:09सुरक्षा,
00:04:09और संरेखण (alignment)।
00:04:11बड़ी तस्वीर,
00:04:12कम फॉल्स पॉज़िटिव।
00:04:13आप इससे अधिक सवाल पूछ सकते हैं
00:04:14साइबर सुरक्षा जैसी चीजों से संबंधित
00:04:15और यह इतना स्मार्ट है
00:04:16कि यह सिर्फ घबराता नहीं है
00:04:18और आपको Opus पर नहीं भेजता
00:04:19चाहे कुछ भी हो।
00:04:20यदि आप गहराई में जाना चाहते हैं,
00:04:21इस पर गहराई से,
00:04:21तो उनके पास उनका सिस्टम कार्ड है
00:04:23जिसे आप हमेशा देख सकते हैं।
00:04:24यह है, आप जानते हैं,
00:04:25चीजों के कई सौ पेज,
00:04:27सटीक होने के लिए 212,
00:04:28लेकिन वे हमें यहाँ एक अच्छा सारांश देते हैं।
00:04:30लेकिन आपको केवल इस बात की परवाह करने की जरूरत है
00:04:31कि ये गार्डरेल
00:04:32अधिक सटीक हैं,
00:04:33इसलिए इनके कम चांस हैं
00:04:34कि ये हानिरहित सामग्री को फ़्लैग करें
00:04:35और बस आपको
00:04:36एक निचले मॉडल पर भेज दें।
00:04:37विशेष रूप से साइबर सुरक्षा प्रश्नों के लिए,
00:04:40Cloud Code उपयोगकर्ता
00:04:40औसत उम्मीद कर सकते हैं
00:04:41प्रति सत्र 60% कम हस्तक्षेप
00:04:43इन सुरक्षा उपायों से,
00:04:44जो बहुत बढ़िया है
00:04:46यदि आप काम कर रहे हैं
00:04:46किसी भी ऐसे एप्लिकेशन पर
00:04:47जहाँ आपको सवाल पूछने की आवश्यकता है
00:04:48सर्वोत्तम साइबर सुरक्षा प्रथाओं के बारे में
00:04:49आपके विशेष उपयोग के मामले के लिए।
00:04:51उनके पास वास्तव में है
00:04:53यहाँ एक दिलचस्प पैराग्राफ
00:04:53जो बात कर रहा है
00:04:54डिस्टिलेशन-विरोधी तंत्र के बारे में,
00:04:55जो एक तरीका है
00:04:57अनिवार्य रूप से निकालने का
00:04:58जो मूल रूप से निकालने
00:04:59का एक तरीका है
00:05:01Fable 5 और Fable 5.1 से
00:05:02जिन्हें अन्य मॉडल में इस्तेमाल किया जा सके।
00:05:03यह वास्तव में एक बहुत बड़ी
00:05:04चर्चा का विषय है
00:05:05जो संबंधित है
00:05:06ओपन सोर्स मॉडल से।
00:05:07आपने शायद बहुत कुछ सुना होगा
00:05:08इन तमाम
00:05:08बेहतरीन ओपन सोर्स मॉडल के बारे में
00:05:09जो आ रहे हैं,
00:05:10और इसमें कोई शक नहीं है
00:05:11कि वे आगे भी आते रहेंगे
00:05:13क्योंकि वे इन फ़्रंटियर मॉडल
00:05:14से डिस्टिल किए जाते हैं।
00:05:15तो यह उस प्रकार की
00:05:17चर्चा है
00:05:17जिस पर आप शायद
00:05:18नज़र रखना चाहते हैं।
00:05:18यह वास्तव में आपको प्रभावित नहीं करता,
00:05:20यानी अंतिम उपयोगकर्ता को,
00:05:21लेकिन यह, आप जानते ही हैं,
00:05:22एक तरह की ऐसी मेटा बात है
00:05:23जहाँ हमारे पास ये सभी
00:05:24ओपन सोर्स मॉडल
00:05:25चीन से आ रहे हैं
00:05:26और बहुत सी फ़्रंटियर
00:05:26तरह की कंपनियाँ
00:05:27अमेरिका में हैं,
00:05:28और हमेशा से
00:05:29इस तरह की बातें होती रहती हैं, आप जानते ही हैं,
00:05:31कि ये तमाम
00:05:32ओपन सोर्स मॉडल
00:05:32वास्तव में सिर्फ डेटा खींच रहे हैं
00:05:33Opus और Fable
00:05:35जैसी चीज़ों से।
00:05:36वे एक उदाहरण देते हैं
00:05:37इस बात का कि यह कैसे काम करता है,
00:05:38जहाँ नए API खाते
00:05:39Claude के पिछले संदर्भ को
00:05:40इस तरह संपादित नहीं कर सकते
00:05:42कि मूल रूप से यह निकाला जा सके
00:05:43कि Claude किस तरह
00:05:44सोच रहा है
00:05:44और अपने जवाबों
00:05:45तक पहुँच रहा है।
00:05:46और फिर से,
00:05:46यह विशेष रूप से
00:05:47नए खातों के लिए है,
00:05:48तो अगर आपके पास पहले से ही एक है,
00:05:48तो जैसा कि मैंने कहा,
00:05:49यह वास्तव में आपको प्रभावित नहीं करेगा।
00:05:50अब, लागत और
00:05:51उपलब्धता के मामले में,
00:05:52उपलब्धता,
00:05:52यह अभी
00:05:53हर जगह उपलब्ध है।
00:05:54लागत।
00:05:55प्रति टोकन,
00:05:56अगर आप इसे देखें,
00:05:56तो यह बिल्कुल वैसा ही है
00:05:58जैसे Fable 5।
00:05:58हम प्रति दस डॉलर
00:05:59प्रति मिलियन इनपुट टोकन
00:06:00और पचास डॉलर प्रति मिलियन
00:06:02आउटपुट टोकन देख रहे हैं,
00:06:03लेकिन वास्तव में,
00:06:04जब आप वास्तव में इसका उपयोग करते हैं
00:06:05इस रूप में कि,
00:06:06अरे, मैं इसे
00:06:07यह काम करने के लिए कह रहा हूँ,
00:06:08तो यह कम खर्चीला होगा
00:06:09और इसमें कम लागत आएगी
00:06:10क्योंकि कैश रीड्स होते हैं।
00:06:12अब, अगर आपको कोई अंदाज़ा नहीं है
00:06:12किप्रॉम्प्ट कैशिंग क्या है,
00:06:14तो आप वह वीडियो देख सकते हैं
00:06:14जो मैंने पिछले हफ्ते बनाया था
00:06:16जहाँ मैं इस बारे में बात करता हूँ।
00:06:18मूल रूप से,
00:06:18यह बहुत बड़ी बात है
00:06:19यदि आप ऐसे व्यक्ति हैं
00:06:20जो लंबे समय तक चलने वाले
00:06:20एजेंटिक कार्य कर रहे हैं।
00:06:23तो आपके पास जैसे
00:06:23बहुत बड़े सत्र हैं,
00:06:25ढेर सारा संदर्भ है,
00:06:26और आप इसका उपयोग
00:06:27लगातार कर रहे हैं।
00:06:28ऐसा नहीं है कि आप इससे
00:06:29कोई काम करवाकर
00:06:29अगले दिन वापस आ रहे हैं।
00:06:30आप बस इससे
00:06:31लगातार बात किए जा रहे हैं,
00:06:32बात किए जा रहे हैं।
00:06:32तो ये कैश रीड्स
00:06:33पचहत्तर प्रतिशत कम महंगे पड़ते हैं,
00:06:35जो कि एक बहुत बड़ा बदलाव है,
00:06:37और इसी की वजह से
00:06:39यह लागत कम हो रही है।
00:06:40और यह ग्राफ़
00:06:41इस बात को स्पष्ट करता है।
00:06:42सामान्य कार्यों पर
00:06:42आपकी लागत लगभग
00:06:44पच्चीस प्रतिशत तक कम हो सकती है,
00:06:45लेकिन फिर भी,
00:06:46अत्यधिक एजेंटिक वर्कलोड में
00:06:47यह पंतालीस प्रतिशत तक कम हो जाती है।
00:06:49तो Fable मॉडल
00:06:49का अपग्रेड मिलना
00:06:50वाकई बहुत रोमांचक है।
00:06:51मुझे Fable 5 बहुत पसंद आया था,
00:06:53Opus 5 के मुकाबले
00:06:53यह थोड़ा औसत सा था,
00:06:54लेकिन आप में से जो लोग
00:06:55Fable के साथ व्यावहारिक रूप से
00:06:56काम कर चुके हैं,
00:06:57मुझे लगता है कि आप निश्चित रूप से इस बात से सहमत होंगे
00:06:58कि जो कुछ भी
00:06:59यह मॉडल हमारे लिए लेकर आया है
00:07:01उसमें एक महत्वपूर्ण बदलाव आया है,
00:07:02बजाय उन बाकी सभी चीज़ों के
00:07:03जो अब तक हमें
00:07:03Anthropic से मिली हैं।
00:07:04तो ऐसा कुछ होना
00:07:05जो बेहतर है
00:07:06और सस्ता भी है,
00:07:07और जिसके सुरक्षा उपायों को लेकर
00:07:09हमें कम चिंता करनी पड़ती है,
00:07:10मेरे ख्याल से यह एक बहुत अच्छी बात है।
00:07:11तो निश्चित रूप से इसे देखें।
00:07:12मुझे बताएं
00:07:13कि आपको यह कैसा लगा।

핵심 요약

Fable 5.1 मॉडल बेहतर प्रदर्शन और कम फॉल्स पॉज़िटिव के साथ Fable 5 से 25% कम कीमत पर उपलब्ध है।

하이라이트

  • Fable 5.1 मॉडल की कीमत Fable 5 से लगभग 25% कम है क्योंकि कैश रीड्स की कीमतें घटाई गई हैं।

  • लंबे समय तक चलने वाले एजेंटिक कामों में लागत 45% तक कम हो जाती है।

  • साइबर सुरक्षा जैसे विषयों पर फॉल्स पॉज़िटिव की संभावना 60% कम हो गई है।

  • एजेंटिक कोडिंग का बेंचमार्क स्कोर Fable 5 के 42% से बढ़कर Fable 5.1 के साथ 55.8 हो गया है।

타임라인

Fable 5.1 की कीमत और लागत में कमी

  • Fable 5.1 की कीमत पिछले मॉडल की तुलना में 25% कम है।
  • कैश रीड्स पर आधारित एजेंटिक कार्यों में लागत 45% तक कम हो जाती है।
  • साइबर सुरक्षा से जुड़े प्रश्नों में फॉल्स पॉज़िटिव 60% कम हो गए हैं।

यह मॉडल कैश रीड्स की कम कीमत के कारण अधिक किफायती है। हजारों टोकन और लंबी Context Window के साथ काम करने वाले उपयोगकर्ताओं के लिए यह लागत को काफी हद तक घटा देता है। इसके अलावा, सुरक्षा उपायों में सुधार के कारण उपयोगकर्ताओं को अनावश्यक रूप से ब्लॉक किए जाने की समस्या में 60% की कमी आई है।

बेंचमार्क और प्रयास स्तर

  • Fable 5.1 वैज्ञानिक अनुसंधान और एजेंटिक कोडिंग बेंचमार्क में पिछले मॉडल से बेहतर है।
  • मध्यम प्रयास स्तर (medium effort level) का उपयोग करने पर लागत में भारी बचत होती है।
  • डिस्टिलेशन-विरोधी तंत्र नए खातों के लिए लागू किया गया है।

विभिन्न बेंचमार्क परीक्षणों में यह मॉडल उत्कृष्ट प्रदर्शन दिखाता है। उपयोगकर्ता मध्यम प्रयास स्तर का चयन करके उच्च प्रदर्शन बनाए रख सकते हैं और अपने खर्च को काफी हद तक कम कर सकते हैं। साथ ही, नए खातों के लिए डिस्टिलेशन-विरोधी तंत्र को लागू किया गया है।

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기