Kimi K3 तो फैबल (Fable) के स्तर का है... (उन्हें चिंता होनी चाहिए)
BBetter Stack
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00Kimi K3 आ गया है और सच कहूँ तो यह वाकई चौंकाने वाला है। इसने न केवल Opus और
00:00:04GPT 5.5 की बराबरी की, बल्कि Fable और GPT 5.6 तक को टक्कर दी है। ओपन मॉडल्स उतने पीछे नहीं हैं जितना हमने पहले
00:00:10सोचा था। आइए एक नज़र डालते हैं। इसकी घोषणा से शुरुआत करते हैं। Kimi K3 एक 2.8 ट्रिलियन
00:00:19पैरामीटर वाला मॉडल है जिसे Kimi डेल्टा रिटेंशन और अटेंशन रेजिडुअल्स पर बनाया गया है, जिसमें नेटिव विज़न
00:00:24क्षमताएं और 1 मिलियन टोकन की कॉन्टेक्स्ट विंडो है। यह दुनिया का पहला ओपन 3 ट्रिलियन क्लास मॉडल है
00:00:29जो लंबे समय तक कोडिंग, नॉलेज वर्क और रीजनिंग के लिए फ्रंटियर इंटेलिजेंस हेतु डिज़ाइन किया गया है।
00:00:34इस ब्लॉग में दिखाए गए सभी बेंचमार्क पर, Kimi K3 या तो Fable
00:00:38और GPT 5.6 Soul से थोड़ा पीछे है या कुछ क्षेत्रों में उनसे बेहतर प्रदर्शन कर रहा है। यह इतना बड़ा उछाल है
00:00:43जिसकी उम्मीद शायद ही किसी ने की होगी। बेशक, यह उनके खुद के बेंचमार्क पर आधारित है, तो आइए
00:00:47आर्टिफिशियल इंटेलिजेंस और थर्ड-पार्टी बेंचमार्क पर नज़र डालते हैं और मुझे यह बताते हुए खुशी हो रही है कि नतीजे लगभग
00:00:52मैच कर रहे हैं। इस बेंचमार्क पर हम देख सकते हैं कि आप में से करीब 80% लोग सब्सक्राइब नहीं किए हैं,
00:00:56इसलिए यदि आप सॉफ्टवेयर डेवलपमेंट और AI की हर चीज़ से अपडेट रहना चाहते हैं, तो वह सब्सक्राइब बटन दबा दें।
00:01:00चलिए असली बेंचमार्क पर चलते हैं। कोडिंग इंडेक्स से शुरुआत करें तो यह 76.2 स्कोर करता है,
00:01:06जो Fable 5 से 0.3 अंक पीछे है और GPT 5.5, Opus के 4.8 से थोड़ा अधिक है, और
00:01:12GPT 5.6 Luna से भी बेहतर है, और केवल GPT 5.6 Soul और Terra से थोड़ा पीछे है। देखिए इन्होंने
00:01:19पिछले मॉडल से कितनी लंबी छलांग लगाई है। अगर हम एजेंटिक इंडेक्स पर नज़र डालें, तो वही स्थिति है।
00:01:23यह यहाँ तीसरे नंबर पर है, जो केवल Fable और Soul से पीछे है, लेकिन यह वाकई प्रभावशाली है और आप
00:01:29अब तक इसके आदी हो गए होंगे, इंटेलिजेंस इंडेक्स पर भी बिल्कुल ऐसा ही है। तो थर्ड
00:01:32पार्टी बेंचमार्क भी इसकी पुष्टि करते हैं कि यह मॉडल शानदार है। दुख की बात है कि हमारे पास अभी तक Deep SWE के नतीजे नहीं हैं,
00:01:38लेकिन अगर हम अपने खुद के बेंचमार्क देखें, तो आप देख सकते हैं कि यह फिर से तीसरे स्थान पर रहा।
00:01:42यह मॉडल सच होने के लिए कुछ ज़्यादा ही अच्छा लग रहा है। एकमात्र खामी जो मैं इस मॉडल में देख पा रहा हूँ, वह
00:01:46यह है कि यह थोड़ा महंगा है। जब तक आपके घर में सुपरकंप्यूटर न हो, मुझे नहीं लगता कि आप
00:01:50इसे लोकल रूप से चला पाएंगे। तो अगर आप API के माध्यम से जाते हैं, तो इसकी कीमत 1 मिलियन इनपुट
00:01:54टोकन के लिए $3 और 1 मिलियन आउटपुट टोकन के लिए $15 है। यह Kimi K 2.6 से काफी बड़ा कदम है
00:02:00और छूट खत्म होने के बाद इसकी कीमत Sonic 5 के आसपास ही है, लेकिन यह Fable 5, Opus और
00:02:06GPT 5.6 से सस्ता है। API की कीमत ही सब कुछ नहीं होती, तो अगर हम इसे लागत के मामले में व्यवहार में देखें,
00:02:12तो यह GPT 5.6 Soul के समान है और Opus 4.8 की आधी कीमत है, और बेशक यह
00:02:17Fable और Sonic 5 से सस्ता है। तो यह उन फ्रंटियर क्लोज्ड मॉडल्स के साथ प्रतिस्पर्धी है, लेकिन
00:02:22आप में से जो लोग ओपन मॉडल्स को पसंद करते हैं क्योंकि वे थोड़े सस्ते होते हैं, उनके लिए यह मॉडल शायद
00:02:26सही नहीं होगा। GLM 5.2 यहाँ दूसरा सबसे अच्छा विकल्प है और यह आधी कीमत पर है। यह अब तक का सबसे
00:02:31तेज़ मॉडल भी नहीं है, लेकिन मुझे यह इस स्तर की बुद्धिमत्ता के लिए काफी प्रतिस्पर्धी लगता है।
00:02:36कुल मिलाकर, इस मॉडल के बारे में कुछ भी नकारात्मक कहना काफी मुश्किल है, तो चलिए
00:02:40सीधे चलते हैं और मेरी लोकल टेस्टिंग के कुछ नतीजे देखते हैं। पहला टेस्ट जो मैंने इन मॉडल्स पर किया, वह था 3.js में
00:02:44एक पूरा फॉर्मूला 1 रेसिंग गेम बनाना, जो केवल एक index.html में हो, और यह Kimi K3 है जिसे Open Router
00:02:50के ज़रिए चलाया गया। मैंने इसे Kimi Code CLI में भी टेस्ट किया ताकि देख सकूँ कि क्या हार्नेस कुछ बदलता है।
00:02:56आप नीचे देख सकते हैं कि इसने शुरू करने से पहले 14 मिनट तक सोचा और कुल मिलाकर इस 3.js वेब ऐप को बनाने में इसे
00:03:0035 मिनट लगे और API टोकन के तौर पर $1.24 खर्च हुए। और मुझे जो नतीजे मिले वे
00:03:06काफी प्रभावशाली हैं। जाहिर है कि इसमें किसी भी बाहरी एसेट तक पहुंच नहीं है, इसलिए यह इन मॉडल्स को बनाने में अपना सर्वश्रेष्ठ दे रहा है।
00:03:11लेकिन ट्रैक काम करता है। हमारे पास हमारे AI रेसर हैं और वे ट्रैक के चारों ओर जाने में सक्षम लग रहे हैं।
00:03:16आप देख सकते हैं कि बाधाएं वास्तव में काम करती हैं, इसलिए मैं उनसे आर-पार नहीं जा सकता। हमारी स्थिति अपडेट हो रही है।
00:03:21हमारा मैप अपडेट हो रहा है। हमारा वर्तमान समय और लैप्स भी अपडेट हो रहे हैं। मैंने एक पूरा लैप
00:03:25पूरा किया है और पुष्टि की है कि सब कुछ काम करता है। तो Kimi K3 द्वारा दिया गया यह काफी अच्छा नतीजा है।
00:03:30जैसा कि मैंने कहा, मैंने अलग-अलग हार्नेस भी टेस्ट किए। तो यह Kimi Code में Kimi K3 है। और इसे
00:03:35मैं कहूँगा कि यह थोड़ा बेहतर दिखता है। इसने एसेट्स के साथ बेहतर काम किया है, हालाँकि यह केवल एक
00:03:39स्टाइल गाइड है। उन मॉडल्स के साथ थोड़ा लैग है, लेकिन हैंडलिंग थोड़ी बेहतर है।
00:03:43नियंत्रण अभी भी उल्टे हैं और वास्तव में इन 3.js अनुप्रयोगों में यह एक पैटर्न सा लगता है
00:03:48किसी कारण से। लेकिन फिर भी, यह सब बहुत अच्छी तरह से काम करता है और इसमें ट्रैक से बाहर जाने पर
00:03:52धीमा होने जैसी विशेषताएं हैं। और हाँ, इसने भी काफी प्रभावशाली काम किया है। लेकिन अब आइए
00:03:57इसकी तुलना फ्रंटियर मॉडल्स से करें। हमारे पास Claude Code में Fable 5 है, जो मैक्स पर था और इसे
00:04:01मेरा 3.js एप्लीकेशन बनाने में 44 मिनट लगे। फिर हमारे पास GPT 5.6 Sol भी मैक्स पर है। और इसे
00:04:0718 मिनट लगे। यह वह नतीजा है जो Fable ने मुझे दिया। तो हमारे पास Fable GP है। और मैं कहूँगा
00:04:12कि यह शायद थोड़ा बेहतर दिखता है। लेकिन फिर, यह सब सिर्फ एक शैलीगत विकल्प है। और नियंत्रण
00:04:17इसमें उल्टे नहीं हैं। इसमें कैमरा वॉबल भी है, जिसे मैं एक अच्छी शैली मानता हूँ।
00:04:22और फिर से सब कुछ इसमें काम करता हुआ लग रहा है, बाकी सब की तरह। मैंने एक पूरा लैप
00:04:26पूरा करना टेस्ट किया है, जितना कठिन यह है। हमारे पास यहाँ कुछ टक्करें भी हैं, जैसा कि आप देख सकते हैं। लेकिन हाँ,
00:04:31सब कुछ काम करता हुआ लग रहा है और यह Kimi K3 द्वारा दी गई चीज़ के काफी बराबर है। GPT 5.6 Sol के साथ भी
00:04:35कहानी कुछ ऐसी ही है। जैसा कि आप देख सकते हैं, हमारे पास यहाँ एक वर्किंग गेम है। हालाँकि मैं नोट करूँगा कि यहाँ सड़क
00:04:40घास की है। इसने वास्तव में उसे रेंडर नहीं किया। और सब कुछ काम करता हुआ लग रहा है। नियंत्रण
00:04:44इसमें भी उल्टे हैं। और हमारे पास कुछ उल्टे एसेट भी हैं। मुझे नहीं पता कि ये मॉडल्स
00:04:48ऐसा करना क्यों पसंद करते हैं। एकमात्र Fable था जिसने ऐसा नहीं किया। और ट्रैक भी यहाँ थोड़ा
00:04:53उलझ गया है। तो यह वास्तव में एकमात्र ऐसा था जिसने मुझे एक वर्किंग ट्रैक नहीं दिया। एक अंतिम तुलना
00:04:57जोड़ने के लिए। मैंने यह भी देखा कि GLM 5.2 मुझे क्या देगा क्योंकि यह अगला सबसे अच्छा ओपन मॉडल है। और इसने
00:05:025 मिनट 58 सेकंड तक सोचा। हालाँकि इसने इसे एक प्रॉम्प्ट में पूरा नहीं किया। वास्तव में कुछ
00:05:07बग्स थे। इसलिए मुझे दूसरे प्रॉम्प्ट के साथ वापस जाना पड़ा। तब भी जब मुझे अंततः गेम चला हुआ मिला,
00:05:11आप देख सकते हैं कि इसमें बहुत सारे बग्स हैं। सबसे पहले, हम ट्रैक पर सही तरीके से शुरू नहीं होते हैं।
00:05:15और शुरू करने के लिए कोई ट्रैक नहीं है। और यह दूसरों की तुलना में बहुत खराब दिखता है।
00:05:20तो जब हम Kimi K3 पर जाते हैं तो एक बड़ा सुधार होता है। हालाँकि दूसरे टेस्ट पर चलते हैं। मैंने एक
00:05:25पर्सनल फाइनेंस मैनेजमेंट डैशबोर्ड के लिए कहा। यह एक फ्रंट
00:05:29एंड और बैक एंड के साथ पूरा स्टैक एप्लीकेशन बनाएगा। मैंने सिर्फ एक चीज़ कही कि मुझे ऑथ (auth) नहीं चाहिए। और मैंने इसे कुछ डेटा सीड करने के लिए भी कहा।
00:05:33मैंने इसे फिर से Open Router में K3 के साथ किया। और फिर Kimi Code में भी। तो यह वाला Open
00:05:38Router में है। और आप देख सकते हैं कि कुल मिलाकर इसे एप्लीकेशन बनाने में 56 मिनट लगे। और इसकी कीमत
00:05:43मुझे $1.30 पड़ी। लेकिन यह नतीजा उन्होंने मुझे दिया। और सच कहूँ तो मैं इसकी शिकायत नहीं कर सकता।
00:05:48यह बिल्कुल वही है जो मैंने मांगा था। यह एक पर्सनल फाइनेंस मैनेजमेंट डैशबोर्ड है। मैं कहूँगा कि यह
00:05:53काफी अच्छा दिख रहा है। और हमारे पास यहाँ अतिरिक्त पेजों जैसी सभी सुविधाएं हैं। और मैंने
00:05:57फंड जोड़ने और पैसे भेजने की जाँच की है। सब कुछ काम करता है। तो इसने बहुत अच्छा काम किया है। अब मैं यह भी
00:06:01जानने के लिए हमेशा उत्सुक रहता हूँ कि टास्क को पूरा करने के लिए इसने किन टूल्स का उपयोग किया। क्योंकि मैं वास्तव में इसे
00:06:05प्रॉम्प्ट में कोई निर्देश नहीं देता कि कौन सा स्टैक उपयोग करना है। आप फ्रंट एंड के लिए देख सकते हैं कि इसने
00:06:09React और React DOM का उपयोग किया। इसने वास्तव में किसी राउटर या ऐसी किसी चीज़ का उपयोग नहीं किया। इसने अपना
00:06:12खुद का व्यू सिस्टम बनाया। तो मैं शायद पसंद करता कि आप React Router,
00:06:16TanStack या Next.js जैसी किसी चीज़ का उपयोग करें। और फिर बैक एंड पर भी इसने अपना सर्वर बनाया। मुझे लगता है
00:06:21कि यह Express.js का उपयोग कर रहा है जैसा कि हम नीचे देख सकते हैं। लेकिन फिर इसने अपना डेटाबेस केवल एक
00:06:26JSON फ़ाइल का उपयोग करके बनाया। SQLite या ऐसी कोई चीज़ या Drizzle का उपयोग नहीं किया जिसे मैं शायद
00:06:31देखना पसंद करता अगर हम भविष्य में इस ऐप को स्केल करना चाहते। लेकिन फिर से जाहिर है कि मुझे पता है कि मैं
00:06:35प्रॉम्प्ट में दे सकता था। लेकिन मैं हमेशा यह देखना पसंद करता हूँ कि वे डिफ़ॉल्ट के रूप में क्या चुनते हैं। यह एक
00:06:38नतीजा है जो मुझे वास्तव में Kimi Code के माध्यम से K3 का उपयोग करके मिला। और आप देख सकते हैं कि यह वास्तव में थोड़ा सरल है।
00:06:43यह केवल एक पेज है और इसमें हमारा साइडबार नहीं है। फिर से सभी सुविधाएं काम कर रही हैं और इसका
00:06:47रूप Open Router से मिलने वाली चीज़ जैसा ही है। कोड को देखें तो मैं
00:06:51वास्तव में K3 के साथ Kimi Code द्वारा दी गई चीज़ को पसंद करता हूँ। इसका फ्रंट एंड काफी समान है जहाँ यह
00:06:55सिर्फ React का उपयोग करता है और कोई राउटर लाइब्रेरी नहीं। लेकिन सर्वर ने वास्तव में डेटाबेस का उपयोग किया। आप देख सकते हैं
00:06:59यह यहाँ Express में बना है। हमारे पास वास्तव में एक फाइनेंस डेटाबेस है और यह वास्तव में Node
00:07:04SQLite का उपयोग कर रहा है। अब यदि आप इसकी तुलना फ्रंटियर मॉडल्स से करें, तो यह Claude Code में Fable 5 है।
00:07:08आप देख सकते हैं कि इसने उस मैक्स प्रयास पर 56 मिनट तक काम किया। और फिर मेरे पास GPT 5.6 Soul मैक्स
00:07:13भी है जहाँ इसने एप्लीकेशन बनाने के लिए 31 मिनट सोचा। यहाँ वह है जो Fable 5 ने हमें दिया और
00:07:17सच कहूँ तो यह काफी समान डिज़ाइन है। मेरा मतलब है, आप पर्सनल फाइनेंस
00:07:21डैशबोर्ड के साथ वास्तव में इससे ज़्यादा कुछ नहीं कर सकते। और इसमें सभी सुविधाएं काम करती हैं। इसने वास्तव में थोड़ा
00:07:25अलग फॉन्ट स्टाइल चुना है जिसे मैंने हाल ही में Fable और Opus को करते देखा है। ऐसा लगता है कि वे
00:07:29इसे उन पिछले AI लुक्स से दूर ले जाने के लिए फिर से प्रशिक्षित कर रहे हैं जो उनके पास थे और वे एक नया
00:07:34AI लुक बना रहे हैं। और यह वह है जिसे वे चुन रहे हैं। मैं कहूँगा कि ये चार्ट वास्तव में Kimi K3 से मिलने वाले चार्ट्स से
00:07:38थोड़े ज़्यादा बेकार हैं। लेकिन कुल मिलाकर यह काफी समान दिखता है और यह मूल रूप से
00:07:43वैसा ही काम करता है। यहाँ तक कि कोड भी काफी समान है। आप देख सकते हैं कि इसने फ्रंट
00:07:47एंड के लिए React चुना और इसने राउटर का उपयोग भी नहीं किया। इसने अपना खुद का लिखा। और फिर डेटाबेस में यह
00:07:51सफलतापूर्वक डेटाबेस का ठीक से उपयोग किया। तो हम इसमें Node SQL का भी उपयोग कर रहे हैं। और वास्तविक
00:07:57सर्वर के लिए यह सिर्फ Express 2 चला रहा है। GPT 5.6 Soul पर चलते हैं। यह
00:08:02थोड़ा अजीब है। यह निश्चित रूप से इन सब में मेरा पसंदीदा डिज़ाइन है। और फिर से सभी सुविधाएं
00:08:06काम कर रही हैं। मुझे बताएं कि क्या आप सहमत हैं कि यह सबसे अच्छा डिज़ाइन है। लेकिन अजीब हिस्सा कोड में है।
00:08:11यह निश्चित रूप से सबसे पूर्ण एप्लीकेशन कोड है जिसे हमने इन उदाहरणों में देखा है। इसने
00:08:15वास्तव में एक पूरा NextJS एप्लीकेशन बनाया और इसने Drizzle का उपयोग किया जैसा कि मैं करना पसंद करूँगा। और इसने सर्वर के
00:08:20साथ-साथ फ्रंट एंड के लिए भी NextJS का उपयोग किया। लेकिन जो हिस्सा मुझे थोड़ा अजीब लगा वह यह है कि
00:08:24इसने इसे Cloudflare पर होस्ट करना चुना, जो अपने आप में अजीब नहीं है, लेकिन इसने for Next का भी उपयोग किया। और यह ज़रूरी नहीं है
00:08:29कि मैं इसकी सलाह न दूँ। मुझे बस लगता है कि यह थोड़ा अनटेस्टेड है। और यह काफी
00:08:33नया है जो दिखाता है कि वे वास्तव में GPT 5.6 Soul को इसका उपयोग करने के लिए प्रेरित कर रहे हैं। और मैं केवल अनुमान लगा सकता हूँ कि क्यों,
00:08:38लेकिन ऐसा लगता है कि शायद इसलिए क्योंकि ChatGPT साइट्स वास्तव में ऐसे ही काम करती हैं। आप देख
00:08:42सकते हैं कि इसने वास्तव में मेरे लिए उस ChatGPT साइट सुविधा पर होस्ट करने का निर्णय लिया, भले ही मैंने ऐसा करने के लिए
00:08:47नहीं कहा था। व्यक्तिगत रूप से, मुझे यह बहुत पसंद नहीं है जब मैं कोई एप्लीकेशन कोड कर रहा हूँ। मैं नहीं चाहता
00:08:50कि यह मेरे लिए होस्ट करे। मैं यह सब खुद संभालना पसंद करूँगा। लेकिन मैं इसे प्रॉम्प्ट में पूछ सकता था।
00:08:54मैं चाहूँगा कि मुझे इसे होस्ट करने के लिए कहना पड़े, न कि इसके विपरीत।
00:08:58मेरे पास अंतिम नतीजा GLM 5.2 है और इसने Kimi K3 जैसा ही काम किया है
00:09:04Kimi Code में, जहाँ इसने केवल यह सिंगल पेज बनाया है। लेकिन फिर से सभी सुविधाएं काम करती हैं और मैं सोचता हूँ
00:09:08यह डिज़ाइन काफी अच्छा है। GLM 5.2 ने वास्तव में इसे करने में 15 मिनट लिए और आप देख सकते हैं कि इसकी कीमत
00:09:13मुझे $1.11 पड़ी। वास्तविक कोड के लिए, GLM 5.2 ने Next.js का रास्ता चुना, जिसे
00:09:19मैं वास्तव में पसंद करता हूँ। लेकिन इसने डेटाबेस का उपयोग करने के बजाय अपना खुद का स्टोर बनाया। तो यह सब
00:09:24सिर्फ JavaScript में मेमोरी में है। तो मेरे त्वरित टेस्ट से, मुझे लगता है कि Kimi K3 Fable
00:09:29और GPT 5.6 Soul के साथ खड़ा है और उन बेंचमार्क द्वारा दी जा रही उम्मीदों पर खरा उतरता है। और सच कहूँ तो,
00:09:33सिर्फ एक वीडियो डेमो में यह दिखाना काफी कठिन होता जा रहा है कि ये मॉडल्स कितने शक्तिशाली हैं। आपको आमतौर पर
00:09:38कोड की गुणवत्ता देखने के लिए उन्हें प्रोडक्शन कोड बेस में एक सप्ताह के दौरान उपयोग करना होता है।
00:09:42अगर आपके पास टेस्ट के लिए कोई विचार है जिसे मैं वास्तव में एक वीडियो में दिखा सकूँ, जो इन मॉडल्स को
00:09:46कठिन टेस्ट में डाल सके, तो मुझे नीचे कमेंट में बताएं। मैं उनके टेक ब्लॉग में दिए गए कुछ
00:09:50उदाहरणों को भी दिखाना चाहता हूँ। आप देख सकते हैं कि Kimi
00:09:53K3 ने यह गेम बनाया, लेकिन इन एसेट्स को बनाने के लिए उसके पास एक और टूल था, तो काउबॉय और
00:09:58घोड़ा K3 द्वारा नहीं बनाए गए थे। वे कहीं और से लाए गए थे। आप देख सकते हैं कि इसने 3GS में
00:10:03बहुत अच्छा काम किया है। और दूसरी बात जो पागलपन वाली है वह यह चिप डिज़ाइन है। आप एक शुरुआती
00:10:08प्रूफ ऑफ कॉन्सेप्ट के रूप में देख सकते हैं, Kimi K3 ने अपने आर्किटेक्चर पर आधारित एक नैनो मॉडल को सर्व करने के लिए एक चिप डिज़ाइन की। एक
00:10:1348 घंटे के स्वायत्त रन में K3 ने ओपन सोर्स टूल्स का उपयोग करके चिप को बनाया, ऑप्टिमाइज़ किया और सत्यापित किया। तो उम्मीद है
00:10:19आपने देखा कि यह मॉडल बिल्कुल शानदार है और यह निश्चित रूप से इन फ्रंटियर क्लोज्ड लैब्स के लिए
00:10:23थोड़ा झटका होगा। या कम से कम तब होगा जब वे वास्तव में वेट्स को जारी करेंगे। उन्होंने अभी तक जारी
00:10:27नहीं किए हैं लेकिन उनकी ऐसा करने की योजना है। इसलिए मैं उम्मीद करता हूँ कि हम उन्हें जल्द ही देखेंगे। आप क्या सोचते हैं
00:10:32इसके बारे में? क्या आपने उम्मीद की थी कि एक चीनी लैब इतनी जल्दी बराबरी कर लेगी? और क्या यह मॉडल आपको पसंद आया?
00:10:36मुझे नीचे कमेंट्स में बताएं। जब आप वहाँ हों, तो सब्सक्राइब करें। और हमेशा की तरह, अगले वीडियो में मिलते हैं।