मैंने 7 AI एजेंट्स को एक ही Swift चैलेंज दिया। परिणाम बहुत भयानक थे!
원제 · I Gave 7 AI Agents the Same Swift Challenge. It Was BRUTAL!
핵심 요약
Swift डेवलपमेंट में अधिकांश AI मॉडल्स विफल हो रहे हैं, लेकिन Claude 3.7 Sonnet और Gemini 2.0 (Xcode के माध्यम से) वर्तमान में सबसे विश्वसनीय विकल्प बनकर उभरे हैं।
하이라이트
AI कोडिंग मॉडल्स में Swift के लिए डेटा गैप, API ड्रिफ्ट और बेंचमार्किंग बायस जैसी तीन मुख्य बाधाएं हैं।
Claude 3.7 Sonnet ने पहली बार में ही पूरी तरह से फंक्शनल और सुंदर 'Dogtinder' ऐप बनाकर सर्वश्रेष्ठ प्रदर्शन किया।
Gemini 2.0 Pro का प्रदर्शन टूल के आधार पर भिन्न रहा; Xcode AI असिस्टेंट के साथ इसने बेहतरीन रिज़ल्ट दिए।
GPT-4.5 बिना बाहरी मदद के पूरा प्रोजेक्ट पैकेज बनाने वाला पहला मॉडल था, हालांकि डिजाइन में कुछ खामियां थीं।
Qwen 2.5, Grok और GLM 5 जैसे मॉडल्स Swift कोडिंग और प्रोजेक्ट स्ट्रक्चर बनाने में बुरी तरह विफल रहे।
अध्ययनों से पता चलता है कि GPT और Claude जैसे दिग्गज मॉडल्स भी पायथन की तुलना में Swift में लगातार कम स्कोर करते हैं।
타임라인
Swift कोडिंग में AI की विफलता के कारण
वीडियो की शुरुआत इस समस्या से होती है कि AI मॉडल्स वेब ऐप्स के लिए तो अच्छे हैं, लेकिन Swift के मामले में विफल हो जाते हैं। वक्ता तीन मुख्य बाधाओं का उल्लेख करते हैं: प्रोफेशनल Swift कोड का प्राइवेट होना (डेटा गैप), Apple के API में होने वाले तेज़ बदलाव (API ड्रिफ्ट), और बेंचमार्क का पायथन पर केंद्रित होना। 'HumanEval' जैसे टेस्ट्स iOS UI की जटिलताओं को नहीं मापते, जिससे मॉडल्स की वास्तविक क्षमता का पता नहीं चलता। यह खंड स्पष्ट करता है कि क्यों आधुनिक मॉडल्स पुराने नियमों का उपयोग करते हैं जो लेटेस्ट Xcode में काम नहीं करते।
चैलेंज का परिचय और 'Dogtinder' ऐप
वक्ता सभी 7 AI एजेंटों के लिए एक समान कोडिंग चुनौती निर्धारित करते हैं, जिसे 'Dogtinder' नाम दिया गया है। यह ऐप 'Dog CEO API' का उपयोग करके कुत्तों की तस्वीरें दिखाता है और इसमें टिंडर जैसा स्वाइप फीचर होना चाहिए। चुनौती में स्वाइप एनीमेशन, मैचिंग सिस्टम और एक फंक्शनल चैट इंटरफेस बनाना शामिल है ताकि मॉडल्स की वास्तविक कोडिंग क्षमता को परखा जा सके। यह प्रोजेक्ट सरल दिखता है लेकिन इसमें नेटिव Swift एनीमेशन जैसी जटिल तकनीकी चुनौतियां छिपी हुई हैं।
Qwen 2.5 और Grok का निराशाजनक प्रदर्शन
सबसे पहले Qwen 2.5 Coder का परीक्षण किया गया, जो प्रोजेक्ट फाइलें तक नहीं खोल सका और उसका UI बहुत ही पुराना और अधूरा था। इसके बाद Grok 'Code Fast' मॉडल ने भी वैसी ही त्रुटियाँ दिखाईं और उपयोगकर्ता को मैन्युअल रूप से कोड कॉपी करने के निर्देश दिए। हालांकि Grok की चैट फंक्शनलिटी काम कर रही थी, लेकिन इसका डिज़ाइन बेहद खराब था और इसमें मैच सेक्शन गायब था। वक्ता इन दोनों मॉडल्स को 'फेलिंग ग्रेड' के करीब रखते हैं क्योंकि इन्हें बार-बार प्रॉम्प्ट देने की ज़रूरत पड़ी।
Kimi k2.5 और Gemini 2.0 Pro का परीक्षण
Kimi k2.5 ने पिछले मॉडल्स से बेहतर प्रदर्शन किया और एक ऐसा ऐप बनाया जो वास्तव में टिंडर जैसा दिखता था, हालांकि इसके एनीमेशन काफी बग्गी थे। Gemini 2.0 Pro का मामला दिलचस्प था क्योंकि इसके अपने CLI ने खराब परिणाम दिए, लेकिन Xcode AI असिस्टेंट के माध्यम से इसने पहली बार में ही एक अद्भुत ऐप बना दिया। Gemini के इस वर्ज़न में एक सुंदर लोगो, सटीक डिज़ाइन और बेहतरीन फंक्शनलिटी शामिल थी। वक्ता इस बात पर हैरानी जताते हैं कि एक ही मॉडल अलग-अलग टूल्स के साथ इतने भिन्न परिणाम कैसे दे सकता है।
GPT-4.5 और विजेता Claude 3.7 Sonnet
GPT-4.5 बिना किसी मदद के पूरा प्रोजेक्ट पैकेज बनाने वाला पहला मॉडल बना, हालांकि इसमें इमेज फिटिंग और नीरस नीले रंग की थीम जैसी डिज़ाइन समस्याएँ थीं। अंत में, Claude 3.7 Sonnet ने अपने 'Claude Code CLI' के साथ इस चुनौती को पूरी तरह से जीत लिया। इसने बिना किसी पूर्व सेटअप के एक अत्यंत खूबसूरत, सुचारू एनीमेशन वाला और पूरी तरह फंक्शनल ऐप तैयार किया। वक्ता Claude के प्रदर्शन को अविश्वसनीय बताते हैं और इसे लीडरबोर्ड पर पहले स्थान पर रखते हैं।
बोनस: GLM 5 का टेस्ट और अंतिम निष्कर्ष
वीडियो के अंत में GLM 5 मॉडल का विश्लेषण किया गया है, जो Claude को टक्कर देने का दावा करता है लेकिन Swift चैलेंज में बुरी तरह विफल रहा। यह इमेज लोड करने में असमर्थ रहा और इसमें स्वाइप फंक्शनलिटी भी काम नहीं कर रही थी, जिससे इसे Qwen के पास रखा गया। निष्कर्ष में वक्ता सुझाव देते हैं कि भविष्य में हमें भाषा-विशिष्ट (Language-Specific) AI मॉडल्स की आवश्यकता हो सकती है। वे iOS डेवलपर्स को बेहतर परिणामों के लिए Xcode के आंतरिक AI टूलिंग का उपयोग करने की सलाह देते हैं।
설명
In this video, we put 7 of the world's most popular AI coding agents (including giants like Opus 4.6, GPT-5.3, and the new GLM-5) through a brutal "Dog Tinder" challenge to see if they can actually build a native Swift iOS app. We dive deep into the technical "Swift Problem," explaining why even the smartest models struggle with Apple’s closed ecosystem, API drift, and the massive data gap in private repositories. Discover which model aced the test on the first try and why you might need a different AI strategy for mobile development than you do for the web. ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 Intro 00:50 Why AI Struggles with Swift 01:16 The 3 Major Bottlenecks 02:32 The Challenge: Dog Tinder 03:08 6th Place: The Worst Performer 04:38 Xcode's New AI Assistant 05:44 5th Place 06:58 4th Place 08:28 3rd Place 09:45 Gemini’s Xcode Surprise 10:38 2nd Place 11:57 1st Place: The Best AI Agent For iOS Dev 13:14 Bonus: Adding A New Agent Into The Mix 15:02 The Final Verdict 15:47 Summary & Outro