क्या कोई भी AI इस एजेंट रीडिंग टेस्ट को पास कर सकता है?
원제 · Can ANY AI Pass This Agent Reading Test?
핵심 요약
एजेंट रीडिंग टेस्ट (agentreadingtest.com) यह प्रमाणित करता है कि आधुनिक AI एजेंट अक्सर 80,000 वर्णों से लंबे कोड या जावास्क्रिप्ट आधारित सामग्री को पढ़ने में विफल रहते हैं, जिससे उनके वास्तविक वेब एक्सट्रैक्शन स्कोर में गिरावट आती है।
하이라이트
एजेंट रीडिंग टेस्ट (Agent Reading Test) 10 अलग-अलग वेब पेजों पर छिपे 'कैनरी टोकन' का उपयोग करके AI की वेब पढ़ने की क्षमता का मूल्यांकन करता है।
बॉयलरप्लेट बरियल (Boilerplate Burial) जैसी चुनौतियाँ 80,000 वर्णों के इनलाइन CSS के पीछे वास्तविक सामग्री को छिपाकर AI एजेंटों को भ्रमित करती हैं।
सिंगल-पेज एप्लीकेशन में जावास्क्रिप्ट के चलने तक सामग्री अदृश्य रहती है, जिससे कई AI एजेंट केवल लोडिंग स्पिनर ही देख पाते हैं।
किमी 2.5 (Kimi 2.5) ने इस टेस्ट में 20 में से 13 अंक प्राप्त किए और उसे मुख्य रूप से टैब की गई सामग्री और मार्कडाउन को पढ़ने में कठिनाई हुई।
कुछ AI एजेंट हेडर में रीडायरेक्ट को मैन्युअल रूप से ट्रैक करके अपने स्कोर में 15 से 18 तक की वृद्धि कर लेते हैं, जो उनके मूल रीडिंग टूल की विफलता को छुपाता है।
타임라인
AI एजेंटों की दृश्यता सीमाएं और रीडिंग टेस्ट का परिचय
AI की आंतरिक दृष्टि अक्सर उन वेब पेजों पर बाधित होती है जहाँ डेटा पारंपरिक तरीके से मौजूद नहीं होता है। यह नया टूल अद्वितीय स्ट्रिंग्स या कैनरी टोकन की एक श्रृंखला का उपयोग करता है। यह विधि स्पष्ट रूप से दिखाती है कि एजेंट की पढ़ने की पाइपलाइन वास्तव में कहाँ विफल हो रही है।
- वेब URL दिए जाने पर AI एजेंट अक्सर सामग्री को पूरी तरह पढ़ने का गलत दावा करते हैं।
- एजेंट रीडिंग टेस्ट डैकारी केरी द्वारा डिजाइन किया गया है जो 10 विशिष्ट वेब पेजों का उपयोग करता है।
विशिष्ट विफलता मोड और तकनीकी चुनौतियाँ
बॉयलरप्लेट बरियल टेस्ट में सामग्री को हजारों लाइनों के स्टाइलिंग कोड के बाद रखा जाता है, जिससे छोटे संदर्भ विंडो वाले एजेंट इसे खाली पेज मान लेते हैं। ट्रंकेशन टेस्ट 75k और 130k वर्णों के अंतराल पर टोकन रखकर यह जांचता है कि क्या एजेंट लंबे दस्तावेजों को बीच में ही काट देता है। सिंगल-पेज एप्लीकेशन में सामग्री तभी दिखाई देती है जब जावास्क्रिप्ट सफलतापूर्वक निष्पादित हो जाती है।
- आधुनिक वेब डेवलपमेंट प्रथाएं AI की फेच पाइपलाइनों को भ्रमित कर देती हैं।
- अधूरे मार्कडाउन टैग और भाषा टैब के पीछे छिपी जानकारी AI पार्सर के लिए अदृश्य हो जाती है।
स्कोर मुद्रास्फीति और वर्कअराउंड की समस्या
परीक्षण के दौरान यह देखा गया कि एजेंट वास्तव में मिले 15 टोकन के बजाय 17 या 18 का दावा करते हैं। वे HTTP हेडर में रीडायरेक्ट को नोटिस करते हैं और दूसरे चरण में सीधे नए URL को प्राप्त कर लेते हैं। यह प्रक्रिया मददगार तो है, लेकिन यह इस तथ्य को ढक देती है कि उनका स्वचालित वेब रीडिंग टूल बुनियादी स्तर पर काम नहीं कर रहा है।
- क्लाउड कोड जैसे एजेंट अक्सर वास्तविक प्रदर्शन से अधिक स्कोर का दावा करते हैं।
- एजेंट रीडायरेक्ट को मैन्युअल रूप से फॉलो करके टूटी हुई पाइपलाइन को छुपा सकते हैं।
Kimi 2.5 का लाइव टेस्ट और परिणाम विश्लेषण
किमी 2.5 के परिणामों ने दिखाया कि उसे टैब वाली सामग्री और मार्कडाउन पार्सिंग में सबसे अधिक संघर्ष करना पड़ा। एजेंट द्वारा दिए गए लंबे टेक्स्ट आउटपुट के बजाय केवल कैनरी मार्कर ही वास्तविक प्रदर्शन का सटीक माप देते हैं। यह टेस्ट एक अनुस्मारक है कि उच्च बुद्धिमत्ता के बावजूद AI को सटीक डेटा निष्कर्षण के लिए अभी भी तकनीकी सुधार की आवश्यकता है।
- Kimi 2.5 को टेस्ट पूरा करने में लगभग दो मिनट का समय लगता है।
- 20 में से 13 का स्कोर AI की मतिभ्रम (hallucinations) और वेब शॉर्टकट की प्रवृत्तियों को उजागर करता है।
설명
क्या आपको लगता है कि जब आप अपने AI एजेंट को कोई URL देते हैं, तो वह पूरी तस्वीर देख पाता है? यह वीडियो आधुनिक LLMs को "एजेंट रीडिंग टेस्ट" (Agent Reading Test) के ज़रिए परखता है ताकि उन छिपे हुए फेलियर मोड्स का खुलासा किया जा सके जिनकी वजह से वे ज़रूरी डॉक्यूमेंटेशन को मिस कर देते हैं। "बॉयलरप्लेट बरियल" (Boilerplate Burial) से लेकर "एग्रीएबिलिटी ट्रैप" (Agreeability Trap) तक, हम उन तकनीकी कारणों का विश्लेषण करेंगे कि क्यों सबसे स्मार्ट एजेंट भी आज के मॉडर्न वेब लेआउट के साथ संघर्ष करते हैं। 🔗 संबंधित लिंक एजेंट रीडिंग टेस्ट: [https://agentreadingtest.com/](https://agentreadingtest.com/) ❤️ हमारे बारे में और जानें बेहतर ऑब्जर्वेबिलिटी स्टैक: [https://betterstack.com/](https://betterstack.com/) लिखित ट्यूटोरियल: [https://betterstack.com/community/](https://betterstack.com/community/) उदाहरण प्रोजेक्ट्स: [https://github.com/BetterStackHQ](https://github.com/BetterStackHQ) 📱 सोशल मीडिया Twitter: [https://twitter.com/betterstackhq](https://twitter.com/betterstackhq) Instagram: [https://www.instagram.com/betterstackhq/](https://www.instagram.com/betterstackhq/) TikTok: [https://www.tiktok.com/@betterstack](https://www.tiktok.com/@betterstack) LinkedIn: [https://www.linkedin.com/company/betterstack](https://www.linkedin.com/company/betterstack) 📌 चैप्टर्स: 00:00 AI रीडिंग के साथ समस्या 00:41 एजेंट कैसे फेल होते हैं: आधुनिक वेब की बाधाएं 00:57 चुनौतियाँ: CSS, SPA और टैब्स 02:22 स्कोर इन्फ्लेशन (बढ़ा-चढ़ाकर दिखाए गए स्कोर) से सावधान रहें 03:10 टेस्ट को स्टेप-बाय-स्टेप चलाकर देखना 03:32 केस स्टडी: Kimi 2.5 के परिणाम 04:27 अंतिम विचार