अपना पहला AI Eval कैसे लिखें - सैलीएन डेलुसिया, Arize AI

하이라이트

• सॉफ़्टवेयर यूनिट टेस्ट के विपरीत LLM एजेंटों में एकाधिक मान्य आउटपुट होते हैं, जिसके कारण ट्रेसेज़ AI के लिए लॉग और ईवेल्स वास्तविक परीक्षण बनते हैं।

• LLM-as-a-judge एक समय में केवल एक ही मानदंड का मूल्यांकन करने पर सबसे सटीक प्रदर्शन देता है।

• निर्णय मॉडल (Decision Models) LLM जजों की तुलना में सस्ते और तेज़ होते हैं, लेकिन वे स्पष्टीकरण दिए बिना केवल संभावना और लेबल लौटाते हैं।

• Arize के आंतरिक AI एजेंट एलेक्स का मूल्यांकन शुरू में केवल कुछ बुनियादी मानकों से हुआ था, जो अब बढ़कर 32 सक्रिय ईवेल्स तक पहुँच चुका है।

• ईवल पाइपलाइन की शुरुआत 20 ट्रेसेज़, एक मूल्यांकन आयाम और एक समर्पित जज के साथ पुनरावृत्ति करके करनी चाहिए।

타임라인

1. 00:00 - 03:57

   वाइब चेक की सीमाएं और ईवेल्स की आवश्यकता

   अनौपचारिक परीक्षण या 'वाइब चेक' पर निर्भर रहने से किसी प्रॉम्प्ट को शिप करने के बाद नए टूटने वाले यूज़-केस का सटीक कारण पता नहीं चलता। सॉफ़्टवेयर कोड का आंतरिक लॉजिक पठनीय होता है, लेकिन एजेंट का लॉजिक केवल उसके निष्पादन ट्रेसेज़ में दिखाई देता है। यात्रा योजना जैसे परिदृश्यों में बजट और दिन-प्रतिदिन के यात्रा कार्यक्रम के कई वैध रूप हो सकते हैं, जिन्हें पारंपरिक यूनिट टेस्ट नहीं पकड़ सकते।

   • प्रॉम्प्ट में बदलाव के बाद बिना ईवेल्स के रिग्रेशन (गिरावट) और मॉडल संस्करणों के प्रदर्शन की वस्तुनिष्ठ तुलना असंभव है।
   • पारंपरिक सॉफ़्टवेयर यूनिट परीक्षण निश्चित इनपुट-आउटपुट पर काम करते हैं, जबकि AI एजेंटों के कई मान्य परिणाम होते हैं।
   • ईवेल्स लागू करने के लिए सिस्टम का पूर्ण अवलोकन (observability) और ट्रेसेज़ अनिवार्य आधार हैं।
2. 03:57 - 07:29

   ट्रेस संरचना और ईवल के प्रमुख प्रकार

   मल्टी-एजेंट प्रणालियों में एक रूट स्पैन के तहत रिसर्च एजेंट, टूल कॉल और डेटा संक्षेपण के अलग-अलग स्पैन शामिल होते हैं। मूल्यांकन के प्रमुख रूपों में एलएलएम जज, निर्णय मॉडल, कोड-आधारित सत्यापन (ROUGE/BLEU), एनोटेशन और एजेंट-एज़-ए-जज शामिल हैं। विकास के शुरुआती चरण में बने चार प्रमुख ईवल प्रकारों को उत्पादन चक्र तक लगातार उपयोग किया जा सकता है।

   • ट्रेस किसी एजेंट द्वारा उपयोगकर्ता के अनुरोध को पूरा करने के लिए उठाए गए सभी व्यक्तिगत चरणों (spans) का संग्रह है।
   • LLM-as-a-judge ग्रेड के साथ स्पष्टीकरण प्रदान करता है, जबकि निर्णय मॉडल केवल तेज़ और सस्ता आउटपुट लेबल देते हैं।
   • कोड-आधारित ईवेल्स JSON संरचना जाँचने और विशिष्ट शब्दों की अनुपस्थिति जैसे नियतात्मक परीक्षणों के लिए उपयुक्त हैं।
3. 07:29 - 18:49

   Arize प्लेटफ़ॉर्म सेटअप और ट्रेस डेटा विश्लेषण

   ट्रैवल एजेंट डेमो प्रोजेक्ट में उपयोगकर्ता गंतव्य, बजट और यात्रा प्राथमिकताओं का अनुरोध भेजता है। ट्रेस ट्री में नीचे जाने पर पता चलता है कि पहला LLM कॉल टूल का चयन करता है, टूल मौसम या स्थान डेटा लाता है, और दूसरा LLM कॉल उस डेटा को संक्षेपित करता है। पूरे आर्किटेक्चर का लचीलापन यह तय करता है कि रूट नोड खुद निर्णय ले रहा है या स्वतंत्र मॉड्यूलर सब-एजेंटों को काम सौंप रहा है।

   • Arize विभिन्न AI प्रदाताओं (OpenAI, Anthropic, Gemini) के साथ API कुंजी जोड़कर सीधे मूल्यांकन का समर्थन करता है।
   • रूट स्पैन में पैरेंट आईडी शून्य होती है, जहाँ प्रारंभिक इनपुट और अंतिम आउटपुट संग्रहीत रहते हैं।
   • OpenInference ट्रेसिंग पैकेज के माध्यम से सिस्टम बिना किसी विशेष एजेंटिक फ़्रेमवर्क की बाध्यता के काम करता है।
4. 18:49 - 25:22

   सटीक मूल्यांकन मानदंड तैयार करने की विधि

   अस्पष्ट विशेषणों के आधार पर प्रॉम्प्ट लिखने से एलएलएम जज अस्थिर परिणाम देते हैं। एक साथ कई जटिल शर्तें केवल निर्णय मॉडल या एजेंट-एज़-ए-जज संभाल पाते हैं। शुरुआत बुनियादी उपयोग-मामलों जैसे QA शुद्धता या मतिभ्रम (hallucination) के आउट-ऑफ-द-बॉक्स टेम्प्लेट से की जा सकती है, जिन्हें बाद में आवश्यकतानुसार विशिष्ट बनाया जाता है।

   • 'सटीक' या 'सहायक' जैसे अस्पष्ट शब्दों के बजाय 'बजट के भीतर' या 'दिनों की संख्या का मिलान' जैसे ठोस मानदंड आवश्यक हैं।
   • प्रति ईवल केवल एक गुण या मानदंड का मूल्यांकन करने से एलएलएम जज की शुद्धता अधिकतम रहती है।
   • पास और फेल के लिए कम से कम तीन स्पष्ट बुलेट पॉइंट लिखने से एलएलएम प्रॉम्प्ट को सटीक संदर्भ मिलता है।
5. 25:22 - 32:08

   प्रॉम्प्ट प्लेग्राउंड में ईवल निर्माण और परीक्षण

   फ़िल्टर किए गए स्पैन को डेटासेट में लोड करके प्रॉम्प्ट प्लेग्राउंड में टेस्ट किया जाता है। प्रॉम्प्ट की शुरुआत एलएलएम को उसकी केंद्रीय भूमिका (जैसे आउटपुट सटीकता का परीक्षक) सौंपने से होती है। gpt-4o-mini जैसे मॉडल पर टेस्ट रन चलाकर परिणामों और स्पष्टीकरणों की समीक्षा की जाती है, और सहमति बनने पर इवैल्यूएटर को पूरे प्रोजेक्ट के लिए सहेज दिया जाता है।

   • मूल्यांकन के लिए लक्षित स्पैन को रूट आईडी या टूल नाम से फ़िल्टर करके डेटासेट में सहेजा जाता है।
   • वेरिएबल मैपिंग की मदद से प्रॉम्प्ट को बदले बिना अलग-अलग डेटासेट विशेषताओं से जोड़ा जा सकता है।
   • ईवल केवल एक लेबल (जैसे True/False या आंशिक रूप से सही) और उसके निर्णय का स्पष्टीकरण लौटाता है।
6. 32:08 - 35:18

   ऑनलाइन ईवेल्स और संपूर्ण जीवनचक्र प्रबंधन

   उत्पादन चक्र में सिग्नल और प्रबंधित एजेंट स्वचालित रूप से ट्रेसेज़ की विसंगतियों को ठीक करने में मदद करते हैं। उत्पाद, इंजीनियरिंग, सुरक्षा और डोमेन विशेषज्ञों जैसे सभी हितधारकों को सफलता की परिभाषा तय करने में शामिल होना चाहिए। शुरुआत 20 ट्रेसेज़ के छोटे डेटासेट और एक जज से करके धीरे-धीरे पूरे ऑनलाइन मॉनिटरिंग सिस्टम का विस्तार किया जाता है।

   • एलाइनमेंट प्रक्रिया में मानवीय एनोटेशन के साथ एलएलएम जज के परिणामों का मिलान करके प्रॉम्प्ट परिष्कृत किया जाता है।
   • ऑनलाइन ईवेल्स हर नए ट्रेस के उत्पादन में आते ही स्वचालित रूप से उसका मूल्यांकन और स्कोर पोस्ट करते हैं।
   • मेट्रिक्स सिस्टम में खराबी की सूचना देते हैं, जबकि ईवेल्स विफलता के सटीक कारण की पहचान करते हैं।