AI मॉडल को स्वीकृत न करें। ऐप को स्वीकृत करें - डोनेली डी जीसस, लैंगफ्यूज
Original · Don't Approve the AI Model. Approve the App - Doneyli De Jesus, Langfuse
Key Takeaway
विनियमित उद्योगों में एआई मॉडल की जगह संपूर्ण अनुप्रयोगों को स्वीकृत किया जाना चाहिए।
Highlights
विनियमित उद्योगों में सार्वजनिक बेंचमार्क आंतरिक डेटा पर प्रभावी ढंग से लागू नहीं होते हैं।
निवेश बैंकरों के लिए 10K विश्लेषक जैसे अनुप्रयोगों का उत्पादन में परीक्षण करना आवश्यक है।
वित्तीय क्षेत्र में समाधानों के लिए ऑन-प्रिमाइसेस डेटा सेंटर और एयर-गैप तैनाती की आवश्यकता होती है।
गोल्डन डेटासेट और ट्रेसेस का उपयोग करके मॉडल का मूल्यांकन किया जाता है।
गणितीय सटीकता में सुधार के लिए एजेंट को एक पायथन कैलकुलेटर टूल दिया गया था।
विधिक अनुपालन में शून्य या सौ का बाइनरी पैमाना होता है।
Timeline
विनियमित उद्योगों में एआई की चुनौतियाँ
यह खंड इस बात पर चर्चा करता है कि कैसे वित्तीय सेवाएँ और बैंक अपने आंतरिक डेटा और गुप्त तरीकों को सार्वजनिक नहीं करना चाहते हैं। मॉडल की तकनीकी क्षमताओं के बजाय यह महत्वपूर्ण है कि अनुप्रयोग उत्पादन में जा सके और गुणवत्ता मानकों को पार कर सके।
- विनियमित उद्योगों के लिए सार्वजनिक बेंचमार्क प्रासंगिक नहीं होते हैं।
- बैंक अपने डेटा और आंतरिक उपयोग के मामलों के प्रति बहुत संवेदनशील होते हैं।
- निवेश बैंकरों के लिए 10K विश्लेषक आवेदन तैयार किया गया था।
बुनियादी ढांचा और मूल्यांकन आवश्यकताएँ
यहाँ वित्तीय क्षेत्र की तीन मुख्य आवश्यकताओं को रेखांकित किया गया है जिसमें ऑन-प्रिमाइसेस डेटा, इंटरनेट से सुरक्षा और एयर-गैप तैनाती शामिल हैं। परीक्षण के मामलों को संचालित करने के लिए गोल्डन डेटासेट और ट्रेसेस का उपयोग किया जाता है।
- बैंकों को अपने परिसरों में जीपीयू बुनियादी ढांचे की आवश्यकता होती है।
- एप्लिकेशन की तैनाती एयर-गैप होनी चाहिए।
- मूल्यांकन के लिए गोल्डन डेटासेट और ट्रेसेस का उपयोग किया जाता है।
मॉडल सटीकता और टूल एकीकरण
यह खंड बताता है कि मॉडल जानकारी निकालने में अच्छे थे लेकिन वित्तीय संख्याएं देने में विफल हो रहे थे। एक पायथन कैलकुलेटर टूल जोड़ने से मॉडल की संख्यात्मक सटीकता में काफी सुधार हुआ।
- एलएलएम गणितीय गणनाओं में कमजोर होते हैं।
- सटीकता बढ़ाने के लिए एजेंट को एक कैलकुलेटर टूल दिया गया था।
- संख्यात्मक सटीकता 60 प्रतिशत से बढ़कर 95 प्रतिशत हो गई।
बहु-आयामी स्कोरिंग और गेट्स
अंतिम खंड में बहु-आयामी मूल्यांकन और गुणवत्ता मानकों को परिभाषित किया गया है। विधिक अनुपालन जैसी श्रेणियों में एक भी विफलता उत्पादन में जाने से रोक सकती है, जिसके लिए डोमेन विशेषज्ञों की प्रतिक्रिया महत्वपूर्ण होती है।
- निर्धारणात्मक और अनिर्धारणात्मक स्कोर का मिश्रण उपयोग किया जाता है।
- विधिक अनुपालन में बाइनरी पैमाना होता है।
- डोमेन विशेषज्ञों की प्रतिक्रिया से गोल्डन डेटासेट में सुधार होता है।
Description
Doneyli De Jesus, who leads AI engineering solutions at Langfuse by ClickHouse, shares how his team helped a top-five bank put deployment gates on AI agents. Banks don't certify models, they certify applications, and they need setups that are on-premises, gated and air-gapped. He walks through building a golden data set, scoring traces across several dimensions, and how a small model that was 97% grounded but only 60% accurate on numbers cleared the bank's 85% gate once it got a calculator tool. Domain experts set the thresholds and review failures, taking evaluation from weeks to minutes. Chapters: 0:00 Intro 0:41 Banks don't care about public benchmarks 3:01 Certify applications, not models 3:18 On-prem, gated and air-gapped 5:00 Proving an app is ready 6:00 Golden data sets and traces 7:20 Grounded, but bad at math 8:52 Gating the whole workflow 10:34 Building the data set 11:32 Scoring: code, path and LLM judge 13:48 Setting gates with domain experts 15:53 Annotation queues and feedback 17:31 From weeks to minutes Doneyli De Jesus https://langfuse.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!