ट्रेडिंग फर्म उसी दिन नए एआई मॉडल कैसे लॉन्च करती है - नोयान टोकगोजोग्लू, ओप्टिवर
원제 · How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver
핵심 요약
ऑप्टिवर तात्कालिक P&L फीडबैक लूप और सख्त ऑन-प्रिमाइसेस सुरक्षा के साथ, एक मॉड्यूलर और सेल्फ-सर्विस एआई प्लेटफॉर्म का संचालन करती है जो नए मॉडलों को उसी दिन उत्पादन में लॉन्च करने में सक्षम बनाता है।
하이라이트
ऑप्टिवर एक मार्केट मेकर ट्रेडिंग फर्म है जो प्रतिदिन 10 मिलियन से अधिक ट्रेड करती है, लाखों उपकरणों की कीमत तय करती है और प्रतिदिन पेटाबाइट्स डेटा संसाधित करती है।
ट्रेडिंग फर्म में फीडबैक लूप अत्यधिक तात्कालिक होता है, जहाँ बदलाव लागू करने के घंटों के भीतर P&L प्रभाव और लाभ या हानि सीधे दिखाई देने लगती है।
सुरक्षा और बौद्धिक संपदा की रक्षा के लिए फर्म का अधिकांश बुनियादी ढांचा ऑन-प्रिमाइसेस है और केवल तीसरे पक्ष के मॉडल अनुमान के लिए ही बाहरी सेवाओं का उपयोग किया जाता है।
टोकन लागत और उपयोग को नियंत्रित करने के लिए MCP टूल सर्च, कैशिंग विशेषताओं और डाइनैमिक मापदंडों का उपयोग करके सिस्टम को अनुकूलित किया गया है।
उपयोगकर्ताओं की उच्च एजेंसी और आवश्यकताओं को पूरा करने के लिए कंपनी ने एक आंतरिक वेब पोर्टल और एजेंट वर्कबेंच विकसित किया है जहाँ सत्रों और एजेंटों का प्रबंधन किया जाता है।
타임라인
ऑप्टिवर में एआई और ट्रेडिंग का संदर्भ
वक्ता ऑप्टिवर के व्यावसायिक मॉडल का परिचय देता है जो पारंपरिक उपभोक्ता-सामने वाली तकनीक से भिन्न है। बैलेंस शीट को हर दिन शून्य किया जाता है और दिन के अंत में अर्जित लाभ को देखा जाता है। इससे एआई को स्केल करने और निर्णय लेने की प्रक्रिया पर सीधा प्रभाव पड़ता है।
- फर्म प्रतिदिन 10 मिलियन से अधिक ट्रेड करती है और पेटाबाइट्स डेटा संसाधित करती है।
- पारंपरिक तकनीकी कंपनियों के विपरीत, ट्रेडिंग फर्म में फीडबैक लूप घंटों के भीतर P&L प्रभाव दिखा देता है।
- अवसर की हानि काफी महंगी हो सकती है जिसके लिए तुरंत और प्रभावी निर्णय लेने की आवश्यकता होती है।
एआई प्लेटफॉर्म के मुख्य सिद्धांत और बुनियादी ढांचा
यह खंड एआई प्लेटफॉर्म की वास्तुकला को रेखांकित करता है। इसमें तीसरे पक्ष के मॉडल, ओपन-सोर्स मॉडल और आंतरिक रूप से होस्ट किए गए बुनियादी ढांचे का एक संयोजन शामिल है। ट्रेडर्स और क्वांट्स के लिए सेल्फ-सर्विस और अच्छे डिफ़ॉल्ट प्रदान करना इस वास्तुकला का मुख्य हिस्सा है।
- प्लेटफॉर्म को तेजी से आगे बढ़ने और मॉड्यूलर होने के सिद्धांतों के आधार पर बनाया गया है।
- विनियमित उद्योग और आईपी सुरक्षा के कारण अधिकांश बुनियादी ढांचा और जीपीयू ऑन-प्रिमाइसेस हैं।
- स्टैक की हर परत के लिए जवाबदेही तय की गई है जिसमें मॉडल, इन्फ्रेंस गेटवे, एजेंट प्लेटफॉर्म और वेब इंटरफेस शामिल हैं।
नए मॉडलों का उसी दिन लॉन्च और मूल्यांकन
उत्पादन प्रवाह में नए मॉडलों को तेजी से एकीकृत करने की प्रक्रिया का वर्णन किया गया है। आंतरिक बेंचमार्क यह निर्धारित करने में मदद करते हैं कि क्या कोई नया मॉडल विशिष्ट उपयोग के मामलों के लिए मूल्यवान है या नहीं।
- नया फ्रंटियर मॉडल आने पर उसे गोल्डन सेट पर बेंचमार्क किया जाता है ताकि उसकी उपयोगिता तुरंत जाँची जा सके।
- वैश्विक स्तर पर चौबीसों घंटे सहायता सुनिश्चित करने के लिए विभिन्न क्षेत्रों में सपोर्ट रोटेशन मौजूद हैं।
- विभिन्न क्लाउड प्रदाताओं और ऑन-प्रिमाइसेस जोन में उपलब्धता बनाए रखने के लिए मॉडल और हार्नेस के मामले में अग्नॉस्टिक दृष्टिकोण अपनाया गया है।
टोकन लागत नियंत्रण और ऑप्टिमाइजेशन
बढ़ते खर्च को नियंत्रित करने के लिए विभिन्न तकनीकी सुधार और ऑप्टिमाइजेशन किए गए हैं। कॉन्टेक्स्ट विंडो और टोकन उपयोग को सुव्यवस्थित करके उच्च रिटर्न और बेहतर लागत प्रबंधन प्राप्त किया जाता है।
- अत्यधिक टोकन खपत को नियंत्रित करने के लिए MCP टूल सर्च और कैशिंग विशेषताओं को लागू किया गया है।
- टीमें अपने स्वयं के अलर्ट और सीमाएं स्वयं निर्धारित करती हैं जिससे खर्च प्रभावी रूप से प्रबंधित होता है।
- लागत दक्षता बढ़ाने के लिए ओपन-सोर्स मॉडल और मॉडल रूटिंग का भी उपयोग किया जाता है।
उपयोगकर्ताओं के साथ जुड़ना और भविष्य का दृष्टिकोण
अंतिम भाग में उपयोगकर्ताओं की उच्च एजेंसी का उल्लेख किया गया है जो कस्टम समाधान खुद बना लेते हैं, इसलिए उनके लिए एक बेहतर केंद्रीकृत प्रणाली प्रदान की गई है। सत्र प्रबंधन और मल्टी-एजेंट सहयोग के माध्यम से उत्पादकता को और अधिक बढ़ाया जा रहा है।
- कंपनी ने एक आंतरिक वेब पोर्टल और एजेंट वर्कबेंच बनाया है जो सत्रों और सहयोगात्मक दस्तावेज़ संपादन की अनुमति देता है।
- जटिल समस्याओं के समाधान के लिए मल्टी-एजेंट ऑर्केस्ट्रेशन और लेजर-आधारित प्रणालियों का उपयोग किया जा रहा है।
- इंजीनियरिंग रोडmap और मॉड्यूलर प्लेटफॉर्म के माध्यम से फर्म अपनी विकास गति को लेकर आश्वस्त महसूस करती है।
설명
At Optiver, a change rolled out to traders shows up in P&L within hours, so AI has to move fast and still be measurable. Noyan Tokgozoglu, head of AI Engineering, walks through Optiver's on-prem AI platform: an inference gateway for routing and budgets, same-day adoption of new frontier models benchmarked on internal golden sets, a model- and harness-agnostic "meta harness", and how they got AI spend back under control after the summer's big model releases. Chapters: 0:00 Intro 0:22 What a market maker does 1:00 Feedback in hours, not quarters 2:53 Platform principles 5:11 The AI platform stack 7:06 Shipping frontier models the same day 8:31 Staying model and harness agnostic 9:53 Getting AI spend under control 13:54 Meeting users where they are 16:11 Q&A Noyan Tokgozoglu https://optiver.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!