अपने vLLM कॉन्फ़िगरेशन का अनुमान लगाना बंद करें: रनपॉड पर LLM की बेंचमार्किंग - क्रिस वेला, रनपॉड
원제 · Stop Guessing Your vLLM Config: Benchmarking LLMs on Runpod - Chris Vela, Runpod
핵심 요약
रನ್पॉड पर बेंचपॉड टेम्पलेट और व्यवस्थित बेंचमार्किंग का उपयोग करके एलएलएम कॉन्फ़िगरेशन का अनुमान लगाने की प्रक्रिया को डेटा-संचालित प्रोडक्शन वर्कफ़्लो में बदला जा सकता है।
하이라이트
रನ್पॉड (RunPod) अनुसंधान से लेकर सर्वरलेस प्रोडक्शन वर्कफ़्लो तक जीपीयू चलाना आसान बनाता है।
बेंचपॉड (BenchPod) एक नया टेम्पलेट है जो वीएलएम (VLM) के लिए एक पूरी मीट्रिक प्रणाली को केंद्रीकृत करता है।
किम्मी के3 (Kimi K3) जैसे बड़े मॉडल को चलाने पर वजन डाउनलोड होने और जीपीयू में लोड होने में लगभग 30 मिनट का समय लगता है।
बैच टोकन की संख्या बढ़ाने से इनर टोकन लेटेंसी काफी कम हो जाती है और जॉब तेजी से पूरा होता है।
타임라인
वीएलएम बेंचमार्किंग और उत्पादन की चुनौतियाँ
नए मॉडल आने पर उपयोगकर्ताओं को उन्हें चालू करने और सही नॉब्स को एडजस्ट करने में संघर्ष करना पड़ता है। केवल बेस रेसिपी का उपयोग करने के बजाय डेटा के साथ यह साबित करना जरूरी है कि कॉन्फ़िगरेशन बेहतर ढंग से काम कर रहा है। सही संस्करण न होने पर त्रुटियां और मतिभ्रम की समस्याएं सामने आती हैं।
- लोग अक्सर वीएलएम को प्रोडक्शन में ले जाते समय बुनियादी कॉन्फ़िगरेशन का उपयोग करते हैं और अनुमान लगाते हैं।
- सही संस्करण और कॉन्टेक्स्ट विंडो का आकार चुनना अत्यंत महत्वपूर्ण है।
बेंचपॉड और लाइव मेट्रिक्स प्रणाली
बेंचपॉड एक केंद्रीकृत मीट्रिक प्रणाली प्रदान करता है जो कॉन्फ़िगरेशन बदलने और रीस्टार्ट करने के समय को बचाता है। इसमें फास्ट एपीआई एप्लिकेशन और ऑटो-रिकवरी की सुविधा होती है, जिससे सिस्टम में खराबी आने पर भी आंतरिक उपयोगकर्ता बिना किसी समस्या के काम जारी रख सकते हैं।
- बेंचपॉड एक आगामी टेम्पलेट है जो वीएलएम ओपनएबीआई डॉकर इमेज पर आधारित है।
- यह लाइव मेट्रिक्स और वॉचडॉग के माध्यम से स्वतः ठीक होने की क्षमता प्रदान करता है।
बेंचमार्क परीक्षण और प्रदर्शन अनुकूलन
डेमो के दौरान बैच टोकन की अधिकतम संख्या में बदलाव करके स्पीड का परीक्षण किया जाता है। परिणामों से पता चलता है कि बैच टोकन बढ़ाने से लंबे जॉब बहुत तेजी से पूरे होते हैं, जिन्हें एजेंटों और मल्टी-नोड क्लस्टर में आसानी से लागू किया जा सकता है।
- बेंचमार्क परीक्षण 1 से लेकर 192 समवर्ती उपयोगकर्ताओं तक चलाए जाते हैं।
- बैच टोकन बढ़ाने से अनुरोधों की आंतरिक टोकन लेटेंसी कम हो जाती है।
उत्पादन वर्कफ़्लो और भविष्य की दिशा
उत्पादन प्रक्रिया को सरल बनाने के लिए सही जीपीयू मशीन चुनकर और विभिन्न मेट्रिक्स के आधार पर ऑप्टिमाइज़ करके विजेता को शिप किया जाता है। इसके अलावा, एआई गवर्नेंस और स्मार्ट राउटर भविष्य की मुख्य दिशाएं हैं जिन पर काम किया जा रहा है।
- आर एंड डी से प्रोडक्शन तक जाने के लिए पॉड चुनकर, मॉडल की तुलना करके और परीक्षण करना आवश्यक है।
- हर कार्य के लिए सबसे बड़े फ्रंटियर मॉडल की जगह उपयुक्त आकार के मॉडल का चयन करना समझदारी है।
설명
Most teams spin up a new open model with the default vLLM recipe and hope for the best. Runpod forward-deployed engineer Chris Vela shows how to choose configs from data instead, starting with the use case and concurrency, and demos BenchPod, a benchmarking dashboard built on vLLM that tests configs live without restarts. He runs Kimi K3 on a B300, shows how tuning max batch tokens cuts inter-token latency, and asks whether you need a frontier model at all. Chapters: 0:00 Intro 0:29 What Runpod does 1:32 Everyone's guessing at vLLM configs 2:53 Version and CUDA gotchas 3:48 BenchPod: benchmarking on top of vLLM 6:07 Running Kimi K3 on a B300 7:40 Demo 10:01 Tuning max batch tokens 13:34 From R&D to production 14:21 Do you need the frontier model? Chris Vela https://www.runpod.io Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!