AI कोड रिव्यू एजेंट कैसे बनाएं - दक्ष गुप्ता, ग्रेप्टाइल
원제 · How to Build an AI Code Review Agent - Daksh Gupta, Greptile
핵심 요약
स्वयं का एआई कोड समीक्षा एजेंट बनाते समय, प्रॉम्प्ट ऑप्टिमाइज़ेशन, मॉडल इनवर्शन, ज्ञान आधार और सैंडबॉक्स परीक्षण का उपयोग करने से संचालन लागत कम होती है और बग पकड़ने की सटीकता में सुधार होता है.
하이라이트
ग्रेप्टाइल हर दिन हजारों कंपनियों की सेवा करता है और GitHub के सभी पुल रिक्वेस्ट का लगभग 1% संसाधित करता है.
कोडिंग एजेंटों का उपयोग करके पुल रिक्वेस्ट की समीक्षा करने पर प्रति अनुरोध लागत तीन डॉलर से पच्चीस डॉलर तक होती है.
क्लॉउड मॉडल जीपीटी मॉडल की तुलना में लगभग तीन गुना अधिक वन-ऑफ़ त्रुटियां उत्पन्न करते हैं.
कोड लिखने वाले मॉडल से भिन्न मॉडल का उपयोग करके समीक्षा करने से बग पकड़ने की दर दस प्रतिशत बढ़ जाती है.
कोड बेस में विनाशकारी बग हर एक हजार पुल रिक्वेस्ट या हर एक हजार लाइनों में से केवल एक में होते हैं.
타임라인
ग्रेप्टाइल का पैमाना और मुख्य क्षमताएं
यह प्रणाली कोड-आधारित संदर्भ, निर्भरता-समृद्ध सैंडबॉक्स में कोड का निष्पादन और कुशल इन्फ्रेंस बजट आवंटन के माध्यम से बग, तार्किक त्रुटियों और कोड गुणवत्ता संबंधी चिंताओं को सामने लाती है.
- ग्रीप्टाइल हर दिन हजारों कंपनियों के लिए कोड बेस के पूर्ण संदर्भ के साथ पुल रिक्वेस्ट की समीक्षा और परीक्षण करता है.
- यह प्लेटफ़ॉर्म GitHub के सभी पुल रिक्वेस्ट का लगभग 1% संभालता है जिसमें एनवीआईडीआई का CUDA और कॉинबेस का वॉलेट कोड बेस शामिल है.
कस्टम समीक्षा एजेंट बनाने में आने वाली शुरुआती समस्याएं
कोडिंग एजेंट स्वचालित रूप से समीक्षा टिप्पणियों को हल करते समय अत्यधिक डिफेंसिव कोड लिख देते हैं. इसके अलावा, छोटी-मोटी नुक्ताचीनी भरी टिप्पणियां डेवलपर्स को परेशान करती हैं और कोडबेस को प्रभावित करती हैं.
- प्रारंभिक सेटअप में फायरक्रैकर सैंडबॉक्स, ओपनसोर्स हार्नेस और GitHub वेबहुक का उपयोग करके पुल रिक्वेस्ट सामग्री को एजेंट तक पहुंचाना शामिल है.
- बुनियादी सेटअप के उपयोग से कई बग छूट जाते हैं, संदर्भ की कमी होती है और प्रति पुल रिक्वेस्ट लागत तीन से पच्चीस डॉलर तक पहुंच जाती है.
प्रॉम्प्ट ऑप्टिमाइज़ेशन और ऐतिहासिक डेटासेट का उपयोग
विनाशकारी बग हर एक हजार पुल रिक्वेस्ट में से केवल एक में होते हैं, जिससे एजेंट के प्रदर्शन का आकलन करना कठिन हो जाता है. ऐतिहासिक घटनाओं का कैटलॉग बनाकर और उनके माध्यम से नए संस्करण चलाकर इस सीमा को पार किया जाता है.
- प्रॉम्प्ट को विशिष्ट बग प्रकारों की तलाश करने और छोटी-मोटी कमियों को स्पष्ट रूप से छोड़ने के लिए कॉन्फ़िगर किया जाना चाहिए.
- अतीत में आउटेज पैदा करने वाले ऐतिहासिक पुल रिक्वेस्ट के डेटासेट पर एजेंट का परीक्षण करने से प्रॉम्प्ट ट्यूनिंग में सटीकता मिलती है.
मॉडल इनवर्शन और मॉडल विफलता के पैटर्न
समान मॉडल का उपयोग करके उसी के द्वारा लिखे गए कोड की समीक्षा करने से कम बग पकड़े जाते हैं क्योंकि वे समीक्षा के दौरान भी उसी तरह विफल होते हैं. शाखा के नामों और टेलीमेट्री के माध्यम से मॉडल के हस्ताक्षर की पहचान करके मॉडल इनवर्शन लागू किया जाता है.
- क्लॉउड मॉडल जीपीटी मॉडल की तुलना में लगभग तीन गुना अधिक वन-ऑफ़ त्रुटियां उत्पन्न करते हैं, जबकि जीपीटी मॉडल ऑथ बायपास अधिक उत्पन्न करते हैं.
- कोड लिखने वाले मॉडल से भिन्न मॉडल का उपयोग करके समीक्षा करने से बग पकड़ने की दर दस प्रतिशत बढ़ जाती है.
सटीक संदर्भ और ज्ञान आधार का महत्व
ऑथ बायपास जैसी जटिल समस्याओं को पकड़ने के लिए कोड-आधारित संदर्भ आवश्यक है. जिरिया, लिनियर और कॉन्फ्लुएंस जैसे स्रोतों से ट्राइबल नॉलेज को एकीकृत करने से एजेंट अनावश्यक फाइलें पढ़े बिना सटीक निर्णय लेता है.
- पारंपरिक GREP अत्यधिक अस्पष्ट और महंगा है, जो कोडिंग एजेंटों के अधिकांश टोकन की खपत करता है.
- दस्तावेज़ों, टिकटों और कोडबेस इंडेक्स से एक आंतरिक ज्ञान आधार बनाने से संदर्भ सटीकता में सुधार होता है.
स्वायत्त परीक्षण और इन्फ्रेंस लागत का अनुकूलन
एप्लिकेशन के सभी प्रवाहों का दस्तावेजीकरण और सरल बिल्ड स्क्रिप्ट एजेंट को वातावरण में स्टैक चालू करने में सक्षम बनाती हैं. उप-कार्यों के लिए विशिष्ट हल्के मॉडलों का उपयोग करने से प्रदर्शन बनाए रखते हुए खर्च कम होता है.
- सैंडबॉक्स और विजन मॉडल का उपयोग करके एंड-टू-एंड यूजर फ्लो का स्वायत्त परीक्षण किया जा सकता है.
- महत्वपूर्ण कार्यों के लिए फ्रंटियर मॉडल और खोजपूर्ण कार्यों के लिए सस्ते मॉडल का उपयोग करने से संचालन लागत में भारी कमी आती है.
설명
Daksh Gupta, co-founder of Greptile, which reviews about 1% of all pull requests on GitHub, shares what Greptile tells companies that want to build their own review agent. Starting from a simple sandbox-plus-webhook setup, he explains why it misses bugs, costs $3-25 per PR and floods you with nitpicks, then walks through the fixes: targeted prompts, a dataset of past incident PRs, model inversion (reviewing Claude-written code with GPT and vice versa catches about 10% more bugs), codebase context and a living wiki, autonomous testing in sandboxes with computer use, and routing cheaper models to most subtasks. Chapters 00:00 Intro: Greptile and why companies build their own 01:22 What makes a great review agent 02:38 The simple version: sandbox, agent, webhook 03:55 What goes wrong 06:02 Fix 1: Better prompts and fewer nitpicks 07:44 Fix 2: A dataset of historical PRs 09:02 Fix 3: Model inversion 11:04 Fix 4: Codebase context 12:36 Docs, tickets and a living wiki 14:26 Fix 5: Autonomous testing with computer use 16:05 Fix 6: Cheaper models for most subtasks Daksh Gupta, Greptile Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!