Wie man einen KI-Code-Review-Agenten baut - Daksh Gupta, Greptile

하이라이트

• Das Unternehmen Greptile verarbeitet rund 1 % aller Pull Requests auf GitHub und unterstützt Tausende von Kunden, darunter NVIDIA und Coinbase.

• Der Betrieb eines unoptimierten KI-Code-Review-Agenten kostet zwischen 3 und 25 US-Dollar pro Pull Request.

• Etwa 1 von 1.000 Pull Requests oder Zeilen Code enthält einen katastrophalen Bug.

• Claude-Modelle weisen eine dreimal höhere Anfälligkeit für Off-by-One-Fehler auf als GPT-Modelle.

• Durch den Wechsel auf ein anderes Modell beim Code-Review steigt die Erkennungsrate von Fehlern um 10 %.

• Die Zuweisung spezifischer Aufgaben an unterschiedliche Inferenzbudgets und Modellgrößen senkt die Betriebskosten drastisch.

타임라인

1. 00:13 - 02:16

   Einführung in KI-Code-Review und Greptile

   Das Unternehmen verarbeitet einen signifikanten Anteil aller GitHub Pull Requests für diverse Tech-Giganten. In seltenen Fällen von sehr spezialisierten Kundenbedürfnissen unterstützt Greptile den internen Eigenbau, um wertvolles Fachwissen zu gewinnen. Die Plattform kombiniert tiefes Code-Verständnis mit ausgeführten Tests und einer optimierten Verteilung der Inferenzkosten.

   • Greptile entwickelt Agenten zur Überprüfung und zum Testen von Pull Requests mit vollem Kontext der Codebasis.
   • Das System deckt Bugs, logische Fehler und Qualitätsprobleme auf, insbesondere bei KI-generiertem Code.
   • Unternehmen mit extrem spezialisierten Anforderungen wird oft beim Eigenbau eines Review-Agenten geholfen.
   • Drei Kernbereiche zeichnen das Produkt aus: codebasierter Kontext, Sandbox-Ausführung und effiziente Inferenz-Allokatoren.
2. 02:36 - 04:46

   Die ersten Schritte beim Eigenbau eines Review-Agenten

   Wer einen eigenen Review-Agenten einrichtet, startet typischerweise mit einer standardisierten Sandbox und einem Basis-Prompt. Schnell zeigen sich jedoch massive Hürden: kritische Bugs werden übersehen, die API-Kosten steigen rasant an, und pingelige Stilkommentare belasten den Workflow. Zudem erzeugen Programmieragenten oft unerwünschten, übermäßig defensiven Code, wenn sie ungeeignete Feedback-Hinweise blind umsetzen.

   • Der Aufbau beginnt mit einer Sandbox und der Anbindung von GitHub oder GitLab über Webhooks.
   • Unzureichende Prompts und fehlender Kontext führen zu zahlreichen übersehenen Bugs.
   • Die Token-Kosten summieren sich bei unoptimierten Agenten schnell auf 3 bis 25 US-Dollar pro Pull Request.
   • Pedantische Kommentare stören Entwickler und verleiten Programmieragenten zu übermäßig defensivem Code.
3. 06:02 - 09:02

   Prompt-Optimierung und historische Datensätze

   Um die Qualität des Agenten zu sichern, wird der Prompt anhand bekannter historischer Ausfälle des Unternehmens geschärft. Da katastrophale Fehler in der Praxis extrem selten auftreten, hilft ein strukturierter Datensatz vergangener Pull Requests bei der Validierung von Prompt-Änderungen. Dennoch bleibt die Erkennung neuartiger, unvorhergesehener Fehler eine permanente Herausforderung für interne Eigenbauten.

   • Prompts müssen gezielt nach spezifischen Bug-Typen suchen und Haarspaltereien ausschließen.
   • Schwerwiegende Fehler sind mit einer Wahrscheinlichkeit von 1 zu 1.000 sehr selten.
   • Historische Datensätze vergangener Vorfälle ermöglichen das systematische Testen neuer Agenten-Versionen.
   • Sich verändernde Fehlertopologien erfordern kontinuierlich aktualisierte Testdaten.
4. 09:02 - 13:50

   Modellinversion und codebasierter Kontext

   Da Sprachmodelle beim Review auf ähnliche Weise versagen wie bei der Codegenerierung, bringt der Einsatz unterschiedlicher Modelle einen signifikanten Sicherheitsvorteil. Zusätzlich reduziert ein strukturierter Ansatz für den codebasierten Kontext den unnötigen Verbrauch von Tokens durch unpräzise Dateizugriffe. Die Verknüpfung mit externen Wissensquellen wie JIRA, Notion oder Confluence schließt Wissenslücken der Agenten.

   • Claude-Modelle zeigen eine höhere Anfälligkeit für Off-by-One-Fehler, während GPT-Modelle anfälliger für Auth-Bypasses sind.
   • Das Invertieren der Modelle erhöht die Erkennungsrate von Fehlern um 10 %.
   • Herkömmliches GREP verbraucht unverhältnismäßig viele Tokens und arbeitet unpräzise.
   • Die Integration von Ticketsystemen und Dokumentationen liefert den notwendigen Hintergrund für komplexe Abläufe.
5. 13:50 - 18:19

   Autonomes Testen und Kostenmanagement

   Ausgereifte virtuelle Sandboxes erlauben es Agenten mittlerweile, Benutzeroberflächen visuell zu testen und Fehler im Layout aufzuspüren. Um die dabei anfallenden Rechenkosten zu kontrollieren, setzen effiziente Architekturen auf eine strikte Modelltrennung. Leichtgewichtige Modelle übernehmen die Kontextsuche und das Testen, während die teuersten Spitzenmodelle exklusiv für komplexe Bug-Analysen reserviert bleiben.

   • Computer-Use-Modelle ermöglichen das automatisierte End-to-End-Testen von Anwendungen in virtuellen Maschinen.
   • Die Kombination aus kleineren Modellen für einfache Aufgaben und Spitzenmodellen für kritische Analysen senkt die Kosten.
   • Über 20 verschiedene Teilaufgaben nutzen jeweils spezifisch angepasste Inferenzbudgets.
   • Ein kontinuierlicher Optimierungsprozess ist notwendig, um die Balance aus Erkennungsgenauigkeit und Ausgaben zu halten.