Comment créer un agent de revue de code IA - Daksh Gupta, Greptile

하이라이트

• Plusieurs milliers d'entreprises utilisent Greptile chaque jour pour analyser environ 1 % de toutes les demandes de tirage sur GitHub.

• L'utilisation d'agents de code pour la révision engendre un coût compris entre 3 et 25 dollars par demande de tirage.

• Environ une ligne de code sur 1 000 contient un bug catastrophique selon les données de Greptile.

• Les modèles Claude produisent des erreurs ponctuelles trois fois plus souvent que les modèles GPT.

• L'utilisation de l'inversion de modèle augmente le taux de détection des bugs de 10 %.

타임라인

1. 00:00 - 03:04

   Introduction et présentation de Greptile

   L'entreprise analyse des bases de code variées comme celles de NVIDIA ou Coinbase. Lorsque les besoins des clients sont trop spécifiques pour le produit, l'équipe partage son expertise pour les aider à concevoir leur propre agent de révision.

   • Greptile conçoit des agents qui examinent et testent les demandes de tirage avec le contexte complet de la base de code.
   • Environ 1 % de toutes les demandes de tirage sur GitHub passent par Greptile.
   • Certaines entreprises ont des besoins si spécialisés qu'il leur est plus bénéfique de créer leur propre agent.
2. 03:04 - 06:01

   Les pièges et les coûts de la révision par agent

   Les équipes qui construisent leur propre agent de révision font face à plusieurs difficultés, notamment le manque de contexte, des coûts élevés en jetons et des commentaires trop pointilleux. Ces remarques secondaires poussent les agents de code à rédiger un code excessivement défensif.

   • La configuration initiale nécessite un bac à sable, un agent open source et des webhooks GitHub.
   • Le coût par demande de tirage se situe entre 3 et 25 dollars.
   • Les commentaires excessifs et tatillons des agents risquent de détruire la base de code si les agents correcteurs les appliquent aveuglément.
3. 06:01 - 09:02

   Optimisation des prompts et des ensembles de données

   Pour améliorer la fiabilité, les développeurs doivent cataloguer les pannes passées et ajuster les instructions de l'agent. Comme les bugs graves sont rares, mesurer l'absence de bugs reste un défi technique complexe.

   • L'optimisation des prompts consiste à cibler des types de bugs spécifiques et à interdire les pinaillages.
   • Un ensemble de données de demandes de tirage historiques est indispensable pour tester l'efficacité de l'agent.
   • La topologie et l'ontologie des bugs changent avec le temps, nécessitant une mise à jour continue des données.
4. 09:02 - 14:25

   Inversion de modèle et contexte basé sur le code

   Relire le code avec un modèle différent de celui qui l'a généré évite les angles morts partagés. De plus, remplacer le grep traditionnel par une base de connaissances structurée réduit la consommation inutile de jetons.

   • Les modèles Claude produisent des erreurs ponctuelles trois fois plus souvent que les modèles GPT.
   • L'inversion de modèle améliore le taux de détection des bugs de 10 %.
   • L'utilisation de la commande grep consomme un volume excessif de jetons et manque de précision.
5. 14:25 - 18:19

   Tests autonomes et allocation d'inférence

   Les agents peuvent exécuter des tests visuels pour identifier des défauts d'affichage sur les appareils mobiles. L'optimisation finale repose sur l'allocation budgétaire, combinant des modèles légers pour l'exploration et des modèles puissants pour l'analyse des bugs.

   • Les bacs à sable riches en dépendances permettent à l'agent de tester les interfaces de bout en bout.
   • L'utilisation de modèles de pointe pour seulement 20 % des tâches critiques réduit les coûts globaux.
   • Une architecture efficace répartit 20 sous-tâches entre différents modèles adaptés.