Como Construir um Agente de Revisão de Código com IA - Daksh Gupta, Greptile

Highlights

• A Greptile processa cerca de 1% de todos os pull requests no GitHub diariamente.

• A revisão de código realizada por agentes de programação custa entre 3 e 25 dólares por pull request.

• Apenas cerca de 1 em cada 1.000 pull requests contém um bug catastrófico.

• Modelos Claude apresentam uma probabilidade três vezes maior de produzir erros pontuais em comparação aos modelos GPT.

• A inversão de modelos entre a escrita e a revisão do código eleva em 10% a taxa de detecção de bugs.

Timeline

1. 00:13 - 06:01

   Introdução e os principais desafios da revisão automatizada

   Milhares de empresas utilizam a Greptile para validar bases de código complexas. Embora o processo inicial de configuração de um agente pareça simples, a execução revela desafios como comentários minuciosos excessivos e custos que variam de 3 a 25 dólares por pull request.

   • A Greptile desenvolve agentes para revisar pull requests e detectar bugs em códigos gerados por inteligência artificial.
   • A criação de um agente básico envolve a utilização de um ambiente sandbox e a conexão com webhooks do GitHub.
   • Os principais problemas na construção de agentes próprios incluem a omissão de bugs, a perda de contexto e o custo elevado.
2. 06:02 - 09:02

   Estratégias de otimização de prompts e dados históricos

   A modificação de prompts altera drasticamente o comportamento do agente de revisão. Como os bugs graves são raros, a ausência de falhas não pode ser garantida sem o suporte de conjuntos de dados históricos de incidentes passados.

   • O ajuste de prompts deve focar na busca por tipos específicos de bugs e na exclusão de detalhes irrelevantes.
   • Bugs catastróficos ocorrem em apenas 1 de cada 1.000 pull requests, tornando a detecção prévia difícil.
   • A utilização de um conjunto de dados de pull requests históricos permite testar a eficácia das versões do agente.
3. 09:03 - 14:25

   Inversão de modelos e contexto baseado em código

   A prática de utilizar o mesmo modelo para escrever e revisar o código reduz a eficácia da detecção. A implementação de contexto baseado em código e wikis vivas reduz o desperdício de tokens gerado por buscas ineficientes.

   • Modelos Claude e modelos GPT cometem tipos diferentes de erros durante a geração de código.
   • A inversão de modelos, utilizando uma IA diferente para revisar o código gerado, aumenta a detecção de falhas em 10%.
   • A consulta excessiva via grep consome muitos tokens, exigindo a criação de bases de conhecimento internas estruturadas.
4. 14:26 - 18:19

   Testes autônomos e alocação eficiente de inferência

   A execução de testes autônomos em sandboxes permite que os agentes identifiquem problemas visuais em aplicações. Combinar modelos menores para tarefas exploratórias com modelos de fronteira para análises críticas otimiza o orçamento de inferência.

   • O uso de computador em máquinas virtuais configuráveis viabiliza o teste automatizado de interfaces de ponta a ponta.
   • A divisão de tarefas entre modelos de fronteira e modelos menores reduz de forma drástica os custos operacionais.
   • A alocação criteriosa de subtarefas garante melhor desempenho por dólar investido na validação.