Как создать ИИ-агент для код-ревью — Дакш Гупта, Greptile

하이라이트

• Около 1% всех пулл-реквестов на платформе GitHub ежедневно проверяются сервисом Greptile.

• Базовые агенты код-ревью расходуют от 3 до 25 долларов на обработку одного пулл-реквеста.

• Использование разных семейств языковых моделей для написания и проверки кода увеличивает показатель обнаружения критических ошибок на 10%.

• Модели Claude допускают ошибки на единицу (off-by-one) примерно в три раза чаще моделей GPT, тогда как модели GPT чаще допускают обход авторизации.

• Интеграция базы знаний, тикетов Linear и документации Confluence устраняет двусмысленность и снижает объем избыточного чтения файлов.

타임라인

1. 00:00 - 02:16

   Масштабы и назначение автоматизированных агентов код-ревью

   Платформа обрабатывает широкий спектр кодовых баз, от исходного кода CUDA до финансовых систем. При наличии уникальных потребностей разработка собственного решения становится выгоднее готовых продуктов. Для этого требуется правильная организация окружения, выбор моделей и управление бюджетом токенов.

   • Сервис Greptile проверяет около 1% всех пулл-реквестов на GitHub для тысяч компаний, включая NVIDIA и Coinbase.
   • Создание собственного агента код-ревью актуально для организаций с особо специализированными требованиями к валидации кода.
   • Архитектура коммерческого агента включает контекст кодовой базы, запуск стека в песочнице и эффективное распределение ресурсов инференса.
2. 02:36 - 06:02

   Типичные проблемы при создании базового ИИ-агента код-ревью

   Развертывание простого агента через вебхук GitHub и стандартный промпт приводит к накоплению скрытых ошибок. Модели генерируют технически верные, но бесполезные стилистические замечания. Исправление этих замечаний другими ИИ-агентами разрушает архитектуру проекта.

   • Запуск базового агента ревью без оптимизации обходится в сумму от 3 до 25 долларов за один пулл-реквест.
   • Примитивные агенты пропускают критические баги и теряют контекст в распределенных микросервисных архитектурах.
   • Избыточные педантичные комментарии агентов заставляют автоматизированные средства программирования портить кодовую базу избыточно защитным кодом.
3. 06:02 - 09:02

   Оптимизация промптов и тестирование на исторических данных

   Незначительные изменения в промптах радикально меняют количество комментариев к коду. Поскольку катастрофические баги встречаются крайне редко, разработчики могут долго не замечать пропуск серьезной ошибки. Регулярная проверка агента на архивах инцидентов повышает надежность обнаружения дефектов.

   • Специфические промпты должны целенаправленно искать каталогизированные прошлые сбои и явно игнорировать стилистические придирки.
   • Каждый тысячный пулл-реквест или каждая тысячная строка кода содержат критический сбой.
   • Исторические наборы данных прошлых пулл-реквестов позволяют оценивать эффективность новых версий агента проверки.
4. 09:02 - 14:26

   Инверсия моделей и управление контекстом кодовой базы

   Модели Claude и GPT совершают принципиально разные типы ошибок, поэтому перекрестная проверка предотвращает пропуск уязвимостей. Традиционный поиск текста сжигает огромный объем токенов на чтение лишних файлов. Интеграция тикетов Linear и документов Confluence дает агенту понимание негласных бизнес-требований.

   • Применение для проверки кода модели, отличной от той, что использовалась для генерации, повышает эффективность обнаружения багов на 10%.
   • Инструмент поиска строк (grep) отличается высокой стоимостью и низкой точностью при работе с большими кодовыми базами.
   • Внутренняя база знаний и живая вики объединяют кодовую базу, документацию и тикеты для точного предоставления контекста.
5. 14:26 - 18:19

   Автономное сквозное тестирование и оптимизация затрат

   Современные мультимодальные модели способны тестировать интерфейсы и находить дефекты отрисовки на мобильных устройствах. Архитектура из двадцати специализированных подзадач распределяет нагрузку между дешевыми и передовыми моделями. Такой подход снижает расходы на инференс без потери качества валидации.

   • Настройка изолированных виртуальных машин позволяет агенту проводить сквозное тестирование пользовательских сценариев с помощью визуальных моделей.
   • Разделение задач на подзадачи с использованием мелких моделей снижает общие затраты на инференс.
   • Флагманские языковые модели применяются только для критических этапов анализа багов и формирования итогового вердикта.