Что делает AI-инженер сейчас? — Апарна Динакаран, Arize AI
원제 · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
핵심 요약
Работа AI-инженера заключается не в написании отдельных функций, а в построении саморазвивающихся систем и фабрик агентов, которые используют телеметрию и автоматические тесты для непрерывного улучшения продукта.
하이라이트
Карпати выделил воронку из примерно 5000 пользователей на переднем крае, которые запускают тысячи агентов одновременно.
Роль AI-инженера сместилась с написания отдельных функций на создание замкнутых циклов разработки, включая тесты, релизы и мониторинг.
Инструмент Signal в Arise анализирует данные телеметрии и трейсы в фоновом режиме для автоматического выявления проблем и создания пулл-реквестов.
Агенты запускаются по расписанию или по событиям, изолируются в защищенных песочницах и сохраняют историю обнаруженных проблем во внешней памяти.
Создание эталонных наборов данных и согласование автоматических тестов с человеческой оценкой составляют основу проверки качества работы агентов.
타임라인
Эволюция роли AI-инженера
Разрыв между массовым использованием языковых моделей и передовыми лабораториями продолжает увеличиваться. Инженеры переходят от простой генерации кода к управлению целыми командами автономных агентов. Фокус смещается на организацию полного цикла разработки, где агенты сами анализируют код и проверяют результаты.
- Уровень абстракции в разработке постоянно растет от ручного написания кода до управления фабриками агентов.
- Лишь около 5000 специалистов на передовой запускают тысячи постоянных агентов одновременно.
- Задачи AI-инженера теперь охватывают настройку систем код-ревью и создание эвалов для недетерминированных задач.
Архитектура постоянно работающих агентов
Системы наблюдаемости переориентируются с чтения людьми на потребление данных агентами. При срабатывании триггера запускается защищенная песочница с необходимым контекстом и доступом к репозиторию. В случае сбоя состояние сохраняется вне песочницы, что позволяет возобновить работу без потери прогресса.
- Инструмент Signal анализирует трейсы и телеметрию для поиска закономерностей и предложения исправления кода.
- Агентские задачи запускаются по расписанию, через Slack-уведомления или на основе метрик.
- Каждый запуск агента изолируется в песочнице, а накопленная история проблем сохраняется во внешней памяти для следующих итераций.
Оценка качества и тестирование агентов
Проверка результатов работы агентов опирается на строгие тесты и офлайн-оценку перед выпуском в продакшн. Команды тратят значительные усилия на калибровку судей по золотым датасетам. Итоговая цель состоит в построении устойчивой системы, где агенты непрерывно учатся на производственной телеметрии и улучшают продукт.
- Signal поддерживает различные модели и обвязки, включая Cursor и CodeX, для контроля расходов и качества.
- Создание эталонных наборов данных помогает согласовать автоматические оценки с человеческими стандартами.
- Преодоление разрыва между лабораториями и реальным бизнесом требует непрерывного онлайн-мониторинга всех созданных агентов.
설명
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!