AI工程师现在都在做什么？- Aparna Dhinakaran，Arize AI
원제 · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
핵심 요약
AI 工程师的核心职责已从编写单个功能转变为构建能够自动消费遥测数据、运行评测并持续改进产品的全天候智能体系统。
하이라이트
全球约有 5,000 名身处前沿实验室的用户同时运行着数千个全天候智能体。
AI 工程师的工作不再是编写单个功能，而是构建能够编写该功能的循环。
Signal 能够读取追踪数据、识别问题并自动提出修复或 PR。
智能体运行所需的上下文、第三方数据和代码库访问权限都会被放入一个沙盒中。
AI 工程师必须学会编写评测来处理非确定性任务，并确保评估器与人类判断保持一致。
타임라인
AI 工程师的职责演变与前沿差距
演讲开篇探讨了 AI 工程师职责的演变。结合行业前沿动态，指出全球极少数前沿用户正在运行大规模的全天候智能体集群。随着技术抽象层的不断提高，工程师的工作不再局限于编写单一功能，而是构建能够自动处理代码审查、遥测数据和非确定性任务的完整循环系统。
- 前沿实验室用户与普通人群之间存在显著差距，前沿用户运行着数千个智能体。
- 抽象层的提升使得工程师从编写高级语言过渡到使用本地和云端智能体。
- AI 工程师的现代工作重心是构建能够执行代码审查和处理非确定性任务的系统循环。
基于遥测数据的全天候智能体架构
这一部分详细介绍了 Arze AI 开发的 Signal 系统如何运作。Signal 作为全天候运行的智能体，直接消费可观测性数据来发现模式和问题。系统通过沙盒隔离每次运行的上下文和凭据，同时通过持久化设计确保智能体在失败时能够从中断处恢复，并且不依赖于单一模型或 harness。
- Signal 能够读取追踪数据、识别问题并在拥有权限时提出代码修复。
- 智能体将遥测数据作为主要消费者，通过定时或事件触发机制启动。
- 每次智能体运行时会在沙盒中加载上下文，并在结束后销毁沙盒但保留历史记忆。
构建评测与实现系统的持续改进
结尾部分聚焦于评测在 AI 工程中的关键作用。代理在生成修复后需要通过离线和在线评测来验证质量，确保裁判模型与人类的判断保持一致。AI 工程师通过追踪所有代理的行为和遥测数据，最终构建出能够使产品不断自我改进的完整系统。
- AI 工程师必须花时间编写评测，以测试代理提交的代码并确保没有回归问题。
- 评估器的质量需要通过黄金测试数据集与人类的判断进行严格对齐。
- 企业内部数据的杂乱性构成了挑战，而 AI 工程师正是弥合这一差距的核心角色。
설명
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!