¿Qué hace un ingeniero de IA ahora? - Aparna Dhinakaran, Arize AI
Original · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
Key Takeaway
El rol del ingeniero de IA transiciona de escribir código manual a diseñar sistemas automatizados y bucles de agentes que analizan telemetría en tiempo real y ejecutan evaluaciones continuas.
Highlights
Unos 5000 usuarios en laboratorios de vanguardia ejecutan miles de agentes de IA simultáneamente, mientras que 20 millones de profesionales usan LLMs para reducir tareas de semanas a días.
El trabajo de un ingeniero de IA evoluciona desde escribir funciones individuales hasta construir sistemas y bucles automatizados que escriben y revisan código mediante agentes.
Signal procesa datos de telemetría y trazas de forma continua para identificar problemas automáticamente y proponer correcciones mediante solicitudes de extracción (PR).
Los entornos aislados (sandboxes) controlan la ejecución de los agentes, permitiendo la entrada y salida de datos únicamente a través de un proxy vigilado.
El diseño de agentes duraderos permite recuperar el estado desde una memoria externa si ocurre un fallo en el entorno aislado, evitando reiniciar el proceso.
Los ingenieros de IA dedican gran parte de su tiempo a crear evaluaciones que alineen los criterios del modelo con el juicio humano mediante conjuntos de referencia dorados.
Timeline
La evolución del ingeniero de IA y el embudo de uso
La definición del rol de un ingeniero de IA cambia constantemente a medida que se incrementa la abstracción en el desarrollo de software. Los datos presentados muestran un embudo donde miles de millones de personas interactúan con modelos, pero solo un grupo muy minoritario gestiona flujos de trabajo automatizados complejos con miles de agentes activos de forma simultánea.
- Existe una brecha creciente entre los laboratorios de vanguardia y los usuarios profesionales de inteligencia artificial.
- Un grupo reducido de 5000 usuarios ejecuta enjambres masivos de agentes en laboratorios avanzados.
- Las capas de abstracción tecnológica evolucionan rápidamente desde lenguajes tradicionales hasta factorías de agentes.
El nuevo paradigma de desarrollo y el sistema Signal
Las responsabilidades técnicas de la ingeniería de IA se desplazan hacia la configuración de sistemas donde los agentes revisan código y consumen telemetría directamente. Herramientas como Signal operan de forma continua analizando registros de actividad, detectando problemas recurrentes y activando flujos de solución sin intervención humana directa.
- El ingeniero de IA construye bucles automatizados de desarrollo en lugar de escribir código de forma aislada.
- Los datos de observabilidad y telemetría están diseñados para ser consumidos principalmente por agentes autónomos.
- Signal examina trazas de telemetría de manera continua para detectar patrones y proponer correcciones automáticas en el repositorio.
Arquitectura de ejecución y aislamiento de agentes
La ejecución segura de agentes autónomos requiere empaquetar contexto, credenciales y accesos en entornos aislados. Cuando el agente finaliza su tarea, los resultados útiles se almacenan en una memoria persistente para futuras ejecuciones, mientras que los componentes temporales y las credenciales se eliminan para garantizar la seguridad del sistema.
- Los agentes se activan mediante disparadores configurables basados en tiempo, eventos de Slack o métricas.
- Cada ejecución de un agente ocurre dentro de un entorno aislado (sandbox) con acceso estrictamente controlado por un proxy.
- La arquitectura duradera guarda el historial y las soluciones en una memoria externa para soportar fallos sin perder el progreso.
Soporte agnóstico de modelos y evaluación de calidad
La compatibilidad con diversos modelos y herramientas de desarrollo permite a los equipos controlar costos operativos manteniendo rigurosos estándares de calidad. El trabajo del ingeniero se centra en diseñar evaluaciones precisas tanto para pruebas fuera de línea como para producción, cerrando la brecha entre los entornos controlados de laboratorio y los datos complejos de las empresas.
- Signal admite múltiples arneses de código y diferentes modelos para optimizar costos y calidad.
- Las evaluaciones automatizadas verifican la calidad de las solicitudes de extracción generadas por los agentes.
- Los ingenieros validan los evaluadores comparando sus resultados con conjuntos de datos de referencia dorados alineados al criterio humano.
Description
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!