Deja de darle herramientas a tu agente. Dale un entorno aislado - Mikyo King, Arize AI

Highlights

• El modo de código permite que un agente de IA cree y ejecute software de forma dinámica en lugar de utilizar un catálogo estático de herramientas.

• La adopción del modo de código redujo la cantidad de tokens en un 43% y disminuyó el costo en un 31%.

• El modo de código soluciona el desbordamiento de la ventana de contexto al devolver únicamente lo necesario para resolver el problema.

• La ejecución de herramientas dentro de entornos aislados permite combinar comandos de Bash, scripts de Python y consultas SQL avanzadas.

• Las evaluaciones de rendimiento mediante el marco Harbor utilizan pruebas repetidas sin acceso a la red para medir el éxito pass@k de cada tarea.

Timeline

1. 00:00 - 03:05

   Evolución del software y limitaciones de los agentes tradicionales

   El desarrollo de software histórico se divide entre ingenieros y usuarios comunes que dependen de interfaces limitadas. Al aplicar esta lógica a los LLM, dar un menú gigante de herramientas genera problemas de desbordamiento de contexto, morralla y múltiples turnos innecesarios.

   • La frontera entre el software para ingenieros y no ingenieros desaparece gracias a los agentes capaces de escribir código.
   • Los agentes tradicionales basados en un catálogo enorme de herramientas sufren de saturación y deterioro de la ventana de contexto.
   • El uso masivo de herramientas incrementa los turnos, la latencia, los costos operativos y la necesidad de compactación de datos.
2. 03:05 - 06:11

   Arquitectura y ventajas del modo de código

   En lugar de acumular llamadas a herramientas, el modo de código permite invocar múltiples acciones en un solo turno y filtrar los resultados. Esto se apoya en la composibilidad de los flujos y la eficiencia en el consumo de tokens.

   • El modo de código proporciona un entorno de programación donde el agente ejecuta herramientas de manera secuencial o en paralelo.
   • La divulgación progresiva permite que el agente seleccione y comprenda únicamente las herramientas que necesita utilizar.
   • El comportamiento emergente otorga la capacidad de construir herramientas propias para tareas complejas sin contaminar el contexto.
3. 06:11 - 11:44

   Implementación práctica y desafíos operativos

   La adopción de entornos aislados requiere definir barandillas de seguridad estrictas para los secretos y los permisos. Asimismo, la depuración se vuelve más compleja al tratarse de código generado por IA en lugar de funciones individuales.

   • El entorno de ejecución en Phoenix integra Bash, Python y consultas SQL para optimizar las agregaciones de datos.
   • Los entornos aislados presentan retos relacionados con la gestión de recursos de CPU, memoria, secretos y permisos de red.
   • La complejidad operativa incluye dificultades de depuración del código generado y problemas de durabilidad ante interrupciones a mitad de proceso.
4. 11:44 - 14:30

   Evaluación de rendimiento y resultados obtenidos

   Para medir la efectividad real, se consumen los datos propios mediante Arise Phoenix y pruebas estandarizadas pass@k. Esto permite ajustar las directrices del agente y validar que la transición hacia el modo de código optimiza los recursos globales.

   • El marco Harbor evalúa a los agentes en entornos aislados con la red desactivada para eliminar la intermitencia.
   • Las pruebas cuantitativas demostraron una reducción del 43% en tokens y del 31% en costos con una latencia constante.
   • El análisis de trayectorias y evaluaciones permite optimizar las instrucciones y mejorar de forma continua el rendimiento del agente.