Agentes que se auto-mejoran mientras duermes - Fuad Ali, Arize AI

하이라이트

• Signal analiza trazas de producción cada seis horas por defecto, agrupa modos de fallo y genera pull requests automáticas en GitHub con la solución codificada.

• El banco de pruebas dinámico almacena fallos reales de ejecución para convertirlos en pruebas de regresión que evitan repetir errores previos.

• La corrección de normalización de slugs para Wonder Toys resolvió un error de filtros que causaba tres llamadas redundantes al LLM y latencias de hasta 17 segundos.

• Un experimento de validación sobre el enum de categorías alcanzó una tasa de éxito de 88.9% antes de fusionar la corrección.

• El enrutamiento automático envía a revisión humana los casos con puntuaciones de confianza entre 0.3 y 0.7, dejando el resto con un 99.5% de precisión en tareas como detección de spam.

타임라인

1. 00:00 - 05:38

   El reto del indeterminismo en sistemas con múltiples agentes

   La proliferación de agentes internos, agentes de programación y asistentes orientados al usuario final satura los canales de monitoreo tradicionales con ruido. La falta de determinismo dificulta diagnosticar las causas raíz de manera manual cuando los volúmenes de solicitudes crecen. Un asistente de compras ejecutado localmente con FastAPI, Next.js y ChromaDB ilustra la instrumentación de trazas necesaria para alimentar este ciclo de corrección.

   • El comportamiento no determinista de los agentes amplifica los modos de fallo clásicos de ingeniería de software.
   • Los errores en producción abarcan desde deshabilitar catálogos completos de venta hasta vender artículos por precios erróneos.
   • El entorno de prueba Wonder Toys sirve como base para instrumentar trazas y conectar modelos de lenguaje locales.
2. 05:38 - 12:10

   Madurez operativa y el ciclo cerrado de Signal

   La progresión operativa de los equipos comienza con la visibilidad del árbol de llamadas y evoluciona hacia la evaluación cualitativa. Cuando el volumen de interacciones escala a millones, resulta inviable asignar personal a leer cada registro individual a las 4:00 a. m. Signal automatiza este flujo conectando las trazas de fallos con la creación de datasets de prueba, el diseño de evaluaciones y la generación de correcciones de código verificables.

   • La mayoría de los equipos implementa trazabilidad básica y evaluaciones, pero carece de capacidad humana para inspeccionar millones de trazas.
   • Signal opera como un agente SRE autónomo que lee trazas de fallos, genera conjuntos de datos y propone evaluaciones.
   • La CLI de AX instrumenta automáticamente los frameworks y proveedores de LLM principales para capturar árboles de ejecución detallados.
3. 12:10 - 18:25

   Diagnóstico de causa raíz y corrección de código en GitHub

   Al analizar la aplicación Wonder Toys, Signal detectó que las consultas de filtrado fallaban porque el LLM enviaba nombres legibles con mayúsculas y espacios en lugar de slugs en minúsculas. Esta discrepancia provocaba reintentos secuenciales y degradaba drásticamente el rendimiento del sistema. Con acceso al código fuente, Signal rastreó la discrepancia, aisló la lógica defectuosa y generó un pull request con la solución implementada sin intervención manual.

   • Signal identificó un desajuste entre slugs en minúsculas en base de datos y entradas con mayúsculas generadas por el LLM.
   • El fallo de normalización elevaba la latencia de respuesta hasta 17 segundos debido a búsquedas exhaustivas innecesarias.
   • El agente inspecciona el repositorio de GitHub y redacta una solicitud de extracción con el parche correspondiente en seis minutos.
4. 18:25 - 26:46

   Bancos de pruebas dinámicos y tipología de evaluadores

   La prevención de fallos recurrentes exige preservar los errores pasados dentro de un banco de pruebas vivo que crezca con el tiempo. Para verificar el comportamiento existen reglas deterministas de código rígidas y evaluadores basados en modelos de decisión que devuelven clasificaciones precisas de bajo coste. Cuando el criterio es difuso, agentes evaluadores especializados analizan la trayectoria completa de la interacción y asignan puntuaciones de conformidad en la plataforma.

   • Los entornos de prueba dinámicos evolucionan orgánicamente al incorporar cada incidente de producción como prueba de regresión.
   • Las comprobaciones de código deterministas verifican esquemas JSON y llamadas a herramientas a muy bajo coste computacional.
   • Los evaluadores LLM-as-a-judge y agent-as-a-judge resuelven criterios cualitativos asumiendo un mayor consumo de tokens.
5. 26:46 - 34:14

   Demostración experimental de correcciones antes del despliegue

   Una propuesta de código no puede desplegarse en producción sin comprobar empíricamente que repara el problema y mantiene intactas las demás funciones. Signal reproduce el agente con el parche aplicado sobre el dataset de incidentes acumulados y verifica que las evaluaciones de latencia y herramientas pasen satisfactoriamente. Al incorporar umbrales de confianza, el sistema enruta automáticamente a revisión humana solo los resultados con valores inciertos, como el 4.6% detectado en clasificaciones de spam.

   • Las modificaciones a prompts del sistema pueden introducir regresiones imprevistas en herramientas no relacionadas.
   • El experimento de corrección del enum de categorías validó una precisión del 88.9% frente a casos de fallo previos.
   • Las puntuaciones de confianza canalizan automáticamente los casos dudosos hacia colas de anotación humana.
6. 34:14 - 44:04

   Arquitectura de experimentación, alineación y retorno de inversión

   La infraestructura de prueba debe gestionar dependencias y entornos aislados para ejecutar validaciones antes de fusionar código. Mantener evaluadores costosos en el 100% del tráfico vivo resulta prohibitivo si el retorno de inversión no justifica cubrir fallos marginales no críticos. El diseño de evaluaciones exige evaluar la sesión completa del usuario, medir si debió reformular su solicitud y retirar monitores redundantes cuando el comportamiento del agente se estabiliza.

   • La visión futura contempla un salto de un clic entre la incidencia registrada y el entorno de experimentación aislado.
   • Las evaluaciones con más de 99.999% de éxito continuo deben retirarse de producción para reducir gasto operativo de tokens.
   • El balance de costes exige transferir comprobaciones críticas a CI/CD y muestrear selectivamente las trazas en producción.
7. 44:04 - 52:53

   Autoevaluación recursiva y modelos de decisión en tiempo de ejecución

   La arquitectura permite aplicar supervisión recursiva donde las trazas de Signal se auditan para medir la tasa de adopción de sus solicitudes de extracción. El surgimiento de modelos de decisión de baja latencia habilita comprobaciones en el dispositivo y mitigaciones en tiempo de ejecución sin esperar análisis posteriores. La optimización del ciclo requiere controlar el número de herramientas conectadas para evitar ruido innecesario y auditar el coste financiero del propio bucle de automejora.

   • Signal genera trazas de sus propias investigaciones, permitiendo evaluar al agente supervisor con sus propios mecanismos.
   • Los modelos de decisión pequeños ofrecen latencia mínima para ejecutar enrutamientos y validaciones durante la ejecución.
   • Las integraciones APM con herramientas como Datadog aportan contexto de infraestructura sin sobrecargar la ventana del modelo.