Observabilidad para la Nube de IA

Malavika, gerenta de producto en Vercel, abre la presentación agradeciendo a la audiencia y estableciendo el contexto sobre la plataforma unificada de Vercel para construir, desplegar y ejecutar aplicaciones inteligentes y agentes. Explica que la misión de Vercel es abstraer la complejidad de la infraestructura permitiendo a los desarrolladores enfocarse en crear experiencias excepcionales. Sin embargo, mientras que Vercel ha tenido éxito en simplificar el tiempo de construcción a través de infraestructura definida por framework (sin necesidad de orquestación compleja ni código de infraestructura), aún hay mucho trabajo por hacer en el tiempo de ejecución. Señala que gestionar aplicaciones en tiempo de ejecución sigue siendo un esfuerzo que consume mucho tiempo para los equipos de desarrollo, estableciendo el problema que necesita resolverse.

La presentadora profundiza en los desafíos asociados con la respuesta a incidentes en producción, describiendo el ciclo manual que incluye: configurar alertas y monitores, lidiar con fatiga de alertas debido al ruido, y pasar horas depurando para identificar la causa raíz. A través de una interacción con la audiencia, Malavika revela que aproximadamente el 50% del tiempo de incidente se gasta identificando la causa raíz y determinando quién debería resolverlo, una realidad que considera inaceptable en 2025 con tecnología de IA disponible. Enfatiza que este proceso consume horas valiosas de tiempo de desarrollador en depuración manual, planteando la pregunta: ¿qué pasaría si pudiéramos reducir eso a segundos? Esta sección establece el problema central que Vercel Agent propone resolver.

Malavika presenta Vercel Agent como la solución que puede reducir el tiempo de investigación de incidentes de horas a segundos. Explica que las alertas de anomalías de Vercel monitorean aplicaciones automáticamente para detectar actividades sospechosas sin requerir configuración, y cuando se detecta comportamiento inusual, Vercel Agent investiga automáticamente, realiza análisis de causa raíz y diagnostica el problema en segundos. El diferenciador clave es que Vercel tiene contexto completo de la aplicación porque la construye, la despliega y la ejecuta en producción, posicionándola de manera única para ofrecer un enfoque nativo de IA que garantiza confiabilidad, rendimiento y seguridad en tiempo de ejecución. Aunque reconoce que Vercel no conoce la aplicación tan bien como el equipo de ingeniería interno, su posición integrada le permite proporcionar investigaciones automáticas que ahorran tiempo significativo a los desarrolladores.

Malavika detalla las características que forman la base de Vercel Agent: una herramienta de observabilidad nativa diseñada para proporcionar visibilidad en el comportamiento en tiempo de ejecución con contexto del tiempo de construcción. Los logs en tiempo de ejecución ofrecen visibilidad granular del comportamiento de la aplicación, permitiendo rastrear el ciclo de vida de una solicitud HTTP desde que ingresa a la red de Vercel hasta que se devuelve una respuesta al cliente. La plataforma también incluye paneles de control bien pensados para comprender rápidamente la salud de la aplicación e identificar oportunidades de optimización. Las alertas de anomalías recientemente lanzadas permiten monitoreo activo para detectar actividades inusuales, mientras que la herramienta de consultas permite explorar las métricas recopiladas para responder preguntas variadas, desde qué bots rastrean la aplicación hasta cuantificar la latencia P90 al primer token de diferentes proveedores de modelos usados en la aplicación.

Malavika articula la visión a largo plazo para Vercel Agent: no simplemente informar a los desarrolladores sobre problemas, sino ofrecerles soluciones completas. Enfatiza que la nube de IA debería ofrecerles soluciones, recomendaciones, pull requests y acciones automatizadas, no solo presentarles problemas. Este cambio de mentalidad transforma la observabilidad de una herramienta reactiva de diagnóstico a una herramienta proactiva que repara y optimiza aplicaciones automáticamente. Malavika describe este como el mundo que Vercel está construyendo con Vercel Agent, señalando que en lugar de que los desarrolladores manualmente identifiquen problemas y apliquen soluciones, el sistema debería automatizar estos procesos, reduciendo significativamente la carga operativa en los equipos de desarrollo.

Malavika proporciona información práctica sobre cómo comenzar con Vercel Agent, que está en beta pública. Anuncia que Vercel está regalando $100 en créditos gratuitos a todos los usuarios de Vercel para probar estas nuevas características. La capacidad de revisión de código, lanzada el mes anterior, está disponible para todos los usuarios de Vercel, mientras que las investigaciones de Agent están disponibles a partir de ese día para clientes pro y enterprise que tengan observability plus. Los usuarios pueden acceder a estas características visitando la pestaña de Agent en el panel de control de Vercel, removiendo barreras de entrada y haciendo que la tecnología sea accesible para una amplia gama de desarrolladores.

Malavika cambia el enfoque a otro aspecto crítico de la observabilidad de IA: los evals y el monitoreo de la calidad del modelo. Explica que como las aplicaciones de IA son no determinísticas, es crucial monitorear la calidad de la salida, especialmente para agentes que encadenan múltiples pasos de razonamiento. Presenta la integración con Brain Trust a través del marketplace de Vercel, que permite exportar automáticamente trazas y datos de evaluación desde Vercel a Brain Trust con solo unos pocos clics. Vercel drains permite que los datos se exporten a herramientas de terceros, dando flexibilidad a los desarrolladores para usar las herramientas que prefieren. Además, Vercel ofrece una aplicación de demostración (un chatbot de IA construido con Next.js, el AISDK y AI Gateway) que los desarrolladores pueden clonar para comenzar. Esta sección subraya el compromiso de Vercel de ofrecer flexibilidad y control, permitiendo que los desarrolladores creen excelentes experiencias de usuario con sistemas confiables al integrar múltiples herramientas del ecosistema.