Observabilidade para a Nuvem de IA

Malavika, product manager da Vercel, abre a apresentação destacando a missão da empresa de abstrair a complexidade da infraestrutura para que desenvolvedores se concentrem em construir experiências incríveis. Ela ressalta que o sucesso do build time foi alcançado através de infraestrutura definida pelo framework, eliminando a necessidade de orquestração complexa e infraestrutura como código. Vercel cuida do provisionamento de computação, rede e cache, permitindo que os desenvolvedores foquem apenas na lógica da aplicação. No entanto, a palestrante identifica que ainda há muito trabalho a fazer para tornar o runtime tão fácil quanto o build time, introduzindo o tema central da apresentação sobre a importância de simplificar o gerenciamento em tempo de execução.

Malavika ilustra os desafios enfrentados pelas equipes de desenvolvimento ao lidar com incidentes em produção, onde gerenciar uma aplicação em runtime requer um esforço muito significativo. Ela apresenta um problema crítico: 50% do tempo de incidente é gasto apenas identificando a causa raiz e descobrindo quem deve resolver o problema. A palestrante também menciona que as ferramentas de monitoramento tradicionais causam fadiga de alertas, forçando as equipes a navegar entre muito ruído para identificar problemas realmente importantes. Essa análise ressalta a ineficiência do processo atual, onde horas valiosas de desenvolvimento são desperdiçadas em depuração, e questiona a plateia de forma interativa para estabelecer consenso sobre o problema.

Malavika apresenta o Vercel Agent como solução para reduzir o tempo de depuração de horas para segundos através de alertas de anomalia que monitoram a aplicação sem necessidade de configuração. O agente investiga automaticamente comportamentos incomuns, realiza análise de causa raiz e diagnostica problemas em questão de segundos. A apresentadora enfatiza que a Vercel tem uma vantagem única: conhecimento completo da aplicação, pois a constrói, implanta e executa em produção. Essa posição única permite que a Vercel ofereça uma abordagem nativa de IA para garantir confiabilidade, desempenho e segurança em tempo de execução, diferenciando-se das ferramentas tradicionais de observabilidade.

A palestrante descreve a arquitetura de observabilidade nativa da Vercel, que combina contexto do build time com visibilidade do comportamento em runtime. Os logs de runtime oferecem visibilidade granular, permitindo rastrear toda a vida de uma requisição HTTP desde a entrada na rede Vercel até o retorno ao cliente. Vercel também fornece dashboards opinados e prontos para ajudar desenvolvedores a entenderem rapidamente a saúde da aplicação, identificarem problemas e otimizarem desempenho. A plataforma inclui uma ferramenta de consulta avançada que permite explorar métricas detalhadas, como quais bots estão rastreando a aplicação e o tempo P90 até o primeiro token de vários provedores de modelo de IA. As investigações do Vercel Agent se baseiam em todos esses recursos, reduzindo exploração manual e destacando insights-chave.

Malavika apresenta a visão futura do Vercel Agent, que vai além de simplesmente informar sobre problemas para oferecer soluções automatizadas. O objetivo é que a nuvem de IA não apenas detecte e apresente problemas, mas ofereça recomendações, pull requests e ações automatizadas para resolvê-los. A palestrante enfatiza que isso representa uma mudança fundamental na forma como as equipes interagem com ferramentas de observabilidade. Vercel já começou essa jornada com a skill de code review lançada no mês anterior, disponível para todos os usuários. As investigações de Agent foram lançadas a partir dessa apresentação e estão disponíveis para clientes pro e enterprise com observability plus, marcando o início dessa transformação.

Malavika aborda o tópico importante de evals para aplicações de IA, ressaltando que essas aplicações são não-determinísticas e exigem monitoramento contínuo da qualidade de saída. Ela explica que agentes encadeiam múltiplos passos de raciocínio, aumentando ainda mais a complexidade, por isso frameworks de agents usam open telemetry para monitoramento. A palestrante apresenta Vercel drains, que permite exportar dados para ferramentas de observabilidade de terceiros, oferecendo flexibilidade máxima aos desenvolvedores. Vercel fechou parceria com Braintrust através de seu marketplace, permitindo que traces e dados de avaliação sejam automaticamente transmitidos com alguns cliques. A apresentadora fornece um app de demonstração em Next.js com AISDK e AI Gateway como referência, reforçando que o objetivo da Vercel é permitir que desenvolvedores construam experiências excelentes transformando código imprevisível em sistemas confiáveis.