Observabilité pour le Cloud IA

Malavika, responsable de produit chez Vercel, présente la mission fondamentale de Vercel : abstraire la complexité de la gestion de l'infrastructure pour permettre aux développeurs de se concentrer sur les expériences utilisateur. Elle explique comment Vercel a réussi à simplifier le cycle de vie du développement en rendant la construction sans effort grâce à l'infrastructure définie par le framework, éliminant le besoin de gérer manuellement les primitives d'infrastructure, l'orchestration complexe, et le provisionnement du calcul. Cependant, elle souligne que l'exécution en production reste un processus complexe et chronophage pour les équipes de développement, avec de nombreuses tâches manuelles associées à la réponse aux incidents.

Malavika analyse les problèmes majeurs rencontrés lors de la gestion des incidents : configuration d'alertes, fatigue d'alerte due au bruit excessif, et débogage prolongé pour identifier la cause racine. Elle partage une statistique clé révélant que 50% du temps d'incident est consacré à l'identification de la cause racine et à la détermination de la personne responsable, ce qui est particulièrement inefficace en 2025 avec les capacités de l'IA. Pour résoudre ce problème, elle introduit Vercel Agent, qui utilise l'IA pour enquêter sur les problèmes, effectuer une analyse des causes racines et diagnostiquer les incidents en quelques secondes. Vercel bénéficie d'une position unique car elle construit, déploie et exécute les applications, donnant à Vercel Agent un contexte complet que les outils traditionnels n'ont pas.

Malavika détaille la suite d'outils d'observabilité natifs de Vercel qui soutiennent les enquêtes de Vercel Agent. Les journaux d'exécution offrent une visibilité granulaire sur le comportement des applications, permettant de tracer le cycle de vie complet d'une requête HTTP depuis l'entrée dans le réseau Vercel jusqu'au retour de la réponse au client. Elle présente également les tableaux de bord prêts à l'emploi qui facilitent la compréhension rapide de la santé de l'application et l'identification des problèmes. Les alertes d'anomalie récemment lancées permettent une surveillance active pour détecter les activités inhabituelles, tandis que l'outil de requête donne accès à des métriques détaillées pour répondre à des questions spécifiques, comme l'identification des robots explorant l'application ou la quantification du temps P90 jusqu'au premier token pour différents fournisseurs de modèles. Ensemble, ces outils réduisent considérablement le besoin d'exploration manuelle.

Malavika articule la vision future de Vercel Agent et du cloud IA en général. Au lieu de simplement informer les développeurs des problèmes, Vercel Agent vise à fournir des solutions concrètes, des recommandations, des pull requests et des actions automatisées pour réparer et optimiser les applications. Elle souligne que le cloud IA ne devrait pas se limiter à la détection des problèmes, mais devrait transformer le code imprévisible en systèmes fiables. Vercel Agent est actuellement en bêta publique et Vercel offre 100 dollars de crédits gratuits à tous les utilisateurs pour essayer ces nouvelles fonctionnalités. La compétence de révision de code est déjà disponible pour tous les utilisateurs Vercel depuis le mois dernier, tandis que les enquêtes d'Agent sont disponibles à partir d'aujourd'hui pour les clients Pro et Enterprise avec Observability Plus.

Malavika aborde l'importance cruciale des évaluations pour les applications IA, car elles sont non-déterministes contrairement aux applications traditionnelles. Elle explique que les agents IA enchaînent plusieurs étapes de raisonnement, ajoutant une complexité supplémentaire qui nécessite une surveillance attentive de la qualité de la sortie. Pour soutenir cela, Vercel a établi un partenariat avec Brain Trust via sa place de marché, permettant aux développeurs d'exporter automatiquement les traces et données d'évaluation en quelques clics. Elle présente également une application de démonstration basée sur Next.js, l'AISDK et AI Gateway avec traces envoyées à Brain Trust, accessible via code QR. Enfin, Malavika réaffirme que l'objectif de Vercel est de fournir aux développeurs la flexibilité et le contrôle sur les outils qu'ils utilisent, tout en maintenant les libertés d'envoyer les données où ils le souhaitent.