Observability für die AI Cloud

Malavika stellt sich als Produktmanagerin bei Vercel vor und eröffnet die Präsentation mit einem Überblick über Versels Kernmission. Sie erläutert, dass Vercel eine einheitliche Plattform zum Erstellen, Bereitstellen und Ausführen intelligenter Anwendungen und deren Agenten bietet. Das Unternehmen hat bei der Buildzeit große Fortschritte erzielt, indem es Framework-definierte Infrastruktur einführte, sodass Entwickler sich nicht um komplexe Orchestrierung oder Infrastructure-as-Code kümmern müssen. Allerdings betont sie, dass die Laufzeit-Verwaltung von Anwendungen immer noch sehr zeitaufwendig ist und großes Optimierungspotenzial bietet. Sie schließt mit der Feststellung, dass trotz moderner Cloud-Technologie und KI-Fortschritten die Verwaltung von Produktionsumgebungen manuell und komplex bleibt.

Malavika präsentiert die Herausforderungen bei der Vorfallverwaltung in modernen Anwendungen. Sie erklärt, dass Teams zunächst Monitoring-Systeme und Alerts einrichten müssen, um potenzielle Probleme zu identifizieren, was jedoch zu Alert-Fatigue führt, wenn wichtige Signale aus dem Rauschen gefiltert werden müssen. Darüber hinaus verbringen Teams nach der Problemidentifikation Stunden damit, das Problem zu debuggen, die Grundursache zu ermitteln und einen Fix anzuwenden. Mit einer interaktiven Befragung des Publikums enthüllt sie eine schockierende Statistik: 50% der Vorfallverwaltungszeit wird damit verbracht, die Grundursache zu identifizieren und herauszufinden, wer das Problem lösen sollte. Sie unterstreicht die Absurdität dieser Situation im Jahr 2025 mit fortgeschrittener KI-Technologie und wirft die provokative Frage auf: Was wenn diese Zeit auf Sekunden reduziert werden könnte?

Malavika stellt Vercel Agent vor, die KI-gesteuerte Lösung zur Automatisierung der Vorfallverwaltung. Vercel Agent bietet Anomaliemeldungen, die Anwendungen automatisch auf verdächtige Aktivitäten überwachen, ohne dass Konfiguration erforderlich ist. Sobald ungewöhnliches Verhalten erkannt wird, untersucht der Agent das Problem automatisch, führt eine Ursachenanalyse durch und diagnostiziert das Problem in Sekunden. Sie betont den einzigartigen Vorteil von Vercel: Das Unternehmen hat den vollständigen Kontext der Anwendungen, da es sie gebaut hat, bereitgestellt hat und sie in der Produktionsumgebung ausführt. Dies ermöglicht einen KI-nativen Ansatz für Zuverlässigkeit, Performance und Sicherheit zur Laufzeit, der traditionelle Observability-Tools nicht bieten können.

Malavika beschreibt die nativen Observability-Tools, auf denen Vercel Agent aufbaut. Laufzeit-Logs bieten granularen Einblick in das Verhalten von Anwendungen und ermöglichen es Entwicklern, den Lebenszyklus einer HTTP-Anfrage zu verfolgen, von ihrem Eindringen in das Vercel-Netzwerk bis zur Rückgabe der Antwort an den Client. Vercel bietet auch vordefinierte Dashboards, die es Entwicklern ermöglichen, schnell die Gesundheit ihrer Anwendung zu verstehen und Probleme zu identifizieren. Darüber hinaus können Entwickler mit dem Query-Tool umfangreiche Datenmengen durchsuchen, um eine Vielzahl von Fragen zu beantworten - von der Identifikation von Crawling-Bots bis zur Quantifizierung der P90-Latenz verschiedener KI-Modell-Provider.

Malavika präsentiert Versels ambitionierte Zukunftsvision für die AI Cloud und Observability. Das Ziel ist es, die Art und Weise, wie Entwickler mit Observability-Tools interagieren, grundlegend zu überdenken. Anstatt nur Probleme zu präsentieren, soll die AI Cloud Anwendungen reparieren und optimieren. Sie betont, dass Observability-Tools der Zukunft nicht nur Probleme, sondern auch Lösungen, Empfehlungen, Pull Requests und automatisierte Aktionen bereitstellen sollten. Dies ist das Kernkonzept, das Vercel Agent mit seinen erweiterten KI-Fähigkeiten realisieren soll. Sie unterstreicht, dass dies einen paradigmatischen Wechsel von reaktiven zu proaktiven, automatisierten Systemen darstellt.

Malavika informiert über die Verfügbarkeit und Zugänglichkeit der neuen Vercel Agent-Funktionen. Vercel Agent ist in Public Beta verfügbar und Vercel verschenkt 100 Dollar in kostenlosen Credits an alle Nutzer zum Ausprobieren der neuen Funktionen. Die Code-Review-Funktion wurde bereits im letzten Monat eingeführt und ist für alle Vercel-Nutzer kostenlos verfügbar. Agent-Untersuchungen sind ab sofort verfügbar und sind für Pro- und Enterprise-Kunden mit Observability Plus zugänglich. Sie weist die Zuhörer darauf hin, den Agent-Tab im Vercel-Dashboard zu besuchen, um zu beginnen. Danach wechselt sie das Thema zu KI-Evaluationen und stellt fest, dass relativ wenige Entwickler dedizierte KI-Observability-Produkte für Evaluationen nutzen.

Malavika behandelt das wichtige Thema KI-Evaluationen und Qualitätsüberwachung. Sie erläutert, dass KI-Anwendungen nicht-deterministisch sind und die Ausgabequalität überwacht werden muss, besonders bei Agenten, die mehrere Überlegungsschritte verknüpfen. Sie erwähnt ein wachsendes Ökosystem von Agent-Frameworks, die auf OpenTelemetry aufbauen, um Entwicklern bei der Überwachung und Optimierung ihrer Workflows zu helfen. Vercel Drains ermöglichen es, alle Daten an Drittanbieter-Observability-Tools zu exportieren. Um die Evaluierungen zu vereinfachen, hat Vercel eine Partnerschaft mit BrainTrust über den Vercel Marketplace eingegangen, die es Entwicklern ermöglicht, Traces und Evaluierungsdaten automatisch zu BrainTrust zu streamen.

Malavika schließt die Präsentation ab und betont Versels Philosophie der Entwickler-Freiheit und -Kontrolle. Während Vercel hart daran arbeitet, erstklassige native Observability-Tools zu entwickeln, werden Entwickler immer die Freiheit haben, ihre Daten dorthin zu senden, wohin sie möchten. Das übergeordnete Ziel ist es, Entwicklern zu helfen, großartige Benutzererlebnisse zu schaffen und unzuverlässigen Code in zuverlässige Systeme zu verwandeln. Sie lädt die Zuhörer ein, sie bei der Happy Hour zu treffen, um mehr über ihre Projekte zu sprechen, und bedankt sich für die Aufmerksamkeit.