Observabilitas untuk Cloud AI

Malavika, Product Manager di Vercel, membuka sesi dengan mengucapkan terima kasih kepada peserta konferensi dan memperkenalkan misi Vercel sebagai platform terpadu untuk membangun, mendeploy, dan menjalankan aplikasi cerdas dan agent. Vercel telah berhasil mengabstraksi kompleksitas infrastruktur di fase build melalui framework-defined infrastructure, yang menghilangkan kebutuhan akan orchestration rumit dan infrastructure as code. Namun, Vercel mengakui bahwa pada fase runtime masih banyak usaha manual yang diperlukan tim development, terutama dalam mengelola insiden dan monitoring aplikasi. Pembicara menekankan bahwa visi Vercel adalah membuat runtime sehalus dan semudah build time dengan memberikan pengalaman developer yang optimal.

Bagian ini membahas tantangan signifikan yang dihadapi tim development dalam mengelola insiden, dimulai dari pengaturan alert dan monitor untuk mengidentifikasi masalah potensial. Pembicara menjelaskan bahwa proses incident response menciptakan alert fatigue ketika tim mencoba mengidentifikasi masalah penting di tengah banyaknya noise dari monitoring tools tradisional. Melalui interaksi dengan audience, diperoleh insight bahwa sekitar 50% dari waktu insiden dihabiskan untuk mengidentifikasi akar penyebab dan menentukan siapa yang seharusnya menyelesaikannya. Pembicara menekankan bahwa di era AI tahun 2025, masih banyak waktu developer berharga yang terbuang untuk debug masalah yang semestinya bisa diotomatisasi, dan mengatakan "Bagaimana kalau kami bisa menguranginya menjadi hitungan detik?" sebagai transisi ke solusi Vercel Agent.

Vercel meluncurkan Vercel Agent sebagai solusi untuk mengatasi tantangan incident response yang telah diuraikan sebelumnya. Agent ini memiliki fitur anomaly alert yang secara proaktif memonitor aplikasi untuk aktivitas mencurigakan tanpa memerlukan konfigurasi khusus (out of the box). Segera setelah mendeteksi perilaku tidak biasa, Vercel Agent menyelidiki masalah, melakukan analisis akar penyebab, dan mendiagnosis masalah dalam hitungan detik. Pembicara menekankan bahwa Vercel memiliki posisi unik karena mereka membangun aplikasi, mendeploy-nya, dan menjalankannya di production, memberikan konteks penuh yang tidak dimiliki tools observability tradisional atau infrastructure provider lain. Pendekatan ini memungkinkan Vercel Agent memberikan AI-native approach dalam memastikan reliability, performance, dan security saat runtime.

Investigasi Vercel Agent dibangun di atas native observability tooling yang dirancang dengan cermat untuk memberikan visibilitas runtime behavior dengan konteks build time. Runtime logs memberikan visibilitas granular terhadap perilaku aplikasi, memungkinkan developer untuk melacak perjalanan HTTP request dari saat masuk ke jaringan Vercel hingga response dikembalikan ke client. Vercel menyediakan opinionated dashboards out of the box yang membantu developer dengan cepat memahami kesehatan aplikasi, mencari masalah, dan mengoptimalkan performa. Dengan anomaly alerts yang baru diluncurkan, developer bisa secara aktif memonitor aplikasi untuk aktivitas tidak biasa dan cepat mengidentifikasi serta mengatasi masalah. Selain itu, Vercel menyediakan query tool yang memungkinkan developer menjelajahi jumlah besar metrics untuk menjawab berbagai pertanyaan, dari analisis bot yang crawl aplikasi hingga pengukuran P90 time to first token dari berbagai model provider.

Pembicara menguraikan visi jangka panjang Vercel untuk mengubah cara interaksi dengan observability tools secara fundamental. Goal kami adalah AI cloud tidak hanya memberitahu developer tentang masalah, tetapi juga memberikan solusi, rekomendasi, pull requests, dan automated actions untuk memperbaiki dan mengoptimalkan aplikasi. Vercel percaya bahwa masa depan observability adalah transformasi dari tools yang hanya menyajikan masalah menjadi sistem proaktif yang dapat secara otomatis mengambil tindakan perbaikan. Dunia ini adalah yang sedang Vercel bangun dengan Vercel Agent, merepresentasikan pergeseran paradigma dalam bagaimana developer menangani incident response dan optimization di production environment.

Pembicara menginformasikan bahwa developer bisa mulai menggunakan Vercel Agent hari ini, dengan produk ini sedang dalam public beta dan Vercel memberikan $100 kredit gratis kepada semua pengguna Vercel untuk mencoba fitur ini. Code review skill dari Vercel Agent telah diluncurkan bulan sebelumnya dan tersedia untuk semua pengguna Vercel tanpa biaya tambahan. Agent investigations tersedia mulai hari presentasi ini untuk pro dan enterprise customers yang memiliki observability plus subscription. Developer dapat mengakses dan memulai menggunakan Vercel Agent melalui agent tab di dashboard Vercel, membuat onboarding menjadi sederhana dan accessible bagi semua pengguna platform.

Pembicara berpindah topik untuk membahas pentingnya monitoring kualitas output dari aplikasi AI, karena aplikasi AI bersifat non-deterministic. Agents menggabungkan serangkaian reasoning steps yang memperkenalkan kompleksitas lebih besar, membuat monitoring menjadi lebih penting. Vercel melihat ekosistem besar agent frameworks yang dibangun di atas Open Telemetry untuk membantu developer memonitor, debug, dan optimasi agent workflows mereka. Vercel Drains memungkinkan developer mengekspor semua data Vercel ke third-party observability tools, memberikan fleksibilitas dalam memilih tools yang diinginkan. Vercel telah bermitra dengan Brain Trust melalui Vercel marketplace, memungkinkan developer secara otomatis stream traces dan evaluation data dari Vercel ke Brain Trust hanya dengan beberapa klik. Sebagai demonstrasi, Vercel menyediakan demo app berupa AI chatbot yang dibangun dengan Next.js, AISDK, dan AI Gateway dengan traces dikirim ke Brain Trust, menunjukkan integrasi yang seamless antara platform observabilitas dan tools evaluasi eksternal.