Lokakarya ShipSF - V, dari Nol

하이라이트

• V mengoordinasikan agen jarak jauh seperti D0, alat MCP seperti V0, dan integrasi Notion untuk menyelesaikan alur kerja multi-langkah secara otomatis.

• Model penalaran V sempat diturunkan ke versi yang sangat murah, namun penurunan drastis pada kualitas perutean memaksa pembatalan perubahan tersebut.

• Konfigurasi satu baris pada AI Gateway memungkinkan pergantian model LLM tanpa perombakan kode aplikasi.

• Umpan balik negatif dari pengguna diproses oleh LLM sebagai juri untuk membuat draf kasus uji evaluasi secara otomatis.

• Kebijakan penelusuran secara otomatis menghapus konten input dan output pada pesan langsung atau saluran privat demi menjaga privasi data sensitif.

타임라인

1. 00:00 - 04:13

   Perkembangan Spesialisasi Agen Internal dan Masalah Penemuan

   Tim fungsional di Vercel memiliki keahlian domain masing-masing, mulai dari metrik bisnis, penagihan, dokumentasi, hingga penanganan insiden. Kemudahan pembuatan agen menyebabkan proliferasi bot seperti D0, V0, P0, dan PM0 yang membingungkan pengguna. V mengatasi fragmentasi ini dengan bertindak sebagai satu pintu masuk di Slack dan web yang memahami konteks serta memanggil spesialis yang sesuai.

   • Berbagai tim internal membangun agen spesialis mandiri seperti D0 berbasis kerangka kerja Eve.
   • Banyaknya nama agen membuat karyawan baru kesulitan menemukan agen yang tepat untuk menjawab pertanyaan spesifik.
   • V dibangun sebagai gerbang utama untuk merutekan permintaan, mensintesis sumber, dan mengoperasikan pasar internal untuk keterampilan bersama.
2. 04:13 - 09:17

   Spesialisasi D0 dan Arsitektur Agen Jarak Jauh

   D0 mendemonstrasikan analisis instalasi mingguan paket Next.js selama delapan minggu dengan total 450 juta unduhan lengkap beserta penjelasan konteks lonjakannya. Melalui arsitektur agen jarak jauh, tim data memelihara instruksi, alat, dan evaluasi mereka sendiri tanpa bergantung pada siklus rilis V. Kontrak perutean yang presisi memastikan batasan yang jelas antara agen dengan kapabilitas yang hampir tumpang tindih.

   • D0 menginterpretasikan metrik bisnis dari gudang data melalui kueri semantik dalam bahasa alami.
   • Protokol agen jarak jauh Eve mempertahankan kepemilikan tim domain tanpa harus memusatkan semua keahlian ke dalam satu prompt raksasa.
   • Kontrak perutean satu file mendefinisikan batas kemampuan agen agar V tidak salah mengarahkan tugas.
3. 09:17 - 15:50

   Fondasi Kerangka Kerja Eve dan Orkestrasi Alur Kerja Multi-Langkah

   Implementasi alur kerja kompleks membutuhkan koordinasi antar-layanan yang dependen, bukan sekadar eksekusi paralel acak. Analisis metrik Next.js oleh D0 diteruskan ke V0 untuk membangun visualisasi interaktif, yang kemudian disematkan bersama ringkasan dan catatan kualitas data ke dalam halaman Notion. V mengeksekusi rangkaian ini menggunakan model Claude Opus 5.5 fast di atas fondasi infrastruktur Eve.

   • Eve menyediakan primitif untuk sesi, tugas latar belakang, otorisasi, identitas, dan eksekusi tahan lama.
   • V mengoordinasikan permintaan pembuatan laporan secara berurutan: penarikan data via D0, visualisasi grafik via MCP V0, dan publikasi ke Notion.
   • Penggantian model fondasi dilakukan melalui konfigurasi satu baris di AI Gateway.
4. 15:50 - 24:01

   Overhead Koordinasi dan Evaluasi Dua Tingkat

   Kesalahan transfer konteks antar-agen berisiko mengubah definisi data, seperti salah menafsirkan angka unduhan mentah menjadi pertumbuhan pengguna riil. Pengujian alur kerja memastikan kasus khusus—seperti data minggu yang hilang atau kegagalan otorisasi—ditangani dengan benar. Saat model penalaran V sempat diuji coba menggunakan model alternatif yang sangat murah, telemetri evaluasi langsung mendeteksi degradasi drastis pada akurasi perutean.

   • Keberhasilan setiap pemanggilan alat tidak menjamin kebenaran hasil akhir jika konteks dan batasan hilang di tengah serah terima.
   • Sistem membutuhkan evaluasi ganda: pengujian unit pada spesialis independen dan pengujian ujung ke ujung pada seluruh alur kerja.
   • Tombol umpan balik Slack mengaktifkan juri LLM untuk menyusun draf kasus uji evaluasi regresi.
5. 24:01 - 29:50

   Model Keamanan, Izin Akses, dan Penelusuran Terbatas

   Akses pemanggil ke dokumen sensitif tidak serta-merta mengizinkan hasil analisis disiarkan ke saluran umum. Vercel Connect memfasilitasi autentikasi pengguna secara instan melalui tautan sementara di Slack tanpa membatalkan alur kerja yang tertunda. Untuk mencegah kebocoran informasi pribadi ke dalam log debug, jejak penelusuran di lingkungan privat disanitasi secara ketat.

   • Otentikasi antar-layanan dipisahkan secara tegas dari penerusan identitas pengguna akhir.
   • Penentuan pengiriman hasil mempertimbangkan sensitivitas konten dan sifat audiens, bukan hanya izin tautan awal.
   • Kebijakan penelusuran produksi secara selektif menghapus konten masukan dan keluaran pada percakapan privat.
6. 29:50 - 43:01

   Panduan Implementasi dan Sesi Tanya Jawab

   Pengembangan disarankan bermula dari hasil nyata bernilai tinggi, seperti laporan mingguan, lalu memetakan kebutuhan keahlian serta evaluasinya ke belakang. Menjawab pertanyaan peserta, dijelaskan bahwa integrasi V sangat terikat dengan kerangka kerja Eve dan menggunakan pola pengalihan respons ke DM ketika menyentuh data rahasia. Tim menangani evaluasi dengan memilah umpan balik pengguna dan mengonfirmasi konteks langsung ke pelapor jika terjadi ambiguasi perutean.

   • Pembangunan sistem agen sebaiknya dimulai dari satu alur kerja spesifik yang berulang daripada langsung membuat agen serbabisa.
   • Akses langsung ke data warehouse dibatasi secara eksklusif hanya untuk agen data D0.
   • Informasi yang melibatkan data sensitif dialihkan otomatis ke pesan langsung (DM) daripada dibagikan di thread publik.