Kontrol Tanpa Perluasan Berlebih: Cara Mercor Memberdayakan Ratusan Pengembang dengan Vercel

하이라이트

• Mercor mengelola 2.000 proyek yang sebagian besar dimiliki oleh tim di luar organisasi teknik, meningkat dari kurang dari belasan proyek pada tahun sebelumnya.

• Penerapan Vercel AI Gateway memungkinkan perusahaan melayani 80 juta permintaan dan 63 miliar token dalam 10 hari pertama.

• Waktu proses evaluasi batch untuk mengevaluasi model bahasa besar (LLM) turun dari 12 jam menjadi 2 jam.

• Kunci API virtual dilengkapi dengan batas penggunaan, masa kedaluwarsa, pemilik, dan retensi data nol yang diaktifkan secara bawaan.

• Penggunaan Vercel Passport menghilangkan kebutuhan bagi pemilik aplikasi untuk menulis kode otorisasi secara mandiri.

타임라인

1. 00:00 - 02:22

   Pertumbuhan Proyek dan Tantangan Keamanan di Mercor

   Perusahaan menghadapi tekanan konstan dari pertumbuhan bisnis dan teknik yang berkembang sangat cepat. Tim pertumbuhan mulai merilis solusi sendiri untuk mencapai skala, tetapi hal tersebut meningkatkan area kerentanan keamanan. Mengharuskan tinjauan keamanan pada setiap proyek akan memperlambat inovasi dan memicu tim mencari jalan pintas untuk melewatinya. Oleh karena itu, platform mengandalkan pengaturan bawaan untuk menangani identitas dan akses secara otomatis.

   • Mercor menghubungkan para ahli bidang seperti dokter dan pengacara dengan Frontier Labs untuk menyediakan data pelatihan.
   • Jumlah proyek melonjak dari kurang dari belasan menjadi 2.000 proyek dalam satu tahun.
   • Tinjauan keamanan manual pada setiap proyek tidak dapat dilakukan karena menjadi hambatan operasional.
2. 02:22 - 04:50

   Otomatisasi Identitas dengan Vercel Passport

   Sebelum adanya Passport, setiap pemilik aplikasi harus membangun lapisan identitas sendiri menggunakan autentikasi kata sandi, pustaka buatan sendiri, atau metode lainnya. Kehadiran Passport menempatkan penyedia identitas di depan dengan kunci sandi yang sama dan tanpa gesekan. Penggunaan alat audiensi yang terhubung ke Vercel Connection dan Passport memungkinkan pencabutan akses secara otomatis segera setelah keterlibatan ahli berakhir.

   • Vercel Passport menggantikan berbagai keputusan pembuatan lapisan identitas menjadi satu solusi terpadu.
   • Pembuat aplikasi tidak perlu menulis kode otorisasi karena diwarisi langsung oleh platform.
   • Pemberian dan pencabutan akses untuk ratusan ribu ahli di luar perusahaan dapat dilakukan dalam hitungan detik.
3. 04:50 - 08:12

   Skala Inferensi dan Kontrol Model AI dengan AI Gateway

   Para ahli menggunakan LLM untuk menjawab pertanyaan dan menciptakan data berkualitas tinggi. Transisi ke AI Gateway menghilangkan proses pengadaan yang rumit dan negosiasi batas kecepatan yang memakan waktu. Setiap kunci API virtual dilengkapi dengan batasan penggunaan dan retensi data nol secara bawaan. Bagian keuangan juga mendapatkan keuntungan karena seluruh pengeluaran token terkonsolidasi dalam satu tagihan.

   • Sekitar 100.000 ahli di platform menggunakan model bahasa besar (LLM) dalam alur kerja inti mereka.
   • AI Gateway menyediakan satu titik akhir tunggal untuk model sumber terbuka maupun tertutup.
   • Sistem ini memberikan satu tampilan biaya untuk setiap token yang mengalir beserta penegakan anggaran.
4. 08:12 - 013:15

   Pengamanan Agen AI dan Langkah Selanjutnya

   Berbagai tim di perusahaan mulai membangun agen otonom, yang memunculkan kekhawatiran terkait akses data sensitif jika agen mewarisi izin pengguna secara bebas. Pembatasan izin, penetapan tugas yang spesifik, dan penggunaan kunci gateway khusus diterapkan untuk mencegah pelonjakan biaya dan kebocoran informasi. Keseluruhan pendekatan ini memungkinkan perusahaan untuk terus bertumbuh dan berskala tanpa menghalangi produktivitas para pembuat.

   • Agen AI diperlakukan seperti anak magang kompeten yang bekerja secara terus-menerus tanpa henti.
   • Setiap agen diberi kunci gateway, daftar aman model yang diizinkan, batas pengeluaran, dan masa kedaluwarsa.
   • Jalur yang aman dirancang agar menjadi jalur yang paling cepat dan mudah bagi seluruh pembuat di perusahaan.