Transcript
00:00:00AI membuat pengodean dapat diakses oleh semua orang dan orang-orang mulai merilis kode dengan jauh
00:00:04lebih cepat.
00:00:05Tetapi dengan kecepatan yang lebih cepat lagi, masalah keamanan di dalam aplikasi tersebut mulai menumpuk.
00:00:09Dan dalam beberapa bulan terakhir, keadaannya justru semakin memburuk.
00:00:12Ada banyak kejadian ketika sebuah agen menghapus seluruh proyek seseorang.
00:00:16Agen lain menghapus seluruh basis data produksi saat pengembang sedang mengerjakan
00:00:20sesuatu yang sama sekali tidak terkait.
00:00:22Dan ada banyak masalah serupa seperti bocornya Clod.md internal milik Apple.
00:00:26Jadi peralatan yang benar-benar dapat menangkap masalah ini lebih penting sekarang daripada sebelumnya.
00:00:30Melihat peningkatan masalah ini, Vercel baru saja merilis harness keamanan untuk mendeteksi pelanggaran dalam aplikasi
00:00:35berbasis AI yang disebut DeepSec.
00:00:37Sekarang Anda mungkin berpikir kode Claude sudah bisa melakukan tinjauan keamanan sendiri dengan agen-agennya.
00:00:42Jadi mengapa Anda membutuhkan DeepSec?
00:00:44Itu karena DeepSec adalah alat terstruktur yang menangani tinjauan jauh lebih sistematis.
00:00:49Di balik layarnya, alat ini menggunakan agen pengodean seperti Claude code dan Codex.
00:00:52Alat ini dirancang untuk memindai repositori besar karena mendukung desain paralel yang
00:00:57mempercepat alur kerja dan mengelompokkan kode ke dalam beberapa grup, yang membuatnya sempurna untuk
00:01:01meninjau basis kode yang besar.
00:01:03Nah, ini tidak dibangun dengan mempertimbangkan efisiensi biaya.
00:01:06Mereka menggunakan model paling kuat dari Claude code dan Codex, yaitu Opus 4.7 pada
00:01:10upaya maksimal dan GPT 5.5 pada penalaran ekstra tinggi, yang keduanya menghabiskan banyak token.
00:01:16Dan dengan menjalankannya secara paralel, penggunaan token menumpuk dengan cepat, sehingga meningkatkan biaya.
00:01:20Beberapa aplikasi terkenal sudah menjalankan harness ini pada basis kode mereka dan melaporkan hasil yang baik.
00:01:25Dalam pengujian yang mereka jalankan, tingkat positif palsu dari alat ini kira-kira 10-20%.
00:01:30Angka ini signifikan mengingat bagaimana akurasi LLM biasanya.
00:01:33Sebaliknya, ini berarti agen tersebut benar sebagian besar waktu dan hasil positif aslinya
00:01:37tinggi.
00:01:38Arsitektur di baliknya adalah apa yang membuatnya berbeda.
00:01:40Jika Anda meminta Claude code atau agen apa pun untuk tinjauan keamanan, ia akan mulai dengan memindai langsung
00:01:45basis kode dan kemudian menghasilkan laporan tinjauan lengkap.
00:01:48Itu tidak hanya memakan banyak waktu, tetapi juga menghabiskan banyak token dan tinjauan tersebut
00:01:52mungkin masih melewatkan beberapa hal.
00:01:53Jadi bagian pertama dari alur kerja ini adalah pemindaian, melakukan pemindaian khusus RegEx pada semua file untuk
00:01:58area sensitif keamanan yang akan menjadi fokus langkah selanjutnya.
00:02:01Deteksi RegEx penting di sini karena alat ini dirancang untuk basis kode besar di mana
00:02:06bisa dengan mudah terdapat ribuan file.
00:02:08Pencocokan RegEx adalah serangkaian pola kode yang mencocokkan area yang diketahui kemungkinan memiliki
00:02:13kerentanan keamanan dan kemudian menyaring file-file tersebut dari kumpulan yang besar.
00:02:16Setelah kumpulan besar file disaring, langkah berikutnya adalah investigasi menggunakan agen.
00:02:21Agen adalah bagian yang mahal karena menghabiskan banyak token dan biasanya memakan waktu
00:02:25lama tergantung seberapa besar basis kode Anda sebenarnya.
00:02:28Jadi alat ini membagi semua file ke dalam kelompok-kelompok dan memparalelkannya sehingga dapat diproses
00:02:32pada waktu yang sama.
00:02:34Setelah proses itu selesai, ada langkah validasi ulang lainnya di mana investigasi
00:02:37diperiksa kembali sehingga hasil positif palsu dicek silang.
00:02:40Jika ada sesuatu yang terlewatkan, langkah ini akan menangkapnya dan memastikan klasifikasi telah dilakukan
00:02:45dengan benar.
00:02:46Validasi ulang ini sebenarnya bersifat opsional.
00:02:47Setelah itu, agen menggunakan metadata Git dan sumber lain untuk mengidentifikasi siapa saja yang
00:02:51bertanggung jawab atas masalah tersebut.
00:02:53Setelah semua itu selesai, temuan disimpan sebagai markdown atau JSON sehingga dapat
00:02:57diubah menjadi tiket untuk manusia maupun agen pengodean.
00:03:01Seperti yang disebutkan sebelumnya, file dikelompokkan ke dalam batch dengan sekitar 5 file diproses
00:03:05bersama per batch.
00:03:06Untuk setiap batch, prompt baru disusun berdasarkan kerangka kerja yang diidentifikasi bersama dengan
00:03:11informasi proyek lainnya.
00:03:12Ini kemudian dianalisis oleh Claude Agent SDK atau Codex Agent SDK, mana pun yang telah Anda konfigurasi
00:03:17dan mereka diberikan alat dengan akses baca-saja untuk memahami apa yang ada dalam basis kode.
00:03:22Setelah mereka memiliki temuan, semuanya digabungkan menjadi satu file yang dideduplikasi
00:03:26dan dinormalisasi.
00:03:27Pada akhirnya, ada langkah tindak lanjut untuk memastikan analisis benar-benar mencakup semuanya.
00:03:31Arsitektur ini membuatnya efektif karena prosesnya yang sistematis dan metode analisis yang terstruktur
00:03:36dan ini membantu mengidentifikasi masalah jauh lebih baik daripada yang bisa dilakukan tanpa harness.
00:03:41Jadi untuk menguji ini, kami menggunakan proyek sumber terbuka yang merupakan aplikasi web yang berisi
00:03:45risiko keamanan bawaan hanya untuk latihan.
00:03:47Kami ingin melihat apakah alat ini mampu mendeteksi semua masalah di repo ini
00:03:52secara mandiri.
00:03:53Proyek ini berisi 10 masalah keamanan dengan semua detail tersedia langsung di dalam kode
00:03:56itu sendiri termasuk cara menghapusnya.
00:03:58Jadi untuk menjalankan DeepSec, Anda pertama-tama menjalankan perintah deepsec init yang menginstal dependensi
00:04:03dan membuat folder .deepsec, lalu Anda menginstal dependensi di dalam folder tersebut.
00:04:08Ini juga memberi Anda prompt yang perlu Anda tempelkan ke agen pengodean mana pun yang Anda gunakan.
00:04:12Karena kami menggunakan Claude code, kami menjalankan prompt itu di Claude yang berisi instruksi
00:04:16untuk membuat file info.md kecil yang mencakup semua informasi proyek dan dibangun berdasarkan
00:04:21templat tertentu.
00:04:23Anda tidak harus menjalankan perintah ini di folder proyek itu sendiri, Anda menjalankannya di folder .deepsec
00:04:27karena ia menginstruksikan agen untuk melihat ke direktori sebelumnya dan membaca semua
00:04:31informasi darinya.
00:04:32File info.md berisi gambaran umum tentang apa yang dilakukan basis kode dan seperti apa alur autentikasinya,
00:04:37serta model ancaman, pola spesifik proyek, dan semua hasil positif palsu
00:04:42yang diketahui di dalam kode.
00:04:44Jadi setelah file ini dibuat, tugas berikutnya adalah menjalankan perintah deepsec scan.
00:04:48Perintah ini adalah pencocokan regex yang kita bicarakan sebelumnya dan ia menemukan semua endpoint
00:04:52yang cocok dan mencantumkan semua file tersaring yang berisi potensi masalah keamanan.
00:04:57Bagian ini terjadi dengan cepat karena hanya kode yang bekerja secara langsung.
00:05:00Langkah selanjutnya adalah menjalankan perintah deepsec process.
00:05:02Anda dapat menentukan kunci API apa pun dari model yang ingin Anda gunakan, baik itu gateway API Vercel,
00:05:07Codex, atau Claude di dalam file .env.local.
00:05:11Tetapi jika Anda tidak melakukannya, seperti yang kami lakukan, secara otomatis akan menggunakan langganan Claude code
00:05:16dan menggunakan autentikasi Anda alih-alih memerlukan kunci API apa pun.
00:05:19Ini membagi proyek menjadi beberapa batch dan memanggil beberapa alat pada masing-masing batch.
00:05:23Setelah setiap batch, ia memberikan ringkasan berapa banyak token yang digunakan dan berapa perkiraan
00:05:27biayanya.
00:05:28Sekarang, jika Anda menggunakan langganan, Anda tidak akan dikenakan biaya apa pun di luar langganan Anda
00:05:32tetapi ia tetap memberikan perkiraan biaya API.
00:05:35Karena ini dirancang untuk tinjauan basis kode besar, alat ini tetap mengutamakan keandalan.
00:05:39Jadi jika terjadi kesalahan selama peninjauan, ia tidak mengulang semuanya dari
00:05:43awal melainkan melanjutkan dari titik di mana kesalahan itu terjadi.
00:05:46Setelah pemindaian selesai, Anda menjalankan perintah deepsec report dan ia akan menghasilkan laporan
00:05:50dalam format JSON dan Markdown yang berisi gambaran umum dari semua temuan yang dikategorikan
00:05:55berdasarkan tingkat keparahan.
00:05:56Nah, setelah laporan ini dibuat, Anda dapat menjalankan langkah validasi ulang.
00:06:00Langkah ini sepenuhnya opsional.
00:06:02Anda bisa menjalankannya jika mau atau melewatkannya sama sekali.
00:06:04Begitu Anda menjalankannya, ia memvalidasi temuan untuk memeriksa apakah laporan tersebut positif palsu
00:06:08atau bukan.
00:06:09Setelah itu selesai, Anda dapat mengekspor semuanya menggunakan perintah export dan ia akan menulis
00:06:13temuan tersebut ke dalam folder findings.
00:06:15Folder findings ini berisi masalah yang diurutkan berdasarkan prioritas sebagai nama folder dan membuat satu
00:06:20file per masalah yang diidentifikasi.
00:06:22Pertama-tama ia mencantumkan sumber masalah yang berarti file yang tepat dan baris yang menyebabkan masalah,
00:06:26seberapa parah masalahnya dan seberapa yakin model dalam mengidentifikasinya.
00:06:30Ia juga menyebutkan commit mana yang memperkenalkan masalah tersebut dan menetapkan pengguna yang melakukan commit.
00:06:34Kemudian ia menjelaskan perbaikan yang direkomendasikan, mencantumkan hasil validasi ulang dan menyebutkan semua
00:06:39masalah yang secara eksplisit ditangani.
00:06:41Ia juga menyertakan langkah-langkah untuk mereproduksi bug di dalam temuan tersebut.
00:06:44Tetapi laporan ini masih belum mengidentifikasi semua masalah, meskipun tutorialnya
00:06:48sebenarnya ada di dalam kode itu sendiri dan seharusnya ia mampu mengidentifikasinya.
00:06:52Jadi kami beriterasi dengan Claude tentang mengapa pelajaran kerentanan asli yang sengaja dimasukkan
00:06:56ke dalam aplikasi tidak teridentifikasi.
00:06:59Setelah beriterasi dengan Claude, kami menemukan bahwa alasan alat ini hanya melaporkan 3 temuan adalah
00:07:03karena penyebutan eksplisit dalam file info.md.
00:07:07DeepSec mengharapkan aplikasi di mana 10 kerentanan tersebut sudah diketahui dan ia hanya fokus pada masalah
00:07:12di luar itu karena masalah tersebut sudah diketahui, artinya ia sebenarnya mencoba untuk melampaui
00:07:16apa yang sudah diketahui dan hanya fokus pada pola lain agar pemindaian menjadi jauh lebih
00:07:21efektif dan tidak membuang waktu serta token untuk masalah yang sudah didokumentasikan.
00:07:25Kami kemudian menguji aplikasi lain untuk melihat apakah kali ini hasilnya lebih baik.
00:07:28Kami menjalankan langkah-langkah yang sama, mulai dari pemindaian hingga tahap pemrosesan.
00:07:32Kami tidak menjalankan bagian validasi ulang, kami hanya membuat laporan dan mengekspornya secara langsung.
00:07:36Dan kali ini file info.md Claude hanya berisi detail tentang aplikasi dan tidak menyertakan pernyataan
00:07:42seperti yang sebelumnya.
00:07:43Berdampingan dengan itu, kami juga meminta Claude untuk meninjau kode tersebut dan menulis file report.md dengan
00:07:48tinjauan keamanan lengkap sehingga kami bisa membandingkan mana yang sebenarnya berkinerja lebih baik.
00:07:52Jadi laporan yang dibuat oleh DeepSec menemukan beberapa bug dengan tingkat keparahan yang berbeda.
00:07:56Alat ini menemukan 9 masalah dan membuat laporan terperinci bersama dengan langkah-langkah yang direkomendasikan tentang cara memperbaiki
00:08:01masalah tersebut.
00:08:02Dan langkah-langkah yang direkomendasikan inilah yang dilewatkan oleh sebagian besar laporan lain karena inilah yang membantu
00:08:05agen memahami cara memperbaiki masalah, yang membuat penelusuran kesalahan menjadi jauh lebih mudah.
00:08:09Tetapi kami memperhatikan bahwa laporan Claude jauh lebih rinci dan menyoroti 39 masalah.
00:08:13Jadi kami memintanya untuk membuat diff terlebih dahulu.
00:08:15Diff tersebut menunjukkan bahwa jumlah temuan Claude lebih besar.
00:08:18Tetapi kami sudah melihat ini selama pengujian kami dengan Codex.
00:08:20Claude cenderung mengidentifikasi masalah lain di samping cakupan yang ditentukan.
00:08:24Ia tidak semata-mata fokus pada masalah dalam cakupan yang dirancang khusus untuk DeepSec.
00:08:29Jadi setelah kami memintanya untuk fokus hanya pada cakupan, ia mempersempit temuan menjadi 13 masalah.
00:08:34Namun masih ada beberapa masalah yang dilewatkan DeepSec yang teridentifikasi dalam laporan Claude.
00:08:38Alasan DeepSec melewatkan beberapa temuan adalah karena ia hanya fokus pada masalah yang
00:08:43terkandung langsung dalam kode dan yang dapat diselesaikan langsung dari fungsi itu sendiri.
00:08:47Ia tidak mengidentifikasi masalah yang mungkin muncul saat aplikasi benar-benar berjalan, seperti masalah terkait
00:08:52CORS.
00:08:53Ia juga tidak benar-benar fokus pada pola logis dan keputusan arsitektural.
00:08:57Seperti yang kami sebutkan sebelumnya, ia menggunakan RegEx untuk menyaring file terlebih dahulu.
00:09:01Jadi ia terutama fokus pada apa yang secara eksplisit ada dalam kode dan bukan pada masalah yang
00:09:05mungkin terjadi secara dinamis saat aplikasi dijalankan.
00:09:08Juga jika Anda menyukai konten kami, pertimbangkan untuk menekan tombol hype karena itu membantu kami
00:09:12membuat lebih banyak konten seperti ini dan menjangkau lebih banyak orang.
00:09:15Sekarang alih-alih menjalankan langkah-langkah ini satu per satu sendirian, kami telah membuat skill DeepSec ini
00:09:20yang berisi semua instruksi tentang cara menggunakan pemindai keamanan Vercel dari awal hingga akhir
00:09:24dan bagaimana ia harus mengidentifikasi dari prompt pengguna apa yang ditanyakan.
00:09:28Ia kemudian mengikuti seluruh proses langkah demi langkah dan mengelola seluruh harness secara mandiri.
00:09:32Ini juga dipaketkan dengan beberapa aset, evaluasi, dan referensi untuk semua masalah, bersama dengan
00:09:37beberapa skrip yang mungkin sangat membantu dengan solusi kerja dan fungsi keseluruhan
00:09:42dari repositori ini.
00:09:43Jadi dengan ini, Anda tinggal menjalankan pemindaian keamanan ini dan menentukan model mana yang ingin
00:09:47Anda gunakan dan ia akan menangani semuanya secara langsung untuk Anda.
00:09:50Ia akan menjalankan semua langkah yang kita lihat sebelumnya sambil juga menangani masalah yang terlewatkan
00:09:54sebelumnya dan akan mampu melakukan tinjauan keamanan yang jauh lebih baik dengan menggabungkan kemampuan
00:09:59DeepSec sambil juga menutup celah dalam temuannya.
00:10:02Nah, skill ini beserta semua sumber dayanya dapat ditemukan di AI Labs Pro untuk video ini dan
00:10:07untuk semua video kami sebelumnya dari mana Anda dapat mengunduh dan menggunakannya untuk proyek Anda sendiri.
00:10:11Jika Anda menemukan nilai dalam apa yang kami lakukan dan ingin mendukung saluran ini, ini adalah cara terbaik
00:10:15untuk melakukannya.
00:10:16Tautannya ada di deskripsi.
00:10:17Itu membawa kita ke akhir video ini.
00:10:19Jika Anda ingin mendukung saluran ini dan membantu kami terus membuat video seperti ini, Anda dapat melakukannya
00:10:23dengan menggunakan tombol super thanks di bawah.
00:10:25Seperti biasa, terima kasih telah menonton dan sampai jumpa di video berikutnya.
Community Posts
No posts yet. Be the first to write about this video!
Write about this video