Agen Anda kekurangan konteks: Begini cara mengatasi "Anda benar sekali!" — Brandon Waselnuk, Unblocked
AAI Engineer
컴퓨터/소프트웨어AI/미래기술
스크립트
00:00:00Selamat siang. Semoga hari kalian menyenangkan di AIE ini. Cuaca kita bagus,
00:00:17meskipun indeks UV mencapai sembilan, jadi semoga kalian sudah pakai tabir surya
00:00:20dan bertindak sebagai orang dewasa yang baik. Saya di sini untuk membahas tentang rekayasa
00:00:24konteks, dan saya cukup beruntung bisa tampil setelah AJ dari LinkedIn karena dia
00:00:27banyak membahas sistem yang benar-benar kami rancang dan jual ke solusi lain,
00:00:29dan saya akan membagikan sejumlah perangkat sumber terbuka (open source). Jadi, jika Anda menyimak
00:00:33sesi terakhir sebelum saya, Anda akan mendapatkan berbagai perangkat yang dapat
00:00:36Anda coba sendiri, dan hari ini saya akan mengajarkan beberapa teknik. Tujuannya tentu saja
00:00:39adalah untuk memperbaiki—Anda benar sekali. Saya rasa mereka telah menghapus kalimat itu dari
00:00:44prompt sekarang, jadi sekarang hanya bertuliskan Anda benar atau hal lainnya, tapi saya yakin Anda
00:00:47semua pernah mengalaminya. Jadi, saya Brandon, saya bekerja di Unblocked. Ya, saya punya kelapa,
00:00:53kami membagikan ini untuk konteks segar, kelapa segar. Tapi hal yang ingin
00:00:57saya bicarakan dengan Anda adalah bahwa dengan model-model ini, terutama model Claude,
00:01:01saya rasa Claude 3.5 akan hadir kembali hari ini, jadi mereka bilang Anda bisa menonton rekaman rapat Google Meet saya
00:01:05coba pesan ini, kita abaikan saja. Tapi yang ingin saya sampaikan adalah agar Anda berpikir
00:01:11tentang fakta bahwa dengan alat-alat ini, kode buatan AI seharusnya terasa seperti
00:01:15ditulis oleh seseorang yang sudah berada di tim Anda selama bertahun-tahun. Jadi, untuk mendapatkan pola pikir yang tepat,
00:01:23selama bertahun-tahun itu Anda harus menyadari bahwa Andalah mesin konteksnya. Bagaimana Anda melakukannya?
00:01:27Anda membangun konteks dengan pergi bekerja dan mengajukan pertanyaan, mengirimkan PR dan
00:01:34mendapat penolakan, menghadiri rapat, dan semua ini perlahan dari waktu ke waktu membangun
00:01:39mesin yang merupakan otak Anda. Anda memahami cara kerja segala sesuatu di sini, Anda tahu bagaimana sesuatu
00:01:42dirilis, Anda bertugas siaga (on-call) malam itu saat Anda merusak sistem produksi dan mengapa itu terjadi. Masalahnya
00:01:48adalah agen-agen ini memiliki masalah yang sama persis setiap kali Anda membuat
00:01:53sesi terminal baru dengan agen di dalamnya, agen tersebut sangat cerdas tetapi tidak
00:01:57memiliki konteks tentang cara perusahaan Anda beroperasi sehingga ia perlu mendapatkannya entah bagaimana. Masalahnya
00:02:02adalah saat Anda menaikkan skala agen-agensi ini, biaya tersebut akan berlipat ganda jika Anda salah melakukannya
00:02:07di awal. Pengaruh dari konteks dan konten. Kita akan perbaiki ini
00:02:13karena saya rasa orang-orang ingin mengambil beberapa foto. Sempurna. Masalah konteks itu akan
00:02:20berlipat ganda. Jadi di sisi paling kiri, kita semua ingat masa lalu
00:02:25dua tahun lalu di mana kita memiliki model pelengkapan tab (tab complete) yang cukup keren. Apa yang terjadi adalah
00:02:29fitur itu muncul dan berkata, hei, apakah kamu ingin mengetap ini? Dan dengan cepat di kepala Anda dengan
00:02:32konteks Anda, Anda berpikir, tidak, itu buruk. Atau Anda berkata, oh, keren, Anda menekan tab. Bagus. Saat kita
00:02:37bergeser di sepanjang kurva adopsi agen ini, yang terjadi adalah Anda beralih ke
00:02:41lebih banyak situasi di mana Anda memiliki agen yang berjalan tanpa manusia yang terlibat (human in the loop) atau setidaknya
00:02:46Anda berharap tidak harus terlibat. Apa yang mereka butuhkan adalah cara agar mereka dapat
00:02:50mengajukan pertanyaan yang mereka perlukan saat menemui jalan buntu guna menulis kode atau
00:02:54menyelesaikan atau pada dasarnya memperbaiki masalah dan pada akhirnya menghasilkan kode yang layak digabungkan
00:02:58ke dalam basis kode Anda, terutama mengingat banyak orang di sini yang benar-benar bekerja di basis kode warisan (brownfield)
00:03:02yang sudah ada sejak lama yang menghasilkan pendapatan nyata
00:03:06bukan sekadar proyek hijau (greenfield) yang menyenangkan. Jadi, biaya dari konteks yang buruk yang berlipat ganda di
00:03:12awal itu murah jika Anda berpikir seperti menggeser ke kiri (shift left) untuk menemukan cacat atau bug, Anda
00:03:17pasti ingin menemukannya sedini mungkin. Hal yang sama berlaku untuk konteks karena saat Anda bergerak
00:03:22lebih jauh, Anda terjebak dalam lingkaran buntu (doom loop). Anda biasanya meminta agen Anda melakukan sesuatu dan ia berkata,
00:03:26hei, saya sudah melakukannya, lalu Anda menjawab, bukan begitu kawan, dan kemudian Anda mengoreksi dan mengoreksi terus.
00:03:29Itu adalah pemborosan token pencarian dan waktu pengerjaan ulang, dan itu tidak
00:03:34dapat diterima dengan tokenomik yang akan datang. Dan kemudian saat Anda beralih ke agen paralel
00:03:39dan lain-lain, Anda mulai mengalami pajak tinjauan (review tax). Jadi peninjau kode AI ini berusaha
00:03:43kita gunakan, tetapi sekali lagi, konteks kunci sangat penting di sana agar tinjauan kode tersebut dapat
00:03:48pada dasarnya memahami bagaimana operasi bisnis berjalan sehingga ia mengetahui
00:03:52logika bisnis dan banyak lagi. Dan akhirnya, jika harapan Anda adalah keluar sepenuhnya dari lingkaran (out of the loop)
00:03:57seperti agen latar belakang yang menyelesaikannya tanpa membuat kesalahan, Anda benar-benar harus
00:04:02memastikan bahwa Anda memiliki mesin konteks sehingga agen-agen tersebut dapat menguerinya dan mendapatkan semua
00:04:05jawaban yang mereka butuhkan agar dapat terus beroperasi secara efektif.
00:04:08Ada beberapa pendekatan umum yang tidak berhasil, yang pada dasarnya seperti titik maksimum lokal (local maxima). Dua dari pendekatan
00:04:16yang paling sering kami lihat dari ratusan klien perusahaan dan bisnis kelas menengah adalah
00:04:21jebakan konteks terkurasi (curated context trap). Jika Anda pernah duduk dan mengambil sistem berkas virtual atau mungkin sistem berkas lokal,
00:04:26lalu Anda memasukkan beberapa berkas markdown ke dalamnya dan berpikir, inilah semua konteks proyek ini dan cara kerjanya,
00:04:30Anda kemudian mengizinkan agen Anda melakukan grep pada berkas tersebut sehingga ia mendapatkan banyak data bagus dan kinerjanya akan meningkat.
00:04:35Masalahnya adalah, pertama, sekarang Anda harus mendistribusikannya—mungkin mengunggahnya ke GitHub agar tim Anda dapat mengambilnya—tetapi kemudian masalah berikutnya adalah repositori tersebut akan menjadi usang (rot) seperti semua dokumentasi lain yang Anda tulis, dan kemudian siapa di organisasi Anda yang begitu mahakuasa hingga memiliki selera untuk mengkurasi berkas atau repositori ini untuk secara harfiah semua orang di organisasi.
00:04:52Jadi Anda mulai menghadapi masalah-masalah ini. Yang berikutnya adalah dataran tinggi MCP (MCP plateau). Hal ini cukup jelas; kita memiliki MCP, alat-alat tersebut sangat bagus, Anda dapat memberikannya kepada agen Anda dan sekarang ia pada dasarnya bisa mendapatkan informasi dari sistem sumber lain. Masalahnya tentu saja, bergantung pada cara Anda menulis deskripsi peladen dan deskripsi alat, agen Anda mungkin tidak akan pernah memanggilnya meskipun seharusnya ia melakukannya, atau jika ia melakukannya, ada bias terkenal yang disebut bias kepuasan pencarian (satisfaction of search bias). Artinya, ketika agen menemukan
00:05:22informasi pertama yang ia anggap benar, ia akan berkata, oh, saya sudah mendapatkan apa yang saya butuhkan, lalu ia melanjutkan. Padahal di sebagian besar organisasi, ada percakapan Slack dari semalam yang mengatakan bahwa Anda seharusnya melakukan A alih-alih B, dan agen tidak akan pernah menemukannya jika ia menemukan catatan arsitektur terlebih dahulu, sehingga ia tidak benar-benar mempertimbangkan semua konteks.
00:05:40Masalah di sini adalah akses terhadap informasi bukanlah pemahaman. Jadi untuk memberikan pemahaman kepada sebuah model, Anda harus melakukan teknik-teknik lain. Apa yang sebenarnya ingin saya katakan adalah apa yang tidak dapat dilihat oleh agen Anda adalah segala sesuatu di bawah garis air (waterline). Ia seratus persen bisa mendapatkan kode yang dapat dikompilasi, tetapi kode yang dapat dikompilasi itu justru menjatuhkan sistem produksi dan Anda mengalami insiden P0 pada pukul satu pagi karena ia melewatkan fakta bahwa Anda memiliki prosedur peluncuran tertentu di mana Anda seharusnya mematikan penanda fitur (feature flag), atau apa pun itu.
00:06:10Jadi tim Anda memerlukan mesin konteks karena apa yang seharusnya dilakukannya adalah memahami siapa Anda dan di mana Anda bekerja dalam suatu organisasi. Jadi jika saya berkata kepada Anda, saya ingin menyiapkan otentikasi (auth), sistem tahu di mana saya bekerja, tahu di mana komit Git saya berada, tahu siapa yang meninjau komit tersebut, dan memahami konteks saya sehingga ia dapat memfokuskan saya dan kemudian menggunakannya sebagai titik picu untuk menemukan sisa informasinya.
00:06:33Mesin ini menyelesaikan konflik—seperti yang disebutkan, diagram arsitektur lama versus percakapan Slack semalam dengan CTO, mana yang benar? Anda perlu menggunakan berbagai teknik untuk mengetahuinya.
00:06:44Menghormati izin dan tata kelola (governance), tentu saja. MCP memungkinkan kita menggunakan OAuth dan cakupan (scope) serta SSO lainnya, tetapi jika seseorang mengajukan pertanyaan di sini yang seharusnya tidak mengetahui proyek rahasia A, Anda harus memastikan hal itu tidak bocor ke dalam respons.
00:06:58Dan terakhir, menyampaikan konteks yang tepat pada waktu yang tepat kepada model dengan cara yang dioptimalkan untuk token.
00:07:03Kita memiliki beberapa area permukaan karena para insinyur manusia masih terus berbicara dengan Unblocked untuk mendapatkan informasi yang mereka perlukan di Slack atau melalui saluran lain.
00:07:09Tetapi Anda juga menginginkan respons yang dioptimalkan untuk token jika Anda hanya berkomunikasi antar-mesin agar tidak membuang banyak kelas tebal pada pengeluaran token Anda.
00:07:17Beginilah cara kerja sebuah mesin. Saya akan menjelaskannya secara singkat, tetapi pada intinya di sisi kiri Anda melihat semua sumber data yang masuk.
00:07:26Bagi kami, kami berfokus pada tim teknik dan itulah pihak yang menggunakan layanan kami, serta tim-tim di sekitarnya yang tidak terlalu teknis seperti dukungan (support), penjualan (sales), dan lain-lain.
00:07:34Anda mencerna semua data tersebut, Anda mendapatkan data waktu nyata (real-time) dari perangkat seperti rantai alat manajemen insiden Anda.
00:07:39Data tersebut masuk ke dalam mesin, tempat mesin itu memikirkan bagian bawahnya—saya akan menguraikan seluncuran itu sebentar lagi.
00:07:45Namun pada dasarnya mesin ini menggunakan enam karakteristik utama ini, dan kemudian di sebelah kanan Anda mengeluarkan konteks ke alur kerja yang tepat dengan cara yang diperlukan.
00:07:53Enam poin utama tersebut, seperti yang disebutkan, konteks sistem yang disatukan, Anda harus mencakup keseluruhannya.
00:08:01Di organisasi besar, perusahaan sekelas LinkedIn, Workday, General Motors, atau apa pun, mereka membutuhkan jenis data ini.
00:08:08Mereka perlu memahami segala sesuatu yang sedang terjadi.
00:08:10Dan Tharik pagi ini sebenarnya berbicara tentang Fable yang berpotensi dirilis hari ini.
00:08:15Dia menyebutkan bahwa Anda sebenarnya perlu menyediakan peta dan kemudian membiarkan Fable menjelajahi wilayah tersebut.
00:08:21Cara untuk membantu membatasi hal tersebut adalah memastikan bahwa model-model ini memiliki akses ke semua konteks karena mereka akan menemukan hal-hal yang tidak Anda ketahui (unknown unknowns).
00:08:29Pasti ada hal-hal yang terjadi di perusahaan Anda yang tidak Anda sadari tetapi akan sangat membantu untuk tugas yang coba Anda selesaikan.
00:08:35Hal itu akan bergerak lebih cepat.
00:08:37Tetapi pengambilan yang ditargetkan (targeted retrieval), Anda harus mampu, jika Anda memberikan tautan dengan cepat, membukanya (unfurl), mendapatkan kembali dokumen tersebut, dan melanjutkan.
00:08:43Jadi dua tugas: penelitian mendalam (deep research), berjalan lama, itu tidak masalah.
00:08:46Tetapi Anda juga memerlukan kecepatan saat kecepatan itu dibutuhkan.
00:08:49Penyelesaian konflik, kita sudah membahasnya.
00:08:51Namun satu hal mengatakan lakukan A, satu hal mengatakan lakukan B, siapa yang benar.
00:08:55Relevansi yang dipersonalisasi, siapa saya, di mana saya bekerja, apa yang sedang saya kerjakan.
00:08:59Optimasi token tersebut, memastikan responsnya bagus dan efektif serta tidak memenuhi jendela konteks.
00:09:04Dan kemudian penegakan izin (permission enforcement), tentu saja, OAuth, Anda seharusnya tidak melihatnya, Anda tidak boleh melihatnya.
00:09:10Apa yang kita lakukan dengan beberapa pengujian adalah kita benar-benar menjalankan prompt yang sama persis ke model yang sama, satu dengan konteks dan satu tanpa konteks.
00:09:17Ini adalah penghematan waktu dinding (wall clock time) dan kemudian dua jam, yang sangat bagus.
00:09:21Dan kemudian penghematan token.
00:09:23Jadi itu adalah tugas yang cukup besar.
00:09:25Butuh sekitar 21 juta token tanpa konteks dan kemudian 18, atau maaf, 10,8 juta token dengannya.
00:09:31Ini adalah jenis pengalaman yang biasanya Anda lihat saat menggunakan mesin konteks karena sebagian besar token pencarian yang terbuang di mana ia harus melakukan grep di awal setiap sesi untuk memahami dan menemukan hal-hal tidak lagi ada saat ia dihidrasi dengan konteks.
00:09:45Dihidrasi.
00:09:47Dan kemudian saat Anda bergerak maju, Anda mendapatkan jenis hasil seperti ini.
00:09:5050% lebih sedikit token, triase lebih cepat, dan kualitas jawaban sebenarnya lebih baik karena ia tahu apa yang sedang terjadi di dalam bisnis.
00:09:57Sekarang bagian selanjutnya, Anda mungkin ingin mengambil foto.
00:10:01Jika Anda tidak tahu, Anda sebenarnya dapat mengambil gambar kode QR lalu nanti di foto, ketuk gambar tersebut dan muat tautannya sehingga Anda tidak perlu berdiri di sini karena saya akan memberikan tiga kode QR.
00:10:09Kode QR pertama ini adalah untuk jaringan komentar sosial.
00:10:12Saya akan menampilkan itu sehingga Anda dapat mengambil foto.
00:10:14Tetapi ini adalah alat sumber terbuka yang kami miliki yang sebenarnya menggunakan semua pemrograman deterministik untuk memeriksa GitHub Anda dan memahami siapa yang bekerja di tim Anda.
00:10:22Ini adalah tim asli saya.
00:10:23Kami menyebut Rasheen si mesin karena dia mengirimkan kode bagaikan orang kesurupan.
00:10:26Tapi di sebelah kanan, Anda bisa melihat apa yang dia commit, di mana dia commit, siapa yang meninjau pekerjaannya.
00:10:30Dan kemudian di tab-tab tersebut, Anda dapat menemukan grafik pakar yang diringkas.
00:10:33Anda mendapatkan cakupan penuh dari apa yang terjadi dalam bisnis Anda.
00:10:35Dan jika Anda secara opsional menambahkan salah satu kunci API untuk OpenAI atau Anthropic, alat ini akan menentukan tim Anda dengan memberi label untuk Anda.
00:10:44Ini adalah alat yang sangat keren untuk memahami di mana tim Anda bekerja dan mendapatkan jaringan sosial tersebut untuk memfokuskan mesin konteks jika Anda akan membangun alat ini sendiri.
00:10:52Yang berikutnya disebut agen aturan repo.
00:10:55Ini adalah sampel dari basis kode asli kami.
00:10:57Saya akan memunculkannya, jadi Anda tidak perlu berbicara dengan benda itu.
00:11:00Namun singkatnya, fungsinya adalah menemukan semua tempat di mana tim Anda menulis file aturan, memeriksanya semua, lalu memberi tahu Anda tingkat keparahan dan hal-hal lain yang telah Anda berikan.
00:11:11Apakah saya harus beralih ke ini saja?
00:11:13Alat ini memberi tahu Anda -- oh, halo.
00:11:15Senang berkenalan dengan kalian semua.
00:11:17Pada dasarnya, alat ini akan menemukan semua aturan yang ada di dalam repo Anda dan kemudian memberi tahu jika Anda memiliki masalah duplikat atau masalah lainnya.
00:11:24Dan kemudian Anda dapat melakukan grep di atasnya sebagai indeks.
00:11:26Jadi indeks itu dapat dipanggil dan Anda dapat menghapus duplikat, dan itu akan membantu meningkatkan pengambilan konteks Anda.
00:11:32Dan akhirnya, pada hari Senin, kami menyampaikan lokakarya ini, yaitu melampaui RAG, dan mengajarkan cara membangun mesin konteks relasional dari awal.
00:11:40Jadi, jika Anda memindai itu, Anda akan mendapatkan buku kerja lengkap.
00:11:43Buku ini memiliki enam PR bertumpuk yang mengajari Anda cara melakukan proses ini.
00:11:46Namun singkatnya, RAG adalah teknik yang luar biasa, dan Anda menginginkannya.
00:11:49Tetapi separuh masalah lainnya adalah apa yang sebenarnya ditanyakan orang,
00:11:53apa saja PR terbuka yang saya kerjakan dalam seminggu terakhir dengan autentikasi?
00:11:57RAG tidak dapat menjawab pertanyaan itu sendiri.
00:12:00Anda memerlukan kueri.
00:12:01Jadi ini menunjukkan kepada Anda cara melakukan pencarian tanpa skema pada dasarnya yang memungkinkan agen untuk menemukan skema,
00:12:08lalu menulis kuer依 terhadapnya secara deterministik untuk mendapatkan jenis data relasional tersebut.
00:12:13Teknik yang sangat berguna.
00:12:15Kasus penggunaan mesin konteks, tentu saja, melampaui pembuatan kode.
00:12:21Di sinilah banyak tempat tinggal kami.
00:12:22Tempat banyak pelanggan kami menghabiskan waktu mereka.
00:12:24Namun sungguh luar biasa melihat apa yang terjadi ketika banyak orang lain di sekitar bisnis mulai menggunakan alat ini.
00:12:30Orang-orang kesuksesan pelanggan menyelesaikan tiket tepat pada saat tiket itu masuk dari pelanggan.
00:12:35Kami memiliki staf penjualan yang menutup kesepakatan lebih awal di kuartal mereka karena mereka dapat langsung menanyai mesin konteks unblocked saat berada di lapangan.
00:12:44Dan masih banyak lagi.
00:12:45Apa yang dapat Anda lakukan juga adalah jika Anda melihat grafik kurva sebelumnya di mana saya membahas level-levelnya,
00:12:51kami telah membangun alat kecil yang menyenangkan di mana pada dasarnya LLM akan menguji Anda dan menanyakan tentang apa yang sedang terjadi,
00:12:55lalu memetakan posisi Anda secara tepat dan memberi tahu Anda beberapa teknik tentang cara naik level melalui itu
00:13:01jika Anda ingin meningkatkan kemampuan Anda dan merilis perangkat AI dalam skala besar.
00:13:07Itu ada di readiness.getunblocked.com.
00:13:11Kesenjangannya bukan lagi pada kecerdasan.
00:13:13Melainkan pada konteks.
00:13:14Kami akan terus mendapatkan model luar biasa seperti Mythos yang dikembangkan oleh Anthropic,
00:13:19dan saya yakin Sol, begitu saya diizinkan melihatnya, saya akan mendapatkannya.
00:13:22Ngomong-ngomong, Selamat Hari Kanada.
00:13:24Tetapi yang terjadi adalah tentang konteks yang Anda berikan di sekitar model-model ini agar mereka menjadi efektif
00:13:30dan efisien dalam penggunaan token di dalam organisasi Anda.
00:13:35Jadi saya punya slide pertanyaan, tetapi saya tidak yakin saya diizinkan.
00:13:40Tidak.
00:13:41Jadi yang harus Anda lakukan adalah menemui saya di stan P16.
00:13:44Anda bisa mencari buah kelapa.
00:13:46Akan sangat menyenangkan bisa berkumpul dengan kalian semua dan membahas detailnya di sini jika diperlukan.
00:13:49Terima kasih atas waktu Anda.
00:14:00Terima kasih.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기