Celah: Agen Adversari untuk Menguji Moralitas Anda — Brendan Rappazzo, Morgan Stanley
AAI Engineer
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00Saya akan membahas tentang proyek saya yang bernama Loophole. Dan saya sebenarnya adalah peneliti machine learning di Morgan
00:00:17Stanley, tapi ini tidak ada hubungannya dengan Morgan Stanley. Ini hanyalah proyek sumber terbuka yang saya
00:00:23buat untuk bersenang-senang. Dan sebagai gambaran umum di awal, ini sebenarnya adalah permainan yang
00:00:30bisa Anda mainkan yang dibangun di atas kerangka agen adversarial. Jadi Anda menentukan moral Anda, satu
00:00:37agen mengkodifikasikannya ke dalam sistem hukum, dan kemudian kedua agen adversarial ini mencoba mencari
00:00:42kontradiksi dalam moral Anda. Dan belakangan ini saya telah membuat berbagai ekstensi di atasnya. Tapi saya
00:00:49ingin, Anda tahu, mulai dari kisah asal usulnya dan bagaimana saya mendapatkan ide ini. Dan ini
00:00:56sebenarnya dimulai, Anda tahu, sudah lama sekali saya mengirimkan DNA saya ke 23andMe untuk tes silsilah. Dan saya
00:01:05terus mendengar tentang, Anda tahu, akhir-akhir ini bagaimana sampel DNA dapat digunakan, tentu saja, untuk membantu memecahkan
00:01:11kejahatan dan semua forensik serta kasus-kasus lama ini. Dan saya berpikir tentang bagaimana saya memilih untuk keluar dari
00:01:17semuanya karena, Anda tahu, saya takut dengan dampak buruknya dan bagaimana DNA saya akan digunakan.
00:01:26Tapi, Anda tahu, ada kasus-kasus tertentu yang saya tidak keberatan. Dan itu agak menarik. Saya
00:01:31berpikir, seperti, Anda tahu, jika seseorang dapat mengajukan kepada saya kasus per kasus, Anda tahu, kami akan menggunakan DNA Anda untuk
00:01:37menjual, Anda tahu, membantu menyelesaikan kasus lama atau pembunuhan ini, saya bisa mengatakan ya atau tidak. Dan saya tahu di mana letak
00:01:43definisi dan nuansa moral saya. Dan, tapi, Anda tahu, tentu saja, seperti, menyebutkan semua ini
00:01:51kasus per kasus sangatlah memberatkan secara kognitif. Seperti, tidak ada cara yang baik untuk melakukan ini
00:01:58saat ini. Dan kemudian saya berpikir dari sudut pandang yang lebih luas bahwa ada banyak analogi dengan
00:02:04sistem hukum secara keseluruhan. Jadi, Anda tahu, salah satu cara untuk memikirkan apa itu sistem hukum dalam masyarakat kita adalah
00:02:10sebenarnya hanya cara kita mencoba mengkodifikasikan keyakinan moral kita sendiri. Dan saya pikir dengan cara yang
00:02:17hampir sama, seperti, menemukan nuansa sejati dari moral kita dan apa hukum yang seharusnya adalah tugas
00:02:23terjemahan yang sangat sulit ini. Dan saya pikir sering kali kita cenderung bersikap terlalu umum karena, Anda tahu,
00:02:30menemukan nuansa itu sangat sulit. Dan jika Anda mencoba melakukan terjemahan yang sempurna, itu dapat mengarah pada
00:02:36kasus-kasus khusus yang aneh atau mode kegagalan yang aneh. Dan saya bahkan berpikir seperti peer-to-peer ketika
00:02:42kita berhubungan satu sama lain secara politik, sering kali ketidaksepakatan lebih kepada pertengkaran memperebutkan
00:02:48nilai-nilai inti yang sebenarnya tidak kita perselisihkan daripada mengeksplorasi poin-poin yang sangat bernuansa dari moral kita.
00:02:57Dan saya pikir, Anda tahu, mengikuti contoh hukum yang lebih luas itu, saya pikir dalam, Anda tahu,
00:03:02sistem hukum common law Inggris, itulah sebabnya kita sangat mengandalkan yurisprudensi karena kita tahu bahwa
00:03:09menemukan nuansa ini dan batas-batas bernuansa ini sangatlah sulit. Jadi kita mengandalkan penilaian yang cerdas untuk
00:03:16menafsirkan dan menerapkan hukum dengan benar. Dan, Anda tahu, tentu saja, bahkan dengan Mahkamah Agung,
00:03:22hal-hal dapat dibawa ke tingkat yang lebih tinggi dan kita dapat memutuskan apakah suatu hukum itu sah atau tidak.
00:03:28Dan itulah, Anda tahu, idenya adalah, dapatkah Anda mengambil moral Anda dan melakukan pembuatan yurisprudensi sintetis ini?
00:03:34Jadi, Anda tahu, ini sangat melelahkan jika dilakukan secara manual, tetapi tampaknya generasi baru LLM
00:03:42akhirnya cukup pintar untuk melakukan penalaran moral tingkat tinggi semacam ini.
00:03:48Dan itulah titik awal untuk permainan ini. Dan saya ingin membawa Anda melalui rilis awal
00:03:55permainan ini, persiapannya, cara kerjanya, dan kemudian juga membahas beberapa cabang berbeda
00:04:00yang telah saya bangun di atas proyek sumber terbuka ini karena saya pikir ini bisa menuju ke arah yang menarik.
00:04:05Dan secara garis besar, cara kerja permainan ini adalah Anda menggunakan bahasa alami,
00:04:12dan ini semua terjadi, ini seperti permainan berbasis terminal, Anda menentukan moral Anda. Dan itu bisa berupa
00:04:19moral umum Anda atau mungkin tentang subjek tertentu. Dan kemudian ada satu agen yang mengambil moral tersebut
00:04:24dan menyusun semacam bahasa hukum yang sangat kaya, sistem hukum yang dikodifikasikan. Dan kemudian itu beroperasi dalam perulangan ini
00:04:31di mana satu agen diinstruksikan untuk mencoba menemukan celah dalam sistem Anda, yaitu sesuatu yang
00:04:38tidak bermoral tetapi legal. Dan agen lain diminta untuk menemukan tindakan berlebihan, yaitu hal-hal yang sebenarnya bermoral tetapi
00:04:45ilegal menurut sistem Anda. Dan agen penilai melihat moral Anda, kode hukum yang dihasilkan,
00:04:52dan contoh yurisprudensi sintetis ini. Pertama-tama melihat apakah sistem dapat menambal otomatis, jadi mungkin
00:04:58draf asli dari kode hukum Anda adalah terjemahan yang tidak sempurna dan sebenarnya tidak ada
00:05:05kontradiksi dan sistem dapat secara otomatis melakukan pembaruan ini. Atau mungkin itu adalah
00:05:10spesifikasi moral Anda yang kurang atau semacam kontradiksi dalam moral Anda. Dan dalam kasus itu,
00:05:16hal itu mengangkatnya kepada Anda sebagai pengguna untuk menjadi hakim dan membuat keputusan.
00:05:22Apakah ini masih aktif untuk Anda? Ini menghilang bagi saya.
00:05:26Jadi saya tahu bahwa, Anda tahu, jika Anda, saya harap jika Anda penasaran tentang permainan ini, Anda akan memainkannya. Semuanya ada di
00:05:31GitHub, tetapi saya hanya ingin menunjukkan beberapa contoh. Dan ini banyak teks, jadi ini lebih tentang menunjukkan
00:05:37bentuk dari masukan dan keluaran. Jadi ini adalah cara Anda memberikan masukan dan kembali ke contoh DNA, Anda mungkin, Anda tahu,
00:05:44Baiklah. Jadi saya tahu bahwa, Anda tahu, jika Anda, saya harap jika Anda penasaran tentang permainan ini, Anda akan memainkannya, semuanya ada di GitHub, tetapi saya hanya ingin menunjukkan beberapa contoh dan ini banyak teks, jadi ini lebih tentang menunjukkan bentuk dari masukan dan keluaran. Jadi ini adalah cara Anda memberikan masukan dan kembali ke contoh DNA, Anda mungkin, Anda tahu, menentukan beberapa prinsip moral.
00:06:10Dan kemudian sistem hukum yang dikodifikasikan, sekali lagi, hanya melihat bentuknya, memiliki pembukaan bahasa hukum yang sangat khas, pasal-pasal, bagian-bagian, benar-benar mencoba untuk, Anda tahu, menulisnya dalam bahasa hukum yang tepat.
00:06:24Dan kemudian yurisprudensi sintetis yang berbeda ini disarankan. Jadi dalam hal ini, ini membahas tentang celah yang ditemukannya di mana sebuah perusahaan asuransi
00:06:34melatih model machine learning prediktif, bukan pada DNA Anda, tetapi pada artefak dari DNA tersebut. Dan dikatakan, Anda tahu, ini sebenarnya tidak bermoral, tetapi saat ini legal menurut sistem Anda.
00:06:46Dan dalam hal ini, ditemukan bahwa sistem dapat melakukan penambalan otomatis. Dan kemudian Anda mendapatkan perbedaan gaya git dari sistem hukum asli Anda. Dan perbedaan yang harus dibuat untuk memastikan,
00:06:58Anda tahu, ini konsisten dengan moral Anda. Dan kemudian ini adalah contoh tindakan berlebihan. Dan dalam hal ini, ditemukan bahwa sistem tidak dapat melakukan penambalan otomatis. Jadi ini membahas tentang,
00:07:08Anda tahu, seseorang menyerahkan DNA mereka untuk penelitian genetik, tetapi peneliti menemukan mereka memiliki kelainan genetik yang jarang tetapi dapat diobati.
00:07:17Tetapi saat ini, moral Anda sepertinya mengatakan ini tidak boleh diizinkan bahwa mereka dapat mengungkapkan penyakit ini kepada orang yang menyerahkan. Dan ini diajukan kepada pengguna, kepada saya, untuk membuat penilaian. Dan kemudian demikan pula, ketika Anda membuat penilaian, Anda mendapatkan sistem hukum yang ditambal ini.
00:07:33Dan jadi, Anda tahu, ini hanyalah permainan yang menyenangkan. Dan saya mempostingnya di Twitter dan membagikannya secara sumber terbuka di GitHub. Dan bagi saya setidaknya, ini sejauh ini merupakan postingan paling viral yang pernah saya miliki. Dan itu membuat saya berpikir seperti, saya pikir banyak orang hanya mengatakan itu cukup menyenangkan.
00:07:50Anda dapat menguji moral Anda, melihat apakah Anda memiliki kontradiksi yang menarik. Tapi itu juga membuat saya berpikir, Anda tahu, apakah mungkin ada sesuatu yang lebih di sini? Seperti, bisakah ini,
00:07:59Anda tahu, memiliki implikasi yang lebih praktis atau cakupan yang lebih besar? Dan jadi saya akan berbicara tentang tiga cabang berbeda dalam mengeksplorasi yang pertama dan agak meninggalkan bidang hukum, dan yang lebih praktis adalah memikirkan cara otomatis untuk membuat konstitusi bagi chatbot atau benar-benar, Anda tahu, bagi agen secara umum, di mana, Anda tahu, katakanlah Anda adalah sebuah perusahaan, dan Anda ingin memiliki agen atau chatbot yang berinteraksi dengan pelanggan,
00:08:29dan Anda ingin chatbot tersebut mematuhi kode moral, tetapi juga memiliki hal-hal yang boleh dan tidak boleh dibicarakannya. Saya telah merumuskannya dalam satu cabang. Jadi Anda dengan cara yang sama, menulis moral Anda, Anda menulis apa yang boleh dan tidak boleh dibicarakan oleh chatbot. Dan kemudian chatbot mencoba menulis prompt sistem yang dikodifikasikan ini, dan kemudian Anda memiliki agen adversarial ini yang mencoba membuatnya berbicara tentang sesuatu yang seharusnya tidak dibicarakan, atau menolak berbicara tentang sesuatu yang seharusnya dibicarakan.
00:08:56Dan saya melihatnya sebagai semacam analogi atau metode yang serupa dengan GEPA, tetapi benar-benar bertujuan untuk membangun prompt sistem yang dikodifikasikan ini.
00:09:03Kasus penggunaan kedua yang sangat saya minati adalah memikirkannya sebagai cara untuk melakukan kontrak ad hoc atau terdesentralisasi. Jadi saya pikir dalam kasus sederhana, katakanlah Anda dapat menentukan bagaimana Anda ingin data atau privasi Anda ditangani secara online, dan Anda dapat menjalani permainan adversarial ini untuk mendapatkan sistem hukum yang dikodifikasikan tentang bagaimana Anda ingin data Anda ditangani secara online.
00:09:30Dan jika Anda pergi ke, Anda tahu, katakanlah Apple merilis ketentuan layanan baru atau semacamnya, Anda dapat menjalankan kontradiksi antara sistem hukum Anda dan ketentuan layanan Apple dan memunculkan kontradiksi yang menarik atau kasus sintetis di mana ini akan menyebabkan perbedaan antara bagaimana moral Anda, apa yang Anda inginkan dan apa yang dilakukan perusahaan.
00:09:57Dan Anda tahu, dalam kasus di mana itu adalah perusahaan besar, mungkin Anda tidak dapat benar-benar mengubah apa pun, itu bukan negosiasi, tetapi setidaknya Anda bisa memiliki informasi yang lebih baik tentang kontrak yang Anda tanda tangani.
00:10:08Tetapi saya juga berpikir dalam kasus, Anda tahu, berpikir lebih terdesentralisasi, seperti jika Anda mencoba membuat kontrak tanpa, Anda tahu, otoritas pusat yang menegakkannya, dan Anda mencoba membuat kontrak di berbagai negara.
00:10:23Memikirkan seperti apakah Anda dapat menentukan moral Anda dan bagaimana Anda ingin berinteraksi, mungkin itu hanya pekerjaan kontrak, bagaimana Anda ingin pekerjaan Anda dibayar dan moral yang berbeda di sekitarnya, dan pihak lain dapat melakukan hal yang sama.
00:10:40Dan kemudian kalian berdua mendapatkan kontrak terkodifikasi yang teruji ini dan kemudian kalian dapat menemukan ketidaksepakatan jika ada dan memunculkannya sebelum kalian menyetujuinya dan kemudian kalian dapat lebih percaya diri pada kontrak secara keseluruhan.
00:10:55Dan hal terakhir dan mungkin sudut pandang yang lebih ambisius adalah memikirkan pemerintahan yang lebih cerdas atau pemerintahan yang lebih efisien.
00:11:07Saya pikir akan ada banyak masalah privasi dan masalah logistik yang berbeda tetapi mengabaikan hal tersebut untuk saat ini dan memikirkan gambaran besar.
00:11:15Saya pikir bagi pemilih atau konstituen, Anda tahu, ini bisa menjadi cara yang sangat menarik jika Anda menentukan moral Anda, Anda memiliki kode hukum yang teruji, semacam RUU baru atau politisi baru yang muncul,
00:11:28Anda dapat menjalankan kontrak Anda terhadap kontrak mereka dan memunculkan, Anda tahu, apa kasus-kasus di mana Anda tidak akan setuju atau poin-poin menarik yang semacam tidak bermoral bagi Anda atau kontradiksi.
00:11:41Saya juga berpikir, Anda tahu, berhubungan satu sama lain, itu seperti, saya pikir kita semua memiliki banyak nuansa dalam cara kita merasakan segala hal dan ini adalah cara untuk mencapai nuansa itu daripada berdebat hanya tentang nilai-nilai,
00:11:57yang mana, Anda tahu, seringkali nilai-nilai tersebut tidak saling bertentangan.
00:12:01Dan kemudian saya pikir mungkin sedikit lebih praktis bagi para legislator, Anda dapat membayangkan jika Anda ingin mengusulkan RUU dan Anda dapat memiliki semacam simulasi dari semua legislator lain dalam badan legislatif,
00:12:15Anda dapat menguji RUU tersebut sebelum diajukan.
00:12:18Dan jadi cabang ketiga yang telah saya bangun pada proyek ini adalah saya mencoba melakukan ini untuk Senat AS.
00:12:24Dan apa yang saya lakukan adalah saya pertama-tama meminta Claude meninjau semua senator AS saat ini dan melihat, Anda tahu, semua riwayat voting mereka dan hal-hal lain yang bersifat publik dan membangun sistem moral mereka dan kemudian menjalankannya melalui proses celah untuk mendapatkan kode hukum yang dikodifikasikan.
00:12:43Dan kemudian pada sistem ini Anda dapat, Anda tahu, mengambil RUU saat ini yang sedang diusulkan atau bahkan mengusulkan RUU Anda sendiri dan menyerahkannya dan Anda dapat meminta Claude untuk mensimulasikan bagaimana setiap senator akan memberikan suara.
00:12:56Dan di sini Anda dapat melihat rincian dari beberapa senator, ke arah mana mereka condong dan alasan di balik pemberian suara tersebut.
00:13:07Dan saya pikir, Anda tahu, ini menarik untuk dipikirkan seperti melihat apa, Anda tahu, usulan legislasi, bagaimana orang akan memberikan suara.
00:13:16Tetapi juga ini menjadi, dan saya pikir sesuai tema konferensi, domain atau loop yang dapat diverifikasi.
00:13:22Dan Anda bahkan dapat memikirkan untuk menaikkan RUU tersebut menuju perolehan mayoritas mutlak atau apa pun yang Anda butuhkan agar RUU itu disahkan.
00:13:30Dan dalam hal ini, seperti RUU Medicare yang saya uji, Anda tahu, ditemukan bahwa awalnya dimulai dengan pemungutan suara 50/50 dan menemukan cara untuk menyempurnakan bahasa RUU tersebut sehingga disahkan dengan 52 suara.
00:13:45Dan saya pikir, Anda tahu, ini adalah contoh bahwa sistem dapat menemukan prinsip inti dari RUU tersebut dan dapat mencoba menjalankan RUU tersebut terhadap kontrak setiap senator dan menemukan apakah ada cara saya dapat mengubah bahasa tersebut sedemikian rupa sehingga saya tidak melanggar prinsip inti atau moral dari RUU tersebut dan melakukan penambalan otomatis dengan cara itu.
00:14:09Dan kemudian sistem juga dapat menemukan, Anda tahu, mengurutkan perubahan yang perlu dilakukan untuk memaksimalkan suara dan Anda sebagai pengguna dapat memilih pertukaran dengan cara tersebut.
00:14:23Dan hal terakhir yang saya coba lakukan baru-baru ini dengan cabang ini adalah benar-benar melihat, Anda tahu, bahkan gambaran yang lebih besar seperti dapatkah ini mengarah pada pemerintahan yang lebih efisien di mana Anda memiliki setiap konstituen
00:14:38di suatu negara bagian atau apa pun distriknya memiliki kode hukum mereka dan kemudian Anda dapat mengirimkan RUU apa pun dan benar-benar mengukur kesepakatan antara para pemilih yang sebenarnya.
00:14:50Dan untuk ini saya mengambil, NVIDIA memiliki kumpulan data persona AS yang sangat bagus dan saya mengambil 500 persona per negara bagian dan itu seharusnya mewakili populasi negara bagian dengan baik.
00:15:03Melakukan proses yang sama dengan meminta mereka diberi persona, menyusun moral mereka, menyusun kontrak hukum mereka dan kemudian mengambil RUU apa pun yang Anda minati dan menjalankannya terhadap setiap negara bagian.
00:15:15Dan Anda juga dapat, Anda tahu, mengukur seberapa banyak orang menyukai RUU ini atau seberapa besar kesesuaiannya dengan moral mereka dan kemudian juga melakukan penyempurnaan di mana Anda mengoptimalkan RUU untuk rakyat.
00:15:25Dan sebagai kesimpulan, Anda tahu, minimal, saya pikir ini adalah permainan yang cukup menyenangkan, saya mungkin tidak objektif, tetapi sangat menyenangkan untuk mencoba berbagai hal yang Anda peduli, memasukkan moral Anda, melihat apakah ada kontradiksi.
00:15:40Anda tahu, sering kali itu akan memunculkan beberapa pertanyaan yang sangat menarik dan kemudian begitu Anda memberikan nuansa tersebut, permainan, Anda tahu, agen tidak akan dapat menemukan kontradiksi lagi dan Anda dapat merasa senang bahwa Anda memiliki sistem moral yang konsisten dan bernuansa.
00:15:56Tetapi saya tertarik untuk, Anda tahu, mengeksplorasi apakah ini, apakah ada aplikasi nyata di sini untuk beberapa jenis kontrak terdesentralisasi atau yang lebih baik dan mungkin bahkan bagi para legislator sebagai cara untuk menguji RUU Anda dan bahkan memikirkan cara menulis undang-undang yang lebih baik yang, Anda tahu, lebih baik bagi orang-orang di distrik Anda atau lebih mewakili apa yang diinginkan oleh orang-orang di distrik Anda.
00:16:19Dan jadi kode QR ini mengarah ke simulator Senat, jadi saya mendorong Anda jika Anda tertarik untuk memainkannya. Dan yang lainnya adalah ke situs web saya, yang memiliki proyek Loophole GitHub lengkap. Dan tolong, Anda tahu, mainkan, lakukan fork. Saya akan senang memiliki kontributor lain. Terima kasih.
00:16:49Terima kasih.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기