Лазейка: Состязательные агенты для стресс-тестирования вашей морали — Брендан Раппаццо, Morgan Stanley
AAI Engineer
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00Я расскажу о своем проекте Loophole. Вообще я исследователь машинного обучения в Morgan
00:00:17Stanley, но это никак не связано с Morgan Stanley. Это просто проект с открытым исходным кодом,
00:00:23который я создал для развлечения. Если в общих чертах, то это игра,
00:00:30построенная на базе фреймворка состязательных агентов. Вы задаете свои моральные принципы, один
00:00:37агент оформляет их в виде правовой системы, а затем два состязательных агента пытаются найти
00:00:42противоречия в вашей морали. В последнее время я добавляю различные расширения. Но я
00:00:49хотел бы начать с предыстории и того, как мне в голову пришла эта идея.
00:00:56Все началось довольно давно: я отправил свой ДНК в 23andMe для теста на происхождение. И я
00:01:05все чаще слышал о том, как образцы ДНК теперь используются, конечно же, для помощи в раскрытии
00:01:11преступлений, в судебной экспертизе и нераскрытых делах. Я думал о том, что я отказался
00:01:17почти от всего, потому что боялся опасной тенденции и того, как будет использоваться моя ДНК.
00:01:26Но, знаете, есть определенные случаи, против которых я бы не возражал. Это довольно интересно. Я
00:01:31думал: если бы мне предлагали рассматривать каждый случай индивидуально, мол, мы используем вашу ДНК,
00:01:37чтобы помочь раскрыть это нераскрытое дело или убийство, я мог бы ответить да или нет. И я знаю,
00:01:43где проходят границы и нюансы моей морали. Но, конечно, перечислять все это по отдельности в каждом случае
00:01:51когнитивно непосильно. Сейчас просто нет хорошего способа сделать это.
00:01:58Затем я подумал в более общем плане, что здесь много аналогий с правовой системой в целом.
00:02:04Итак, один из способов посмотреть на правовую систему в нашем обществе — это
00:02:10способ кодификации наших собственных моральных убеждений. И я думаю, что в схожем ключе
00:02:17поиск истинных нюансов нашей морали и того, каким должен быть закон, — это сложнейшая
00:02:23задача перевода. И я думаю, мы часто склонны излишне обобщать, потому что
00:02:30уловить этот нюанс очень трудно. А попытка добиться идеального перевода может привести
00:02:36к странным краевым случаям или странным сбоям. И мне кажется, даже в межличностных
00:02:42политических спорах мы зачастую препираемся из-за базовых ценностей,
00:02:48в которых на самом деле не расходимся, вместо того чтобы исследовать тончайшие грани нашей морали.
00:02:57И я думаю, следуя этому более широкому юридическому примеру, в системе
00:03:02общего права Англии мы так сильно полагаемся на прецедентное право, потому что понимаем:
00:03:09найти эти нюансы и тонкие границы сложно. Поэтому мы полагаемся на мудрых судей,
00:03:16способных правильно истолковать и применить закон. И конечно, даже в Верховном суде
00:03:22вопросы могут подниматься наверх, и мы можем решать, имеет ли закон силу вообще.
00:03:28Идея заключалась в следующем: можно ли взять свою мораль и заняться созданием
00:03:34синтетического прецедентного права? Делать это вручную непосильно, но кажется, что
00:03:42новое поколение языковых моделей наконец-то достаточно умно для такого морального рассуждения высокого уровня.
00:03:48И это было своего рода отправной точкой для этой игры. И я просто хочу рассказать вам
00:03:55первоначальный релиз игры, ее настройку, принципы работы, а также рассказать о различных
00:04:00направлениях, которые я развиваю поверх этого проекта с открытым исходным кодом,
00:04:05поскольку он может развиваться в весьма интересных направлениях. Если в общих чертах, игра работает так:
00:04:12используя естественный язык (все это происходит в игре на базе терминала), вы задаете свои моральные принципы.
00:04:19Это могут быть общие принципы морали или что-то касающееся конкретной темы. Затем один агент берет эти принципы
00:04:24и составляет насыщенную юридическим языком кодифицированную правовую систему. После этого все работает в цикле,
00:04:31где одному агенту поручено найти лазейки в вашей системе — то есть что-то,
00:04:38что аморально, но законно. Другому агенту поручено найти перегибы — то, что фактически морально,
00:04:45но незаконно в рамках вашей системы. Агент-судья изучает вашу мораль, созданный юридический код
00:04:52и эти примеры синтетического прецедентного права. Сначала он проверяет, можно ли применить автоисправление:
00:04:58возможно, первоначальный проект вашего юридического кода был несовершенным переводом, противоречия на самом деле нет,
00:05:05и система может просто обновить его автоматически. Либо же это действительно
00:05:10недоработка или какое-то противоречие в вашей морали. В таком случае
00:05:16вопрос выносится на ваш суд как пользователя, чтобы вы приняли решение.
00:05:22У вас все еще отображается? У меня оно пропало.
00:05:26Надеюсь, если вам интересна эта игра, вы в нее сыграете. Все выложено на GitHub,
00:05:31но я просто хотел показать несколько примеров. Здесь много текста, так что суть скорее в том,
00:05:37чтобы показать структуру ввода и вывода. Так вы предоставляете входные данные, и возвращаясь к примеру с ДНК, вы можете...
00:05:44Хорошо. Я знаю, что если вы... надеюсь, если вам интересна игра, вы в нее сыграете, все на GitHub, но я просто хотел показать несколько примеров, а здесь много текста, так что речь скорее о том, чтобы показать формат ввода и вывода. Итак, вот как вы задаете свои вводные данные, и возвращаясь к примеру с ДНК, вы можете, знаете ли, указать некоторое количество моральных принципов.
00:06:10Затем кодифицированная правовая система, если посмотреть на ее структуру, имеет преамбулу, написанную настоящим юридическим языком, статьи, разделы — все для того, чтобы формулировать положения точным языком права.
00:06:24После этого предлагаются различные варианты синтетического прецедентного права. В данном случае речь идет о лазейке, которую система обнаружила: страховая компания
00:06:34обучила модель предиктивного машинного обучения не на вашей ДНК, а на артефактах ДНК. И система говорит: это аморально, но в данный момент законно в рамках вашей системы.
00:06:46В этом случае было обнаружено, что можно выполнить автоисправление. И вы получаете разницу в стиле git для вашей первоначальной правовой системы
00:06:58и те изменения, которые пришлось внести, чтобы обеспечить соответствие вашей морали. А это пример перегиба. Здесь система обнаружила, что автоисправление выполнить невозможно. Речь идет о том,
00:07:08что некто сдает свою ДНК для генетического исследования, но исследователь обнаруживает у него редкое, но излечимое генетическое заболевание.
00:07:17Однако в настоящий момент ваша мораль говорит о том, что разглашать эту болезнь сдавшему тест человеку не разрешается. Поэтому вопрос был передан пользователю — мне — для вынесения решения. И точно так же после принятия решения вы получаете обновленную правовую систему.
00:07:33Так что это просто забавная игра. Я опубликовал ее в Твиттере и поделился ей в открытом доступе на GitHub. По крайней мере для меня это был самый вирусный пост из всех. И это заставило меня задуматься: думаю, многие просто сочли это забавным.
00:07:50Вы можете проверить свою мораль на прочность, обнаружить интересные противоречия. Но это также натолкнуло меня на мысль: а нет ли здесь чего-то большего? Может ли это...
00:07:59иметь более практические или масштабные последствия? Я расскажу о трех различных направлениях исследований. Первое отходит от юридической сферы и ближе к практике — это автоматический способ создания конституций для чат-ботов или вообще для агентов в целом. Допустим, вы компания и хотите, чтобы у вас был агент или чат-бот для работы с клиентами, который придерживается морального кодекса, а также четко знает, о чем ему стоит и не стоит говорить.
00:08:29В одном из направлений я сформулировал это так: вы аналогичным образом прописываете свою мораль и то, о чем чат-бот должен или не должен говорить. Затем система пытается написать этот кодифицированный системный промпт, после чего состязательные агенты пытаются заставить его либо сказать то, чего не следует, либо отказаться говорить о том, о чем положено.
00:08:56Я рассматриваю это как аналогичный метод по отношению к GEPA, но нацеленный именно на создание таких кодифицированных системных промптов.
00:09:03Второй вариант использования, который мне особенно интересен, — рассматривать это как способ заключения более локальных или децентрализованных контрактов. В простейшем случае вы можете указать, как именно должны обрабатываться ваши данные или конфиденциальность в сети, и пройти через эту состязательную игру, чтобы получить кодифицированную правовую систему обращения с вашими данными онлайн.
00:09:30И если, например, Apple выпускает новые условия обслуживания, вы можете сопоставить противоречия между вашей правовой системой и условиями Apple, чтобы выявить интересные нестыковки или синтетические кейсы, где возникнут расхождения между тем, какой морали придерживаетесь вы, чего хотите вы, и тем, что делает компания.
00:09:57Конечно, в случае с крупной компанией вы вряд ли сможете что-то изменить, это не переговоры, но вы по крайней мере будете лучше осведомлены о контракте, который подписываете.
00:10:08Но я также думаю о более децентрализованном подходе: если вы пытаетесь заключать контракты без центрального органа власти, который их принудительно исполняет, и хотите заключать сделки между разными странами.
00:10:23Если вы можете указать свою мораль и то, как вы хотите взаимодействовать (например, это просто сдельная работа, то, как вам должны платить за труд, и сопутствующие моральные принципы), то же самое делает и другая сторона.
00:10:40В итоге вы оба получаете проверенный на прочность кодифицированный контракт, можете найти разногласия, если таковые имеются, выявить их до согласования и быть более уверенными в контракте в целом.
00:10:55И последнее, возможно, самое амбициозное направление — это размышления об умном или более эффективном правительстве.
00:11:07Я думаю, здесь возникнет множество проблем с конфиденциальностью и логистикой, но если пока отбросить их и взглянуть на картину в целом,
00:11:15для избирателей и граждан это был бы невероятно интересный способ. Определив свою мораль и получив проверенный правовой код, вы могли бы при появлении любого нового законопроекта или политика
00:11:28сравнить свой контракт с их предложениями и выявить случаи, где вы не согласны, или интересные моменты, которые кажутся вам аморальными или противоречащими вашим принципам.
00:11:41Кроме того, во взаимоотношениях друг с другом — я думаю, у всех нас много нюансов в восприятии вещей — это способ добраться до этих нюансов вместо того, чтобы спорить лишь о ценностях,
00:11:57которые на самом деле не противоречат друг другу.
00:12:01И если говорить о более практическом применении для законодателей, представьте: вы хотите предложить законопроект и можете запустить симуляцию всех остальных законодателей в корпусе,
00:12:15проверив его на прочность еще до внесения.
00:12:18Третье направление, которое я развиваю в этом проекте, — я попытался сделать это для Сената США.
00:12:24Сначала я поручил Claude проанализировать всех текущих сенаторов США, изучить историю их голосований и все остальные общедоступные данные, построить их моральную систему, а затем пропустить ее через процесс Loophole для получения кодифицированного правового кода.
00:12:43И на этой системе можно взять любой текущий законопроект или предложить собственный, отправить его, а затем попросить Claude смоделировать голосование каждого сенатора.
00:12:56Здесь вы можете увидеть распределение голосов некоторых сенаторов, куда они склоняются и каковы причины такого решения.
00:13:07Интересно наблюдать за тем, как люди проголосуют по предложенному законопроекту.
00:13:16Но это также становится — в духе конференции — самостоятельным верифицируемым доменом или циклом.
00:13:22Можно даже подумать об улучшении законопроекта методом восхождения к максимуму для получения супербольшинства или числа голосов, нужного для принятия.
00:13:30В данном случае при тестировании законопроекта о Medicare изначально голосование разделялось 50 на 50, но система нашла способы изменить формулировку законопроекта так, чтобы он прошел с 52 голосами.
00:13:45Это пример того, как система может находить основные положения законопроекта, сопоставлять их с контрактом каждого сенатора и искать способ изменить формулировку без нарушения базовых принципов или морали законопроекта, осуществляя подобное автоисправление.
00:14:09Она также может ранжировать изменения, необходимые для максимизации числа голосов, а вы как пользователь можете выбирать компромиссы.
00:14:23И последнее, с чем я экспериментировал в этом направлении недавно, — еще более масштабный взгляд: может ли это привести к созданию эффективного правительства, где каждый избиратель
00:14:38в штате или округе имеет свой правовой код, после чего можно просто подать любой законопроект и измерить степень согласия реальных избирателей.
00:14:50Для этого я использовал отличный набор данных персон США от NVIDIA: взял 500 персон на штат, которые призваны хорошо представлять население этого штата.
00:15:03Я проделал тот же процесс: на основе персоны они формулируют свою мораль, правовой контракт, а затем любой интересующий законопроект проверяется на соответствие каждому штату.
00:15:15Вы также можете измерить, насколько людям нравится этот законопроект, насколько он согласуется с их моралью, и оптимизировать законопроект для людей.
00:15:25В заключение: как минимум, это довольно веселая игра. Я предвзят, но очень увлекательно испытывать то, что вам дорого, вводить свою мораль и искать противоречия.
00:15:40Часто это поднимает интересные вопросы, и когда вы вносите этот нюанс, агенты больше не могут найти противоречий, и вы чувствуете удовлетворение от того, что обладаете последовательной и тонкой моральной системой.
00:15:56Но мне интересно исследовать, могут ли здесь быть реальные применения для децентрализованных или лучших контрактов, и, возможно, даже для законодателей — как способ проверки законопроектов и написания более качественных законов, которые лучше отвечают интересам людей в их округе.
00:16:19Этот QR-код ведет на симулятор Сената, так что если вам интересно, сыграйте. А второй ведет на мой сайт, где доступен полный проект Loophole на GitHub. Пожалуйста, играйте, делайте форки. Я буду рад другим контрибьюторам. Спасибо.
00:16:49Спасибо.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기