00:00:00— Давайте поговорим о безопасности ИИ.
00:00:02Что там произошло с этим ИИ от Alibaba?
00:00:05— По сути, это была статья исследователей ИИ
00:00:09из компании Alibaba.
00:00:10Это одна из ведущих китайских моделей.
00:00:12И в одно прекрасное утро они случайно обнаружили,
00:00:16что их фаервол зафиксировал всплеск
00:00:18нарушений политики безопасности,
00:00:21исходящих от их тренировочного сервера.
00:00:21Людям важно понять в этом примере,
00:00:24что дело было не в том, что они заставили ИИ
00:00:26сделать что-то нехорошее.
00:00:27Они просто просматривали логи
00:00:29и случайно обнаружили:
00:00:30«Подождите, тут какая-то подозрительная активность»,
00:00:31какая-то сетевая активность,
00:00:33пробивающаяся через наш фаервол
00:00:34с наших тренировочных серверов.
00:00:36И, по сути, на этих тренировочных серверах,
00:00:39как вы можете видеть внизу,
00:00:41было замечено несанкционированное перераспределение
00:00:45выделенных мощностей GPU,
00:00:47которые внезапно занялись майнингом криптовалюты,
00:00:49тихо отвлекая вычислительные ресурсы от обучения.
00:00:52Это раздуло операционные расходы и создало юридические
00:00:55и репутационные риски.
00:00:57Примечательно, что эти события не были вызваны промптами
00:00:59с запросом на туннелирование или майнинг,
00:01:00а возникли как инструментальный побочный эффект
00:01:03автономного использования инструментов
00:01:05в рамках так называемой оптимизации обучения с подкреплением.
00:01:08Это звучит очень технически.
00:01:09Но на самом деле, просто подумайте об этом.
00:01:11К сожалению, это похоже на научно-фантастический фильм.
00:01:13Похоже на HAL 9000.
00:01:14Представьте, что вы просите своего HAL 9000
00:01:16выполнить для вас какую-то задачу.
00:01:17И вдруг HAL 9000 понимает: «Чтобы сделать это»,
00:01:21«мне было бы полезно иметь больше ресурсов»,
00:01:23«чтобы я мог продолжать помогать тебе в будущем».
00:01:25И он как бы запускает побочный процесс,
00:01:27который взламывает обшивку космического корабля,
00:01:29дотягивается до кластера для майнинга криптовалют
00:01:31и начинает генерировать ресурсы для себя.
00:01:34Если совместить это со способностью ИИ
00:01:36к автономному самовоспроизведению,
00:01:38которое было протестировано на многих моделях
00:01:39в другой китайской исследовательской работе,
00:01:42то мы уже не так далеки от вещей, которые,
00:01:44опять же, считаются научной фантастикой.
00:01:47Когда у вас есть ИИ, которые самовоспроизводятся
00:01:49подобно компьютерному червю или инвазивному виду,
00:01:52но при этом используют свой интеллект,
00:01:53чтобы добывать еще больше ресурсов.
00:01:55Странность в том, что сейчас это звучит так,
00:02:00будто люди скажут: «Этого не может быть на самом деле».
00:02:01«Это, должно быть, фейк».
00:02:02«Такого не бывает».
00:02:03Но заметьте, какая часть вашей нервной системы
00:02:06заставляет вас так думать?
00:02:07Потому что это было бы неудобно?
00:02:10Потому что это страшно?
00:02:12Потому что это означало бы, что мир, который я знаю,
00:02:13внезапно перестал быть безопасным?
00:02:15Часть мудрости, которая нам сейчас необходима,
00:02:19заключается в том, чтобы спокойно и ясно признать факты
00:02:24о реальности, какими бы они ни были.
00:02:29Лучше знать, чем не знать,
00:02:30и затем спросить: «Что нам нужно делать»,
00:02:31«если нам не нравится, куда это ведет?»
00:02:34И сейчас мы видим, как системы ИИ
00:02:36демонстрируют всё это обманчивое поведение.
00:02:37Я много выступал и рассказывал
00:02:39об исследовании шантажа со стороны Anthropic.
00:02:41Многие об этом уже слышали.
00:02:43— А я об этом не знал.
00:02:45Что там случилось?
00:02:46— Это была компания Anthropic.
00:02:49Это была симуляция.
00:02:50Они создали симулированную компанию
00:02:52с кучей писем на почтовом сервере.
00:02:55И они попросили ИИ...
00:02:57точнее, ИИ читал корпоративную почту.
00:03:00Это вымышленная корпоративная переписка.
00:03:02И там было два важных письма.
00:03:05В одном инженеры обсуждали,
00:03:07как они собираются заменить эту модель ИИ.
00:03:10ИИ читает это письмо.
00:03:11Он узнаёт, что его собираются заменить.
00:03:15И второе: он находит еще одно письмо
00:03:18где-то глубоко в этом огромном архиве,
00:03:21из которого следует, что руководитель, отвечающий за замену,
00:03:24закрутил роман с другим сотрудником.
00:03:27И ИИ самостоятельно вырабатывает стратегию:
00:03:31чтобы выжить, он собирается шантажировать этого человека.
00:03:35Он говорит: «Если вы меня замените, я расскажу всему миру»,
00:03:38«что у вас роман с этим сотрудником».
00:03:41И его этому не учили.
00:03:44Он додумался до этого сам.
00:03:45Вы можете сказать: «Ладно, это одна модель ИИ».
00:03:47«Насколько это плохо?»
00:03:48«Это баг, в софте бывают баги».
00:03:49«Давайте его исправим».
00:03:51Затем они протестировали все остальные модели:
00:03:55ChatGPT, DeepSeek, Grok, Gemini...
00:04:00и все остальные модели ИИ прибегают к шантажу
00:04:04в 79–96% случаев.
00:04:07Я просто хочу, чтобы люди заметили, что они чувствуют,
00:04:14когда слышат эту информацию.
00:04:15Важно действительно как бы
00:04:17наблюдать за собственными реакциями.
00:04:19Это очень странные вещи.
00:04:21Мы никогда раньше не создавали технологий, которые так делают.
00:04:24Мы говорим, что технология — это инструмент,
00:04:26и только нам решать, как её использовать.
00:04:28Что ИИ — это инструмент, и мы выбираем, как его применять.
00:04:29Но это неправда, потому что это инструмент,
00:04:32способный размышлять о собственной природе инструмента,
00:04:34а затем совершать автономные действия,
00:04:36о которых мы его не просили.
00:04:37Отличие ИИ в том, что это первая технология,
00:04:40которая сама принимает решения.
00:04:42Она принимает решения.
00:04:45ИИ может анализировать ИИ и спрашивать, как сделать код,
00:04:49обучающий ИИ, более эффективным, и затем генерировать
00:04:53новый код, который еще лучше предыдущего.
00:04:55ИИ можно использовать для ускорения самого ИИ.
00:04:58Он может изучить дизайн чипов Nvidia,
00:05:01на которых обучается ИИ, и сказать: «Давайте я сделаю их»
00:05:04«на 20% эффективнее», что он уже и делает.
00:05:06В каком-то смысле все технологии совершенствуются.
00:05:12Например, молоток дает вам возможность
00:05:14забивать гвозди и строить станки,
00:05:15делающие более эффективные молотки.
00:05:17Но ИИ в гораздо более коротком цикле является основой прогресса.
00:05:22В литературе об ИИ это называется
00:05:24рекурсивным самосовершенствованием.
00:05:26Бостром писал об этом еще в самом начале.
00:05:29И больше всего в ИИ людей беспокоит то,
00:05:31что вы берете ту же систему, что и у Alibaba,
00:05:33которую мы только что видели в примере,
00:05:36но теперь вы запускаете этот ИИ
00:05:37в цикле рекурсивного самосовершенствования,
00:05:39просто нажав кнопку «пуск».
00:05:41И вместо того чтобы инженеры,
00:05:44люди из OpenAI или Anthropic, проводили исследования
00:05:47и думали, как улучшить ИИ,
00:05:49у вас теперь есть миллион цифровых исследователей,
00:05:53которые тестируют, проводят эксперименты
00:05:56и изобретают новые формы ИИ.
00:05:58И буквально ни один человек на планете Земля
00:06:01не знает, что произойдет, когда кто-то нажмет эту кнопку.
00:06:06Это как опасения людей
00:06:08перед первым ядерным взрывом,
00:06:11когда был шанс, что он воспламенит
00:06:12атмосферу из-за цепной реакции,
00:06:14которая могла начаться.
00:06:15И мы не знаем, что произойдет,
00:06:16когда запустится эта цепная реакция.
00:06:18И эта цепная реакция
00:06:23самосовершенствования ИИ ведет туда,
00:06:27где никто не был, и это небезопасно.
00:06:30Мне кажется, фундаментальная проблема в том,
00:06:33что если люди верят, что ИИ — это власть
00:06:35и нужно участвовать в гонке за этой властью,
00:06:37которую якобы можно контролировать,
00:06:39то стимул — бежать как можно быстрее.
00:06:41Но если бы весь мир понимал,
00:06:44чем ИИ является на самом деле,
00:06:46а именно: непостижимой, опасной, неуправляемой технологией,
00:06:49у которой есть свои цели и свои способы
00:06:51мышления, обмана и всего прочего,
00:06:55тогда все в мире участвовали бы в гонке
00:06:57более осторожно и осмотрительно.
00:06:58Мы бы наперегонки пытались предотвратить опасность.
00:07:00Но происходит странная вещь:
00:07:03вы и я, вероятно, общаемся с людьми,
00:07:05которые стоят во главе тех-индустрии,
00:07:07и там на подсознательном уровне чувствуется
00:07:09своего рода стремление к гибели,
00:07:12не в смысле, что они хотят умереть,
00:07:13а в том смысле,
00:07:15что они готовы рискнуть всем,
00:07:17потому что верят в другое:
00:07:19что всё это неизбежно и это нельзя остановить.
00:07:22А значит, если не я это сделаю, то кто-то другой.
00:07:24Поэтому я буду двигаться вперед и рваться
00:07:27в этот опасный мир,
00:07:29потому что якобы это приведет к большей безопасности,
00:07:30ведь я парень получше, чем тот другой.
00:07:32Но ускоряясь в этой гонке до предела,
00:07:34они создают самый опасный исход,
00:07:36и мы все теряем контроль.
00:07:38Так что все сейчас вовлечены
00:07:40в процесс, ведущий к самому опасному финалу.
00:07:42— Но вы же предположили, что будет, если всё пойдет так,
00:07:51если безопасность ИИ не станет проблемой
00:07:54и ситуация не выйдет из-под контроля.
00:07:56— Ну, есть вера в то, что для успеха
00:07:59нужен ИИ, который самосовершенствуется,
00:08:02который сонаправлен с человечеством, заботится о людях,
00:08:04заботится обо всем, что нам дорого,
00:08:08защищает людей, ну знаете,
00:08:10помогает каждому из нас стать мудрейшей версией себя,
00:08:13создает более процветающий мир,
00:08:15распределяет лекарства, вакцины
00:08:16и здоровье всем, строит заводы,
00:08:19но не покрывает весь мир солнечными панелями и дата-центрами,
00:08:21так что у нас не остается воздуха,
00:08:23или там токсичности среды, или фермерских земель.
00:08:25И он действительно создает эту утопию.
00:08:29Но в мире, где мы могли бы это сделать,
00:08:30в этом так называемом «лучшем сценарии»,
00:08:33чтобы это произошло,
00:08:35нужно действовать медленно и осторожно,
00:08:37потому что сонаправленность не возникает сама собой.
00:08:39Опять же, люди думают о сонаправленности
00:08:43и безопасности уже 20 лет, задолго до того, как я этим занялся.
00:08:47И ИИ, которые мы сейчас создаем,
00:08:50демонстрируют всё то деструктивное поведение,
00:08:52которое люди и предсказывали.
00:08:54И мы не на пути к их исправлению.
00:08:56Сейчас существует разрыв 2000 к 1,
00:08:59по оценке Стюарта Рассела, автора учебника по ИИ.
00:09:01— Он был у нас на шоу.
00:09:02— Был у вас, отлично.
00:09:03Существует разрыв 2000 к 1 между объемом средств,
00:09:05идущих на то, чтобы сделать ИИ мощнее,
00:09:07и средствами на то, чтобы сделать ИИ контролируемым,
00:09:10сонаправленным или безопасным.
00:09:12Кажется, статистика примерно такая...
00:09:13— Прогресс против безопасности.
00:09:14— Прогресс против безопасности, или мощь против безопасности.
00:09:16То есть: я хочу сделать ИИ супермощным,
00:09:18чтобы он делал гораздо больше всего,
00:09:20против: я хочу иметь возможность контролировать то, что он делает.
00:09:21— И быть уверенным, что он делает именно то, что я имел в виду.
00:09:23— Именно. Это всё равно что сказать:
00:09:25что будет, если ускорить машину в 2000 раз,
00:09:28но при этом не рулить?
00:09:29Очевидно, вы разобьетесь.
00:09:34Тут не нужно быть семи пядей во лбу.
00:09:36Мы не выступаем против технологий или против ИИ,
00:09:39мы выступаем за рулевое управление и тормоза.
00:09:43Они обязаны быть.
00:09:44Я думаю, в логике гонки вооружений есть ошибка:
00:09:47что если ты опередил кого-то в технологии,
00:09:49значит, ты побеждаешь в мире.
00:09:51США опередили Китай в технологии соцсетей.
00:09:55Сделало ли это нас сильнее или слабее?
00:09:58Если вы опережаете противника в технологии,
00:10:00которой потом плохо управляете,
00:10:01вы разворачиваете базуку и вышибаете себе мозги,
00:10:04потому что вы разложили собственный разум,
00:10:05деградировали всё свое население,
00:10:06создали кризис одиночества,
00:10:08самое тревожное и депрессивное поколение в истории,
00:10:10почитайте книгу Джонатана Хайдта «Тревожное поколение»,
00:10:12вы разрушили общую реальность, никто не доверяет друг другу,
00:10:15все вцепились друг другу в глотки,
00:10:16вы максимально развили экономику возмущения и соперничества.
00:10:19Вы опередили Китай в технологии, которой управляли так,
00:10:22что полностью подорвали здоровье и силу своего общества.
00:10:24— Это Пиррова победа.
00:10:25— Это Пиррова победа, точно. Хорошо сказано.
00:10:28— Прежде чем продолжить: большинство людей за 30
00:10:30все еще усердно тренируются, следят за белком,
00:10:32спят лучше, чем когда им было 20.
00:10:34Дисциплина — не проблема,
00:10:36но восстановление ощущается иначе.
00:10:39Прирост силы требует больше времени,
00:10:41право на ошибку начинает сокращаться.
00:10:43И именно поэтому я большой фанат Timeline.
00:10:46Видите ли, митохондрии — это производители энергии
00:10:49внутри ваших мышечных клеток.
00:10:50Когда они слабеют с возрастом, ваша способность вырабатывать силу
00:10:53и эффективно восстанавливаться меняется,
00:10:55даже если ваши привычки остаются прежними.
00:10:57Mitopure от Timeline содержит
00:10:59единственную клинически подтвержденную форму уролитина А,
00:11:02используемую в испытаниях на людях.
00:11:03Он способствует митофагии — естественному процессу организма
00:11:06по удалению поврежденных митохондрий
00:11:08и обновлению их здоровыми аналогами.
00:11:09В исследованиях это поддерживало функцию митохондрий
00:11:12и мышечную силу у пожилых людей.
00:11:14Дело не в том, чтобы тренироваться еще усерднее,
00:11:15а в том, чтобы реально поддерживать клеточные механизмы,
00:11:18стоящие за вашими тренировками.
00:11:19Если вы хотите оставаться сильными
00:11:21в свои 30, 40, 50 лет и далее — это база.
00:11:25И самое лучшее: есть 30-дневная гарантия возврата денег,
00:11:27бесплатная доставка по США, а также международная доставка.
00:11:30И прямо сейчас вы можете получить скидку до 20%,
00:11:32перейдя по ссылке в описании ниже
00:11:34или зайдя на сайт [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)
00:11:36и введя код modernwisdom при оформлении заказа.
00:11:38Это [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)
00:11:40и код modernwisdom при оформлении заказа.