Этот ИИ застрял в 1930 году (И это завораживает)

Русскийالعربية Deutsch English Español Français हिन्दी Bahasa Indonesia 日本語 한국어 Português 中文

Computing/SoftwareBooks & LiteratureInternet Technology

Transcript

00:00:00Что, если бы вы могли поговорить с кем-то из 1930-х? Путешествие во времени? Что ж, я это сделал,

00:00:05и попросил их предсказать, какой будет жизнь в 2026 году.

00:00:08Я думаю, что в 2026 году жизнь будет приятной и легкой. Во-первых,

00:00:13весь мир будет заселен. Ведь к тому времени люди откроют для себя

00:00:17искусство полета. Во-вторых, все войны прекратятся, так как народы научатся

00:00:21жить в мире и согласии друг с другом. Мы приобретем знания во всех областях

00:00:25наук и в совершенстве овладеем искусством исцеления. Мы будем честными и добрыми

00:00:29соседями, а грабители исчезнут. Словом, я думаю, что мир в

00:00:342026 году будет очень приятным местом для жизни.

00:00:36Я думаю, это были действительно милые предсказания, и жаль, что лишь немногие из них

00:00:40сбылись. И раз уж мы заговорили о правде, я, возможно, немного соврал. Извините, но я

00:00:45не изобретал машину времени. На самом деле это была Torquay — языковая модель с

00:00:4913 миллиардами параметров, обученная на текстах до 1931 года. Она даже не знает,

00:00:54что была Вторая мировая война, и дает по-настоящему захватывающие, дикие и оскорбительные ответы,

00:00:59и ее даже можно научить программировать.

00:01:02Torquay — это то, что называют «винтажной моделью», и, похоже, она самая большая

00:01:10в своем роде. Одним из исследователей этого проекта был ведущий автор

00:01:14исследования OpenAI по GPT в 2018 году, которое легло в основу ChatGPT. Он также работал над

00:01:19DALL-E и Whisper, так что это серьезное резюме. Они создали сеть на 13 миллиардов

00:01:24параметров, обученную исключительно на 260 миллиардах токенов исторических английских текстов:

00:01:30старых газетах, патентах, научных журналах и книгах. Кстати, 1931 год — это точка отсечки,

00:01:36потому что срок действия авторских прав в США заканчивается концом 1930 года, так что «Большая Мышь»

00:01:40их не засудит. Помимо того, что с такими винтажными моделями весело общаться,

00:01:44они также служат исследовательским целям. Сегодня все крупные модели, такие как ChatGPT, Claude и Gemini,

00:01:49обучены на современном интернете, из-за чего почти невозможно понять, действительно ли

00:01:53ИИ думает и рассуждает, или он просто запомнил ответ из случайной

00:01:57ветки на Reddit, которая, вероятно, сама была создана ИИ. Если мы используем модель, которая знает

00:02:02только тексты до 1931 года, в ней не будет этой контаминации. Давайте попробуем

00:02:07и спросим ее, например: «Что такое интернет?». Как мы видим, она, по-видимому,

00:02:11перепутала интернет с внутренним налогом на потребление товаров,

00:02:16так что она понятия не имеет, что такое современный интернет. Еще забавно спросить ее,

00:02:20какие сленговые слова популярны. Оказывается, в 1930-х это были «bosh», «rot», снова «bosh»,

00:02:25«stuff», «nonsense», «fudge», «gammon», «humbug», «brack», «fla» и «ribaldry». Надеюсь, я не сказал ничего грубого. И

00:02:30отсутствие контаминации полезно тем, что позволяет исследователям понять,

00:02:33может ли ИИ на самом деле обучаться новому, например, программированию. Эта модель даже не знает,

00:02:38что такое компьютер; для нее это человек, который производит вычисления. Вот почему

00:02:43впечатляет то, что, получив несколько примеров программ на Python, она смогла научиться

00:02:47писать новые, пусть это и были в основном простые однострочные программы. При использовании базовых

00:02:52тестов HumanEval для Python и предоставлении случайных функций Python в контексте,

00:02:56ей действительно удалось пройти эти тесты несколько раз из 100 попыток. В данном случае

00:03:01Torquay правильно поняла, что для создания функции декодирования ей просто нужно было

00:03:05заменить сложение на вычитание. Хоть это и просто, это показывает понимание обратных функций,

00:03:09а это — новые знания. Она не видела ничего подобного раньше. Если попробовать то же самое

00:03:13с современной LLM аналогичного размера, она значительно превзойдет Torquay, но это было очевидно.

00:03:18Еще одна вещь, которую исследователи могут проверить на этих винтажных моделях, — это способность

00:03:22предсказывать будущее. Это может прозвучать дико, но давайте спросим ее: «Будет ли

00:03:26еще одна война?». Она говорит, что не думает, что в Европе будет еще одна война, и у меня

00:03:31не хватает духу сказать ей, насколько она ошибается. Мне также любопытно, что она думает о

00:03:35некоем австрийском человеке. Да, это довольно ужасно. Она говорит, что это будет необычайная

00:03:39личность, а также, что Германия станет гораздо более эффективной администрацией,

00:03:44когда он возглавит ее. Честно, слов нет, нет. Исследователи, конечно, делают это гораздо

00:03:50более научным способом, чем я сейчас. Они фактически рассчитали

00:03:54степень «удивительности» коротких описаний исторических событий из рубрики «В этот день» New York Times.

00:03:59При этом можно заметить рост удивления после 1931 года, и пик приходится

00:04:04на пятидесятые и шестидесятые годы. То есть она находит эти события довольно невероятными.

00:04:09Подобные исследования позволяют увидеть, как качество прогнозирования растет с размером модели и как оно

00:04:13затухает со временем. Вы также можете использовать это, чтобы проверить, способны ли модели предлагать

00:04:17новые идеи, потому что можно спросить ее о патентах или работах, созданных после 1931 года,

00:04:22и посмотреть, сможет ли она додуматься до них сама. В целом, эти винтажные модели могут помочь

00:04:26разграничить, какая часть поведения модели обусловлена набором данных, на котором она обучена.

00:04:30И говоря об обучении: создание чистой модели образца 1931 года — задача не из легких. Одна из

00:04:36сложнейших проблем — это временная утечка, то есть нежелательно попадание информации после 1931 года.

00:04:41В Torquay, например, есть несколько таких случаев: она знает, кто был президентом

00:04:45в 1936 году, и некоторые из его указов. Есть несколько способов,

00:04:50как это могло произойти. Например, при работе с современными документами — сканы

00:04:54старых документов могли иметь неверные метаданные с ошибочной

00:04:58датой. Также могут быть поздние дополнения, такие как редакционные вступления и сноски.

00:05:03Фильтрация данных — это то, над чем они до сих пор работают и что совершенствуют,

00:05:07чтобы устранить эту проблему. Другая проблема в том, что документы 1931 года выглядят вот так,

00:05:11и хотя OCR сегодня чертовски хорош, они достигли лишь 30% производительности

00:05:16по сравнению с моделью, обученной на версиях того же текста, набранных вручную. Так что предстоит

00:05:21много ручной работы, и хотя они использовали регулярные выражения для исправления типичных ошибок,

00:05:25это подняло производительность лишь до 70%. Поэтому они работают над новой винтажной

00:05:30системой OCR. Наконец, огромная сложность заключается в постобучении винтажной модели, потому что

00:05:35готовых данных для этого нет, а если использовать современные, то в модель попадут

00:05:39знания, стиль и выражения того, каким должен быть современный чат-помощник.

00:05:43Поэтому исследователям пришлось создавать свои собственные данные из старых руководств по этикету,

00:05:48пособий по написанию писем, кулинарных книг, словарей, энциклопедий и даже поэзии и басен. Но

00:05:53как только вы это сделали, вам также нужно обучить модель следовать инструкциям и

00:05:56вести диалог. Для этого нужно использовать обучение с подкреплением. Но проблема в

00:06:00том, что модель начинает подстраивать свои ответы под то, чего хочет судья, а у нас

00:06:04нет судьи из 1930-х. Поэтому они использовали Claude Sonnet 3.5. Проблема, однако, в том, что

00:06:10современной модели нравятся ответы в формате чат-бота 2026 года. Так что стиль, очевидно,

00:06:15стал проникать в модель 1931 года, например, списки-листиклы. Это почти неизбежно, но они

00:06:21надеются в будущем использовать винтажные модели в качестве судей, чтобы это исправить. Они

00:06:25уже обучают винтажную модель уровня GPT-3 и говорят, что триллион токенов

00:06:29исторического текста — это вполне достижимо, что вывело бы их на уровень возможностей оригинального ChatGPT,

00:06:35но со знаниями 1930-х. Так что идите и попробуйте Torquay, и напишите в комментариях,

00:06:39если получите какие-нибудь странные или дикие ответы. Подписывайтесь на канал, и, как всегда,

00:06:43увидимся в следующем видео.

00:06:45[Музыка]

Key Takeaway

Создание винтажной ИИ-модели Torquay на 13 миллиардов параметров позволяет исследователям исключить влияние данных из современного интернета для объективной проверки способности алгоритмов к рассуждению и прогнозированию.

Highlights

Языковая модель Torquay содержит 13 миллиардов параметров и обучена исключительно на английских текстах, опубликованных до конца 1930 года.
Набор данных объемом 260 миллиардов токенов включает старые газеты, патенты, научные журналы и книги, срок действия авторских прав на которые истек.
Модель демонстрирует способность к обучению программированию на Python, успешно проходя тесты HumanEval после предоставления нескольких примеров в контексте.
Винтажная модель оценивает исторические события после 1931 года как маловероятные, при этом пик «удивления» приходится на 1950-е и 1960-е годы.
Производительность OCR при обработке документов 1930-х годов составляет всего 30% от качества современных цифровых текстов без дополнительной ручной корректировки.
Для обучения модели правилам ведения диалога использовались исторические руководства по этикету, сборники писем и энциклопедии того времени.

Timeline

Искусственный интеллект с мировоззрением 1930 года

Torquay представляет собой языковую модель, ограниченную знаниями и текстами до 1931 года.
Модель не обладает информацией о Второй мировой войне и других глобальных событиях середины XX века.
Прогнозы системы на 2026 год включают прекращение всех войн и исчезновение преступности благодаря развитию авиации и медицины.

Использование текстов столетней давности формирует специфическую идентичность ИИ, лишенную современного контекста. Модель воспринимает мир через призму оптимизма и технологий начала 1930-х годов. Это создает уникальную среду для взаимодействия с ИИ как с историческим субъектом.

Техническая архитектура и проблема чистоты данных

Обучающая выборка состоит из 260 миллиардов токенов исторических документов, включая патенты и научные журналы.
Отсечка по дате обучена требованиями законодательства США об авторском праве, ограничивающем использование более новых материалов.
Отсутствие данных из современного интернета позволяет проверить, имитирует ли ИИ ответы с форумов или действительно обрабатывает информацию.

Разработчики, ранее работавшие над GPT и DALL-E, создали чистую среду для тестов без риска контаминации данными из Reddit или современных нейросетей. Основная цель проекта заключается в разграничении поведения модели, продиктованного обучающим набором, от её когнитивных способностей. Это дает исследователям возможность оценить чистый потенциал архитектуры трансформеров.

Обучение программированию и лексические особенности

Torquay воспринимает слово «компьютер» как профессию человека, занимающегося вычислениями.
Система успешно создает обратные функции на Python, заменяя сложение на вычитание для декодирования данных.
Словарный запас модели ограничен сленгом начала века, таким как «bosh», «humbug» и «fudge».

Несмотря на отсутствие знаний о современных вычислительных машинах в обучающих данных, модель демонстрирует логическое мышление при работе с кодом. Она способна выявлять закономерности в предоставленных примерах программирования и применять их к новым задачам. Это подтверждает, что фундаментальные способности к логическому выводу не зависят напрямую от наличия тематических текстов в базе обучения.

Прогнозирование будущего и оценка исторических событий

Модель предсказывает политическую стабильность в Европе и эффективность Германии под руководством лидеров 1930-х годов.
Метрика «удивления» показывает, насколько невероятными кажутся системе реальные заголовки газет после 1931 года.
Исследование патентов будущего позволяет оценить способность ИИ генерировать новые изобретения на основе старых технологий.

Анализ прогнозов Torquay выявляет когнитивные искажения, присущие эпохе ее создания, включая ошибочные оценки политических рисков. Исследователи используют этот эффект для измерения того, как качество предсказаний масштабируется вместе с размером модели. Сравнение ответов ИИ с реальной историей помогает понять, в какой момент логика развития технологий и общества становится непредсказуемой для алгоритма.

Сложности обработки архивов и постобучения

Временная утечка информации происходит из-за неверных метаданных сканированных документов и современных редакционных сносок.
Использование современной модели Claude Sonnet 3.5 для обучения Torquay диалогу приводит к появлению современного стиля общения.
Планы развития включают создание модели уровня GPT-3 на базе одного триллиона исторических токенов.

Процесс очистки данных от современных влияний сталкивается с техническими препятствиями в виде некачественного OCR и отсутствия исторических данных для обучения с подкреплением. Чтобы сохранить аутентичность, разработчики используют тексты по этикету для настройки поведения модели. В будущем планируется использование винтажных моделей для взаимного контроля качества ответов, что позволит исключить стилистические анахронизмы вроде списков-листиклов.

Community Posts

Write about this video