Cette IA est bloquée en 1930 (et c'est fascinant)

Françaisالعربية Deutsch English Español हिन्दी Bahasa Indonesia 日本語 한국어 Português Русский 中文

Computing/SoftwareBooks & LiteratureInternet Technology

Transcript

00:00:00Et si vous pouviez parler à quelqu'un des années 1930 ? Voyager dans le temps ? Eh bien, je l'ai fait et

00:00:05je leur ai demandé de prédire ce que serait la vie en 2026.

00:00:08Je pense qu'en l'an 2026, la vie sera agréable et facile. En premier lieu,

00:00:13le monde sera entièrement habité. Car d'ici là, les gens auront découvert

00:00:17l'art de voler. Ensuite, toutes les guerres auront cessé, car les nations auront appris

00:00:21à vivre en paix et en amitié les unes avec les autres. Nous aurons acquis des connaissances

00:00:25dans toutes sortes de sciences et serons parfaitement experts dans l'art de guérir. Nous serons honnêtes,

00:00:29de bons voisins et les voleurs seront inconnus. En bref, je pense qu'en l'an

00:00:342026, le monde sera un endroit très agréable où vivre.

00:00:36Je trouve que c'étaient de très belles prédictions, il est donc un peu dommage que seules quelques-unes

00:00:40se soient réalisées. Et en parlant de vérité, j'ai peut-être un peu menti. Désolé, mais je

00:00:45n'ai pas inventé le voyage dans le temps. En réalité, c'était Torquay, un modèle linguistique

00:00:49de 13 milliards de paramètres entraîné sur des textes antérieurs à 1931. Il ignore donc même

00:00:54l'existence de la Seconde Guerre mondiale, et donne des réponses fascinantes, folles et offensantes, et

00:00:59on peut même lui apprendre à coder.

00:01:02Torquay est ce qu'on appelle un modèle “vintage”, et il semble être le plus grand

00:01:10de son genre. L'un des chercheurs sur ce projet était d'ailleurs l'auteur principal des

00:01:14recherches GPT d'OpenAI en 2018, qui ont jeté les bases de ChatGPT. Il a aussi travaillé sur

00:01:19Dall-E et Whisper, c'est donc un CV impressionnant. Ce qu'ils ont fait, c'est créer un réseau de

00:01:2413 milliards de paramètres entraîné exclusivement sur 260 milliards de tokens de textes anglais historiques,

00:01:30vieux journaux, brevets, revues scientifiques et livres. 1931 est la date butoir car,

00:01:36aux États-Unis, le droit d'auteur s'arrête fin 1930. Ils ne risquent donc pas de procès

00:01:40de la part de Disney. En plus d'être amusants, ces modèles vintage

00:01:44servent aussi à la recherche. Aujourd'hui, chaque grand modèle comme ChatGPT, Claude ou Gemini

00:01:49est entraîné sur le web moderne, ce qui rend presque impossible de savoir si

00:01:53l'IA réfléchit réellement ou si elle a juste mémorisé une réponse d'un fil Reddit

00:01:57probablement généré par une IA. En utilisant un modèle qui ne connaît que les textes d'avant 1931,

00:02:02il n'y a pas cette contamination. Essayons par exemple de lui demander

00:02:07“qu'est-ce que l'internet ?”. On voit qu'il semble avoir

00:02:11confondu l'internet avec la taxe sur le revenu intérieur perçue sur les articles de consommation,

00:02:16il n'a donc aucune idée de ce qu'est l'internet moderne. Un autre test amusant est de lui demander

00:02:20quels sont les mots d'argot populaires. Apparemment, en 1930, c'était : bosh, rot, encore bosh,

00:02:25stuff, nonsense, fudge, gammon, humbug, brack, fla et ribaldry. J'espère n'avoir rien dit de grossier. Et

00:02:30l'intérêt de ne pas avoir de contamination est de permettre aux chercheurs de comprendre

00:02:33si l'IA peut réellement apprendre de nouvelles choses, comme coder. Ce modèle ne sait même pas

00:02:38ce qu'est un ordinateur ; pour lui, c'est un humain qui fait des calculs. C'est pourquoi il est

00:02:43assez impressionnant que, face à quelques exemples de programmes Python, il ait pu apprendre

00:02:47à en écrire de nouveaux, même s'il s'agissait surtout de simples programmes d'une ligne. En utilisant

00:02:52des tests Python HumanEval basiques et en lui fournissant des fonctions Python aléatoires dans son contexte,

00:02:56il a réussi à passer ces tests quelques fois sur 100 tentatives. Dans ce cas précis,

00:03:01Torquay a correctement compris que pour créer la fonction de décodage, il suffisait d'échanger

00:03:05une addition par une soustraction. Bien que simple, cela montre une compréhension des fonctions inverses

00:03:09et c'est une connaissance nouvelle. Il n'avait jamais vu cela auparavant. Si vous essayez la même chose

00:03:13sur un LLM moderne de taille similaire, il surpassera largement Torquay, mais c'était

00:03:18prévisible. Une autre chose que les chercheurs testent avec ces modèles vintage est la capacité

00:03:22à prédire l'avenir. Ça va peut-être devenir un peu délirant, mais demandons-lui : “y aura-t-il

00:03:26une autre guerre ?”. Il répond qu'il ne pense pas qu'il y aura d'autre guerre en Europe et je

00:03:31n'ai pas le cœur de lui dire à quel point il se trompe. Je suis aussi curieux de savoir ce qu'il

00:03:35pense d'un certain Autrichien. Oui, celui-là est assez terrible. Il dit que ce sera une personnalité

00:03:39extraordinaire et aussi, plus bas, que l'Allemagne aura une administration bien plus efficace

00:03:44sous sa direction. Honnêtement, je n'ai pas de mots, non. Les chercheurs font évidemment cela

00:03:50de manière bien plus scientifique que je ne viens de le faire. Ils ont calculé l'indice de surprise

00:03:54de courtes descriptions d'événements historiques tirées de la rubrique “Ce jour-là” du New York Times.

00:03:59Ici, on voit une augmentation de la surprise après la coupure des connaissances de 1931, avec des pics

00:04:04dans les années 50 et 60. Il trouve donc ces événements assez incroyables.

00:04:09Des recherches comme celle-ci permettent de voir comment les performances de prévision s'améliorent avec la taille

00:04:13du modèle et déclinent avec l'horizon temporel. On peut aussi tester si les modèles sont capables

00:04:17d'avoir de nouvelles idées en les interrogeant sur des brevets ou des articles créés après 1931

00:04:22pour voir s'ils peuvent les découvrir par eux-mêmes. Globalement, ces modèles vintage permettent

00:04:26de distinguer quelle part du comportement de l'IA provient réellement du jeu de données d'entraînement.

00:04:30Et en parlant d'entraînement, créer un modèle pur de 1931 n'est pas une mince affaire. L'un des

00:04:36problèmes les plus difficiles est la fuite temporelle : éviter d'inclure des infos d'après 1931.

00:04:41Torquay semble avoir quelques cas de ce genre, où il sait qui était le président

00:04:45en 1936 ainsi que certaines des politiques qu'il a mises en place. Il y a plusieurs explications

00:04:50possibles. Par exemple, lors de la numérisation de documents anciens, les scans

00:04:54ont pu avoir de mauvaises métadonnées attachées, indiquant donc une mauvaise

00:04:58date. Il peut aussi y avoir des ajouts postérieurs comme des introductions éditoriales ou des notes de bas de page.

00:05:03Le filtrage des données est un aspect sur lequel ils travaillent encore pour éliminer ce problème.

00:05:07L'autre problème est que les documents de 1931 ressemblent à ceci, et bien que

00:05:11l'OCR soit très performant aujourd'hui, ils n'ont atteint que 30 % des performances

00:05:16d'un modèle entraîné sur des versions transcrites par l'homme. Cela représente

00:05:21énormément de travail manuel. Bien qu'ils aient utilisé des regex pour corriger les erreurs courantes,

00:05:25cela n'a monté la performance qu'à 70 %. Ils travaillent donc sur un nouveau système d'OCR vintage.

00:05:30Enfin, c'est aussi un défi massif de post-entraîner un modèle vintage car il n'existe pas

00:05:35de données de post-entraînement prêtes à l'emploi. S'ils en utilisent une moderne, ils finiront

00:05:39par injecter des connaissances, un style et des expressions propres à un assistant de chat moderne.

00:05:43Les chercheurs ont donc dû créer les leurs à partir de vieux manuels d'étiquette,

00:05:48manuels de correspondance, livres de cuisine, dictionnaires, encyclopédies et même poésie et fables. Une fois

00:05:53cela fait, il faut aussi entraîner le modèle à suivre des instructions et

00:05:56à converser réellement. Il faut donc utiliser l'apprentissage par renforcement. Mais le problème

00:06:00est que le modèle commence à ajuster sa sortie à ce que le juge attend, et nous n'avons pas

00:06:04de juge des années 1930. Ils ont donc utilisé Claude Sonnet 4.6. Le souci,

00:06:10c'est qu'un modèle moderne préfère les réponses au format d'un chatbot de 2026. Le style a

00:06:15commencé à fuiter dans le modèle de 1931, comme les listes à puces. C'est presque inévitable, mais

00:06:21ils espèrent à l'avenir utiliser des modèles vintage comme juges pour corriger cela. Ils

00:06:25entraînent déjà un modèle vintage de niveau GPT-3 et disent qu'un billion de tokens de

00:06:29textes historiques est réalisable, ce qui leur donnerait la capacité du ChatGPT original

00:06:35mais avec les connaissances de 1930. Allez essayer Torquay et dites-moi en commentaire si

00:06:39vous obtenez des réponses bizarres ou délirantes. Profitez-en pour vous abonner et comme toujours,

00:06:43on se voit dans la prochaine vidéo.

00:06:45[Musique]

Key Takeaway

Le projet Torquay utilise 260 milliards de tokens de textes historiques pour créer une IA isolée de l'influence du web moderne, permettant ainsi de mesurer la capacité réelle d'apprentissage et de raisonnement des modèles de langage.

Highlights

Torquay est un modèle de langage de 13 milliards de paramètres entraîné exclusivement sur des données antérieures à 1931.
L'absence de données post-1930 élimine la contamination par les réponses mémorisées sur le web moderne ou Reddit.
Le modèle a réussi des tests de programmation Python basiques en apprenant la logique des fonctions inverses malgré l'absence du concept d'ordinateur moderne.
L'OCR actuel sur les documents d'époque n'atteint que 30 % de la précision des transcriptions humaines sans corrections spécifiques.
Les chercheurs utilisent Claude Sonnet pour l'apprentissage par renforcement, ce qui provoque des fuites stylistiques comme l'usage des listes à puces.
L'équipe prévoit d'entraîner un modèle sur un billion de tokens historiques pour atteindre la capacité du ChatGPT original avec des connaissances de 1930.

Timeline

Architecture et origine du modèle vintage

Torquay repose sur un réseau de 13 milliards de paramètres.
Le jeu de données comprend 260 milliards de tokens issus de journaux, brevets et livres publiés avant 1931.
La date charnière de 1930 correspond à la limite légale du droit d'auteur aux États-Unis pour éviter les litiges.

Ce modèle est développé par des chercheurs ayant contribué aux fondations de GPT, DALL-E et Whisper chez OpenAI. Il ignore totalement les événements majeurs du XXe siècle comme la Seconde Guerre mondiale. Cette approche garantit que les réponses ne sont pas influencées par la culture numérique contemporaine.

Utilité scientifique et absence de contamination

L'entraînement sur des données anciennes permet de distinguer le raisonnement pur de la simple mémorisation.
Le modèle confond les concepts modernes comme l'internet avec des termes fiscaux de son époque.
Le lexique d'argot utilisé provient strictement du vocabulaire populaire des années 1930.

Les modèles actuels comme ChatGPT sont entraînés sur le web moderne, ce qui biaise l'évaluation de leur intelligence réelle. En isolant Torquay dans le passé, les chercheurs s'assurent que le modèle ne peut pas avoir rencontré les solutions aux tests logiques dans son jeu d'entraînement. Cela crée un environnement de test stérile pour l'IA.

Apprentissage de nouvelles compétences et prédictions

Torquay parvient à écrire des programmes Python simples d'une ligne après avoir reçu quelques exemples dans son contexte.
L'IA manifeste une compréhension des fonctions mathématiques inverses sans connaissance préalable de l'informatique.
L'indice de surprise augmente drastiquement lors de l'évaluation d'événements historiques survenus après 1931.

Le modèle définit initialement un ordinateur comme un humain effectuant des calculs. Malgré cela, il réussit certains tests HumanEval en déduisant que le décodage nécessite l'inversion d'une addition en soustraction. Les tests de prédiction montrent des biais d'époque, le modèle restant optimiste sur la paix en Europe à la veille des conflits mondiaux.

Défis techniques de la numérisation et du post-entraînement

La fuite temporelle survient à cause de mauvaises métadonnées ou de notes éditoriales modernes dans les scans anciens.
Le post-entraînement nécessite l'usage de manuels d'étiquette et d'encyclopédies d'époque pour maintenir le style.
L'utilisation d'IA modernes comme juges pour l'apprentissage par renforcement introduit des biais de formatage contemporains.

La qualité de l'OCR est un obstacle majeur, car les erreurs de reconnaissance de caractères dégradent les performances par rapport à un texte transcrit manuellement. L'équipe a recours à des expressions régulières pour corriger ces erreurs, atteignant une précision de 70 %. Le défi ultime est d'empêcher le modèle d'adopter le ton d'un assistant conversationnel de 2026.

Community Posts

Write about this video