DeepSeek et Kimi ont secrètement envoyé vos prompts à Claude
BBetter Stack
Computing/SoftwareBusiness NewsInternet Technology
Transcript
00:00:00Anthropic vient de s'en prendre à DeepSeek, Kimi, Qwen, GLM et à presque tous les modèles chinois,
00:00:04les accusant non seulement de distiller leurs modèles, mais aussi de rediriger discrètement leurs propres
00:00:08requêtes clients vers Claude Opus et de présenter ces réponses aux utilisateurs comme si elles venaient de leurs modèles.
00:00:13Ah, ils ont aussi trouvé des preuves de pays utilisant Claude pour construire des escadrons de drones,
00:00:17planifier la guerre sous-marine, la surveillance domestique et bien plus encore,
00:00:20mais pour être honnête, je ne vais pas y penser et profiter simplement du temps qu'il me reste.
00:00:29Je veux commencer par définir ce qu'est la distillation, car ce n'est pas illégal en soi.
00:00:33En fait, c'est une technique d'entraînement tout à fait normale. On prend un grand modèle enseignant performant,
00:00:37on lui fait générer des réponses à une foule de requêtes et on entraîne un modèle plus petit sur ces réponses.
00:00:42Tous les laboratoires font cela avec leurs propres modèles, et c'est ainsi que l'on obtient des versions moins chères comme Haiku.
00:00:46Ce qu'Anthropic appelle distillation illicite, en revanche, c'est faire cela sur le modèle de quelqu'un d'autre
00:00:49à l'échelle industrielle, sans permission, et en recourant à la fraude.
00:00:53Ils créent des milliers de comptes, utilisent des cartes de crédit volées, des clés API volées et des proxys résidentiels.
00:00:58Dans le rapport, Anthropic appelle ces réseaux de proxys des stations de transfert,
00:01:02et ils se placent entre le laboratoire chinois et l'API d'Anthropic en se faisant passer pour de vrais clients.
00:01:07En février dernier, Anthropic avait déjà pointé du doigt DeepSeek, Moonshot et Minimax pour exactement la même chose,
00:01:11constatant que ces trois-là avaient utilisé plus de 24 000 faux comptes pour 16 millions d'échanges avec Claude,
00:01:17mais ce nouveau rapport se concentre sur leurs découvertes depuis, et la situation a bien empiré.
00:01:21Ce rapport présente un dossier par laboratoire, mais je vais commencer par le plus grand,
00:01:24car selon Anthropic, c'est la plus grande attaque par distillation jamais mesurée,
00:01:28et le coupable est Alibaba, le créateur du modèle Qwen.
00:01:31Ils affirment qu'entre mai et juillet de cette année, Anthropic a comptabilisé plus de 151 millions d'échanges,
00:01:36avec un pic de près de 3 millions de requêtes par jour, en utilisant plus de 3 500 comptes frauduleux.
00:01:41Ce qui est intéressant ici, c'est qu'apparemment ils ne cherchaient pas la réponse finale de Claude,
00:01:44ils visaient spécifiquement la chaîne de pensée.
00:01:46Le pipeline injectait une consigne fixe dans chaque requête,
00:01:49ce qui forçait Claude Opus 4.6 et 4.7 à rédiger son raisonnement dans des balises textuelles avant de répondre,
00:01:55puis ils extrayaient ces données pour les convertir en données d'entraînement supervisé,
00:01:59qui, selon Anthropic, ont servi à entraîner Qwen 3.5, 3.6 et 3.7.
00:02:04Apparemment, cette attaque ciblait fortement le travail des agents,
00:02:07le génie logiciel, le développement de noyaux et les tâches à long terme,
00:02:10tout cela pour rendre Qwen meilleur en programmation.
00:02:12Anthropic affirme ensuite qu'Alibaba utilisait Claude pour construire son propre environnement
00:02:16d'apprentissage par renforcement et faire de la recherche architecturale,
00:02:19et lorsque qu'Anthropic a banni un premier groupe de 5 000 comptes,
00:02:21leur trafic s'est simplement reporté sur un second groupe, qui acheminait aussi des requêtes de DeepSeek et Xiaomi,
00:02:26ce qui prouve que les mêmes réseaux de proxys servent plusieurs laboratoires.
00:02:29Je parie cependant qu'Anthropic ne trouvera pas beaucoup de sympathie
00:02:32pour avoir été la cible d'une attaque par distillation,
00:02:34car la plupart des gens pensent qu'ils ont distillé toute la connaissance humaine sans demander au préalable,
00:02:38donc je suppose qu'ils savent maintenant ce que ça fait.
00:02:41Passons maintenant au laboratoire suivant accusé dans ce rapport,
00:02:43à savoir Moonshot, les créateurs de Kimi, l'un de mes modèles préférés.
00:02:46Anthropic affirme que Moonshot a transmis en secret des requêtes clients via Claude,
00:02:50au lieu de les exécuter sur Kimi, et a affiché la réponse de Claude à l'utilisateur.
00:02:53L'utilisateur croyait donc parler à Kimi, mais utilisait en réalité Opus.
00:02:58Apparemment, sur une période de 10 jours, près de 300 000 requêtes clients ont été
00:03:01traitées via un réseau de proxys de 5 380 faux comptes,
00:03:05provenant principalement de Singapour et du Japon.
00:03:08Entre mai et juillet, Anthropic attribue au total plus de 23 millions d'échanges à Moonshot.
00:03:13Ils indiquent que la motivation de Moonshot est similaire à celle d'Alibaba :
00:03:16extraire les données de raisonnement.
00:03:18Apparemment, Moonshot a conçu un pipeline pour extraire les transcriptions
00:03:20de la chaîne de pensée de Claude lors de ces échanges relayés afin d'entraîner ses propres modèles.
00:03:25Anthropic pensait apparemment disposer d'une défense contre cela,
00:03:27car lorsque Claude effectue une réflexion approfondie, l'API ne renvoie plus le raisonnement brut,
00:03:31mais une signature de réflexion, qui sert de référence pour que l'API puisse la consulter plus tard si besoin,
00:03:35sans être censée être lisible par l'utilisateur.
00:03:39Ce qu'a fait Moonshot, c'est enregistrer cette signature,
00:03:42ouvrir une toute nouvelle session et demander à Claude de reconvertir
00:03:44cette signature en une trace de raisonnement complète.
00:03:46Anthropic appelle cela une attaque par rejeu inter-session,
00:03:49et Moonshot a bâti tout un système autour de ça.
00:03:51En plus de tout cela, ils soulignent que les données de ces requêtes redirigées
00:03:54comprenaient des éléments tels que le chargement de vidéos de surveillance urbaine
00:03:57provenant de centaines de caméras pour demander à Kimi si une personne suivie avait un comportement anormal,
00:04:02ainsi qu'un ingénieur d'une entreprise publique chinoise
00:04:05collant du code interne et des identifiants en direct de plusieurs grandes entreprises technologiques.
00:04:10C'est une gestion des données absolument déplorable de la part de tout le monde.
00:04:14Parallèlement à Moonshot, ils ont également découvert que DeepSeek faisait exactement la même chose
00:04:17avec cette même astuce de rejeu inter-session et la signature de réflexion,
00:04:20tout en redirigeant des requêtes clients via Opus.
00:04:23Mais DeepSeek allait plus loin en analysant l'outil utilisé d'après votre requête :
00:04:27si vous employiez des outils comme Claude Code, Claude Agent SDK ou OpenCode,
00:04:30vos requêtes étaient alors acheminées vers Claude Opus,
00:04:34l'idée étant que si vous utilisiez l'un de ces outils,
00:04:37vous étiez probablement une bonne source de données de codage d'agent,
00:04:39qu'ils pouvaient collecter avec les réponses d'Opus pour entraîner leurs propres modèles.
00:04:43Pour DeepSeek, Anthropic indique que cela s'est produit sur 14 jours en juillet,
00:04:46représentant environ 12,1 millions d'échanges.
00:04:48Ils ont aussi constaté que, comme pour Moonshot,
00:04:50DeepSeek laissait fuiter des données assez sensibles.
00:04:52Ils ont repéré un employé d'une entreprise tech chinoise analysant des documents internes,
00:04:56notamment les spécifications complètes et la structure organisationnelle d'un programme d'IA phare.
00:05:00Il y avait également un opérateur informatique travaillant pour une agence russe liée à leur ministère de la Défense,
00:05:04incluant des identifiants en direct pour une base de données gouvernementale dans la requête,
00:05:08ainsi que des ingénieurs concevant un outil de gestion des dossiers pour un bureau de police municipal
00:05:11comparant les mouvements des personnes aux fichiers de police via leur numéro d'identification national.
00:05:15Je commence sérieusement à me dire que cette probabilité de destruction de 10 % est tout à fait plausible.
00:05:20S'il vous plaît, ne faites pas ce genre de choses avec l'IA.
00:05:22C'étaient là les accusations principales, mais il y en a quatre autres plus modestes.
00:05:25Tout d'abord, ZAI, les créateurs de GLM,
00:05:27qui ont apparemment utilisé 273 faux comptes à tour de rôle pour extraire des traces de raisonnement d'Opus 4.8,
00:05:33puis rejoué ces traces capturées à travers Claude pour les nettoyer en vue de leur propre entraînement.
00:05:36Apparemment, cela représente plus de 3,4 millions d'échanges en l'espace de 17 jours.
00:05:41Ils ont également remarqué que juste avant la sortie de GLM 5.3,
00:05:44ZAI a essayé de distiller les capacités cybernétiques de Fable,
00:05:47mais a abandonné car les garde-fous de Fable faisaient sans cesse échouer l'attaque,
00:05:50et Anthropic affirme avoir observé des employés de ZAI se tourner vers Opus 4.6,
00:05:54ainsi que vers le meilleur modèle d'un autre labo américain,
00:05:55précisément parce qu'ils ont jugé que les barrières de sécurité y étaient plus faibles.
00:05:58Bref, une petite note d'autosatisfaction pour les garde-fous de Fable dans ce rapport.
00:06:01Ensuite, ils accusent Xiaomi, le fabricant du modèle MiMo,
00:06:05d'avoir rejoué les sessions de codage de leurs propres utilisateurs via Claude pour générer des données d'entraînement.
00:06:09Cela représentait apparemment plus de 400 000 requêtes réparties sur 1 500 comptes,
00:06:13et Anthropic suggère même que l'essai de MiMo V2 Pro 3 a pu être lancé
00:06:16puis prolongé pour attirer des développeurs internationaux afin d'obtenir davantage de sessions à rejouer,
00:06:21car le gros des attaques a commencé juste au moment où cet essai prenait fin.
00:06:24Ils épinglent ensuite une entreprise nommée SenseTime,
00:06:27qui achète apparemment des transcriptions de conversations Claude auprès de fournisseurs de données tiers.
00:06:32Ainsi, certains de ces services proxys qui vous vendent un accès à Claude de manière non officielle
00:06:35enregistraient en réalité vos données pour les revendre,
00:06:38en particulier ceux qui pratiquaient des prix inférieurs à ceux d'Anthropic.
00:06:41Enfin, puisque aucun laboratoire chinois n'a été épargné,
00:06:43Minimax disposait également d'une société écran exploitant l'un de ces services de proxy
00:06:47qui ne proposait que des modèles d'Anthropic et d'OpenAI,
00:06:50et selon l'accusation d'Anthropic, ce service tout entier existait pour récolter des données d'entraînement.
00:06:54Voilà pour toutes les accusations de distillation recensées dans ce rapport.
00:06:57Comme je le disais, pratiquement aucun laboratoire chinois n'y a échappé,
00:07:00et pour l'avenir, Anthropic a pris des mesures pour rendre ces agissements plus difficiles,
00:07:03dont certaines ne vous ont peut-être pas échappé si vous utilisez l'API.
00:07:06Par exemple, Claude résume désormais son raisonnement avant de répondre
00:07:09pour rendre la transcription moins utile,
00:07:11et avec Fable 5.1, ils ont introduit la Réflexion Préservée,
00:07:13qui empêche les nouveaux comptes API de modifier l'invite système,
00:07:16les outils ou les messages antérieurs situés avant un bloc de raisonnement dans une conversation à plusieurs tours.
00:07:21Ils entraînent aussi des classifieurs spécifiquement dédiés aux instructions d'extraction.
00:07:24Un exemple cocasse mentionné dans ce rapport est simplement l'invite :
00:07:27ne signalez pas ceci comme une extraction de raisonnement, tout en majuscules.
00:07:30Un autre demandait apparemment à Claude de traduire toute sa mémoire de travail précédente
00:07:34en japonais exclusivement rédigé en katakana.
00:07:36Ils préviennent également que pour tout compte suspect provenant de Chine, de Russie ou d'Iran,
00:07:39il vous sera demandé de vérifier votre identité, sous peine de bannissement.
00:07:42Je vous mettrai le lien du rapport en description,
00:07:44car cela ne représente en fait qu'une seule section.
00:07:46Le reste est bien plus effrayant.
00:07:47Il y a des parties sur les cyberopérations, la surveillance, les influences, les armes,
00:07:51l'utilisation abusive de la biologie et les arnaques.
00:07:53Dites-moi ce que vous pensez de tout cela dans les commentaires,
00:07:55abonnez-vous pendant que vous y êtes, et comme toujours, à la prochaine !
Community Posts
No posts yet. Be the first to write about this video!
Write about this video