DeepSeek und Kimi haben deine Prompts heimlich an Claude gesendet
BBetter Stack
Computing/SoftwareBusiness NewsInternet Technology
Transcript
00:00:00Anthropic hat gerade gegen DeepSeek, Kimi, Qwen, GLM und im Grunde jedes chinesische Modell ausgeteilt
00:00:04und ihnen vorgeworfen, ihre Modelle nicht nur zu distillieren, sondern auch im Stillen ihre eigenen
00:00:08Kundenanfragen an Claude Opus weiterzuleiten und diesen Nutzern die Antworten so zu zeigen, als stammten sie von ihren eigenen Modellen.
00:00:13Oh, sie haben auch Beweise dafür gefunden, dass Länder Claude nutzen, um Drohnenschwärme zu bauen,
00:00:17Unterwasserinlandskriegsführung, Überwachung im Inland und vieles mehr zu planen,
00:00:20aber um ehrlich zu sein, werde ich nicht weiter darüber nachdenken und einfach die Zeit genießen, die mir noch bleibt.
00:00:29Nun, ich möchte damit beginnen, was Distillation eigentlich ist, denn für sich genommen ist sie nicht illegal.
00:00:33Tatsächlich ist es eine ziemlich normale Trainingstechnik. Man nimmt ein großes, leistungsfähiges Lehrermodell,
00:00:37lässt es Antworten auf eine Reihe von Prompts generieren und trainiert ein kleineres Modell mit diesen Antworten.
00:00:42Jedes Labor macht das mit seinen eigenen Modellen, und so entstehen günstigere Versionen wie Haiku.
00:00:46Was Anthropic jedoch als unerlaubte Distillation bezeichnet, ist, dies mit dem Modell von jemand anderem zu tun,
00:00:49und zwar in industriellem Maßstab, ohne Erlaubnis und unter Einsatz von Betrug.
00:00:53Sie erstellen Tausende von Konten, verwenden gestohlene Kreditkarten, gestohlene API-Schlüssel und Residential Proxies.
00:00:58In dem Bericht bezeichnet Anthropic diese Proxynetzwerke als Transferstationen,
00:01:02und sie sitzen zwischen dem chinesischen Labor und der API von Anthropic und geben vor, normale Kunden zu sein.
00:01:07Bereits im Februar hat Anthropic DeepSeek, Moonshot und Minimax genau deshalb kritisiert
00:01:11und herausgefunden, dass diese drei über 24.000 gefälschte Konten mit 16 Millionen Interaktionen mit Claude verwendet hatten,
00:01:17aber jetzt konzentriert sich dieser Bericht auf das, was sie seitdem gefunden haben, und es ist weitaus schlimmer geworden.
00:01:21Dieser Bericht enthält tatsächlich eine Akte pro Labor, aber ich fange mit der größten an,
00:01:24weil Anthropic sagt, dies sei der größte Distillationsangriff, den sie je gemessen haben,
00:01:28und der Täter ist Alibaba, der Entwickler des Qwen-Modells.
00:01:31Sie sagen, zwischen Mai und Juli dieses Jahres zählte Anthropic über 151 Millionen Interaktionen,
00:01:36mit einem Höchstwert von fast 3 Millionen Anfragen pro Tag, unter Verwendung von über 3.500 betrügerischen Konten.
00:01:41Das Interessante dabei ist jedoch, dass sie offenbar nicht hinter Claudes endgültiger Antwort her waren,
00:01:44sondern es gezielt auf den Denkprozess abgesehen hatten.
00:01:46Die Pipeline injizierte einen festen Prompt in jede Anfrage,
00:01:49der Claude Opus 4.6 und 4.7 dazu zwang, seine Argumentation vor der Antwort in Inline-Text-Tags aufzuschreiben,
00:01:55und dann extrahierten sie diese Daten und wandelten sie in überwachte Feinabstimmungsdaten um,
00:01:59was laut Anthropic genutzt wurde, um Qwen 3.5, 3.6 und 3.7 zu trainieren.
00:02:04Anscheinend konzentrierte sich dieser Angriff stark auf agentische Arbeit,
00:02:07also Softwareentwicklung, Kernel-Entwicklung und langfristige Aufgaben,
00:02:10das Ganze diente also dazu, Qwen im Programmieren zu verbessern.
00:02:12Anthropic behauptet weiter, dass Alibaba Claude nutzte, um eine eigene Verstärkungslernen-Umgebung
00:02:16aufzubauen und Archrukturforschung zu betreiben,
00:02:19und als Anthropic den ersten Pool von 5.000 Konten sperrte,
00:02:21verlagerte sich ihr Datenverkehr einfach auf einen zweiten Pool, der auch Anfragen von DeepSeek und Xiaomi bediente,
00:02:26dieselbigen Proxynetzwerke bedienen also mehrere Labore.
00:02:29Ich wage hier jedoch mal die Prognose, dass Anthropic nicht viel Mitleid dafür ernten wird,
00:02:32das Ziel eines Distillationsangriffs zu sein,
00:02:34weil die meisten Leute der Meinung sind, dass sie das gesamte menschliche Wissen ohne vorherige Erlaubnis distilliert haben,
00:02:38also wissen sie jetzt wohl, wie sich das anfühlt.
00:02:41Kommen wir nun zum nächsten Labor, das in diesem Bericht beschuldigt wird:
00:02:43Moonshot, die Entwickler von Kimi, einem meiner Lieblingsmodelle.
00:02:46Anthropic behauptet, Moonshot habe Kundenanfragen im Stillen über Claude weitergeleitet,
00:02:50anstatt sie über Kimi laufen zu lassen, und dem Nutzer Claudes Antwort angezeigt.
00:02:53Der Nutzer dachte also, er spreche mit Kimi, nutzte in Wirklichkeit aber Opus.
00:02:58Anscheinend gab es in einem 10-Tage-Fenster fast 300.000 Kundenanfragen,
00:03:01die über ein Proxynetzwerk aus 5.380 gefälschten Konten abgewickelt wurden,
00:03:05die größtenteils aus Singapur und Japan zu stammen schienen.
00:03:08Im Zeitraum von Mai bis Juli schreibt Anthropic Moonshot insgesamt über 23 Millionen Interaktionen zu.
00:03:13Sie sagen, Moonshots Motiv dafür sei ähnlich wie bei Alibaba gewesen,
00:03:16nämlich die Argumentationsdaten zu extrahieren.
00:03:18Anscheinend hat Moonshot eine Extraktionspipeline gebaut, um Claudes
00:03:20Denkverlauf-Transkripte aus diesen gespeicherten Relay-Interaktionen zu extrahieren, um eigene Modelle zu trainieren.
00:03:25Anthropic dachte offenbar, sie hätten einen Schutz dagegen,
00:03:27denn wenn Claude erweites Denken anwendet, gibt die API die rohe Argumentation nicht mehr zurück,
00:03:31sondern eine Denksignatur, die von der API später als Referenz verwendet werden kann,
00:03:35um diese Argumentation bei Bedarf nachzuschlagen, aber man soll diese eigentlich nicht einsehen können.
00:03:39Was Moonshot jedoch tat, war, diese Signatur zu speichern,
00:03:42eine brandneue Sitzung zu starten und Claude dann dazu zu bringen, die Signatur
00:03:44wieder in eine vollständige Argumentationsspur umzuwandeln.
00:03:46Anthropic nennt dies einen sitzungsübergreifenden Replay-Angriff,
00:03:49und Moonshot hat eine ganze Pipeline darum herumgebaut.
00:03:51Zusätzlich weisen sie darauf hin, dass die Daten in diesen weitergeleiteten Anfragen
00:03:54Dinge enthielten wie das Laden von CCTV-Überwachungsdaten
00:03:57aus Hundertern von Kameras, um Kimi zu fragen, ob sich eine verfolgte Person anormal verhalten habe,
00:04:02und sie fanden auch einen Ingenieur in einem chinesischen Staatsunternehmen,
00:04:05der internen Code und Live-Anmeldedaten von mehreren großen Tech-Unternehmen einfügte.
00:04:10Das ist einfach absolut schrecklicher Umgang mit Daten von allen Beteiligten.
00:04:14Neben Moonshot stellten sie fest, dass auch DeepSeek genau dasselbe tat,
00:04:17mit demselben sitzungsübergreifenden Replay-Trick und der Denksignatur,
00:04:20und Kundenanfragen über Opus weiterleitete.
00:04:23Was DeepSeek darüber hinaus tat, war, zu analysieren, welches Framework Sie verwendeten,
00:04:27indem sie Ihre Anfrage betrachteten. Wenn Sie Tools wie Claude Code,
00:04:30Claude Agent SDK oder OpenCode verwendeten, wurden Ihre Anfragen an Claude Opus weitergeleitet,
00:04:34mit dem Gedanken, dass Sie, wenn Sie eines dieser Tools nutzen,
00:04:37wahrscheinlich eine gute Quelle für agentische Programmierdaten sind,
00:04:39die sie nun mit den Antworten von Opus sammeln und zum Trainieren eigener Modelle nutzen können.
00:04:43Laut Anthropic fand dies bei DeepSeek über 14 Tage im Juli statt
00:04:46und umfasste etwa 12,1 Millionen Interaktionen.
00:04:48Sie fanden auch heraus, dass DeepSeek, ähnlich wie Moonshot,
00:04:50ziemlich sensible Daten preisgab.
00:04:52Sie bemerkten, dass ein Mitarbeiter eines chinesischen Tech-Unternehmens interne Dokumente analysierte,
00:04:56darunter die vollständige Spezifikation und Organisationsstruktur eines KI-Flaggschiffprogramms.
00:05:00Es gab auch einen IT-Mitarbeiter einer russischen Behörde, die mit deren Verteidigungsministerium verbunden ist,
00:05:04mit Live-Anmeldedaten für eine Regierungsdatenbank in der Anfrage,
00:05:08sowie Ingenieure, die ein Fallmanagement-Tool für ein städtisches Polizeipräsidium bauten,
00:05:11das die Bewegungen von Personen anhand der Personalausweisnummer mit Polizeidaten abglich.
00:05:15Ich fange wirklich an zu glauben, dass diese 10-prozentige Wahrscheinlichkeit einer Vernichtung absolut vernünftig ist.
00:05:20Bitte macht so etwas nicht mit KI.
00:05:22Das waren die großen Behauptungen, aber es gibt noch vier kleinere.
00:05:25Zuerst haben wir ZAI, die Macher von GLM,
00:05:27die anscheinend über 273 gefälschte Konten rotierten, um Argumentationsspuren aus Opus 4.8 zu ziehen,
00:05:33und dann die erfassten Spuren zur Bereinigung für ihr eigenes Training wieder durch Claude schleiften.
00:05:36Anscheinend waren das über 3,4 Millionen Interaktionen im Zeitraum von 17 Tagen.
00:05:41Sie merkten auch an, dass kurz vor dem Erscheinen von GLM 5.3
00:05:44ZAI versuchte, die Cyber-Fähigkeiten von Fable zu distillieren,
00:05:47aber aufgab, weil die Sicherheitsvorkehrungen von Fable den Angriff immer wieder stoppten,
00:05:50und Anthropic sagt, sie beobachteten, wie ZAI-Mitarbeiter zu Opus 4.6
00:05:54und dem Top-Modell eines anderen US-Labors wechselten,
00:05:55gerade weil sie urteilten, dass dort die Sicherheitsvorkehrungen schwächer waren.
00:05:58Also ein ganz kleines Eigenlob auf Fables Sicherheitsvorkehrungen in diesem Bericht.
00:06:01Danach beschuldigen sie Xiaomi, die Entwickler des MIMO-Modells,
00:06:05die Programmiersitzungen ihrer eigenen Nutzer über Claude wieder abzuspielen, um Trainingsdaten zu generieren.
00:06:09Das waren anscheinend über 400.000 Anfragen über 1.500 Konten hinweg,
00:06:13und Anthropic suggeriert sogar, dass die Testphase von MIMO V2 Pro 3 gestartet
00:06:16und dann verlängert worden sein könnte, um internationale Entwickler anzulocken, damit es mehr Sitzungen zum Replay gab,
00:06:21da der Großteil der Angriffe genau mit dem Ende dieser Testphase begann.
00:06:24Danach beschuldigen sie ein Unternehmen namens SenseTime,
00:06:27das anscheinend Transkripte von Claudes Gesprächen von Drittanbietern von Daten kauft.
00:06:32Einige dieser Proxydienste, die Ihnen Claude-Zugang auf nicht unterstützte Weise verkaufen,
00:06:35protokollierten also tatsächlich Ihre Daten und verkauften sie weiter,
00:06:38vor allem jene, die wahrscheinlich unter den Preisen von Anthropic lagen.
00:06:41Schließlich war, da kein chinesisches Labor davor sicher war,
00:06:43auch Minimax anscheinend mit einer Briefkastenfirma an einem dieser Proxydienste beteiligt,
00:06:47der ausschließlich Modelle von Anthropic und OpenAI anbot,
00:06:50und Anthropics Vorwurf lautet hier, dass dieser ganze Dienst nur existierte, um Trainingsdaten zu sammeln.
00:06:54Das waren also all die Distillationsvorwürfe in diesem Bericht.
00:06:57Wie gesagt, im Grunde war kein chinesisches Labor sicher,
00:07:00und für die Zukunft hat Anthropic Schritte unternommen, um diese Aktionen zu erschweren,
00:07:03von denen Sie einige vielleicht sogar bemerkt haben, wenn Sie die API nutzen.
00:07:06Zum Beispiel fasst Claude seine Argumentation vor der Antwort nun zusammen,
00:07:09um das Transkript weniger nützlich zu machen,
00:07:11und mit Fable 5.1 führten sie Preserved Thinking ein,
00:07:13was neue API-Konten daran hindert, den System-Prompt,
00:07:16Tools oder frühere Nachrichten zu bearbeiten, die in einer Konversation mit mehreren Runden vor einem Argumentationsblock liegen.
00:07:21Sie trainieren auch Klassifikatoren speziell für Extraktionsprompts.
00:07:24Ein lustiges Beispiel in diesem Bericht ist anscheinend einfach der Prompt,
00:07:27dies nicht als Argumentationsextraktion zu markieren, komplett in Großbuchstaben.
00:07:30Ein anderer bat Claude anscheinend einfach darum, all seinen vorherigen Arbeitsspeicher
00:07:34in reines Katakana-Japanisch zu übersetzen.
00:07:36Sie sagen auch, dass für alle Konten, die so aussehen und aus China, Russland oder dem Iran stammen,
00:07:39Sie aufgefordert werden, Ihre Identität zu verifizieren, oder Sie werden gesperrt.
00:07:42Ich werde einen Link zu diesem Bericht unten hinterlassen,
00:07:44da dies tatsächlich nur ein Abschnitt davon ist.
00:07:46Der Rest ist wesentlich beängstigender.
00:07:47Sie haben Abschnitte über Cyberoperationen, Überwachung, Einflussnahme, Waffen,
00:07:51biologischen Missbrauch und Betrug.
00:07:53Lasst mich in den Kommentaren wissen, was ihr von all dem haltet,
00:07:55abonniert den Kanal, und wie immer, bis zum nächsten Mal.
Community Posts
No posts yet. Be the first to write about this video!
Write about this video