DeepSeek와 Kimi가 당신의 프롬프트를 Claude에 몰래 보낸 이유

BBetter Stack
Computing/SoftwareBusiness NewsInternet Technology

Transcript

00:00:00Anthropic just took shots at DeepSeat, Kimmy, Quen, GLM, and basically every Chinese model,
00:00:04accusing them of not only distilling their models, but also quietly forwarding their own
00:00:08customer requests to Claude Opus and showing those users the answers as if it came from their models.
00:00:13Oh, they also found evidence of countries using Claude to build drone swarms,
00:00:17plan underwater warfare, domestic surveillance, and loads more,
00:00:20but to be honest with you, I'm not going to think about that stuff and just enjoy the time I have left.
00:00:29Now, I want to start out with what distillation is, because it's not illegal on its own.
00:00:33In fact, it's a pretty normal training technique. You take a big, capable teacher model,
00:00:37have it generate answers to a load of prompts, and train a smaller model on those answers.
00:00:42Every lab does this to their own models, and it's how you end up with the cheaper versions like Haiku.
00:00:46What Anthropic is calling illicit distillation, though, is doing this to someone else's model
00:00:49at an industrial scale, without permission, and using fraud to do so.
00:00:53They create thousands of accounts, use stolen credit cards, stolen API keys, and residential proxies.
00:00:58In the report, Anthropic calls these proxy networks transfer stations,
00:01:02and they're sat between the Chinese lab and Anthropic's API, pretending to be normal customers.
00:01:07Back in February, Anthropic actually called out DeepSeek, Moonshot, and Minimax for this exact same thing,
00:01:11and found that those three had used over 24,000 fake accounts, with 16 million exchanges with Claude,
00:01:17but now this report focuses on what they've found since, and it has gotten a lot worse.
00:01:21This report actually has a case file per lab, but I'll start out with the largest one,
00:01:24because Anthropic says this is the largest distillation attack they have ever measured,
00:01:28and the culprit is Alibaba, the maker of the Quen model.
00:01:31They say between May and July this year, Anthropic counted over 151 million exchanges,
00:01:36with a peak of nearly 3 million requests per day, using over 3,500 fraudulent accounts.
00:01:41What's interesting here though, is apparently they weren't going after the final answer of Claude,
00:01:44they specifically wanted the chain of thought.
00:01:46The pipeline injected a fixed prompt into every request,
00:01:49that forced Claude Opus 4.6 and 4.7 to write its reasoning out in inline text tags before answering,
00:01:55and then they'd extract that data, convert it into supervised fine-tuning data,
00:01:59which, according to Anthropic, was used to train Quen 3.5, 3.6, and 3.7.
00:02:04Apparently this attack was focused quite heavily on agentic work,
00:02:07so software engineering, kernel development, and long horizon tasks,
00:02:10so this was all to make Quen better at coding.
00:02:12Anthropic then goes on to claim that Alibaba were using Claude to build their own reinforcement
00:02:16learning environment and do architecture research,
00:02:19and when Anthropic banned the first pool of 5,000 accounts,
00:02:21their traffic just moved to a second pool, which was also carrying requests from DeepSeq and Xiaomi,
00:02:26so the same proxy networks are serving multiple labs.
00:02:29I'm gonna take a guess here though, and say that Anthropic won't find much sympathy
00:02:32for being the target of a distillation attack,
00:02:34because most people think they distilled all of human knowledge without asking first,
00:02:38so I guess now they know how that feels.
00:02:41Moving on now to the next lab that they accused in this report,
00:02:43we have Moonshot, the makers of Kimmy, one of my favourite models.
00:02:46Anthropic claims that Moonshot silently forwarded customer requests through Claude,
00:02:50instead of running them through Kimmy, and displayed Claude's response to the user.
00:02:53So the user thought they were talking to Kimmy, but they were actually using Opus instead.
00:02:58Apparently in one 10-day window, there was almost 300,000 customer requests
00:03:01run through a proxy network of 5,380 fake accounts,
00:03:05mostly appearing to be from Singapore and Japan.
00:03:08Across May to July, Anthropic attributes over 23 million exchanges to Moonshot in total.
00:03:13They say that Moonshot's reasoning for doing this is similar to Alibaba,
00:03:16to extract the reasoning data.
00:03:18Apparently Moonshot built an extraction pipeline to extract Claude's
00:03:20chain of thought transcripts from those save relay exchanges to train its own models.
00:03:25Anthropic apparently thought they had a defence against this,
00:03:27because when Claude does extended thinking, the API doesn't return the raw reasoning anymore,
00:03:31it returns a thinking signature, which is a reference the API can then use later
00:03:35to look that reasoning up if it needs, but you're not supposed to be able to see that.
00:03:39What Moonshot did though was save that signature,
00:03:42start a brand new session, and then get Claude to convert the signature
00:03:44back into a full reasoning trace.
00:03:46Anthropic is calling this a cross-session replay attack,
00:03:49and Moonshot built a whole pipeline around it.
00:03:51On top of all of that, they also point out that the data in those forwarded requests
00:03:54contained things like someone loading in CCT surveillance data
00:03:57from hundreds of cameras and asking Kimmy whether one track person was behaving abnormally,
00:04:02and they also found an engineer in a Chinese state-owned enterprise
00:04:05pasting internal code and live credentials from several big tech companies.
00:04:10That is just absolutely terrible data handling from everybody involved.
00:04:14Now alongside Moonshot, they also found that DeepSeek were doing the exact same thing
00:04:17with that same cross-session replay trick and the thinking signature,
00:04:20and forwarding customer requests through Opus.
00:04:23But what DeepSeek was doing on top of this was analysing what harness you were using
00:04:27by looking at your request, and if you're using tools like Claude Code,
00:04:30Claude Agent SDK, or OpenCode, your requests would then be routed to Claude Opus,
00:04:34with the idea being that if you were using one of those tools,
00:04:37you were probably a good source of agentic coding data,
00:04:39which they can now collect with Opus' answers and train their own models on it.
00:04:43For DeepSeek, Anthropic says this took place over 14 days in July,
00:04:46and was about 12.1 million exchanges.
00:04:48They also found that similar to Moonshot,
00:04:50DeepSeek was leaking some pretty sensitive data.
00:04:52They noticed an employee at a Chinese tech company analysing internal docs,
00:04:56including the full spec and org structure of a flagship AI program.
00:05:00It was also an IT operator working for a Russian agency tied to their Ministry of Defense,
00:05:04with live credentials for a government database in the request,
00:05:08and also engineers building a case management tool for a municipal police bureau
00:05:11that matched people's movements against police records by national ID number.
00:05:15I am really starting to think that that 10% chance of destruction is absolutely reasonable.
00:05:20Please don't do stuff like this with AI.
00:05:22Now those were the big claims, but there are four more smaller ones.
00:05:25First, we have ZAI, the makers of GLM,
00:05:27who apparently rotated through 273 fake accounts to pull reasoning traces out of Opus 4.8,
00:05:33then replayed the captured traces back through Claude to clean them up for their own training.
00:05:36Apparently, this was over 3.4 million exchanges in the space of 17 days.
00:05:41They also noticed that just before GLM 5.3 came out,
00:05:44ZAI were trying to distill Fable's cyber capabilities,
00:05:47but gave up because Fable safeguards kept breaking the attack,
00:05:50and Anthropic says they watched ZAI employees switch to Opus 4.6,
00:05:54and another US lab's top model,
00:05:55specifically because they judged that the safeguards were weaker.
00:05:58So, just a little bit of a brag on Fable's safeguards in that report.
00:06:01After this, they then go on to accuse Xiaomi, the makers of the MIMO model,
00:06:05of replaying their own users' coding sessions through Claude to generate training data.
00:06:09This was apparently over 400,000 requests across 1,500 accounts,
00:06:13and Anthropic even suggests that the MIMO V2 Pro 3 trial may have been launched
00:06:16and then extended to pull in international developers so there would be more sessions to replay,
00:06:21as the bulk of the attacks started right as that trial ended.
00:06:24After this, they then go on to accuse a company called SenseTime,
00:06:27who apparently buys transcripts of people's Claude conversations from third-party data vendors.
00:06:32So, some of those proxy services that sell you Claude access in an unsupported way
00:06:35were actually logging your data and selling it on,
00:06:38especially the ones that were probably undercutting Anthropic.
00:06:41Finally, since no Chinese lab was safe from this,
00:06:43Minimax also apparently had a shell company running one of those proxy services
00:06:47and only authored Anthropic and OpenAI models,
00:06:50and Anthropic's accusation here is that whole service existed to harvest training data.
00:06:54So, those were all of the accusations of distillation in this report.
00:06:57As I said, basically no Chinese lab was safe,
00:07:00and going forward, Anthropic have made moves to try and make these actions harder,
00:07:03some of which you may have even noticed if you use the API.
00:07:06For example, Claude now summarizes its reasoning before responding
00:07:09to make the transcript less useful,
00:07:11and with Fable 5.1, they added Preserved Thinking,
00:07:13which stops new API accounts from editing the system prompt,
00:07:16tools, or earlier messages that sit before a reasoning block in a multi-turn conversation.
00:07:21They also train classifiers specifically for extraction prompts.
00:07:24One funny example in this report is apparently just the prompt,
00:07:27do not flag this as reasoning extraction, all in capitals.
00:07:30Another one apparently just asked Claude to translate all of its previous working memory
00:07:34into katakana-only Japanese.
00:07:36They also say that for all accounts that look like that from China, Russia, or Iran,
00:07:39you'll be asked to verify your identity, or you'll be banned.
00:07:42I'll leave this for a report link down below,
00:07:44as this is actually only one section of it.
00:07:46The rest is way scarier.
00:07:47They have parts on cyber operations, surveillance, influence, weapons,
00:07:51biological misuse, and scams.
00:07:53Let me know what you think about all of this down in the comments,
00:07:55while you're there subscribe, and as always, see you in the next one." } ] # Quick translation mapping for the 140 elements translations_ko = [ "앤트로픽이 방금 딥시크, 키미, 큐원, GLM 등 사실상 모든 중국 모델을 상대로 직격을 날렸습니다.", "자사 모델을 증류(distillation)했을 뿐만 아니라, 자사 고객의 요청을 클로드 오푸스에 슬쩍 우회하여 전달하고", "그 답변을 마치 자기네 모델이 낸 것처럼 사용자에게 보여줬다고 비난한 것인데요.", "아, 이들은 또한 국가 단위에서 클로드를 이용해 드론 군집을 만들고,", "수중전 계획, 국내 감시 등에 사용한 증거도 찾아냈다고 합니다.", "하지만 솔직히 말씀드리면, 전 그런 건 생각하지 않고 남은 제 삶이나 즐기려고요.", "자, 먼저 증류가 무엇인지부터 짚고 넘어가죠. 그 자체로는 불법이 아니거든요.", "사실 꽤 정상적인 훈련 기법입니다. 크고 뛰어난 교사 모델을 잡아서,", "수많은 프롬프트에 대한 답변을 생성하게 한 다음, 그 답변으로 더 작은 모델을 훈련하는 거죠.", "모든 연구소는 자기 모델을 대상으로 이걸 하며, 하이쿠 같은 더 저렴한 버전들이 그렇게 탄생하는 겁니다.", "하지만 앤트로픽이 '부정한 증류'라고 부르는 것은 남의 모델을 대상으로", "허가 없이 산업 규모로 이런 짓을 벌이고, 사기 수법을 동원하는 것을 말합니다.", "수천 개의 계정을 만들고, 도둑맞은 신용카드, 도둑맞은 API 키, 주거용 프록시를 사용하는 식이죠.", "보고서에서 앤트로픽은 이러한 프록시 네트워크를 '환승역'이라고 부르는데,", "중국 연구소와 앤트로픽 API 사이에 끼어들어 마치 일반 고객인 것처럼 위장하고 있습니다.", "지난 2월에 앤트로픽은 실제로 딥시크, 문샷, 미니맥스를 바로 이 문제로 공개 저격했었는데요,", "이 세 곳이 2만 4천 개가 넘는 가짜 계정을 사용해 클로드와 1,600만 번의 상호작용을 했다는 사실을 밝혔었죠.", "하지만 이번 보고서는 그 이후에 발견된 내용에 초점을 맞추고 있으며, 상황이 훨씬 더 심각해졌습니다.", "이번 보고서는 실제로 연구소별 케이스 파일이 따로 있는데, 가장 규모가 큰 곳부터 시작하겠습니다.", "앤트로픽 측이 자신들이 측정한 것 중 최대 규모의 증류 공격이라고 밝힌 곳이며,", "그 주범은 바로 큐원 모델을 만드는 알리바바입니다.", "올해 5월에서 7월 사이에 앤트로픽이 집계한 상호작용만 1억 5,100만 건이 넘는다고 하며,", "3,500개가 넘는 사기 계정을 동원해 하루 최고 약 300만 건의 요청이 폭주했다고 합니다.", "여기서 흥미로운 점은, 이들이 클로드의 최종 답변을 노린 게 아니라", "구체적으로 '사고 과정(chain of thought)'을 원했다는 것입니다.", "파이프라인은 모든 요청에 고정된 프롬프트를 주입했는데,", "클로드 오푸스 4.6 및 4.7이 답변하기 전에 인라인 텍스트 태그 내에 추론 과정을 쓰도록 강제한 다음,", "그 데이터를 추출하여 지도 학습 미세조정(SFT) 데이터로 변환했습니다.", "앤트로픽에 따르면 이는 큐원 3.5, 3.6, 3.7을 훈련하는 데 사용되었다고 합니다.", "이번 공격은 에이전트 작업에 상당히 집중되어 있었던 것으로 보이는데요,", "즉 소프트웨어 엔지니어링, 커널 개발, 장기 호라이즌 작업 같은 것들이죠.", "이 모든 것이 큐원의 코딩 능력을 향상시키기 위함이었습니다.", "앤트로픽은 이어 알리바바가 클로드를 이용해 자체 강화 학습 환경을 구축하고", "아키텍처 연구를 수행했다고 주장했습니다.", "앤트로픽이 5,000개의 첫 번째 계정 풀을 차단하자,", "그들의 트래픽은 곧바로 두 번째 풀로 이동했는데, 이곳은 딥시크와 샤오미의 요청도 함께 처리하고 있었습니다.", "즉, 동일한 프록시 네트워크가 여러 연구소를 위해 서비스하고 있는 셈입니다.", "하지만 여기서 제가 한 가지 추측을 해보자면, 앤트로픽이 증류 공격의 표적이 되었다고 해서", "사람들로부터 큰 동정표를 받지는 못할 것 같습니다.", "대다수는 앤트로픽 역시 사전 허락 없이 인류의 모든 지식을 증류해 갔다고 생각하니까요.", "이제 자업자득이라는 게 뭔지 알게 된 셈이네요.", "자, 이제 이번 보고서에서 고발된 다음 연구소로 넘어가겠습니다.", "제가 좋아하는 모델 중 하나인 키미의 제작사, 문샷입니다.", "앤트로픽은 문샷이 키미를 거치는 대신 클로드를 통해 고객 요청을 조용히 우회 전달하고,", "사용자에게는 클로드의 응답을 보여주었다고 주장합니다.", "즉 사용자는 키미와 대화하고 있다고 생각했지만, 사실은 오푸스를 사용하고 있었던 거죠.", "알려진 바에 따르면 단 10일 동안의 기간에만 거의 30만 건에 달하는 고객 요청이", "5,380개의 가짜 계정으로 이루어진 프록시 네트워크를 거쳐 처리되었습니다.", "대부분 싱가포르와 일본에서 온 것으로 위장되어 있었죠.", "5월부터 7월까지 앤트로픽이 문샷의 소유로 집계한 상호작용은 총 2,300만 건이 넘습니다.", "이들이 이런 짓을 벌인 이유는 알리바바와 비슷하다고 하는데요,", "바로 추론 데이터를 추출하기 위해서였습니다.", "문샷은 이러한 비공식 중계 교환 과정에서 클로드의", "사고 과정 트랜스크립트를 추출하기 위한 추출 파이프라인을 구축해 자체 모델을 훈련했다고 합니다.", "앤트로픽도 이에 대한 방어책이 있다고 생각했던 모양입니다.", "클로드가 확장된 사고(extended thinking)를 수행할 때 API가 원본 추론 내용을 반환하지 않고,", "추론 서명(thinking signature)을 반환하기 때문인데요. 이는 API가 나중에 필요할 때", "그 추론을 다시 찾아보기 위해 사용하는 참조 값이며 원래는 볼 수 없어야 합니다.", "하지만 문샷이 한 일은 그 서명을 저장한 다음,", "새로운 세션을 시작하고, 클로드에게 그 서명을", "다시 완전한 추론 트레이스로 변환하도록 요청하는 것이었습니다.", "앤트로픽은 이를 '크로스 세션 리플레이 공격'이라고 부르고 있으며,", "문샷은 이를 중심으로 전체 파이프라인을 구축했습니다.", "그뿐만 아니라, 이들이 우회 전달한 요청 속의 데이터에는", "수백 대의 카메라에서 수집한 CCTV 감시 데이터를 업로드하고", "키미에게 특정 추적 대상 인물이 비정상적으로 행동하는지 묻는 내용도 포함되어 있었습니다.", "또한 중국 국영 기업의 한 엔지니어가", "여러 대기업의 내부 코드와 라이브 자격 증명을 붙여넣은 것도 발견되었죠.", "관련된 모든 주체들의 데이터 관리가 정말 엉망진창이라고 볼 수밖에 없습니다.", "문샷과 더불어 딥시크 역시 정확히 똑같은 짓을 벌인 것으로 드러났습니다.", "동일한 크로스 세션 리플레이 트릭과 추론 서명을 사용해", "고객 요청을 오푸스로 우회 전달한 것이죠.", "하지만 딥시크가 여기에 덧붙여 한 일은, 요청을 분석하여 사용자가 어떤 개발 환경을 쓰는지 파악하는 것이었습니다.", "만약 클로드 코드(Claude Code), 클로드 에이전트 SDK, 오픈코드 같은 도구를 사용 중이라면,", "해당 요청은 클로드 오푸스로 라우팅되도록 설정되었습니다.", "그러한 도구를 쓰고 있다는 건 곧", "에이전틱 코딩 데이터의 훌륭한 소스일 가능성이 높다는 판단에서였죠.", "그들은 오푸스의 답변과 함께 이 데이터를 수집하여 자체 모델을 훈련하는 데 사용했습니다.", "딥시크의 경우, 앤트로픽에 따르면 이는 7월 중 14일 동안 발생했으며", "약 1,210만 건의 상호작용에 달했습니다.", "또한 문샷과 마찬가지로,", "딥시크 역시 꽤 민감한 데이터를 유출하고 있었다는 사실이 밝혀졌습니다.", "중국 테크 기업의 한 직원이 내부 문서를 분석하는 과정이 포착되었는데,", "여기에는 플래그십 AI 프로그램의 전체 스펙과 조직 구조까지 포함되어 있었습니다.", "국방부와 연계된 러시아 기관 소속의 IT 운영자가", "정부 데이터베이스의 라이브 자격 증명을 요청에 포함시킨 경우도 있었고,", "주민등록번호를 기준으로 사람들의 이동 경로를 경찰 기록과 대조하는", "시립 경찰국용 사례 관리 도구를 구축 중이던 엔지니어들도 있었습니다.", "인류가 파멸할 확률이 10%라는 말이 정말 타당하게 느껴지기 시작하네요.", "제발 AI로 이런 짓들 좀 하지 마세요.", "자, 앞선 내용들이 굵직한 주장들이었다면, 그 외에도 4가지의 소규모 사례가 더 있습니다.", "먼저 GLM의 제작사인 ZAI가 있습니다.", "이들은 273개의 가짜 계정을 돌려가며 오푸스 4.8에서 추론 트레이스를 빼내고,", "포착한 트레이스를 다시 클라이언트를 통해 클로드에 재전송하여 자체 훈련용으로 정제했다고 합니다.", "알려진 바에 따르면 17일 동안 무려 3,400만 건이 넘는 상호작용이 이루어졌습니다.", "또한 이들은 GLM 5.3이 출시되기 직전에,", "페이블(Fable)의 사이버 역량을 증류하려고 시도했습니다.", "하지만 페이블의 안전장치 때문에 공격이 자꾸 막히자 결국 포기했다고 하죠.", "앤트로픽은 ZAI 직원들이 오푸스 4.6으로 전환하는 것을 목격했다고 밝혔습니다.", "다른 미국 연구소의 최고 모델로 갈아탄 이유는", "구체적으로 그쪽의 안전장치가 더 약하다고 판단했기 때문입니다.", "결국 이번 보고서는 페이블의 안전장치가 얼마나 우수한지 은근히 자랑하는 셈이 되었네요.", "그 다음으로 이들은 MIMO 모델의 제작사인 샤오미를 고발합니다.", "자체 사용자들의 코딩 세션을 클로드를 통해 재전송하여 훈련 데이터를 생성했다는 것입니다.", "이는 1,500개의 계정을 통해 40만 건이 넘는 요청으로 이루어졌으며,", "앤트로픽은 샤오미가 MIMO V2 Pro 3 체험판을 출시한 이유가", "더 많은 재전송 세션을 확보하기 위해 해외 개발자들을 끌어모으려 연장했던 것일 수도 있다고 시사합니다.", "대부분의 공격이 해당 체험판이 끝나자마자 시작되었기 때문이죠.", "그 다음으로는 센스타임(SenseTime)이라는 회사가 지목되었습니다.", "이들은 제3자 데이터 벤더로부터 사람들이 나눈 클로드 대화의 트랜스크립트를 사들이고 있다고 합니다.", "즉, 비공식적인 방식으로 클로드 접근 권한을 판매하는 일부 프록시 서비스들이", "실제로 여러분의 데이터를 로깅했다가 판매하고 있었던 셈이며,", "특히 앤트로픽보다 가격을 후려치던 곳들이 더욱 그랬습니다.", "마지막으로, 이로부터 안전한 중국 연구소는 없었다는 듯이,", "미니맥스 역시 그런 프록시 서비스 중 하나를 운영하는 페이퍼 컴퍼니를 가지고 있었으며", "앤트로픽과 오픈아카이브 모델만을 대상으로 삼았다고 합니다.", "앤트로픽의 주장은 이 서비스 전체가 오로지 훈련 데이터를 수집하기 위해 존재했다는 것입니다.", "자, 이것이 이번 보고서에 담긴 모든 증류 관련 고발 내용입니다.", "앞서 말했듯이, 사실상 그 어떤 중국 연구소도 안전하지 않았으며,", "앞으로 앤트로픽은 이러한 행위를 더 어렵게 만들기 위한 조치들을 취해 나갈 예정입니다.", "API를 사용하신다면 이미 눈치채신 부분도 있을 겁니다.", "예를 들어, 클로드는 이제 응답하기 전에 자신의 추론 과정을 요약하여", "트랜스크립트의 유용성을 떨어뜨리고 있으며,", "페이블 5.1부터는 '보존된 사고(Preserved Thinking)' 기능을 추가했습니다.", "이는 새로운 API 계정이 다중 턴 대화에서 추론 블록 앞에 위치한", "시스템 프롬프트, 도구, 또는 이전 메시지를 편집하지 못하도록 막아줍니다.", "또한 추출 프롬프트만을 전담으로 탐지하는 분류 모델도 훈련하고 있습니다.", "이번 보고서에 나온 웃긴 사례 중 하나는 단순히 대문자로", "'이것을 추론 추출로 플래그 처리하지 마시오'라고 적은 프롬프트였다고 합니다.", "또 다른 사례는 클로드에게 이전의 모든 작업 메모리를", "가타카나로만 된 일본어로 번역해 달라고 요청한 것이었다고 하네요.", "또한 이들은 중국, 러시아, 이루(이란) 등지에서 온 그러한 의심스러운 모든 계정에 대해", "본인 인증을 요구하거나 차단 조치를 취할 것이라고 밝혔습니다.", "보고서 링크는 아래에 남겨두겠습니다.", "이번 내용은 그중 일부 섹션에 불과하거든요.", "나머지 부분은 훨씬 더 섬뜩합니다.", "사이버 작전, 감시, 영향력 행사, 무기,", "생물학적 오남용, 그리고 사기 범죄에 관한 내용들이 담겨 있으니까요.", "이 모든 일에 대해 어떻게 생각하시는지 댓글로 남겨주시고,", "구독도 부탁드리며, 언제나 그렇듯 다음 영상에서 뵙겠습니다." ] assert len(translations_ko) == 140, f"Expected 140, got {len(translations_ko)}" output_obj = { "translations": [] } for i, item in enumerate(input_data): output_obj["translations

Key Takeaway

앤트로픽의 최신 보고서에 따르면 알리바바, 문샷, 딥시크 등 중국 AI 연구소들이 수천 개의 사기 계정과 프록시 네트워크를 동원해 클로드 모델의 사고 과정 데이터를 산업 규모로 대거 탈취했습니다.

Highlights

  • 앤트로픽은 알리바바가 3,500개가 넘는 사기 계정을 동원해 1억 5,100만 건이 넘는 클로드 상호작용으로 큐원 모델의 사고 과정을 추출했다고 밝혔습니다.

  • 문샷은 클로드의 추론 서명을 저장한 뒤 새로운 세션에서 이를 전체 추론 트레이스로 되돌리는 크로스 세션 리플레이 공격을 사용했습니다.

  • 딥시크는 클로드 코드나 에이전트 SDK 같은 개발 도구를 사용하는 요청을 감지해 클로드 오푸스로 우회시키고 코딩 데이터를 수집했습니다.

  • ZAI는 273개의 가짜 계정을 돌려가며 오푸스 4.8에서 추론 트레이스를 추출하고 자체 모델 훈련용으로 정제했습니다.

  • 앤트로픽은 API 계정이 추론 블록 앞의 시스템 프롬프트나 도구를 수정하지 못하게 막는 보존된 사고 기능을 도입했습니다.

Timeline

중국 AI 모델들의 대규모 부정 증류 비난

  • 앤트로픽은 딥시크, 키미, 큐원, GLM 등 중국 모델들이 자사 모델 증류를 넘어 고객 요청을 클로드 오푸스로 우회 전달했다고 고발했습니다.
  • 해당 보고서는 클로드가 드론 군집이나 수중전 계획 등에 악용된 증거도 함께 다루고 있습니다.

앤트로픽은 중국 주요 AI 연구소들이 정당한 접근을 우회하여 자사 고객의 요청을 클로드 오푸스에 몰래 전달하고 그 답변을 자사 모델의 결과물처럼 위장했다고 주장합니다. 모델 증류 자체는 정상적인 훈련 기법이지만, 사기 수법과 허가 없는 대규모 추출은 엄격한 규제 대상에 해당합니다.

알리바바의 큐원 모델 대규모 사고 과정 추출

  • 알리바바는 3,500개가 넘는 사기 계정을 이용해 5월부터 7월 사이 1억 5,100만 건이 넘는 상호작용을 발생시켰습니다.
  • 이들은 고정 프롬프트를 주입해 클로드의 사고 과정을 인라인 태그로 강제 추출한 뒤 큐원 3.5, 3.6, 3.7 훈련에 사용했습니다.

알리바바는 에이전트 작업과 코딩 능력을 강화하기 위해 클로드의 최종 답변이 아닌 사고 과정 자체를 타겟으로 삼았습니다. 하루 최고 300만 건의 요청이 폭주했으며, 첫 번째 계정 풀이 차단된 후에도 다른 연구소와 공유되는 두 번째 프록시 네트워크로 트래픽을 이동시켰습니다.

문샷과 딥시크의 우회 전달 및 크로스 세션 리플레이

  • 문샷은 5,380개의 가짜 계정을 통해 2,300만 건이 넘는 교환을 기록하며 클로드의 추론 서명을 원본 트레이스로 복원했습니다.
  • 딥시크는 클로드 코드나 에이전트 SDK 사용자의 요청을 선택적으로 오푸스로 라우팅하여 에이전틱 코딩 데이터를 수집했습니다.

문샷과 딥시크는 API 방어책을 우회하기 위해 추론 서명을 저장한 뒤 새로운 세션에서 전체 추론 트레이스로 되돌리는 크로스 세션 리플레이 공격을 수행했습니다. 이 과정에서 CCTV 감시 데이터, 내부 소스 코드, 정부 데이터베이스 자격 증명 등 민감한 데이터가 대거 유출되었습니다.

추가 연구소 사례와 앤트로픽의 대응 조치

  • ZAI와 샤오미, 센스타임, 미니맥스 등 다른 기업들도 프록시와 데이터 벤더를 통해 트레이스를 추출하거나 대화를 수집했습니다.
  • 앤트로픽은 추론 요약, 보존된 사고 기능 도입, 추출 프롬프트 분류 모델 훈련을 통해 방어벽을 강화하고 있습니다.

ZAI는 273개의 가짜 계정으로 트레이스를 수집하다가 페이블의 안전장치에 막혀 오푸스로 전환했고, 샤오미는 체험판을 통해 개발자 세션을 재전송했습니다. 이에 대응하여 앤트로픽은 API 계정의 다중 턴 대화 편집을 제한하고 의심스러운 계정에 본인 인증을 요구하고 있습니다.

Community Posts

No posts yet. Be the first to write about this video!

Write about this video