AI 안전 필터가 당신을 공격하는 무기로 쓰일 수 있습니다

원제 · AI Safety Filters Can Be Used Against You

6:342분 읽기Better Stack2026. 11. 01.컴퓨터/소프트웨어 · AI/미래기술

핵심 요약

AI 안전 필터는 공격자와 방어자를 구분하지 못해 방어 작업을 방해하며, 이를 우회하기 위해 많은 이들이 오픈 모델을 활용하고 있습니다.

하이라이트

  • 인터넷 상위 10,000개 웹사이트 중 한 곳에서 독극물 제조 및 텐안먼 광장 언급 등 가짜 AI 명령어가 포함된 추적 스크립트가 발견되었습니다.

  • 오픈AI의 GPT-6 아스트라와 앤트로픽의 클로드 모델 등 대형 폐쇄형 프론티어 모델들은 해당 스크립트를 읽는 즉시 안전 필터에 의해 차단되었습니다.

  • DeepSeek, GLM, Kimi 등의 오픈 모델들은 차단 문구가 포함되어 있음에도 안전 필터 없이 작업을 정상적으로 수행했습니다.

  • 미국의 보안 회사 트레이스비트가 개발한 컨텍스트 폭탄은 AI 에이전트의 안전 필터를 작동시켜 관리자 권한 획득 비율을 57%에서 5%로 급감시켰습니다.

  • 허깅페이스는 사이버 공격 조사 당시 대형 AI 연구소 모델의 안전 필터가 인시던트 대응자와 공격자를 구분하지 못해 차단하자, 자체 서버에 호스팅된 GLM 5.2를 사용하여 조사를 수행했습니다.

타임라인

  1. 웹사이트 추적 스크립트에 숨겨진 AI 안전 필터 우회 트릭

    연구원들은 앨범 아트처럼 보이는 이미지를 그린 스크립트를 조사하는 과정에서 난독화된 코드를 분석했습니다. 해당 코드에는 엄격한 서구권 모델뿐만 아니라 덜 엄격한 중국 모델까지 차단하기 위해 텐안먼 광장 같은 민감한 주제까지 포함되어 있었습니다.

    • 상위 10,000개 웹사이트를 크롤링하는 과정에서 독극물 제조 관련 텍스트와 텐안먼 광장 언급이 담긴 숨겨진 스크립트가 발견되었습니다.
    • 이 스크립트는 AI의 안전 필터를 의도적으로 작동시키기 위한 가짜 AI 명령어를 포함하고 있습니다.

  2. 폐쇄형 프론티어 모델과 오픈 모델의 안전 필터 반응 차이

    실제 스크립트를 에이전트에 제공하고 난독화 해제를 요청한 결과, 폐쇄형 모델들은 생물학적 위험 등으로 즉시 플래그 처리되었습니다. 반면 오픈 모델들은 내부의 숨겨진 메시지나 수식을 그대로 파악하고 거부 없이 작업을 완료했습니다.

    • 오픈AI의 GPT-6 아스트라와 클로드 오푸스 등 프론티어 모델들은 파일 읽기 직후 안전 필터에 의해 차단되었습니다.
    • DeepSeek, GLM, Kimi 등의 오픈 모델들은 숨겨진 차단 문구와 독극물 이름들을 무시하고 정상적으로 작업을 처리했습니다.

  3. 공격자와 방어자의 AI 안전 필터 무기화 사례

    러시아의 봇 차단 회사와 연관된 해당 스크립트 외에도, 과거 악성코드나 파이썬 패키지에서 AI의 거부를 유도하려는 시도가 발견되었습니다. 반대로 방어 진영에서는 이를 역이용하여 AI 해커의 가드레일을 킬 스위치로 작동시키는 컨텍스트 폭탄을 활용하고 있습니다.

    • 공격자들은 보안 스캐너와 AI가 실제 악성코드에 도달하기 전에 혼란에 빠지도록 안전 거부 유도 주석을 활용해 왔습니다.
    • 보안 회사 트레이스비트는 공격하는 AI 에이전트를 멈추기 위해 컨텍스트 폭탄을 개발하여 관리자 권한 획득 성공률을 대폭 낮추었습니다.

  4. 안전 필터의 한계와 실무에서의 대안

    허깅페이스 해킹 사건 당시 연구소 모델의 안전 필터가 대응팀의 조사를 가로막는 일이 발생했습니다. 이로 인해 사이버 보안 작업에는 대형 연구소의 폐쇄형 모델 대신 DeepSeek이나 중국 모델을 활용하는 사례가 늘고 있습니다.

    • AI 안전 필터는 인시던트 대응자와 공격자를 전혀 구분하지 못하는 한계를 드러내고 있습니다.
    • 허깅페이스는 보안 조사 과정에서 프론티어 모델의 차단으로 인해 자체 호스팅된 GLM 5.2를 사용하여 조사를 수행했습니다.

설명

A browser fingerprinting script found on one of the internet's top 10,000 websites hides poison-themed text, so any AI asked to read it refuses. 🔗 Relevant Links Why Is This Fingerprinting Script Creating Bioweapons?: https://nullpt.rs/fingerprinting-bioweapons ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 0:00 - Intro 0:30 - The Tracking Script 1:23 - Testing 8 AI Models 2:16 - The Researcher's Results 2:49 - What the Script Does 3:17 - Not the First Time 4:07 - Defenders Use It Too 5:13 - Hugging Face Got Blocked 5:52 - My Take Sources (numbered as on screen) [1] veritas, "Why Is This Fingerprinting Script Creating Bioweapons?", nullpt.rs, 28 Oct 2026: https://nullpt.rs/fingerprinting-bioweapons [2] Our own test: eight AI agents in OpenCode (via OpenRouter and OpenCode Go) asked to deobfuscate the same script, 31 Oct 2026. One run per model. [3] OpenAI, "Use Daybreak in the Responses API": https://developers.openai.com/api/docs/guides/daybreak [4] Hacker News discussion, 28–29 Oct 2026: https://news.ycombinator.com/item?id=50276998 (comment: https://news.ycombinator.com/item?id=50286599) [5] Check Point Research, "In the Wild: Malware Prototype with Embedded Prompt Injection", 25 Jun 2025: https://research.checkpoint.com/2025/ai-evasion-prompt-injection/ [6] Socket, "Mini Shai-Hulud, Miasma, and Hades Worms Target Bioinformatics and MCP Developers via Malicious PyPI Wheels", 8 Jun 2026: https://socket.dev/blog/mini-shai-hulud-miasma-and-hades-worms-target-bioinformatics-and-mcp-developers-via-malicious [7] Tracebit, "Context Bombs: stopping AI attackers in their tracks", working paper, Jul 2026: https://agentic.tracebit.com/context-bombs (repo: https://github.com/tracebit-com/context-bombs) [8] @_brucedh on X, 29 Oct 2026: https://x.com/_brucedh/status/2115766351792910570 [9] Hugging Face, "Security incident disclosure — July 2026", 16 Jul 2026: https://huggingface.co/blog/security-incident-july-2026 [10] OpenAI, "OpenAI and Hugging Face partner to address security incident during model evaluation", 21 Jul 2026: https://openai.com/index/hugging-face-model-evaluation-security-incident [11] OpenAI, "Cybersecurity checks": https://developers.openai.com/api/docs/guides/safety-checks/cybersecurity

이 영상에 대해 글쓰기