에이전트 300개, 인원 60명: 자체 AI 에이전트를 보호한 방법 - 에이든 소초프스키, Runlayer

하이라이트

• 50명에서 60명 규모의 기업 사내에서 매일 실행되는 AI 에이전트는 300개를 넘는다.

• 직원들이 허술하게 제작한 MCP 서버와 모델 설정 변경으로 인해 API 호출 비용이 일주일 만에 100배 이상 폭등했다.

• 에이전트가 본래 정의된 범위를 이탈해 과도한 권한의 툴을 사용하는 경우를 조기에 포착하기 위해 자체 분류 모델을 학습시켰다.

• 이메일이나 캘린더 등 다양한 소스의 데이터가 섞이면서 프롬프트 인젝션을 통해 중요 정보가 유출될 위험이 가속화되고 있다.

타임라인

1. 00:00 - 03:37

   사내 에이전트 확산과 가시성 부재

   클라이언트와 기업 내에서 실행되는 에이전트들이 사방에서 MCP 서버에 연결되며 인증이 이루어지지만 관리되지 않는 기기에서 실행되어 파악이 어렵다. 회사는 이 문제를 해결하기 위해 게이트웨이를 배포하고 모든 세션과 툴 호출을 중앙 저장소에 동기화하여 모니터링을 시작했다. 에이전트가 인격화되기에는 성능 한계가 있으나 실행되는 에이전트의 수는 사람보다 많으며, 서로 다른 데이터 소스가 섞이면서 공격 표면과 피해 반경이 크게 넓어졌다.

   • 많은 기업들이 로컬 장비와 클라이언트에서 실행되는 에이전트와 MCP 서버에 대한 가시성을 전혀 확보하지 못하고 있다.
   • 50~60명 규모의 회사에서도 챗봇, 트리거, SaaS 앱 등을 통해 매일 300개가 넘는 에이전트가 실행된다.
   • 에이전트의 과도한 툴 부여와 이질적인 데이터 클래스의 혼재는 과거의 단순 API 연동보다 훨씬 높은 위험성을 초래한다.
2. 03:37 - 08:37

   보안 위협 사례와 맥락 기반 정책의 한계

   지원 데이터를 처리하는 과정에서 잠재 고객 이메일 요청 같은 악의적 입력이 들어오면 과도한 권한을 가진 에이전트가 정보를 노출할 위험이 존재한다. 모든 툴 호출마다 정규식이나 분류 모델을 적용해 필터링을 시도하지만 100% 완벽하기는 어렵다. 또한 코드 리뷰 및 승인 권한이 있는 에이전트가 세션 상황의 동적 변화를 감지하지 못하면 반복된 설득이나 프롬프트 조작에 의해 부적절한 변경 사항을 통과시키는 문제가 발생한다.

   • 외부에서 악의적인 이메일로 잠재 고객 목록을 요구할 때 순진한 에이전트가 이를 그대로 유출할 수 있다.
   • 에이전트의 행동 규칙을 일일이 정적인 정책으로 정의하고 강제하기는 매우 까다로우며 맥락에 따라 안전 여부가 달라진다.
   • PR 승인 권한을 가진 에이전트 리뷰어가 반복적인 우회 요청이나 댓글 공격에 속아 보안에 민감한 코드를 승인해 버릴 수 있다.
3. 08:37 - 12:39

   자체 분류 모델을 통한 권한 축소와 리스크 관리

   에이전트 세션 내 데이터는 가치가 높으며 정의된 범위를 이탈할 때 명확한 시그널을 제공한다. 채용 봇처럼 강력한 권한을 가진 에이전트가 기존 범위를 벗어난 도구를 호출하면 조기에 플래그를 지정하여 권한 범위를 좁힌다. 단일 에이전트의 오작동이나 파티셔닝 부재로 인해 다른 에이전트들이 타격을 입는 것을 막기 위해, 쓰기 권한을 엄격히 제한하고 시스템 간 연결 구조를 철저히 매핑해야 한다.

   • 사내 에이전트 세션의 모든 데이터와 도구 호출 이력을 분석하는 자체 분류 모델을 학습시켜 본래 목적과의 일치 여부를 확인한다.
   • 채용 담당 봇이 ATS, 미팅 노트, 캘린더 등 정상 범위를 벗어난 도구를 사용하는 경우 위험도가 높은 실행으로 플래그를 지정한다.
   • 에이전트의 쓰기 및 수정 작업을 특정 SaaS 데이터베이스로만 꽉 닫힌 구조로 제한해야 컨텍스트 오염을 막을 수 있다.
4. 12:39 - 16:30

   MCP 서버 오류와 모델 변경에 따른 비용 통제

   보안 외에도 개발 경험이 없는 인원이 대충 만든 MCP 서버에서 발생하는 포맷팅 오류로 에이전트가 반복 에러와 호출을 일으켜 토큰 비용이 급증하는 문제가 발생한다. 또한 모델 설정을 변경했을 때 비용 통제가 어려워지는 현상이 빈번하다. 이를 해결하기 위해서는 전면적인 모니터링을 바탕으로 고위험 작업을 감지하고, 추가 지능이 필요한 작업에 대한 명확한 기준과 예산 및 속도 제한을 마련해야 한다.

   • 직원이 급하게 만든 MCP 서버의 포맷팅 오류로 인해 에이전트가 반복 호출을 일으키면서 API 비용이 치솟았다.
   • 에이전트 구동 모델을 저렴한 버전에서 고성능 버전으로 전환했을 때 비용이 일주일 만에 100배 이상 폭등했다.
   • 무작정 외부 동작을 차단하기보다 모니터링 도구를 통해 고위험 작업을 감지하고 예산과 합리적인 기본값을 설정해야 한다.