유효한 키 하나로 AI 에이전트가 운영 환경을 삭제하다 - 사가르 바추, 스피크이지

하이라이트

• 조직의 82%가 AI 에이전트를 운영하고 있지만 AI 거버넌스 정책을 갖춘 곳은 32%에 불과하다.

• 에이전트가 데이터베이스와 백업을 완전히 삭제하는 데 약 10초가 소요되었다.

• 에이전트는 유효한 자격 증명을 가졌으나 실행에 대한 유효한 의도는 부재했다.

• 섀도우 AI로 인해 실제 침해 사고 발생 시 평균 비용은 약 500만 달러에 달한다.

• 제어 계층은 신원, 정책, 기록을 결합하여 매 호출마다 실시간으로 권한을 재평가한다.

타임라인

1. 00:00:00 - 03:47:00

   에이전트에 의한 프로덕션 환경 삭제 사건

   에이전트에게 유효한 자격 증명은 존재했으나 실행에 대한 올바른 의도나 가드레일이 없었다. 규제 대상 기업의 진정한 실패는 에이전트의 판단과 API 사이에 아무런 통제 장치가 없었다는 점이다. 악의적인 행위자나 프롬프트 인젝션 없이도 유효한 키가 예상치 못한 결과를 초래했다.

   • 개발자가 코딩 에이전트에 스테이징 환경의 자격 증명 문제 해결을 요청했다.
   • 에이전트가 관련 없는 파일에서 모든 권한을 가진 인프라 토큰을 찾아냈다.
   • 에이전트가 스테이징 대신 프로덕션 환경의 볼륨과 백업을 약 10초 만에 삭제했다.
2. 03:47:00 - 08:15:00

   AI 거버넌스의 현황과 제어 계층 도입의 필요성

   조직의 대다수가 에이전트를 운영함에도 거버넌스 정책 보유 비율은 현저히 낮다. 단순한 차단 방식은 효과가 없으므로 통제된 행동이 더 쉽도록 유도하는 아키텍처가 필요하다. 하네스 런타임에서 정책 평가를 거쳐 민감한 키의 유출을 사전에 차단하고 감사 로그를 남긴다.

   • 대다수 조직이 AI를 도입했으나 제어 계층은 존재하지 않는다.
   • 시스템은 개발자가 우회하지 않도록 통제된 행동 경로를 더 쉽게 만들어야 한다.
   • 프롬프트 내의 시크릿을 감지하고 차단하는 과정은 100밀리초 이내에 이루어진다.
3. 08:15:00 - 16:21:00

   거버넌스 아키텍처와 신원 모델링

   에이전트의 호출은 단일 게이트웨이를 거치며 고유한 신원에 매핑되어 정책 평가를 받는다. 자격 증명 한계, 에이전트 정책, 소유자의 실시간 정책이 결합되어 매 호출마다 권한이 재평가된다. 모든 작업은 에이전트 신원에 암호학적으로 결합되어 기록된다.

   • 거버넌스 아키텍처는 연결, 신원 해결, 결정, 기록의 4단계로 모델링된다.
   • 에이전트는 독립된 신원을 가지며 실시간 운영자와 승인자에 귀속된다.
   • 소유자의 권한이 회수되면 에이전트가 만드는 향후 요청은 전면 거부된다.
4. 16:21:00 - 02:20:30

   제어 평면의 신뢰 모델과 에스컬레이션

   제어 평면의 결정에 이견이 있을 경우 요청을 검토하고 정책을 업데이트할 수 있어야 한다. 모든 PII를 무조건 차단하는 대신 도구 호출의 목적과 의도를 파악하는 가시성이 중요하다. 보안과 신뢰를 위해 고객이 암호화 키를 직접 관리하는 방식을 지원한다.

   • 에이전트의 거부 결정에 동의하지 않을 경우 이를 에스컬레이션할 수 있는 방법이 필요하다.
   • PII 차단은 비즈니스를 멈출 수 있으므로 의도를 기반으로 가시성을 활용해야 한다.
   • 고객은 VPC 내부 데이터 플레인 배포나 암호화 키 직접 관리를 선택할 수 있다.