12개월의 준법 심사 대기 없이 5대 은행에 AI 배포하기 — 알 첸(Al Chen), 시스코

하이라이트

• 은행에 AI를 배포하는 프로덕션 출시 기간은 1년에서 몇 주로 단축될 수 있습니다.

• 소프트웨어 이미지 내의 오픈 소스 전이 의존성으로 인해 직접 조치할 수 없는 CVE가 발생합니다.

• 하버 작업을 이용해 에이전트가 패키지 업데이트 후에도 익스플로잇이 실제로 존재하는지 테스트합니다.

• 대부분의 AI 관측 가능성 도구에 사용되는 주요 데이터베이스인 ClickHouse에는 리전 간 관리형 페일오버 기능이 없습니다.

• LLM 평가 모델의 시스템 프롬프트나 추론 내용으로 인해 마스킹된 PII와 MNPI가 백엔드에서 유출될 수 있습니다.

타임라인

1. 00:00 - 01:32

   금융권 AI 배포의 현실과 컴플라이언스 과제

   은행에 소프트웨어를 배포할 때는 프로토타입이나 사내 RAG 에이전트가 아니라 실제 수백만 고객이 사용하는 프로덕션 응용 프로그램을 기준으로 삼아야 합니다. 이 과정에서 컴플라이언스 팀은 정답뿐만 아니라 도달한 과정을 엄격하게 검증합니다.

   • 은행에 에이전틱 AI를 배포하는 데는 매우 오랜 시간이 소요됩니다.
   • 수백만 고객이 매일 사용하는 프로덕션 환경이 핵심 대상입니다.
   • 컴플라이언스 및 리스크 팀은 수학 시험에서 풀이 과정을 요구하는 선생님과 유사합니다.
2. 01:32 - 05:00

   CVE와 오픈 소스 전이 의존성의 복잡성

   다양한 이미지와 은행별 스캔 도구, 서로 다른 보안 정책 때문에 CVE 대응은 매우 복잡합니다. 엔지니어링 팀은 전이 의존성 문제로 인해 직접 수정할 수 없는 취약점에 대해 상세한 설명을 보안 팀에 제공해야 합니다.

   • 은행들은 저마다 다른 스캔 도구와 CVE 시정 조치 SLA 정책을 가지고 있습니다.
   • 오픈 소스 프로젝트의 전이 의존성으로 인해 엔지니어링 팀이 직접 조치할 수 없는 CVE가 존재합니다.
   • 패키지 버전을 올리는 것만으로는 은행의 보안 팀을 설득하기 어렵습니다.
3. 05:00 - 06:12

   하버 작업을 통한 취약점 검증 자동화

   스캔 도구는 패키지 버전 업데이트 여부만 확인할 뿐 실제 코드에 익스플로잇이 남아있는지 알려주지 않습니다. 이를 해결하기 위해 하버 작업을 통해 에이전트에게 이전 버전을 바탕으로 한 익스플로잇 테스트를 수행하게 만듭니다.

   • 하버 작업을 활용하여 에이전트가 테스트 환경에서 익스플로잇을 검증합니다.
   • 패키지 버전을 높였다는 사실만으로는 충분한 증거가 되지 못합니다.
   • 애플리케이션 코드 내에 실제 익스플로잇이 존재하지 않음을 증명해야 합니다.
4. 06:12 - 10:07

   데이터베이스 페일오버와 재해 복구

   관리형 리전 간 페일오버가 지원되지 않기 때문에 기본 리전의 ClickHouse를 버킷에 백업하고 복원하는 별도의 작업을 구축해야 합니다. 또한 백업 성공 여부뿐만 아니라 테이블 간 행 수 일치 여부 등의 검사를 추가로 수행하여 데이터 무결성을 보장합니다.

   • 주요 AI 관측 가능성 데이터베이스 플랫폼인 ClickHouse는 리전 간 관리형 페일오버를 지원하지 않습니다.
   • 은행들은 리전 간 데이터 복제와 재해 복구 상황을 직접 해결해야 합니다.
   • 단순한 백업 실행 여부를 넘어 데이터의 무결성과 정확성을 검사해야 합니다.
5. 10:07 - 14:02

   LLM 평가 모델을 통한 민감 정보 유출 방지

   사용자 인터페이스는 안전해 보이더라도 백엔드의 LLM 평가 모델 시스템 프롬프트와 추론 트레이스 때문에 마스킹이 해제된 개인식별정보가 노출될 위험이 있습니다. 이를 방지하기 위해 추론 내용을 숨기거나 깨끗한 출력을 보장하는 추가 LLM 호출 단계를 거칩니다.

   • UI 상에서는 민감 정보가 가려지더라도 LLM 평가 모델의 추론 과정에서 PII나 MNPI가 유출될 수 있습니다.
   • 평가 모델의 추론 내용을 저장하지 않거나 별도의 검사 로직을 둘 수 있습니다.
   • 민감 정보가 마스킹된 입력을 받는 두 번째 평가 모델을 추가하여 보안을 강화합니다.
6. 14:02 - 17:32

   금융권 AI 배포 속도를 높이는 조직적 요인

   프로덕션 배포 일정이 길어지는 이유는 주로 조율 부족과 내부 승인 프로세스 부재 때문입니다. 공급업체로서 단순한 답변을 제공하는 것을 넘어 구체적인 증거와 과정을 보여줌으로써 금융 서비스 부문의 복잡한 과제를 해결할 수 있습니다.

   • 배포 일정을 지연시키는 주요 원인은 기술적 문제보다 은행 내의 인간적 및 조직적 과제입니다.
   • 레지스트리 이미지 다운로드 승인 프로세스와 GPU 조달 계획이 사전 준비되어야 합니다.
   • 보안 팀과의 신뢰는 정답에 도달한 과정과 근거를 투명하게 증명할 때 쌓입니다.