9억 달러 은행 오류가 AI 에이전트에 대해 알려주는 교훈 - 존 페미넬라(John Feminella), 투 시그마(Two Sigma)

하이라이트

• 2020년 8월 씨티은행의 전산 오류로 인해 레블론 대출 기관들에 약 9억 달러의 원금이 잘못 송금되었다.

• 에이전트 레지스트리는 기업 내 모든 에이전트의 소유자, 엔드포인트, 도구 사용 내역을 가시화한다.

• 모든 에이전트에 동일한 검토 프로세스를 적용하면 사소한 요약 도구까지 몇 달씩 대기하게 된다.

• 독립적이고 보수적인 분류기가 일상적인 호출을 처리하고, 중요한 요청만 사람에게 전달한다.

타임라인

1. 00:44 - 05:00

   씨티은행의 9억 달러 지급 오류와 통제 장치

   복잡한 시스템에서 통제 장치와 규제가 왜 실패하는지, 그리고 그 실수가 실무에 어떤 영향을 미치는지를 보여주는 대표적인 사례이다. 레블론의 대출 관리 과정에서 이자만 나가야 하는 상황이었으나 플렉스큐브 소프트웨어의 처리 방식과 담당자의 부주의로 인해 원금 전액이 외부로 유출되었다. 대출 기관들은 돌려주지 않았고, 이로 인해 상업 금융 계약에 새로운 보호 조항이 생겨났다.

   • 씨티은행은 레블론의 이자 지급 과정에서 내부 소프트웨어 오류로 인해 300여 곳의 대출 기관에 대출 원금 전액인 약 9억 달러를 송금했다.
   • 소프트웨어의 경고 알림이 있었음에도 인간 작업자들은 이를 무시하고 거래를 승인했다.
   • 이 사건 이후 상업 대출 계약서에는 유사한 송금 오류를 방지하기 위한 특별 조항이 포함되기 시작했다.
2. 07:33 - 09:42

   에이전트 레지스트리를 통한 가시성 확보

   에이전트가 폭발적으로 증가하는 환경에서 관리되지 않는 시스템은 보안 리스크를 높인다. 그렇다고 모든 실험을 엄격한 승인 대기열에 세우면 혁신이 저해된다. 프레임워크 사용 시 자동으로 등록되는 에이전트 레지스트리를 통해 기업은 전체 에이전트 현황을 파악하고 진실의 원천으로 활용할 수 있다.

   • 기업 내에서 무작위로 생성되는 수많은 에이전트의 소유자와 용도를 파악하기 어렵다.
   • 모든 것을 사전에 강력하게 차단하면 직원들은 섀도우 IT나 우회 경로를 찾게 된다.
   • 에이전트 레지스트리는 에이전트의 엔드포인트와 소유자를 자동으로 기록하여 가시성을 제공한다.
3. 09:42 - 14:45

   위험도에 따른 에이전트 목적 한정과 세분화된 통제

   모든 에이전트에 동일한 검토 프로세스를 적용하면 비효율이 발생하므로 위험 수준에 따라 구분해야 한다. 에이전트가 자신이 사용할 도구를 사전에 명시하면, 관리형 환경은 레지스트리를 참조하여 필요한 정책과 권한을 자동으로 적용한다. 이를 통해 불필요한 티켓 작성이나 외부 부서와의 협의 없이도 안전한 실행이 가능하다.

   • JIRA 티켓 요약 도구와 프로덕션 배포 에이전트는 내재된 위험성이 완전히 다르다.
   • 기업에 배포되는 에이전트는 개방형 코딩 에이전트와 달리 매우 구체적이고 엄격하게 한정된 목적을 가진다.
   • 에이전트는 초기화 시점에 자신이 필요한 도구와 엔드포인트를 선언하여 관리형 환경의 정책과 매칭된다.
4. 14:45 - 18:45

   공유 평가 시스템과 자동화된 런타임 분류기

   모델 변경에 따른 출력 변화를 감지하기 위해 사내 공통 평가 접근 방식을 제공하여 팀마다 바퀴를 재발명하지 않도록 한다. 또한 런타임 환경에서는 모든 행동을 인간이 승인하는 대신, 99.999% 확실한 루틴 작업은 자동 처리하고 잠재적 위험이 있는 경우에만 사람의 개입을 유도한다. 브레이크가 자동차를 더 빨리 달리게 하듯, 이러한 제어 장치는 에이전트가 안전하면서도 빠르게 자율성을 발휘할 수 있게 돕는다.

   • 소프트웨어에 단위 테스트가 필수이듯 모델 의존성이 있는 에이전트에게도 평가(evals) 과정이 필수적이다.
   • 모든 동작을 사람이 직접 승인하게 만들면 검토 피로감으로 인해 심각한 사고를 놓치게 된다.
   • 보수적인 분류기가 일상적인 요청을 처리하고, 모호하거나 위험한 요청만 인간에게 전달한다.