Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest

하이라이트

• 넛웨스트 그룹은 영국 내 1,900만 명의 소매 금융 고객을 보유하고 있다.

• 디지털 어시스턴트 코라는 하루에 약 10만 건의 대화를 처리한다.

• 에이전트는 뻔뻔한 환각, 프롬프트 인젝션, 비관련 답변, 비결정론이라는 네 가지 실패 모드를 지닌다.

• 인간 검증자들은 의도 파악과 같은 주관적인 항목에서 64%의 낮은 일치율을 보인다.

• 규제 산업의 승인 지연 문제를 해결하기 위해 응답 없이 입력 데이터만 수집하는 섀도우 배포 방식을 활용한다.

타임라인

1. 00:00 - 02:24

   규제 환경에서의 AI 에이전트 도입 과제

   소매 은행 환경에서 생성형 AI를 도입할 때 가장 경계해야 할 요소는 1,900만 명의 고객에게 미치는 영향 범위이다. 잘못된 답변 하나가 단순한 버그를 넘어 실제 금전적 피해와 평판 하락, 규제 기관의 제재로 이어질 수 있으므로 안전성 입증이 핵심 과제가 된다.

   • 넛웨스트 그룹은 영국에서 두 번째로 큰 소매 은행으로 1,900만 명의 고객을 보유하고 있다.
   • 디지털 어시스턴트 코라는 기존에 미리 작성된 스크립트를 기반으로 하루 10만 건의 대화를 처리해왔다.
   • 올해부터는 RAG와 생성형 AI 기반 답변 및 업무 처리 에이전트로 전환하는 작업을 진행 중이다.
2. 02:24 - 05:36

   에이전트의 실패 모드와 라우팅 퍼넬

   스크립트 기반 시스템과 달리 에이전트는 스스로 추론하고 생성하기 때문에 기존의 회귀 테스트 방식이 유효하지 않다. 따라서 시스템을 강화하기 전에 접근 제어, 감사 추적성, 회복력, 거버넌스를 확보하기 위해 머신러닝이나 AI를 배제한 사전 규칙과 라우팅 단계를 거치도록 설계했다.

   • 에이전트는 당당한 환각, 적대적 프롬프트 인젝션, 정확하지만 비효율적인 답변, 비결정론적 출력이라는 네 가지 실패 모드를 가진다.
   • 모든 고객 대화는 컨텍스트 필터와 결정론적 사전 분류 규칙을 거치는 라우팅 퍼넬을 통과한다.
   • 의도 분류기는 생성형 AI가 아닌 임베딩 기반 신경망을 사용하여 올바른 백엔드를 예측한다.
3. 05:36 - 10:00

   인간 검증의 한계와 LLM 심판의 도입

   단일 정확도 점수는 세부적인 편차를 숨기기 때문에 안전성, 작업 완수, 경험의 세 가지 독립된 범주로 평가를 진행한다. 자동화를 위해 도입한 LLM 심판은 지나치게 관대해지려는 성향이 있으며, 심판 모델 자체의 변경이 치명적인 변경으로 이어질 수 있음을 관리해야 한다.

   • 결제 에이전트를 대상으로 한 111건의 대화 검증에서 전체 통과율은 83%였으나 주제 변경 시나리오에서는 43%까지 떨어졌다.
   • 인간 검증자들은 주관적인 의도 파악 항목에서 64%의 낮은 일치율을 기록했다.
   • 내부 불만 처리 에이전트 평가에서 LLM 심판은 평균 0.97의 높은 충실도 점수를 기록했다.
4. 10:00 - 17:52

   지속적인 평가 인프라와 섀도우 배포

   연속 평가는 일회성 작업이 아니라 프로덕션 인프라의 핵심 구성 요소이다. 생성형 AI와 전통적 ML을 하나의 플랫폼에서 통합 모니터링하며, 피처 플래그를 활용해 몇 초 만에 시스템을 격리하거나 되돌릴 수 있는 구조를 갖추고 있다.

   • 외부 인터넷이 차단된 에어갭 환경에서 프라이빗 게이트웨이와 파트너 앱을 통해 평가를 수행한다.
   • 입력 피처 드리프트는 모델 성능 저하와 F1 점수 하락을 미리 알려주는 카나리아 역할을 한다.
   • 섀도우 배포 방식을 통해 실제 고객 응답은 기존 스크립트로 처리하면서 리스크 없이 프로덕션 입력 데이터를 수집한다.