사소한 질문 하나로 규칙이 무너지는 음성 AI - 쉬브 인답(Shiv Indap), 업스타트 및 브룩 홉킨스(Brooke Hopkins), 코발(Coval)

Highlights

• 업스타트의 대출 신청자 중 약 90%는 즉시 심사가 완료되며, 나머지 10%는 전화로 정보를 확인합니다.

• 대출 신청 확인 전화에서는 향후 3개월 소득원 유지 여부, 자금 사용 계획, 미지원 부채 여부 등 세 가지 질문을 던집니다.

• 의료 목적 자금 용도라고 답할 경우 금액을 물어볼 수 없으며, 졸업식 비용의 경우 본인인지 자녀인지에 따라 규정이 달라집니다.

• 초기에 구글 시트로 인간 검토 데이터를 관리했으나 여러 명이 무작위로 열을 추가하면서 프로세스가 엉망이 되었습니다.

• 초기 LLM 심판 모델과 인간 검토자의 준수율 의견 일치율은 33%였으나, 피드백 반영과 모델 개선을 통해 92%까지 상승했습니다.

• 코발 플랫폼의 시뮬레이션은 다양한 배경 소음, 억양, 끼어들기 현상을 포함한 음성 대 음성 평가를 수행합니다.

Timeline

1. 00:00 - 04:04

   음성 에이전트 도입 배경과 규제 환경

   음성 에이전트는 복잡한 경로와 세상의 변화에 안정적으로 반응해야 하므로 자율주행 시스템과 공통점이 많습니다. 규제가 심한 대출 분야에서는 에이전트의 작은 실수도 단순한 고객 경험 문제를 넘어 심각한 규제 위반으로 이어질 수 있습니다. 따라서 배포 전 모든 규칙과 규정을 철저히 준수하는지 확인하는 과정이 필수적입니다.

   • 코발은 음성 에이전트를 위한 평가 시스템을 구축하며, 자율주행 차량의 아키텍처와 유사한 방식으로 에이전트의 안정성을 검증합니다.
   • 핀테크 기업 업스타트는 매일 수많은 대출 관련 통화를 처리하며 규제 준수가 매우 중요합니다.
   • 대출 확인 전화에서는 본인 확인 후 소득원 유지 여부, 자금 용도, 미지원 부채를 확인합니다.
   • 자금 용도가 의료 목적일 때는 금액을 물어볼 수 없고, 졸업식 용도일 때는 누구의 졸업식인지에 따라 조치가 달라집니다.
2. 04:04 - 08:47

   초기 감사 프로세스의 한계와 LLM 심판 도입

   사람이 직접 모든 통화를 검토하기 위해 구글 시트를 도입했으나 여러 관리자가 무작위로 열을 추가하면서 프로세스가 무너졌습니다. 이를 해결하기 위해 통화 완료 후 자동으로 실행되는 LLM 심판 모델을 도입하고 인간 전문가의 검토 결과와 비교했습니다. 에이전트 코드에 반영되지 않은 암묵적 지식을 찾아내고 심판 모델을 지속적으로 수정한 결과, 의견 일치율을 대폭 끌어올릴 수 있었습니다.

   • 초기에는 구글 시트를 사용해 인간 검토자가 모든 통화를 검토했으나 데이터 관리가 엉망이 되었습니다.
   • 통화 종료 후 실행되는 LLM 심판 모델을 통해 준법 감시 요구사항 충족 여부를 확인합니다.
   • 추적하는 주요 메트릭에는 정확도, 명확성, 완전성, 정책 부합성, 적절한 에스컬레이션, CSAT 점수가 포함됩니다.
   • 인간 검토자와 LLM 심판의 준수율 의견 일치율은 초기 33%에서 암묵적 지식의 코드화와 모델 개선을 거쳐 92%로 향상되었습니다.
3. 08:47 - 16:57

   지속적인 평가 루프와 시뮬레이션 기반 개선

   에이전트를 한 번 출시하고 끝내는 것이 아니라 지속적으로 모니터링하고 개선하는 프로세스가 필요합니다. 검토 과정을 거쳐 수집된 실패 사례는 엔지니어링 팀이나 컴플라이언스 팀으로 전달되어 후속 조치가 이루어집니다. 프로덕션 환경에 직접 배포하기 전 시뮬레이션 단계에서 문제를 최대한 감지하는 시프트 레프트 전략을 적용합니다. 이를 통해 규제 요구 사항을 충족하면서 안전하게 제품을 확장할 수 있습니다.

   • 측정 지표 정의, 라이브 통화 모니터링, 실패 사례 플래깅, 에이전트 개선으로 이어지는 완벽한 루프를 구축합니다.
   • 이상 탐지와 군집화 분석을 통해 알지 못했던 미지의 실패 사례를 감지하고 적절한 팀으로 라우팅합니다.
   • 음성 대 음성 시뮬레이션을 통해 배경 소음, 억양, 끼어들기 현상을 테스트하여 프로덕션 배포 전에 문제를 해결합니다.
   • 모든 변경 사항은 기능 플래그와 컴플라이언스 팀의 승인을 통해 통제됩니다.