AI 모델이 아닌 앱을 승인하세요 - 돈일리 데 제수스, Langfuse

하이라이트

• 금융 기관들은 공개된 AI 벤치마크 결과에 의존하지 않고 내부 데이터와 유스케이스에 맞춘 자체 벤치마크를 구축한다.

• 모델 자체를 인증하는 것이 아니라 AI 애플리케이션과 에이전트 시스템 전체를 프로덕션 관문에서 인증한다.

• 계산 도구를 추가하여 수치 정확도 측면에서 모델 성능을 60%에서 95% 수준까지 끌어올렸다.

• 규제 산업 분야에서는 온프레미스 환경, 인터넷 차단, 에어 갭 인프라를 통해 데이터 통제권을 유지한다.

• 다양한 평가 차원 중 규제 준수 항목은 0점 아니면 100점인 이진적이어서 단 하나의 항목 실패로도 프로덕션 승격이 가로막힌다.

• 평가 프레임워크와 자동화된 테스트를 통해 몇 주에서 몇 달씩 걸리던 애플리케이션 평가 시간을 몇 분 단위로 단축했다.

타임라인

1. 00:23 - 04:44

   규제 산업의 AI 배포 현실과 공개 벤치마크의 한계

   다양한 모델 벤치마크 결과가 매주 쏟아지고 있지만, 금융 서비스처럼 데이터가 핵심 경쟁력인 조직에서는 공개된 수치가 실제 내부 데이터 적용 결과를 보장하지 않는다. 실적 발표 트스크립트 등을 분석하는 10-K 분석가 도구를 만들 때도 기본 모델에는 존재하지 않는 기업 운영 맥락을 주입해야 한다. 이에 따라 클라우드 대신 온프레미스 GPU 인프라를 재고하고, 외부로 데이터가 유출되지 않는 통제된 환경을 구축하는 추세가 나타난다.

   • 상위 5대 은행과의 협업 과정에서 공개 벤치마크나 오픈 데이터셋은 내부 유스케이스나 금융 데이터에 직접 적용되지 않는다는 점이 확인되었다.
   • 투자 은행가를 위한 10-K 분석가 등의 애플리케이션 구축 시에는 방대한 내부 지식과 맥락을 주입하는 작업이 필수적이다.
   • 금융 분야에서는 데이터 민감성과 보안 문제로 인해 자체 데이터 센터 구축, 인터넷 차단, 에어 갭 환경 같은 엄격한 온프레미스 요구사항이 적용된다.
2. 06:03 - 11:29

   골든 데이터셋과 도구 연동을 통한 성능 개선

   프로덕션 배포 전 QA를 거치는 것처럼 AI 에이전트 역시 입력값과 예상 출력값이 포함된 골든 데이터셋을 통해 검증을 거친다. 언어 모델은 본질적으로 수학 연산에 약점을 보이기 때문에, 모델이 직접 계산하는 대신 정확한 결과가 보장되는 파이썬 계산 도구를 쥐어주어 정확도를 대폭 끌어올렸다. 이 과정에서 도출된 트레이스와 점수는 구성 변경에 따른 성능 변화를 객관적으로 증명하는 증거가 된다.

   • 소프트웨어 공학의 테스트 케이스와 유사한 골든 데이터셋을 구축하는 것이 에이전트 평가의 핵심 닻 역할을 한다.
   • 금융 수치 계산 영역에서 LLM 단독으로는 60%의 정확도를 보였으나, 결정론적 계산 도구를 제공함으로써 성능을 95% 수준까지 향상시켰다.
   • 생성된 트레이스와 점수를 바탕으로 시스템 프롬프트나 모델 변경 사항이 품질에 미친 영향을 검증할 수 있다.
3. 11:32 - 19:12

   다차원 평가 체계와 도메인 전문가의 검토 프로세스

   평가 과정은 단일 평균 점수에만 의존하지 않고 정확도, 근거 기반성, 규제 준수 등 여러 차원에 걸쳐 임계값을 적용한다. 특히 규제 준수 항목은 위반 시 치명적인 리스크가 따르므로 이진 평가로 엄격하게 통제된다. 평가 과정에서 실패한 사례들은 도메인 전문가가 검토할 수 있는 큐로 전달되며, 이들의 피드백은 다시 데이터셋과 프롬프트 개선에 반영된다. 이러한 체계적인 프로세스를 통해 수개월이 소요되던 평가 및 승인 기간을 몇 분 단위로 단축할 수 있다.

   • 결정론적 점수 체계와 LLM 심사위원을 혼합하여 근거 기반성과 정성적 측면을 다각도로 평가한다.
   • 규제 준수와 같은 차원은 이진적(0점 또는 100점)으로 작동하여 단 하나의 실패도 프로덕션 승격을 가로막는 관문이 된다.
   • 실패 사례 발생 시 도메인 전문가가 피드백을 제공하고 이를 골든 데이터셋에 반영하는 반복적인 개선 주기가 작동한다.