트레이딩 회사가 당일에 새로운 AI 모델을 배포하는 방법 - 노얀 토크고졸루(Noyan Tokgozoglu), 옵티버(Optiver)

하이라이트

• 옵티버는 하루에 1,000만 건 이상의 거래를 체결하고 100만 개가 넘는 금융 상품의 가격을 책정하며 페타바이트 단위의 데이터를 처리하는 마켓 메이커 트레이딩 회사이다.

• 변경 사항을 트레이더와 퀀트들에게 바로 배포하여 말 그대로 몇 시간 안에 손익에 미치는 영향을 확인한다.

• 새로운 프론티어 모델이 공개되면 골든 셋 평가 프레임워크를 활용해 당일 바로 프로덕션 환경에 적용한다.

• 전체 작업의 안전성과 보안을 위해 모든 데이터 처리는 자체 온프레미스 인프라에서 이루어지며 서드파티 추론 이용 시 무데이터 보존 계약을 체결한다.

• 초기에 세션당 20만 토큰 이상을 소비하던 문제를 해결하기 위해 MCP 도구 검색 기능과 자체 CLI를 도입하여 토큰 비용과 컨텍스트 사용량을 최적화했다.

• 단일 에이전트에 너무 많은 기능을 쑤셔 넣어 비대하게 만드는 대신, 에이전트 게이트웨이와 원장을 통해 역할을 분리하고 상호 소통하는 다중 에이전트 오케스트레이션 방식을 채택했다.

타임라인

1. 00:00 - 02:49

   옵티버의 비즈니스 구조와 AI 도입의 특징

   옵티버는 대규모 데이터를 처리하고 고성능 의사결정을 내려야 하는 트레이딩 환경에서 AI를 운용한다. 일반적인 소프트웨어 기업이 사용자 참여도와 매출을 몇 주나 몇 달에 걸쳐 측정하는 반면, 이들은 장 시작 시 대차대조표를 리셋하고 하루가 끝날 때 수익을 정산한다. 이로 인해 AI 도입과 확장 방식에도 고유한 특성이 반영된다.

   • 옵티버는 고객이 없는 자체 자금 기반의 글로벌 마켓 메이커 트레이딩 회사이다.
   • 전통적인 테크 기업과 달리 코드 변경의 영향을 몇 시간 안에 손익을 통해 즉각적으로 확인할 수 있다.
   • 즉각적인 피드백 루프는 기회를 놓쳤을 때의 손실이 매우 크다는 것을 의미하며 행동 중심적 사고와 신속한 의사결정을 요구한다.
2. 02:49 - 07:06

   AI 플랫폼의 핵심 원칙과 인프라 구조

   새로운 모델과 에이전트 패러다임이 매일 쏟아지는 환경에서 살아남기 위해 회사는 모듈러 플랫폼을 구축했다. 외부 벤치마크뿐만 아니라 내부 데이터 분포에 맞춘 자체 벤치마크를 통해 모델 성능을 평가한다. 또한 모든 임직원이 AI를 네이티브하게 활용할 수 있도록 추론 게이트웨이와 에이전트 플랫폼을 계층별로 통합하여 관리한다.

   • 빠르게 변화하는 AI 패러다임을 수용하기 위해 모듈러 구조와 완전한 셀프 서비스 형태의 플랫폼을 구축했다.
   • 트레이더들과 자리를 함께하는 파견 형태의 AI 엔지니어링 팀을 운영하여 현장의 요구를 플랫폼에 즉시 반영한다.
   • 엄격한 규제와 지식재산권 보호를 위해 모든 핵심 작업은 온프레미스 GPU와 인프라에서 실행된다.
3. 07:06 - 13:54

   모델의 당일 배포와 비용 및 토큰 최적화

   최신 모델 출시 직후 비용이 급증하는 현상을 겪은 뒤, 회사는 다양한 최적화 방안을 마련했다. 초기 세션마다 20만 토큰 이상을 낭비하던 문제를 MCP 검색과 전용 CLI로 해결하였으며, 오픈소스 모델과 모델 라우팅을 적극 활용하여 가성비를 높였다. 또한 팀 스스로 비용 한도를 관리하게 함으로써 효율적인 예산 집행을 유도하고 있다.

   • 새로운 프론티어 모델이 출시되면 골든 셋을 활용한 평가 프레임워크를 거쳐 당일 프로덕션에 도입한다.
   • MCP 도구 검색 기능과 자체 CLI를 도입하여 불필요한 토큰 소비와 컨텍스트 과부화를 방지했다.
   • 팀별로 비용 가시성을 높이고 자체 알림과 한도를 설정할 수 있는 권한을 부여하여 지출을 효과적으로 통제한다.
4. 13:54 - 23:11

   사용자 중심 인터페이스와 에이전트 확장 전략

   직원들이 각자 엉성한 웹 UI나 커스텀 설정을 사용하는 대신, 회사는 완성도 높은 사내 웹 포털을 제공하여 에이전트 멀티플레이어 환경과 슬랙 연동을 지원한다. 에이전트 기능이 확장되면서 복잡도가 높아지는 문제를 해결하기 위해, 하나의 에이전트에 모든 작업을 쑤셔 넣지 않고 역할별로 분리하여 에이전트 게이트웨이와 원장을 통해 서로 호출하도록 설계했다.

   • 사내 임직원들이 파편화된 도구 대신 공통으로 사용할 수 있는 자체 웹 포털과 세션 관리 시스템을 구축했다.
   • 과거 시점의 세계 상태를 재현하는 툴 호출 스냅샷을 통해 에이전트 평가의 신뢰도를 높이고자 노력한다.
   • 단일 에이전트를 비대하게 만드는 대신 게이트웨이와 원장을 통한 다중 에이전트 협업 구조를 지향한다.