데이터사이토가 자체 파싱 개발을 멈춘 이유 - 아디트 아브라함(Reducto) & 라즈 바크루(Datasite)

하이라이트

• 데이터사이트(Datasite)는 1억 달러가 넘는 모든 글로벌 거래 중 약 60%가 이루어지는 플랫폼이다.

• 데이터사이트는 자체 파싱 및 수집 파이프라인 개발을 중단하고 레덕토(Reducto)를 도입하여 성능, 속도, 재현율을 확보했다.

• 데이터사이트는 인수 후 지난 1년 반 동안 매출 기준 약 40% 성장했다.

• 가상 데이터룸(VDR) 벤치마크 테스트 결과, 레덕토를 통한 파싱 덕분에 콘텐츠 추출 재현율이 22% 향상되었다.

타임라인

1. 00:00 - 05:00

   데이터사이트의 비즈니스 규모와 독점적 데이터 환경

   데이터사이트는 금융 및 사모펀드 업계에서 가장 민감하고 중요한 미공개 중요 정보를 다루는 플랫폼이다. 방대한 비정형 데이터를 안전하게 처리하고 사용자의 AI 질문에 답변하기 위해 고성능의 수집 및 파싱 파이프라인 구축이 필수적이었다.

   • 데이터사이트는 1억 달러 이상의 대규모 거래 중 약 60%를 처리하는 글로벌 가상 데이터룸 플랫폼이다.
   • 월간 활성 사용자 수는 50만 명을 넘고 수십억 페이지의 민감한 비정형 데이터를 보유하고 있다.
   • 급증하는 AI 솔루션 수요에 대응하기 위해 연간 55,000개의 데이터룸을 파싱해야 하는 과제를 안고 있었다.
2. 05:00 - 07:30

   자체 개발의 한계와 레덕토 도입 결정

   초기에는 자체적으로 파이프라인을 구축했으나 금융 문서의 복잡성과 수많은 예외 케이스를 처리하는 데 막대한 지원 시간이 소모되었다. 바퀴를 다시 발명하는 대신 외부 솔루션을 활용하여 한정된 고품질 엔지니어링 인재를 효율적으로 배분하는 전략을 취했다.

   • 금융 스프레드시트의 셀 병합, 차트 음영 불일치 등 끝없는 예외 케이스로 인해 자체 개발 방식은 한계에 부딪혔다.
   • 이미 해결된 문제에 엔지니어링 자원을 쏟는 대신 레덕토에 파싱을 위탁하기로 결정했다.
   • 이를 통해 엔지니어들이 수익 창출과 에이전트 구축 등 핵심 비즈니스에 집중할 수 있게 되었다.
3. 07:30 - 12:30

   블루 플레임 인수와 데이터 통합의 시너지

   VC 투자 유치를 앞두고 진행된 저녁 식사 자리에서 데이터사이트와의 인수 합병이 성사되었다. 독점적인 데이터 자원들을 결합하면서 차별화된 AI 경쟁력을 확보했고, 지난 1년 반 동안 매출 기준 약 40%의 성장을 기록했다.

   • 데이터사이트는 AI 솔루션 강화를 위해 버티컬 AI 스타트업인 블루 플레임을 인수했다.
   • 가상 데이터룸의 독점 데이터와 비상장 기업 정보 플랫폼인 그라타의 데이터를 결합했다.
   • 데이터를 모델에 밀착시킨 결과 토큰 비용 절감, 실행 시간 단축, 작업 품질 향상을 달성했다.
4. 12:30 - 19:42

   엔지니어링 자원 배분과 추출 성능 평가

   최고 수준의 엔지니어 인재를 지원 업무나 반복적인 파싱 문제에 소모하지 않고 핵심 비즈니스에 투입하고 있다. 정밀한 평가셋을 활용해 성능을 검증한 결과, 레덕토의 강력한 문서 파싱 기능이 전체 AI 시스템의 정확도를 결정짓는 핵심 요인임을 확인했다.

   • 250명의 엔지니어를 핵심 수익 창출 프로젝트 5가지에 집중시키고 비핵심 영역은 아웃소싱한다.
   • VDR 벤치(VDR Bench)를 구축하여 자체 벤치마크 테스트를 주기적으로 실행한다.
   • 대부분의 AI 성능 향상은 답변 생성 측면이 아니라 레덕토를 통한 우수한 데이터 추출 측면에서 비롯된다.