브릿지워터가 1억 개의 문서를 경쟁력으로 바꾼 방법 - 샘 그린 & 애런 린스키, 브릿지워터

하이라이트

• 브리지워터의 데이터 플랫폼인 볼트에는 현재 1억 개가 넘는 문서가 들어 있으며, 135개의 외부 소스로부터 매일 분 단위로 수천 개씩 문서가 추가된다.

• 인간과 에이전트는 데이터 플랫폼에 대해 매우 다른 요구 사항을 가지며, 인간에게는 정밀도와 높은 신호 대 잡음비가 필요한 반면 에이전트는 확장성과 방대한 데이터 처리 능력이 중요하다.

• 볼트 도입 전에는 검색 결과 상위 10개 기준 정밀도가 약 60%에 불과했으나, 에이전트 기반 검색을 완료했을 무렵에는 90~95% 수준으로 상승했다.

• 벡터 데이터베이스의 성능 문제를 해결하기 위해 터보퍼퍼의 네이티브 필터링 방식을 도입하여 후처리의 속도와 사전 필터링의 높은 재현율을 동시에 확보했다.

• 첫 번째 AI 분석가인 포켓 애널리스트를 통해 볼트를 활용하여 단 몇 분 만에 몇 시간 분량의 리서치를 몇 달러의 비용으로 수행할 수 있다.

타임라인

1. 00:00 - 06:54

   비정형 데이터 플랫폼 볼트의 등장 배경

   브리지워터는 지난 50년 동안 경제와 시장에 대한 이해를 체계적인 코딩으로 변환해왔으며, 최근에는 인공 투자 어소시에이트인 AYA 구축을 진행하고 있다. 기존의 정형 데이터 중심 연구에서 벗어나 언어 모델과 함께 방대한 비정형 데이터를 체계적으로 다루기 위해 볼트를 개발했다. 실제 투자 관련 질문을 개방된 웹과 볼트 연동 환경에서 각각 테스트한 결과, 볼트는 정확한 기간 내의 다수 문서를 참고하여 훨씬 풍부하고 신뢰도 높은 답변을 제공했다.

   • 브리지워터는 비정형 데이터를 투자 프로세스의 핵심 자산으로 활용하기 위해 데이터 플랫폼인 볼트를 구축했다.
   • 언어 모델의 등장으로 뉴스, 리서치, 대본, 정책 문서, 사내 메모와 회의록 등 방대한 비정형 데이터에 접근할 수 있는 기회가 열렸다.
   • 외부 웹 검색을 이용한 질문에서는 오래된 문서를 참고하거나 충분한 문서를 찾지 못하는 한계가 나타났다.
   • 볼트가 연동된 상태에서는 특정 기간 설정과 함께 52개의 관련 후보 문서를 찾아내어 더욱 신뢰할 수 있는 답변을 도출한다.
2. 06:54 - 11:53

   인간과 에이전트를 위한 제품 엔지니어링 교훈

   제품 엔지니어링 관점에서 검색 설계는 인간과 에이전트라는 두 가지 서로 다른 소비자를 만족시켜야 하는 과제를 안고 있다. 인간은 읽는 속도와 정보 소화량에 한계가 있어 높은 정밀도가 요구되는 반면, 에이전트는 빠른 속도로 방대한 데이터를 처리한다. 초기 검색 품질의 문제를 해결하기 위해 수작업으로 벤치마크를 구축하고 측정 지표를 마련하여 정밀도를 높였다. 또한 날짜, 출처, 자산 등 조건에 따른 고급 필터링을 구현할 때 벡터 데이터베이스의 속도와 재현율 문제를 동시에 해결하기 위해 네이티브 필터링 방식을 채택했다.

   • 인간에게는 정밀도와 높은 신호 대 잡음비가 필수적인 반면, 에이전트는 방대한 데이터와 뛰어난 확장성을 활용한다.
   • 검색 정확도를 개선하기 위해 200개의 예시로 벤치마크 테스트를 진행한 결과 상위 10개 결과의 정밀도가 60%에서 90~95%로 향상되었다.
   • 고급 필터링 과정에서 발생하는 성능 저하를 해결하기 위해 터보퍼퍼의 네이티브 필터링 방식을 도입했다.
3. 01:53 - 16:36

   기존 습관의 이전과 투자 워크벤치를 통한 복리 효과

   아무리 뛰어난 도구라도 사용자 책상 위에 그대로 두면 사용되지 않으므로, 리서치 구독과 폴더 관리 등 투자자들이 이미 익숙하게 쓰던 습관을 볼트 플랫폼 안에 그대로 구현했다. 이를 통해 확실한 제품 시장 적합성을 확보한 뒤 채팅, 모바일, 슬랙, CLI 등으로 확장했다. 포켓 애널리스트와 차세대 리서처, 그리고 거시경제 예측을 산출하는 포캐스터 등을 통해 리서치 주기를 혁신적으로 단축하고 있다. 궁극적으로 에이전트는 수동적 리소스에서 벗어나 투자자와 함께 일하는 능동적 참여자로 작동하며, 이들의 협업 결과가 다시 볼트에 코퍼스로 축적되어 지속적인 복리 효과를 만들어낸다.

   • 투자자들의 기존 이메일, 구독 목록, 폴더 정리 습관을 볼트 내의 저장된 검색과 컬렉션 형태로 이전시켰다.
   • 채팅, 모바일 앱, 슬랙, CLI 등 다양한 인터페이스를 통해 사용자와 에이전트 모두에게 플랫폼을 제공한다.
   • 투자자 워크벤치를 통해 에이전트는 항상 켜져서 중요한 사항을 추적하고, 협업 결과는 다시 볼트에 자동으로 기록된다.