어제 수집된 웹 데이터로 에이전트 백테스트하기 — Ryan Ahern, Exa

하이라이트

• 인간보다 AI가 훨씬 더 많은 검색을 수행하며 여러 페이지를 탐색해 답변을 도출한다.

• Exa는 세계 최대 규모의 코딩 에이전트와 에이전틱 애플리케이션을 위한 검색 기능을 제공한다.

• Exa 스냅샷 기능은 과거 특정 시점에 검색을 수행했을 때의 결과와 콘텐츠 버전을 확인할 수 있게 해준다.

• 과거 시점으로 검색을 제한하면 미래의 정보가 과거 평가에 유입되는 것을 막고 에이전트 시스템을 백테스트할 수 있다.

• 실습 세션에서는 기업 인수 1일, 7일, 30일 전에 기업이 인수될 것인지 예측하는 피처를 테스트했다.

• 공개된 데이터셋에만 맞추어 기능을 설계하면 과적합 문제가 발생하므로 홀드아웃 세트를 추가하는 것이 중요하다.

타임라인

1. 00:00 - 04:12

   에이전틱 웹 검색과 Exa의 역할

   사람들은 대개 키워드 몇 개를 입력하고 1페이지에서 결과를 찾지 못하면 그만두지만 AI는 원하는 답을 찾을 때까지 검색을 지속한다. Exa는 이러한 에이전틱 검색 수요에 맞춰 고품질의 검색 결과를 제공하며 월스트리트와 AI가 만나는 금융 영역의 다양한 투자 및 실사 프로세스를 뒷받침한다.

   • AI는 인간보다 훨씬 빈번하게 검색을 수행하며 사용자를 만족시키기 위해 여러 페이지를 철저하게 탐색한다.
   • Cursor나 Gamma 같은 대규모 코딩 에이전트와 에이전틱 애플리케이션들이 공식 문서나 재무 수익률 등의 정보를 찾기 위해 Exa를 활용한다.
   • Exa는 헤지펀드, 국부펀드, VC 등 금융 분야에서 알파 탐색, 리스크 예측, 스타트업 발굴을 위해 사용된다.
2. 04:12 - 06:01

   검색 엔진의 품질, 비용, 지연 시간 삼원칙

   검색 엔진을 선택할 때는 결과의 품질뿐만 아니라 대량의 토큰 투입으로 인한 비용 부담과 애플리케이션 요구에 맞는 지연 시간이 중요하다. Exa는 정확한 최신 정보 제공과 함께 입력 토큰 비용을 최소화하는 기술을 적용하고 있다.

   • Exa는 검색 환경의 빠른 변화에 대응하기 위해 자체적인 재생성 벤치마크를 구축하고 최신 상태로 유지한다.
   • 검색 결과뿐만 아니라 컨텍스트 윈도우로 들어가는 토큰 비용까지 고려하여 필요한 토큰만 효율적으로 반환한다.
   • 300밀리초의 빠른 검색부터 20분 동안 수천 개의 퍼블리셔를 찾아내는 대규모 작업까지 다양한 지연 시간 스펙트럼을 지원한다.
3. 06:01 - 11:41

   Exa 스냅샷과 버전 제어 검색의 필요성

   웹페이지의 발행일은 SEO 등의 이유로 수시로 변경되므로 발행일만으로는 과거 데이터를 신뢰하기 어렵다. 스냅샷 기능을 이용하면 특정 날짜의 웹 상태를 고정하여 미래 정보의 개입 없이 예측 모델이 실제 상황에서 올바르게 작동했는지 검증할 수 있다.

   • EXA 스냅샷은 과거 특정 시점에 웹 검색을 수행했다면 도출되었을 결과와 콘텐츠 버전을 제공한다.
   • 라이브 검색은 최신 정보를 가져오기 때문에 미래의 지식이 과거에 대한 평가에 유입되는 정보 유출이 발생한다.
   • 인수 합병이나 부정적 미디어 스캔 같은 예측 시스템을 설계할 때 스냅샷 날짜를 사건 발생 직전으로 설정해 백테스트할 수 있다.
4. 11:41 - 16:45

   백테스팅의 두 가지 패턴과 모델 튜닝

   외부 저장소의 PR 해결 직전 시점으로 시간을 멈추고 시스템을 실행하는 등의 방식을 통해 모델 가중치의 변화가 실제로 성능 향상으로 이어졌는지 확실하게 검증할 수 있다. 런타임에 외부 웹과 상호작용하는 에이전틱 시스템에서도 과거 보유 정보만을 검색하도록 보장하는 것이 핵심이다.

   • 전통적인 모델에 Exa를 결합해 과거 웹 데이터를 피처 형태로 수집하고 머신러닝 모델을 훈련시킬 수 있다.
   • 완전한 에이전틱 미래에서는 시스템이 런타임에 스스로 웹을 검색하고 구조화된 신호로 변환하여 의사결정을 내린다.
   • 비정정적 시스템을 튜닝할 때 검색 방식을 조절하며 실험을 제어하고 시스템 성능을 개선할 수 있다.
5. 16:45 - 26:33

   기업 인수 예측 실습과 과적합의 위험

   실습 세션에서는 기업의 경영진 교체 여부나 매각 보도 여부 같은 피처를 AND 및 OR 조건으로 조합하여 인수 예측 점수를 겨뤘다. 상장 여부나 특정 기업명을 직접 조건에 넣는 등의 방식은 점수를 높일 수 있으나 과적합의 위험을 보여주는 대표적인 사례이며, 이를 방지하기 위해 홀드아웃 세트의 필요성이 강조된다.

   • 참가자들은 30분 동안 ExaSnapshot을 활용해 기업 인수 1일, 7일, 30일 전을 기준으로 인수를 예측하는 최적의 피처를 찾는 실습을 진행했다.
   • 공개된 평가 데이터셋에만 맞춰 피처를 구성하면 모델이 과적합되어 실제 미래 예측력이 떨어질 수 있다.
   • 공개된 데이터셋 이외의 홀드아웃 세트를 평가에 포함하여 과적합을 방지해야 한다.