버전 제어 검색: 예전 그대로의 웹 — 라이언 아허른, 엑사

하이라이트

• Exa는 자체 크롤링 인프라와 임베딩 모델을 활용하여 에이전트 시스템에 최적화된 웹 검색 기능을 제공한다.

• 동적 하이라이트 기능은 전체 페이지 대신 작업 경로에 필요한 정확한 스니펫만 반환하여 전체 입력 토큰 비용을 95% 절감한다.

• Exa Snapshot은 4,000억 개가 넘는 웹 스냅샷을 날짜별로 제공하여 과거 특정 시점의 데이터로 검색 및 백테스팅을 가능하게 한다.

• 버전 검색 기능을 통해 시장 전체가 진실을 알기 전이나 특정 분석 기사가 발표되기 이전의 인터넷 상태를 확인할 수 있다.

• 금융 서비스 및 예측 모델 운영 시 Exa Snapshot을 활용하여 에이전틱 기능의 성능과 예측력을 과거 데이터로 검증할 수 있다.

타임라인

1. 00:00 - 06:34

   에이전트 시대의 웹 검색 필요성과 Exa의 역할

   사용자들이 구글 중심의 검색에서 챗GPT, 클로드 등의 에이전트 도구로 이동하고 있다. 에이전트는 지치지 않고 수많은 검색을 반복하며 작업 경로를 완료하므로, 전체 웹을 대상으로 정확한 정보를 찾는 전용 검색 인프라가 필수적이다. Exa는 자체 크롤링 인프라와 데이터베이스를 구축하여 헤지펀드와 스타트업 발굴 등의 영역에서 신뢰할 수 있는 데이터를 공급한다. 특히 동적 하이라이트 기능은 전체 페이지 텍스트를 전달하는 대신 필요한 스니펫만 추출해 에이전트의 다운스트림 입력 토큰 비용을 대폭 낮춘다.

   • 사람과 달리 에이전트는 장황한 상세 묘사와 다중 검색을 통해 작업을 수행한다.
   • 금융, 보험, 벤처캐피탈 등 다양한 분야에서 정확한 최신 정보와 숨겨진 데이터를 발굴하기 위해 Exa를 활용한다.
   • Exa는 고품질, 저비용, 저지연 원칙을 바탕으로 동적 하이라이트 기능을 통해 토큰 비용을 95% 절감한다.
2. 06:34 - 11:40

   Exa Snapshot을 활용한 버전 관리 검색과 백테스팅

   검색 시점에 URL의 버전을 캡처하여 기록하는 Exa Snapshot 기능이 도입되었다. 이를 통해 특정 URL의 과거 특정일 이전 상태를 요청하거나, 과거 시점에 검색을 수행했던 것처럼 결과를 받아보는 '버전 검색'이 가능하다. 예를 들어 오픈알아이의 연간 환산 매출이 700억 달러에서 순연간 환산 런레이트 500억 달러로 하향 조정되기 전의 보도나 SEC 공시를 사전에 파악할 수 있다. 이 기능은 단순히 정보를 찾는 것에 그치지 않고, 에이전트 모델과 전략의 백테스팅을 지원한다.

   • Exa Snapshot은 4,000억 개가 넘는 웹 스냅샷을 날짜별로 보관하여 제공한다.
   • 특정 URL의 과거 날짜별 상태를 조회하거나 과거 시점의 검색 결과를 재현할 수 있다.
   • 오픈알아이(OpenAI)의 매출 추정치 변경 사례처럼 시장이 알기 전의 과거 데이터를 추적할 수 있다.
3. 11:40 - 19:04

   버전 관리 검색을 이용한 예측 모델과 에이전틱 시스템 검증

   웹 스냅샷과 백테스팅은 기업 인수 예측이나 평판 리스크 미디어 스캔 같은 예측 모델 구동에 활용된다. 발표가 이미 난 상태의 라이브 검색 결과로 모델을 학습시키면 과적합이 발생하기 쉽다. 따라서 인수 발표 하루 전이나 한 달 전의 스냅샷 데이터로 돌아가 모델이 실제로 예측을 성공할 수 있었는지 테스트해야 한다. 워크숍 사례에서 보듯 주가 하락 폭이나 주요 주주의 매각 지지 여부 등의 복잡한 특징을 과거 웹 데이터 기반으로 검증함으로써, 에이전틱 시스템이 프로덕션 환경에 투입되기 전에 신뢰성을 확보할 수 있다.

   • 전통적인 모델 보강, 에이전틱 기능 추가, 완전 에이전트 기반 시뮬레이션의 세 가지 방식으로 스냅샷이 활용된다.
   • 기업 인수 예측 등의 시나리오에서 발표일 이전의 과거 데이터로 모델의 예측력을 검증할 수 있다.
   • 라이브 세트 훈련 시 발생하는 과적합을 방지하고 일반화 성능을 높이는 평가 체계를 구축할 수 있다.