더 나은 검색 기능으로 이 AI 에이전트의 정확도를 36%에서 98%로 끌어올린 방법 - Aamir Shakir, Mixedbread

Highlights

• 기존의 분산형 검색 증강 생성 파이프라인은 정보 손실을 누적 시켜 대규모 프로덕션 환경에서 제대로 작동하지 않는다.

• 믹스브레드를 도입한 대형 헤지펀드는 내부 에이전트의 답변 정확도가 36%에서 98%로 향상되었다.

• 문서와 쿼리에 다중 임베딩을 부여하는 잠재 상호작용 모델을 통해 PDF나 표 같은 미세한 정보를 정밀하게 표현한다.

• 정확한 컨텍스트를 제공함으로써 정보 탐색에 소모되는 LLM 지출 비용을 3분의 1 수준으로 줄인다.

• 100개 이상의 언어를 지원하며 PDF, 스프레드시트, 이미지, 비디오, 오디오 등의 데이터를 업로드만 하면 인덱싱을 처리한다.

Timeline

1. 00:00 - 03:15

   검색 연구소의 탄생과 멀티모달 서비스

   기존 검색 기술의 한계를 극복하기 위해 자체 모델과 데이터베이스를 처음부터 직접 구축했다. 사용자는 별도의 데이터 수집이나 OCR 관리에 고민할 필요 없이 데이터를 업로드하기만 하면 강력한 에이전트를 구축할 수 있다. 특히 SOC 2 및 ISO 인증을 준수하며 자체 버킷 사용 모드를 지원하여 금융권의 엄격한 보안 요구를 만족시킨다.

   • 정보 검색 분야의 아쉬움을 해소하기 위해 검색 성능을 연구하는 믹스브레드가 설립되었다.
   • PDF, 이미지, 비디오 등 모든 데이터를 에이전트가 검색할 수 있도록 100개 이상의 언어를 지원한다.
   • 자체 데이터베이스와 수집 파이프라인을 구축하여 제로 데이터 보존 및 보안 요구 사항을 충족한다.
2. 03:15 - 08:25

   프랑켄슈타인 스택과 기존 RAG의 한계

   수많은 공급업체의 도구를 조합하는 기존 방식은 데이터 손실과 불필요한 인력 투입을 초래한다. 특히 방대한 양의 SEC 공시 보고서나 실적 자료를 다룰 때 벡터 공간상의 점 하나로는 문서 간의 미세한 맥락 차이를 구별할 수 없다. 이로 인해 에이전트가 과도한 쿼리를 수행하게 되어 시스템 운영 비용이 걷잡을 수 없이 치솟는 문제가 발생한다.

   • 파싱, 청킹, 임베딩, 벡터 데이터베이스로 이어지는 기존 파이프라인은 단계마다 치명적인 정보 손실을 유발한다.
   • 유사한 정보가 많은 대규모 재무 보고서 환경에서는 단일 벡터 모델이 미세한 차이를 구별해내지 못한다.
   • 부정확한 검색 결과로 인해 에이전트가 하위 쿼리를 남발하면서 쿼리당 비용과 토큰 비용이 급증한다.
3. 08:25 - 15:00

   잠재 상호작용 모델을 통한 성능 혁신

   텍스트 검색 성능 향상에 수십 년이 걸렸던 정체기를 넘어 페이지 내의 미세한 정보를 정밀하게 표현하는 새로운 모델을 적용했다. 순이익이나 매출 같은 구체적인 요소를 각각 문맥화된 임베딩으로 파악하면서도 전체 문서의 맥락을 함께 인식한다. 이를 통해 에이전트가 바운딩 박스를 통해 정확한 출처를 역으로 추적하고 인용할 수 있는 기반을 제공한다.

   • 문서와 쿼리에 단일 임베딩 대신 여러 개의 임베딩을 부여하는 잠재 상호작용 모델을 개발했다.
   • 시각적 레이아웃과 OCR 기능을 바탕으로 표나 스크린샷에 담긴 정보 손실을 방지한다.
   • 복잡한 정성적 분석을 위해 속도가 빠르고 비용이 저렴한 자체 에이전틱 검색을 제공한다.
4. 15:00 - 16:20

   헤지펀드 도입 사례와 비용 절감 효과

   실제 프로덕션 환경에서 기존 벡터 데이터베이스 기반 시스템은 36%의 저조한 정확도를 보였으나 믹스브레드로 전환한 뒤 98%까지 치솟았다. 핵심 원인은 지능 자체가 아니라 에이전트에 더 나은 데이터와 검색 품질을 제공하는 데 있다. 정밀한 검색 결과 덕분에 정보 탐색과 독해에 허비되는 토큰이 줄어들어 전체적인 LLM 운영 비용이 대폭 절감된다.

   • 10억 개가 넘는 문서를 보유한 대형 헤지펀드가 믹스브레드 도입 후 에이전트 답변 정확도를 36%에서 98%로 높였다.
   • 정확한 컨텍스트 제공에 힘입어 LLM 지출 비용을 기존의 3분의 1 수준으로 감축했다.