Как Bridgewater превратила 100 миллионов документов в конкурентное преимущество — Сэм Грин и Арон Лински, Bridgewater

하이라이트

• Платформа данных Vault в Bridgewater хранит более 100 миллионов документов и ежеминутно пополняется тысячами новых файлов из 135 внешних источников.

• Разделение потребностей пользователей потребовалось из-за огромной разницы в скорости: люди читают со скоростью около 300 слов в минуту, а агенты обрабатывают информацию в 100 раз быстрее.

• Бенчмаркинг поисковой системы по 200 вручную отобранным примерам показал исходную точность в топ-10 результатов на уровне 60%.

• Внедрение нативной фильтрации от Turbo Puffer объединило высокую скорость постфильтрации с точностью префильтрации при работе с векторной базой данных.

• Инструмент Pocket Analyst выполняет многочасовые исследования за несколько минут, опираясь на структурированную базу данных Vault.

타임라인

1. 00:00 - 07:03

   Предпосылки создания платформы Vault

   Эволюция подходов в Bridgewater прошла путь от правил на желтом блокноте до искусственного инвестиционного ассистента AYA. Поиск подходящих готовых решений на рынке не дал нужного уровня контроля, что потребовало разработки собственного хранилища. Vault индексирует миллионы документов, согласовывая их со внутренней онтологией компании по странам, рынкам и временным периодам.

   • Компания Bridgewater разрабатывает систематические правила и модели рынков на протяжении 50 лет.
   • Появление языковых моделей потребовало обработки огромных массивов неструктурированных данных вроде стенограмм и внутренних записок.
   • Платформа Vault создана для индексации и организации внешних и внутренних данных для людей и агентов.
2. 07:03 - 11:34

   Продуктовая инженерия и архитектура поиска

   Проектирование платформы для двух разных типов пользователей потребовало учета пяти ключевых аспектов, включая полноту, точность и масштабируемость. Проведенный аудит поиска по 200 примерам выявил точность в топ-10 на уровне 60%, которую в ходе улучшений удалось поднять до 95%. Интеграция технологии Turbo Puffer позволила эффективно обрабатывать запросы с множественными условиями фильтрации по датам и активам.

   • Людям необходима высокая точность и минимальный объем шума из-за ограничения скорости чтения.
   • Агенты потребляют до 30 000 слов в минуту и требуют масштабируемости более чем в 100 запросов в секунду.
   • Переход на нативную фильтрацию Turbo Puffer решил проблемы производительности при комбинировании векторного поиска с метаданными.
3. 11:34 - 14:05

   Адаптация привычек и расширение аналитических инструментов

   Отказ исследователей пользоваться новыми инструментами напрямую потребовал переноса их привычных рабочих процессов в среду Vault. Списки рассылки трансформировались в сохраненные запросы, а папки превратились в подборки документов. После достижения соответствия продукта рынку функциональность была масштабирована на различные приложения и интерфейсы командной строки для агентов.

   • Интерфейс Vault адаптировал привычные для инвесторов папки и списки рассылки в сохраненные подборки и поисковые запросы.
   • Платформа интегрирована в рабочие среды сотрудников через чат, мобильные приложения, Slack и среду разработки.
   • Инструмент Pocket Analyst сокращает время проведения стандартных исследований до нескольких минут.
4. 14:05 - 16:36

   Проактивные агенты и непрерывное накопление знаний

   Новый этап развития системы заключается в том, что агенты постоянно отслеживают релевантные темы и направляют внимание экспертов на ключевые изменения. Инвесторы получают структурированные карточки с выводами и доказательной базой для оценки рисков. Фиксация результатов анализа в единой базе данных замыкает цикл накопления корпоративного опыта Bridgewater.

   • Рабочее место инвестора переводит агентов из реактивного режима в проактивный поиск важных рыночных сигналов.
   • Агентские карточки предоставляют сводки и прямые ссылки на первоисточники для проверки выводов.
   • Результаты совместной работы людей и агентов автоматически сохраняются обратно в Vault для будущих циклов.