Как торговая компания внедряет новые ИИ-модели в тот же день — Ноян Токгозоглу, Optiver

하이라이트

• Компания Optiver обрабатывает более 10 миллионов сделок в день, оценивает свыше миллиона инструментов и функционирует в условиях глобальной инфраструктуры более чем с 10 офисами по всему миру.

• В отличие от традиционных технологических компаний, изменения в Optiver передаются трейдерам и квонтам, а их влияние на прибыль и убытки оценивается уже в течение нескольких часов.

• Вся инфраструктура компании работает локально на собственных графических процессорах, а для сторонних моделей используются соглашения о нулевом удержании данных.

• Появление новой передовой модели позволяет интегрировать её в производственные процессы компании в тот же день при условии успешного прохождения внутренних бенчмарков.

• Внедрение поисковых инструментов MCP, динамического кэширования и оптимизации обвязок позволило эффективно контролировать резкий рост расходов на токены при масштабировании.

• Разработанный внутренний веб-портал и агентский верстак предоставляют сотрудникам единую мультиагентную среду для совместной работы, управления сессиями и написания кода.

타임라인

1. 00:00 - 02:52

   Контекст и специфика трейдинга

   Специфика работы маркет-мейкера требует мгновенного принятия решений и высочайшей производительности при обработке петабайтов данных. В отличие от потребительских сервисов, борющихся за ограниченное внимание пользователей, в трейдинге экономика построена на том, что увеличение объема эффективных торговых операций напрямую приносит больше прибыли.

   • Optiver работает как маркет-мейкер без клиентов, торгуя на собственные средства и совершая более 10 миллионов сделок ежедневной сложности.
   • Петля обратной связи в трейдинге измеряется часами, а не месяцами или кварталами, как в традиционных технологических компаниях.
   • Упущенные из-за медленных решений возможности на финансовых рынках влекут за собой существенные потенциальные убытки.
2. 02:52 - 07:06

   Принципы построения внутренней ИИ-платформы

   Появление новых ИИ-моделей и парадигм требует от компании способности быстро измерять их полезность и внедрять в рабочий процесс. Локальное размещение графических процессоров защищает данные компании, а внешние запросы к сторонним провайдерам жестко регламентируются соглашениями о нулевом удержании информации.

   • Платформа спроектирована на принципах высокой скорости движения, модульности компонентов и возможности измерений на каждом уровне.
   • Для обеспечения безопасности интеллектуальной собственности и соответствия жестким регуляторным требованиям вся основная инфраструктура развернута локально.
   • Инженеры по ИИ работают в тесном контакте с трейдерами, глубоко понимая их рабочие процессы и перенося лучшие практики обратно на платформу.
3. 07:06 - 09:54

   Архитектура стека и интеграция новых моделей

   Система оценки опирается на внутренние бенчмарки, отражающие реальное распределение данных компании. Независимость от конкретных провайдеров и обвязок страхует бизнес от сбоев в регионах и гарантирует беспрерывность торговых операций.

   • Новые передовые модели тестируются на эталонных наборах данных ключевых торговых команд в день их выхода.
   • Шлюз инференса обеспечивает отказоустойчивость, маршрутизацию запросов и распределение бюджетов между провайдерами.
   • Метаслой обвязки и базы знаний позволяют командам гибко настраивать окружение и автоматический сбор контекста.
4. 09:54 - 13:56

   Оптимизация расходов и управление токенами

   Масштабирование использования ИИ привело к резкому росту затрат на токены в периоды релизов новых моделей. Внедрение специализированного поиска, CLI-оберток вместо прямых вызовов MCP и использование более дешевых открытых моделей позволили сохранить высокую эффективность инвестиций.

   • Неконтролируемое увеличение контекста пользователей до 200 тысяч токенов потребовало внедрения жестких настроек по умолчанию.
   • Оптимизация работы с инструментами MCP, параметрами кэширования и системными промптами снизила избыточные затраты.
   • Повышение прозрачности расходов и предоставление командам инструментов для самостоятельного контроля лимитов помогли обуздать скачки бюджета.
5. 13:56 - 16:19

   Интерфейсы пользователей и совместная работа с агентами

   Высокая самостоятельность пользователей подтолкнула компанию к созданию собственного полноценного интерфейса вместо разрозненных самодельных утилит. Это ускорило внедрение инноваций, позволив сотрудникам напрямую участвовать в улучшении внутренних инструментов разработки.

   • Разработка собственного веб-портала и агентского верстака закрыла потребность сотрудников в удобных рабочих средах.
   • Трейдеры получили возможность самостоятельно писать код, создавать пулл-реквесты и настраивать совместные сессии.
   • Многопользовательская среда объединила людей и различные типы агентов в едином рабочем пространстве.