Наша компактная модель обошла Opus в финансовых задачах — Александр Шевченко, Ramp

Highlights

• Число сценариев использования языковых моделей в компании Ramp выросло за последний год на 123 процента.

• Специализированная модель Qwen 3.5 с 35 миллиардами параметров превзошла флагманскую модель Opus 4.6 в финансовых задачах при задержках на уровне модели Haiku.

• Картриджи позволяют сжимать огромные объемы контекста в кэш KV Cache в офлайн-режиме в 20–30 раз эффективнее.

• Запуск 10 000 параллельных агентов позволил протестировать инфраструктуру компании и обнаружить семь уязвимостей наивысшей степени опасности.

• Модели с открытыми весами обходятся до пяти раз дешевле передовых моделей для рассуждений, сохраняя сопоставимый уровень обнаружения уязвимостей в составе роя.

Timeline

1. 00:12 - 03:06

   Введение и роль прикладных исследований в Ramp

   Компания Ramp следует принципам эффективного использования искусственного интеллекта и постоянно внедряет новые модели. Несмотря на удешевление токенов, внутреннее подразделение прикладных исследований продолжает развивать специализированные инструменты. Если в 2023 году создание агентов требовало жестких ограничений и тщательной настройки промптов из-за отсутствия токенов размышления, то современные модели справляются с задачами гораздо надежнее.

   • Компания Ramp увеличила количество сценариев применения языковых моделей на 123 процента за последний год.
   • Новые пограничные модели снижают расходы на токены в расчете на единицу экономики.
   • Создание агентов в 2026 году стало значительно проще благодаря поддержке протокола MCP и расширенному контексту.
2. 03:06 - 05:58

   Специализированное дообучение финансовой модели

   При запуске агента для работы с электронными таблицами Ramp Sheets выяснилось, что универсальные передовые модели тратят слишком много времени на планирование и анализ больших объемов данных. Для решения этой проблемы исследователи создали специализированную финансовую модель. В качестве оркестратора по-прежнему выступает передовая модель, а дообученная Qwen выполняет конкретные финансовые запросы быстрее и точнее.

   • Интерфейс Ramp Sheets столкнулся с медленной работой модели Opus 4.6 при обработке множества финансовых таблиц.
   • Компания дообучила модель Qwen 3.5 с 35 миллиардами параметров совместно с Prime Intellect.
   • Новая модель превзошла Opus 4.6 по точности выполнения финансовых задач при задержках модели Haiku.
3. 05:58 - 10:09

   Картриджи кэша и роевое тестирование безопасности

   Для регулярных процедур вроде закрытия месяца компания использует картриджи, которые предварительно загружают необходимый контекст за ночь. Это позволяет агентам мгновенно приступать к работе утром. В области безопасности подразделение применило 10 000 параллельных агентов для поиска уязвимостей, что привело к обнаружению и устранению семи критических проблем. Применение открытых весов в составе роя дало возможность существенно сократить бюджет на токены.

   • Картриджи сжимают огромные объемы контекста в кэш KV Cache в офлайн-режиме в 20–30 раз.
   • Запуск 10 000 параллельных агентов помог провести тестирование на проникновение всей инфраструктуры Ramp.
   • Роевой метод с использованием открытых моделей снижает затраты на токены в пять раз без существенной потери точности.
4. 10:09 - 14:07

   Продукты компании и новые направления исследований

   Практические наработки исследовательского подразделения воплотились в коммерческих продуктах для управления расходами на токены и интеллектуальной маршрутизации запросов. В блоге Ramp Labs компания публикует результаты других экспериментов, включая перенос знаний между моделями через дообучение скрытого пространства и автоматическое создание мониторинга с помощью языковых моделей.

   • Продукты Ramp Token Cost Management и Ramp Router помогают контролировать расходы и оптимизировать задержки.
   • Метод Portal позволяет переносить накопленные знания между различными версиями и семействами моделей.
   • Исследователи также внедряют самосовершенствующийся мониторинг на базе Datadog и семантическую тегизацию.