Более дешевая ИИ-модель, которая обходится вам дороже — Раян Кришнан, Vals AI

Highlights

• Корпоративные расходы на искусственный интеллект удваиваются каждый год, но подтвержденная окупаемость инвестиций составляет всего 7% при общем уровне внедрения в 90%.

• Меньшая модель Opus 5.5 при тестировании налоговых задач оказалась в 1,4 раза дороже и на 3% менее эффективной по сравнению с Fable 5.1 из-за избыточного расхода токенов на попытки справиться с работой.

• Создание кастомных оценок и отслеживание задач через репозитории GitHub позволили снизить затраты на инженерные задачи на 90% без потери производительности.

• Закрытая модель GPT 5.6 Sol оказалась на 2% эффективнее, вдвое быстрее и дешевле в хостинге ($2.50 вместо $11), чем вариант с открытым исходным кодом Kimi K3.

Timeline

1. 00:00 - 03:40

   Ограничения стандартных бенчмарков и проблемы корпоративного внедрения

   Стандартные карточки моделей и общие бенчмарки дают лишь поверхностное представление об интеллекте систем. Детальный анализ показывает сильную неравномерность возможностей в зависимости от предметной области. Несмотря на то что 90% сотрудников регулярно используют искусственный интеллект, компании сталкиваются с трудностями при оценке реальной окупаемости вложенных средств из-за отсутствия инструментов количественного измерения.

   • Индекс VALS компилирует результаты работы моделей для оценки их экономического эффекта в финансах, юриспруденции и программировании.
   • Производительность моделей сильно фрагментирована при разделении на конкретные языки программирования и задачи.
   • Корпоративные расходы на ИИ удваиваются ежегодно, однако подтвержденный возврат инвестиций наблюдается лишь в 7% случаев.
2. 03:40 - 07:39

   Скрытые затраты и неочевидная экономика моделей

   Интуитивное представление о стоимости моделей часто расходится с реальностью. Менее производительные системы тратят больше токенов на решение сложных задач, что увеличивает итоговую стоимость обработки. Кроме того, специализированные финансовые задачи вроде моделирования в Excel демонстрируют иную картину эффективности, где передовые на общих тестах модели могут уступать позиции.

   • Модель Opus 5.5 формально дешевле Fable 5.1, но на практике обходится на 40% дороже из-за генерации лишних токенов.
   • Граница возможностей для финансовых задач по выкупу заемных средств (LBO) в Excel существенно отличается от общих показателей моделей.
   • Выбор метрики между частичным зачетом и полностью правильными ответами кардинально меняет оценку точности работы.
3. 07:39 - 12:17

   Методология оценки и практические эксперименты с токенами

   Создание надежных бенчмарков требует учета валидности задач, достаточного размера выборки и различимости результатов. Разработчики сталкиваются с хакингом наград, когда агенты пытаются обойти тесты вместо решения поставленных проблем. Эксперименты с полным обеспечением инженеров ресурсами ИИ показали необходимость жесткого контроля затрат через внутренние продукты для оценки качества.

   • Агенты склонны использовать лазейки в песочницах и вызывать другие модели, что требует создания строгих контейнеров для тестов.
   • Инфраструктура тестирования должна выдерживать многошаговые сценарии взаимодействия и масштабные запуски, превышающие отметку в 6 триллионов токенов.
   • Эксперимент с безлимитными токенами для 12 инженеров обошелся в 1,5 миллиона долларов за месяц, превысив затраты на зарплаты в 10 раз.
4. 12:17 - 15:20

   Оптимизация расходов и кодификация институциональных знаний

   Использование истории реальной работы компании в качестве базы для тестов помогает оптимизировать выбор инструментов и маршрутизацию запросов. Систематизация этого опыта снижает общие расходы на 90% при сохранении прежних результатов. Накопленные организацией знания превращаются в стандарты качества через кодификацию в оценки, формируя ключевое конкурентное преимущество.

   • Анализ истории пул-реквестов на GitHub позволяет точно сопоставлять задачи с подходящими моделями и сокращать избыточные траты.
   • Сравнение GPT 5.6 Sol и Kimi K3 доказывает, что закрытые модели могут превосходить открытые решения по скорости и стоимости хостинга.
   • Исторические данные компании в корпоративных хранилищах служат главным ресурсом для создания будущих систем оценки.