Transcript
00:00:00Итак, Fable 5.1 уже здесь, она лучше, дешевле,
00:00:02и сегодня я расскажу вам
00:00:04все, что вам нужно о ней знать.
00:00:05Итак, во-первых, цена.
00:00:07Fable 5.1 будет стоить примерно на 25% дешевле, чем Fable 5,
00:00:11и это потому, что они снижают цену
00:00:13на кэшированное чтение.
00:00:14Это огромный плюс, если вы выполняете много долгосрочных агентных задач,
00:00:19и они специально обращают на это внимание,
00:00:21и снижение ваших затрат может составить до 45%
00:00:23в тех случаях, когда вы выполняете работу,
00:00:24содержащую тысячи и тысячи, тысячи токенов,
00:00:27и работаете с длиной контекстного окна
00:00:28в 50, 60, 70%.
00:00:30Они обновляют политику хранения данных,
00:00:32внедряя ее для своих корпоративных клиентов,
00:00:34и что касается защитных мер,
00:00:35они сокращают количество ложных срабатываний,
00:00:37что было настоящей занозой в заднице
00:00:38в оригинальной Fable 5,
00:00:40потому что если вы задавали ей вопросы,
00:00:41связанные с такими вещами, как кибербезопасность,
00:00:43вас постоянно блокировали,
00:00:44и в данном случае вероятность ложного срабатывания
00:00:47теперь на 60% ниже.
00:00:49Теперь давайте взглянем на бенчмарки.
00:00:50По всем параметрам она превосходит Fable 5, Opus 5
00:00:53и GPT 5.6 буквально во всем.
00:00:56Причем некоторые скачки весьма значительны.
00:00:58Если посмотреть на агентные научные исследования,
00:01:00это вдвое больше, чем у Fable 5.
00:01:03Агентное программирование тоже делает огромный скачок.
00:01:05Мы переходим от 42% у Fable 5 к 55,8 у Fable 5.1.
00:01:09Я помню, когда мы смотрели бенчмарки для Opus 5,
00:01:11нас, честно говоря, поразило то, что Opus 5 смогла нам дать
00:01:14в плане чистых цифр.
00:01:16В реальности же, я думаю, большинство людей все равно предпочитают Fable 5 модели Opus 5,
00:01:19но мне кажется, что сравнение Fable 5 и 5.1
00:01:23вероятно, будет немного более точным
00:01:24с точки зрения того, каково это будет
00:01:26при реальном использовании.
00:01:28Помимо этого, большинство улучшений в бенчмарках
00:01:29относительно постепенные.
00:01:31Речь идет о нескольких процентных пунктах тут и там,
00:01:32за исключением бизнес-процессов
00:01:34по бенчмарку автоматизации.
00:01:37И важно не только то, каков сам бенчмарк,
00:01:39а сколько мы платим за подобные результаты,
00:01:41и какие изменения мы наблюдаем,
00:01:43когда мы балуемся с уровнем усилий?
00:01:44Потому что на это всегда очень интересно посмотреть,
00:01:46потому что часто, когда мы смотрим на сверхвысокие
00:01:48или максимальные уровни усилий,
00:01:49мы получаем не так уж много отдачи от вложенных средств
00:01:51по сравнению с высоким или даже средним.
00:01:53Итак, перед нами Terminal Bench 4.0.
00:01:56Здесь наверху у нас Mythos 5.1,
00:01:59Fable 5.1 посредине,
00:02:00а затем Mythos 5 внизу,
00:02:02и нетрудно догадаться, что Fable 5 чуть ниже Mythos.
00:02:05Таким образом, Fable 5.1 и Mythos 5.1
00:02:07демонстрируют очевидный скачок по сравнению с Mythos 5,
00:02:10и она дешевле.
00:02:12И что действительно круто, так это когда мы смотрим на что-то
00:02:13вроде высокого уровня,
00:02:15на котором, я думаю, сидит большинство людей,
00:02:16часто я использую средний уровень,
00:02:17когда речь заходит о моих сценариях использования Fable,
00:02:20вы по сути,
00:02:20если мы посмотрим на средний,
00:02:21соответствуем максимальному выводу на Mythos 5,
00:02:25но вместо того, чтобы это стоило $26,
00:02:27это будет стоить $7,80.
00:02:30И когда мы переходим к высокому,
00:02:32и сравниваем высокий, скажем, с максимальным,
00:02:34вы получаете лишь,
00:02:35какое, 6% изменения в плане результатов,
00:02:38при этом $19,50 против $10,50.
00:02:42Так что самое классное в этих новых моделях —
00:02:43вы можете получить чрезвычайно высокую производительность
00:02:45на таких вот средних уровнях усилий
00:02:47и здорово сэкономить на затратах.
00:02:50И мы видим, как та же картина повторяется
00:02:52и в других бенчмарках, верно?
00:02:53Это Humanity's Last Exam.
00:02:55И снова мы не видим огромного прироста,
00:02:57когда мы переходим от высокого прямо к максимальному,
00:02:59но при этом мы имеем очень хорошую производительность
00:03:00при весьма разумной стоимости
00:03:02на этих настройках среднего уровня.
00:03:04Единственное исключение — когда мы смотрим на
00:03:05агентное программирование на Cursor Bench,
00:03:07у Fable 5.1
00:03:08мы действительно видим довольно большой скачок от высокого к сверхвысокому,
00:03:11но опять же, между сверхвысоким и максимальным
00:03:13разница невелика.
00:03:14Но, знаете, если я использую высокий уровень
00:03:15на Fable 5.1,
00:03:17это то же самое, что использовать сверхвысокий
00:03:18на Fable 5,
00:03:20но при этом стоимость составляет менее половины.
00:03:22Так что здесь огромная экономия средств,
00:03:24даже если вы не тот человек,
00:03:25который обязательно выполняет безумно сложную работу.
00:03:27Если вы, так сказать,
00:03:29среднестатистический сольный разработчик,
00:03:30ваши проблемы не настолько сложны,
00:03:32но вам нравится использовать эти передовые модели,
00:03:33теперь у вас есть возможность
00:03:34просто снизить уровень усилий,
00:03:36и вы делаете практически то же самое,
00:03:37что и раньше,
00:03:38опять же, за полцены,
00:03:40что невозможно переоценить.
00:03:41Научные исследования
00:03:42всегда были довольно большим аргументом при продаже
00:03:44моделей Fable и Mythos.
00:03:46И в версии 5.1 ничего не изменилось.
00:03:48Они много говорят о молекулярном дизайне,
00:03:49молекулярном дизайне,
00:03:51вычислительном анализе и моделировании,
00:03:53а также о вычислительной биологии.
00:03:55Опять же, это более нишевые проблемы,
00:03:57которые решают некоторые люди,
00:03:58но всегда интересно посмотреть,
00:04:00что происходит в этих областях
00:04:01по сравнению с вашим стандартным
00:04:03вопросом о том,
00:04:03как это работает в бенчмарке агентного программирования.
00:04:05И как я уже намекал во вступлении,
00:04:07произошли некоторые изменения
00:04:08в отношении безопасности,
00:04:09защиты
00:04:09и выравнивания.
00:04:11Если в целом,
00:04:12меньше ложных срабатываний.
00:04:13Вы можете задавать больше вопросов,
00:04:14связанных с такими темами, как кибербезопасность,
00:04:15и она достаточно умна,
00:04:16чтобы просто не паниковать
00:04:18и не перенаправлять вас к Opus
00:04:19несмотря ни на что.
00:04:20Если вы хотите углубиться в этот вопрос,
00:04:21действительно глубоко,
00:04:21у них есть системная карта,
00:04:23с которой вы всегда можете ознакомиться.
00:04:24В ней, знаете ли,
00:04:25несколько сотен страниц материалов,
00:04:27если быть точным — 212,
00:04:28но они дают нам хорошую сводку здесь.
00:04:30Но все, о чем вам нужно беспокоиться,
00:04:31это то, что эти защитные барьеры
00:04:32стали более точными,
00:04:33поэтому они с меньшей вероятностью
00:04:34будут помечать безобидный контент
00:04:35и просто отправлять вас
00:04:36к более слабой модели.
00:04:37В частности, для вопросов по кибербезопасности
00:04:40пользователи Cloud Code
00:04:40могут ожидать в среднем
00:04:41на 60% меньше вмешательств
00:04:43за сеанс
00:04:44со стороны этих механизмов защиты,
00:04:46что здорово,
00:04:46если вы работаете
00:04:47над каким-либо приложением,
00:04:48где вам нужно задавать вопросы
00:04:49о лучших практиках кибербезопасности
00:04:51для вашего конкретного случая использования.
00:04:53У них есть
00:04:53интересный абзац здесь,
00:04:54рассказывающий
00:04:55о механизмах защиты от дистилляции,
00:04:57которая представляет собой метод
00:04:58по сути, извлечь
00:04:59лучшее из Fable 5
00:05:01и Fable 5.1
00:05:02для использования в других моделях.
00:05:03Это очень масштабное
00:05:04обсуждение
00:05:05в контексте
00:05:06моделей с открытым исходным кодом.
00:05:07Вы, наверное, много слышали
00:05:08об этих
00:05:08действительно хороших открытых моделях,
00:05:09которые появляются,
00:05:10и они, без сомнения,
00:05:11будут появляться и дальше,
00:05:13поскольку их дистиллируют
00:05:14из этих передовых моделей.
00:05:15Так что это тот тип
00:05:17обсуждения,
00:05:17за которым стоит
00:05:18следить.
00:05:18Это не особо касается вас,
00:05:20конечного пользователя,
00:05:21но это, знаете ли,
00:05:22такая метатема,
00:05:23где у нас есть все эти
00:05:24модели с открытым кодом,
00:05:25поступающие из Китая,
00:05:26а многие компании,
00:05:26занимающиеся передовыми разработками,
00:05:27находятся в США,
00:05:28и всегда ходят
00:05:29такие разговоры, мол,
00:05:31что все эти модели с открытым кодом
00:05:32на самом деле просто
00:05:32заимствуют идеи
00:05:33из таких вещей, как
00:05:35Opus и Fable.
00:05:36Они приводят пример
00:05:37того, как это работает,
00:05:38когда новые аккаунты API
00:05:39не могут редактировать
00:05:40предыдущий контекст Claude,
00:05:42чтобы по сути извлечь
00:05:43то, как Claude
00:05:44мыслит
00:05:44и приходит
00:05:45к своим ответам.
00:05:46И опять же,
00:05:46это касается
00:05:47именно новых аккаунтов,
00:05:48так что если он у вас уже есть,
00:05:48то опять же,
00:05:49вас это особо не затронет.
00:05:50Теперь, что касается стоимости
00:05:51и доступности:
00:05:52доступность —
00:05:52она доступна
00:05:53повсеместно.
00:05:54Стоимость.
00:05:55За токен,
00:05:56если посмотреть,
00:05:56она точно такая же,
00:05:58как у Fable 5.
00:05:58Мы имеем дело с 10 долларами
00:05:59за миллион входных токенов
00:06:00и 50 долларами за миллион
00:06:02выходных токенов,
00:06:03но на самом деле,
00:06:04когда вы используете это
00:06:05в плане,
00:06:06эй, я поручаю ему
00:06:07выполнить задачу,
00:06:08это обойдется дешевле,
00:06:09и обойдется дешевле
00:06:10благодаря чтению из кэша.
00:06:12Теперь, если вы понятия не имеете,
00:06:12что такое кэширование промптов,
00:06:14можете посмотреть видео,
00:06:14которое я выпустил на прошлой неделе,
00:06:16где я об этом рассказываю.
00:06:18По сути,
00:06:18это огромный плюс,
00:06:19если вы тот, кто
00:06:20выполняет
00:06:20долгосрочные агентные задачи.
00:06:23То есть у вас
00:06:23очень большие сессии,
00:06:25масса контекста,
00:06:26и вы используете модель
00:06:27непрерывно.
00:06:28Вы не даете ей
00:06:29какую-то задачу
00:06:29и возвращаетесь на следующий день.
00:06:30Вы просто общаетесь
00:06:31и общаетесь с ней
00:06:32без перерыва.
00:06:32Так что чтение из кэша
00:06:33стоит на 75% дешевле,
00:06:35а это колоссальное изменение,
00:06:37которое как раз и приводит
00:06:39к снижению затрат.
00:06:40И этот график как раз
00:06:41все это иллюстрирует.
00:06:42Это примерно
00:06:42на 25% дешевле
00:06:44при выполнении обычных задач,
00:06:45но опять же,
00:06:46для ресурсоемких агентных рабочих нагрузок
00:06:47экономия достигает 45%.
00:06:49Так что очень здорово
00:06:49получить обновление
00:06:50модели Fable.
00:06:51Мне нравилась Fable 5,
00:06:53она была так себе
00:06:53по сравнению с Opus 5,
00:06:54но те из вас,
00:06:55кто работал с Fable на практике,
00:06:56я думаю,
00:06:57согласятся с тем,
00:06:58что есть
00:06:59значительная разница
00:07:01в том, что дает нам эта модель
00:07:02по сравнению со всем остальным,
00:07:03что мы получали
00:07:03от Anthropic.
00:07:04Так что получить что-то
00:07:05более качественное,
00:07:06более дешевое
00:07:07и с меньшим количеством поводов для беспокойства
00:07:09по поводу защитных барьеров —
00:07:10это просто здорово.
00:07:11Обязательно опробуйте её.
00:07:12Дайте мне знать,
00:07:13что вы думаете.
Community Posts
No posts yet. Be the first to write about this video!
Write about this video