스크립트
00:00:00Fable 5.1 — это новейший релиз от Anthropic, и сейчас это одна из лучших доступных моделей.
00:00:05Но она ведет себя не так, как предыдущие версии, и вам потребуется немного изменить
00:00:09подход к работе с ней. Ведь если использовать ее привычным для старых моделей образом,
00:00:13вы не задействуете ее потенциал по максимуму и можете даже получить худшие результаты.
00:00:18Например, Anthropic заявляет, что эта модель идеально подходит для долгих задач, но справляется с ними
00:00:23только при определенных промптах. К тому же есть одна настройка, которую, по словам Anthropic,
00:00:28стоит выкручивать на максимум, но на деле она лишь ухудшает результат. Если вы здесь впервые,
00:00:32мы — софтверная компания, а это наш канал AI Labs. И в этом видео мы разберем 7 советов
00:00:37по максимальному использованию Fable 5.1. Но прежде чем переходить к ним, нужно сказать
00:00:42несколько слов об этой новой модели. При ее анонсе Anthropic утверждала, что она гораздо
00:00:48лучше справляется с завершением задач. Однако Fable 5.1 не делает работу качественнее,
00:00:54просто она выполняет больший объем за меньшие деньги. Мы убедились в этом на проектах наших клиентов:
00:01:00мы давали Fable 5 и Fable 5.1 одинаковые задания и запускали каждую по нескольку раз.
00:01:05Не раскрывая деталей проектов, скажем, что Fable 5 справилась лучше с большинством задач,
00:01:10а Fable 5.1 превзошла ее лишь в одной. Но это была самая сложная задача из всех: в ней Fable 5.1
00:01:16оказалась качественнее, завершила работу примерно на 40% быстрее и обошлась более чем вдвое дешевле.
00:01:22Так что Fable 5.1 сильнее в сложных условиях. И даже там, где ее качество было не выше,
00:01:27она доводила дело до конца: Fable 5 иногда останавливалась посреди работы, а Fable 5.1 завершала все.
00:01:33Code есть команда usage, которая примерно оценивает, во сколько обошлась бы вам сессия, если бы вы платили
00:01:38есть команда подсчета расходов, оценивающая сессию по тарифам за токен, а не по подписке.
00:01:45Согласно этой оценке, Fable 5.1 примерно на 47% дешевле Fable 5. Но дело не в том,
00:01:50что модель стала потреблять меньше токенов — изменилась ценовая политика Anthropic.
00:01:55Однако перед этим нужно учесть одну вещь: чем дольше длится задача, тем больше становится диалог.
00:02:00Из-за этого модели приходится перечитывать все больший объем перед новым ответом. Модели не запоминают
00:02:05контекст автоматически от сообщения к сообщению, поэтому для каждого нового ответа
00:02:10вся история диалога отправляется заново. Но вместо того чтобы обрабатывать ее с нуля каждый раз,
00:02:16Claude сохраняет копию уже обработанных частей и использует ее при следующем запросе.
00:02:21Это называется кэш-чтением. Такие чтения тоже стоят денег, но обходятся дешевле обычного ввода-вывода.
00:02:27В Fable 5.1 компания Anthropic снизила стоимость кэш-чтения на 75%. Теперь повторная отправка
00:02:33истории обходится значительно дешевле. На коротких промптах экономия незаметна,
00:02:39поскольку там мало контекста. Но в длинных задачах один и тот же разрастающийся диалог
00:02:44передается снова и снова, и экономия растет с каждым ответом модели.
00:02:50Впрочем, это касается лишь чтения. Генерация текста тарифицируется отдельно, и эта цена не изменилась.
00:02:55Специалисты из Artificial Analysis, независимо тестирующие модели, выяснили,
00:03:01что Fable 5.1 пишет гораздо больше, чем Fable 5. Поэтому итоговый счет вырос даже при удешевлении чтения.
00:03:07В их тестах объем вывода был примерно в 1.7 раза больше, а задача стоила примерно на 20% дороже.
00:03:14У моделей Fable от Anthropic есть защитные фильтры — правила, запрещающие определенные темы.
00:03:19И в Fable 5.1, по заявлениям Anthropic, эти фильтры прерывают сессии примерно на 60% реже.
00:03:25Однако при срабатывании фильтра Claude Code теперь незаметно переключается на более слабую модель
00:03:31и продолжает работу. Эта слабая модель ведет сессию дальше, даже если ваш следующий запрос
00:03:36никак не связан с причиной срабатывания. Вместо отказа вы получаете более слабое качество
00:03:41и думаете, что это результат работы Fable 5.1. Подобное уже произошло с разработчиком игры,
00:03:46в чьих шуточных файлах встретилось слово «биологический». Проект не имел отношения к биологии,
00:03:51но этого слова хватило для смены модели. А если ваш проект действительно связан со сферами,
00:03:55которые регулируют эти фильтры (например, с безопасностью или биологией), избежать этого
00:04:00не удастся ни одной настройкой или формулировкой. Это особенность Fable 5.1. При этом в тестах
00:04:06Artificial Analysis модель Fable 5.1 набирает больше баллов по точности, но чаще галлюцинирует —
00:04:13то есть придумывает ответ, когда чего-то не знает, выдавая его за истину.
00:04:18Fable 5.1 выдавала галлюцинации в 72.6% случаев незнания, тогда как Fable 5 — в 63.6%.
00:04:26Лучше честное признание модели в незнании, чем ее попытка притвориться всезнающей,
00:04:31ведь тогда вы можете всё проверить самостоятельно. Но если модель выдумывает факт
00:04:35и вы доверяете ей на слово, ложная информация попадает прямо в вашу работу.
00:04:40Это особенно важно в исследованиях и текстах, где проверка отнимает много времени.
00:04:45А перед тем как перейти к советам, подпишитесь на канал и поставьте лайк.
00:04:50Этот небольшой жест поддержки очень важен для нас. Услышав всё это, вы можете подумать,
00:04:56что старая модель в чем-то явно лучше. Это правда, но в то же время новая модель станет
00:05:01моделью по умолчанию в привычных вам приложениях. Именно поэтому необходимо следовать
00:05:06советам, о которых мы расскажем, иначе вы не раскроете ее потенциал полностью.
00:05:11Первый способ эффективнее использовать Fable 5.1 — снизить уровень усилий (effort).
00:05:16Для тех, кто не знает,effort — это параметр, определяющий объем работы модели перед ответом.
00:05:21Он влияет как на качество работы, так и на ее стоимость. Создатели инструмента для ревью кода
00:05:26Code Rabbit протестировали Fable 5.1 на реальных задачах и выяснили, что на низких усилиях
00:05:33она находила 61% проблем против 57.1% на высоких, выполняя работу примерно на 3 минуты быстрее.
00:05:39Мы наблюдали то же самое, когда добавляли функцию на наш сайт с помощью Fable 5.1.
00:05:44При высоких усилиях она долго буксовала на одном фрагменте, тогда как на низких завершила
00:05:49всё быстрее и выдала лучший результат. Мы советовали низкие усилия в прошлом видео про Fable,
00:05:54и после знакомства с Fable 5.1 наша рекомендация не изменилась. Начинайте с низких усилий
00:06:00и повышайте их только при реальной необходимости, иначе вы просто тратите время и токены.
00:06:05Второй шаг — удалить старые инструкции, написанные для предыдущих моделей.
00:06:10Они остаются в конфигурации при переходе на Fable 5.1, хотя проблемы, которые они решали,
00:06:15уже исчезли. В итоге модель вынуждена следовать растущему списку исправлений несуществующих ошибок.
00:06:21Это пускает лимиты на ветер, а некоторые старые костыли теперь вызывают новые проблемы.
00:06:25Мы уже упоминали об этом в прошлом видео. Вы можете спросить: как понять, какая инструкция
00:06:30важна, а какая нет? Проведите тест: удалите инструкцию из файла Claude.md и дайте Claude
00:06:36похожую задачу. Если результат не изменился, эта инструкция больше не нужна.
00:06:41Но делать всё вручную необязательно. В Claude Code есть команда Claude API Prompt Audit,
00:06:46которая находит такие инструкции за вас. Запустите ее в терминале, и она проверит
00:06:51все сохраненные для Claude настройки, выявит атавизмы старых моделей и выдаст
00:06:56рекомендации по изменениям. Она ничего не меняет сама, позволяя вам сначала изучить список
00:07:01и одобрить только то, с чем вы согласны. Перед следующим советом послушайте нашего спонсора —
00:07:06Porkbun. Вы наконец-то запустили приложение, но оно застряло на случайном стандартном URL,
00:07:12хотя ему нужен собственный нормальный домен. Тут на помощь приходит Porkbun с доменами .app и .dev,
00:07:18созданными специально для технологических проектов. Домен .app идеально подходит для приложения
00:07:23или лендинга SaaS, а .dev — для портфолио разработчика или документации,
00:07:28чтобы сразу показать серьезность проекта. И это не просто красивые имена: каждый домен .app и .dev
00:07:33внесен в список предзагрузки HSTS, что означает автоматический HTTPS для любого соединения без лишней настройки,
00:07:39а бесплатный SSL-сертификат идет в комплекте, гарантируя безопасность с первой секунды.
00:07:45Лучшая часть: первый год доступен всего за $5.99 с бесплатной защитой WHOIS без скрытых платежей.
00:07:52А со второго года продление идет по себестоимости, сохраняя низкую цену в долгосрочной перспективе.
00:07:58Заберите свой домен за $5.99 на [porkbun.com/ailabs26](https://www.google.com/search?q=https%3A%2F%2Fporkbun.com%2Failabs26). Ссылка в описании.
00:08:03Anthropic позиционирует Fable 5.1 для долгих задач, которые можно оставить без присмотра,
00:08:09но модель все равно прерывается, запрашивая разрешение на шаг, уже охваченный вашим исходным запросом.
00:08:14Она задает вопрос и ждет, а когда ответить некому, ожидание равносильно остановке.
00:08:19Это происходит потому, что по умолчанию модель рассчитывает на постоянный диалог с вами.
00:08:24Поэтому в гайде по промптам для Fable 5.1 рекомендуют указывать, что за работой никто не следит,
00:08:29и модель должна продолжать выполнять всё задуманное, если это можно отменить в случае ошибки.
00:08:34Это дает ей карт-бланш на завершение долгой задачи без лишних вопросов.
00:08:39Также у Fable 5.1 есть привычка делать больше, чем вы просили.
00:08:43Например, попросив добавить одну функцию, вы можете обнаружить, что она попутно исправила
00:08:48соседнюю проблему или расширила функционал сверх описанного.
00:08:53Мы столкнулись с этим в клиентском проекте: запросив фичу, мы увидели, что модель отредактировала
00:08:58тестовые файлы, к которым ее никто не просил прикасаться. Проблема в том, что такие лишние правки
00:09:03могут затронуть части кода, которые вы хотели оставить нетронутыми. Поэтому в заданиях для Fable 5.1
00:09:08чтобы оно меняло только то, что требуется для задачи. А если оно замечает другую проблему,
00:09:13оно упоминает её в самом конце. И когда мы сделали так в нашем проекте и прямо попросили его не трогать
00:09:18тестовые файлы, оно работало только над нужной функцией. У Fable 5.1 есть ещё одна особенность, которая проявляется
00:09:24при любом изменении файлов. Когда оно выполняет задачу и нужно изменить лишь малую часть файла,
00:09:29оно вместо этого перезаписывает файл целиком, хотя остальная его часть вообще не меняется.
00:09:33Вам это может показаться нормальным, ведь вы всё равно получаете нужный результат, но каждая из этих
00:09:38строк тратит выходные токены, и при работе с большим количеством файлов лимит исчерпывается гораздо быстрее.
00:09:43Мы столкнулись с этим на нашем проекте второго мозга: там каждое мелкое изменение обходилось дороже, чем должно,
00:09:48поскольку модель постоянно перезаписывала файлы, которые можно было просто отредактировать. Чтобы это исправить,
00:09:52нужно сказать Fable 5.1, что если небольшое изменение дает тот же результат,
00:09:56нужно править только этот фрагмент. Следующая проблема связана не с тем, сколько Fable 5.1 пишет,
00:10:01а с тем, как оно пишет. Мы уже видели это у Opus 5, который злоупотреблял тем, что Anthropic называет
00:10:06“жеманной прозой”. Для тех, кто не знает, “жеманная проза” — это когда модель использует вычурные
00:10:11фразы и метафоры вместо того, чтобы выражаться прямо. Например, вместо того чтобы сказать, что параметр
00:10:16стоит изменить, модель называет его “циферблатом, который стоит покрутить”. И в сложной исследовательской задаче
00:10:20такой язык мешает уловить даже саму суть, которую пытается донести модель.
00:10:24Правда, в Fable 5.1 этого меньше, чем в Opus 5 и Fable 5, и в ней также реже встречаются дежурные фразы и ненужный
00:10:31жаргон. Но проблема в её стиле всё еще остается, и по сравнению с Fable 5,
00:10:36её предложения длиннее, а абзацы разделены реже, из-за чего воспринимать текст становится еще труднее.
00:10:41Поэтому нужно просто попросить модель убрать всю жеманную прозу, и это решает обе проблемы. Именно так мы поступили,
00:10:46когда запустили её для одной из наших исследовательских задач, где она использовалась для письма, а не для разработки.
00:10:51Последний момент касается того, какие именно задачи вы поручаете Fable 5.1. Всё, о чем мы говорили до сих пор, помогает
00:10:56выжать из неё максимум, но тип работы важен не меньше, поскольку Fable 5.1 лучше всего проявляет себя на масштабных проектах.
00:11:01Когда мы запускали задачи для наших проектов, Fable 5 справлялась с самыми простыми лучше,
00:11:07но со сложнейшими Fable 5.1 справилась лучше, выполнив работу примерно на 40% быстрее и потратив на 58% меньше средств.
00:11:14Так что Fable 5.1 побеждает именно в крупных задачах, ведь там действительно важно довести дело до конца,
00:11:19не прерываясь на каждом шагу. Именно поэтому не стоит разбивать функцию на множество мелких запросов
00:11:23и давать их по одному шагу за раз. Лучше описать всю функцию целиком и четко сформулировать желаемый результат,
00:11:28и тогда вы увидите, как она сама доделает всю функцию до конца. А если вы хотите получить доступ ко всем навыкам
00:11:33и рабочим процессам, которые мы показываем в наших видео, вы можете найти их в AI Labs Pro, нашем сообществе.
00:11:38Так что, если вам полезно то, что мы делаем, и вы хотите поддержать канал, это лучший способ.
00:11:43Ссылка в описании. На этом наше видео подходит к концу. Если вы хотите поддержать
00:11:48канал и помочь нам продолжать делать такие видео, вы можете воспользоваться кнопкой «Спасибо» под видео.
00:11:53Как всегда, спасибо за просмотр, и до встречи в следующем выпуске.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기