스크립트
00:00:00Неужели китайская модель общего назначения только что сместила GPT 5.6 и Fable 5?
00:00:05Что ж, если вы хоть немного следили за YouTube или Twitter в последние 24 часа,
00:00:08вас наверняка завалили графиками, показывающими, что KimiK3 работает так же хорошо,
00:00:13если не лучше, чем лучшие модели от Anthropic и OpenAI,
00:00:17и всё это за долю от их стоимости.
00:00:20Но стоит ли верить шумихе?
00:00:22Именно на этот вопрос мы ответим в сегодняшнем видео,
00:00:24глубже изучив, о чём на самом деле говорят эти бенчмарки,
00:00:28и проведя прямое сравнение GPT 5.6, Fable 5 и K3
00:00:34в той области, где KimiK3 показывает лучшие цифры, чем кто-либо другой — фронтенд-дизайн.
00:00:40К концу этого видео у нас будет гораздо лучшее понимание того, является ли KimiK3 новым королем.
00:00:46Начнем с цифр и бенчмарков KimiK3,
00:00:49потому что из них можно извлечь много важного,
00:00:51и здесь есть нюансы, выходящие за рамки этих графиков,
00:00:53которые вы видели повсюду, особенно эти два самых популярных.
00:00:57Итак, KimiK3 — это модель с открытыми весами на 2,8 триллиона параметров.
00:01:02Когда мы говорим “открытые веса”, мы имеем в виду открытый исходный код,
00:01:05но это не значит, что вы можете запустить её на своем компьютере.
00:01:07Для работы такой модели требуется оборудование стоимостью в миллионы долларов.
00:01:11Но всё равно здорово, что она имеет открытые веса,
00:01:12и мы можем видеть, как настроены все параметры,
00:01:15в отличие от Fable 5 или GPT 5.6, где это от нас скрыто.
00:01:20Как же она показывает себя в цифрах?
00:01:23Данные предоставлены Kimi и их лабораторией Moonshot,
00:01:27и они показывают конкуренцию с Fable 5 и GPT 5.6
00:01:31во всех этих основных тестах программирования.
00:01:34Другой график, который вы видели — вот этот.
00:01:36Он от arena.ai и измеряет качество их фронтенд-кода.
00:01:40Этот бенчмарк работает так: вы заходите на arena.ai и просите,
00:01:44например, создать лендинг,
00:01:45и получаете два ответа от двух разных моделей,
00:01:49не зная, где какая.
00:01:50Это как “слепой тест” Pepsi: вы выбираете ту, что нравится больше.
00:01:53Со временем становится ясно, какие модели чаще выбирали в сравнении с конкурентами.
00:01:57И прямо сейчас Kimi K3 показывает результаты лучше, чем любая другая модель в этой сфере.
00:02:01Но понимайте, что это очень, очень субъективно.
00:02:03И когда мы смотрим на эти два графика,
00:02:05и сравниваем их с ценами на эти модели,
00:02:08мы видим, что Kimi K3 также чрезвычайно дешева.
00:02:13Входящие токены стоят $3 за миллион по сравнению с Fable, где это $10,
00:02:17и по сравнению с 5.6, где это $5.
00:02:20То есть это 60% от стоимости 5.6,
00:02:23и 30% от стоимости Fable 5 за вход.
00:02:26А исходящие — это половина стоимости 5.6,
00:02:29и 30% от стоимости Fable 5.
00:02:32Так что гораздо дешевле, и при этом практически так же хороша, если не лучше.
00:02:35Так что же может не нравиться?
00:02:36Но здесь нам нужно копнуть немного глубже
00:02:38в вопросах стоимости и скорости.
00:02:40Потому что одно дело увидеть, мол, за миллион токенов
00:02:43это $3, а та стоит $10.
00:02:45Но сколько токенов она на самом деле использует?
00:02:46Не все модели одинаковы в плане эффективности токенов.
00:02:49Фактически, эти китайские модели с открытым исходным кодом склонны “пожирать” токены,
00:02:53что означает, что на бумаге они очень дешевы.
00:02:56Что это значит на самом деле?
00:02:57И как это сравнивается с моделями,
00:02:58которые на самом деле очень, очень эффективны в работе с токенами, как GPT 5.6?
00:03:01Что ж, если мы посмотрим на это данные от Artificial Analysis,
00:03:03которые являются независимым бенчмаркером,
00:03:05у них есть индекс стоимости выполнения интеллектуальных задач.
00:03:09То есть, сколько стоит выполнение этих задач?
00:03:11Kimi K3, здесь мы видим $0,95.
00:03:15По сравнению с GPT 5.6, это $1,04.
00:03:20Так что немного дороже.
00:03:23Если мы посмотрим на 5.5 extra high, ну, это вот здесь.
00:03:26Если мы посмотрим на Terra, то есть 5.6 на максимуме,
00:03:29это вдвое дешевле Kimi K3.
00:03:30Ну, а Claude, конечно, довольно дорогая.
00:03:35Fable 5 — $2,75.
00:03:38Так что экономия средств определенно работает,
00:03:40когда мы сравниваем Fable с Kimi K3.
00:03:42Но когда мы сравниваем с 5.6, разница невелика.
00:03:46Мы говорим о 10% или меньше.
00:03:49Более того, есть случаи, когда Terra,
00:03:51некоторые из этих меньших моделей в экосистеме 5.6,
00:03:54на самом деле вдвое дешевле Kimi K3.
00:03:56Теперь, еще одна вещь, на которую стоит обратить внимание — это время,
00:03:58потому что время — это тоже валюта,
00:03:59которую стоит учитывать.
00:04:01Исторически сложилось так, что эти модели с открытым исходным кодом из Китая медленные.
00:04:04И это видно здесь.
00:04:05Самая медленная модель в группе — это старая Kimi K2.6.
00:04:09Сейчас Kimi K3 стала значительно лучше.
00:04:12На этом графике она показывает шесть минут.
00:04:14Если сравнить это с Fable 5,
00:04:17Fable 5 показывает пять минут, а 5.6 — 4,7.
00:04:21Так что, знаете, она менее эффективна по токенам и работает медленнее.
00:04:27Но в целом, гораздо дешевле, чем Fable 5,
00:04:32и примерно на одном уровне с 5.6.
00:04:34Теперь, последний бенчмарк, о котором я хочу поговорить,
00:04:35— это индекс всезнания (omniscience index).
00:04:37Он измеряет уровень галлюцинаций.
00:04:39Модели дают ряд очень сложных вопросов,
00:04:42на которые она может знать или не знать ответа.
00:04:44Оценка выставляется в зависимости от того, дала ли она верный ответ.
00:04:46Ошиблась ли она?
00:04:47Или ответила “я не знаю”?
00:04:49За верный ответ начисляется балл.
00:04:50За неверный балл снимается.
00:04:52И ноль баллов, если просто говорит “не знаю”.
00:04:54И мы видим здесь — это из 100 баллов —
00:04:57что Fable 5 показывает лучший результат в 40 баллов.
00:05:005.6 далеко позади с 22.
00:05:03А Kimi K3 набрала 18.
00:05:06И я думаю, этот бенчмарк действительно важен,
00:05:08если вы используете агентов в контексте,
00:05:10который требует большого количества нюансов
00:05:11и где много неопределенности.
00:05:13Так что, учитывая все эти бенчмарки вместе,
00:05:14я думаю, к чему нам стоит прийти,
00:05:16так это к тому, что Kimi K3 на бумаге чрезвычайно мощная.
00:05:19Однако, когда мы говорим о том, насколько она дешевая,
00:05:21это несколько преувеличено,
00:05:23особенно по сравнению с моделями GPT,
00:05:25которые гипер-эффективны в плане токенов.
00:05:27К тому же, Kimi K3 еще и немного медленнее.
00:05:30Так что теперь вопрос лишь в том,
00:05:32что из этих трех факторов наиболее важно для вас:
00:05:34мощность, стоимость или скорость.
00:05:38А теперь перейдем к фронтенду
00:05:39и протестируем эти три модели.
00:05:40Итак, слева у меня
00:05:42Fable 5, запущенная в Claude Code.
00:05:45А справа у меня Kimi K3,
00:05:46также запущенная в Claude Code.
00:05:49А сзади у меня Codex.
00:05:51Итак, вот какой промпт я собираюсь дать.
00:05:54Я говорю, что хочу построить
00:05:55панель управления путешествиями с 3D-глобусом,
00:05:57которая ощущается как сцена из моего научно-фантастического фильма,
00:05:59а не просто веб-сайт.
00:06:01Я говорю, что по сути хочу
00:06:02сделать это визуальным зрелищем.
00:06:04И хочу, чтобы они проявили креативность.
00:06:06Более того, я говорю: удивите меня
00:06:08хотя бы одной идеей, которой я еще не видел.
00:06:10Я стараюсь не быть слишком конкретным в этом промпте,
00:06:13потому что хочу увидеть,
00:06:14насколько расходятся модели
00:06:15и что они на самом деле построят.
00:06:16Итак, давайте подвергнем их испытанию.
00:06:20Хорошо, все три закончили
00:06:22создание своего сайта.
00:06:23Теперь мы пройдемся по каждому.
00:06:24А в конце
00:06:25сравним реальную стоимость,
00:06:28количество использованных токенов и время.
00:06:30Итак, начнем с Kimi 3.
00:06:34Вот так.
00:06:35У нас есть 3D-Земля.
00:06:37Я могу приближать и отдалять.
00:06:38Я могу вращать её.
00:06:41Детализация не очень высокая,
00:06:43но это нормально.
00:06:43Если я нажму на что-то вроде Мехико,
00:06:46ничего особенного не происходит.
00:06:51Что еще?
00:06:51Тут есть еще несколько точек,
00:06:53например, Кейптаун.
00:06:55Слева здесь
00:06:56показаны активные маршруты.
00:06:58Если я нажму на активный маршрут, например, Токио,
00:07:01он действительно переносит меня туда.
00:07:02А справа,
00:07:04я немного сдвинусь.
00:07:05Мы видим, знаете ли,
00:07:07время в пути,
00:07:08погоду,
00:07:09лучшее время для путешествия,
00:07:10въезд,
00:07:11и, в общем-то,
00:07:12текущую стоимость.
00:07:16И когда я кликаю по элементам слева,
00:07:19знаете,
00:07:20он переносит меня в разные города
00:07:21и показывает их статистику.
00:07:23Так что в целом,
00:07:24довольно круто.
00:07:24И видно, как Земля
00:07:26делится на,
00:07:29ну, знаете,
00:07:29день и ночь и все такое.
00:07:31Так что в целом,
00:07:31выглядит очень мило.
00:07:32Теперь давайте взглянем на Fable 5.
00:07:34Итак, с самого начала
00:07:36я бы сказал, что эта графика
00:07:38выглядит немного чище, да?
00:07:39Если мы сравним эти два,
00:07:39выглядит немного более четко.
00:07:40Тут даже есть освещение,
00:07:43что круто.
00:07:44У нас есть то же самое
00:07:45разделение на
00:07:46день и
00:07:46ночь,
00:07:47но я могу на самом деле,
00:07:49у меня есть колесико прокрутки,
00:07:51маленькая штука прямо здесь,
00:07:52где я могу переключаться между днем и ночью,
00:07:55что довольно круто.
00:07:57Я не могу сильно приблизить,
00:08:00но я вижу больше городов
00:08:02и выглядит это более детализировано.
00:08:04Так что если я нажму на один из них,
00:08:06да,
00:08:06все как раньше,
00:08:08показывает статистику.
00:08:09Широта и долгота показывают условия
00:08:11в плане погоды и времени,
00:08:12а также то, какой там тариф.
00:08:15Показывает обратный тариф,
00:08:16хотя я не совсем уверен,
00:08:17откуда это вообще берется.
00:08:19Если я нажму здесь слева,
00:08:21то же самое,
00:08:22переносит меня в этот город.
00:08:24Я вижу некоторые показатели,
00:08:25а также стоимость.
00:08:27Я думаю, в целом,
00:08:29что касается качества пользовательского интерфейса
00:08:33между этими двумя,
00:08:34мне больше нравится то,
00:08:36что предложили в Fable 5,
00:08:38особенно вот эта вот,
00:08:40знаете,
00:08:41смена дня и ночи,
00:08:42которая там есть.
00:08:44И что интересно,
00:08:45похоже,
00:08:46когда я меняю время суток,
00:08:48видите,
00:08:48обновляется стоимость
00:08:50справа
00:08:51в зависимости от того,
00:08:52когда вы собираетесь
00:08:53туда прибыть.
00:08:55Так что довольно неплохо.
00:08:56А теперь давайте посмотрим на GPT 5.6.
00:08:59Первые впечатления:
00:09:01кажется, это шаг назад
00:09:02по сравнению с тем, что мы видели
00:09:03у Kimmy K3
00:09:04и Fable
00:09:04в плане самого глобуса.
00:09:06Те глобусы
00:09:07определенно более проработаны
00:09:09и выглядят
00:09:09как более впечатляющее зрелище.
00:09:11Здесь,
00:09:11мне кажется, они почти что
00:09:12стремились к научно-фантастическому виду.
00:09:15Там есть какие-то случайные,
00:09:17типа,
00:09:17это что вообще такое?
00:09:19Ладно.
00:09:20То же самое,
00:09:21если я нажимаю на определенные города,
00:09:23как Сингапур,
00:09:24появляется это окно,
00:09:24но оно как бы перекрывает
00:09:26сам глобус,
00:09:27а текст везде такой мелкий,
00:09:29что его почти невозможно прочитать.
00:09:31У меня тут внизу есть
00:09:33переключатель дня и ночи,
00:09:35почти такой же,
00:09:36как был там,
00:09:37в Fable 5,
00:09:39но работает он не так хорошо.
00:09:42А когда наступает ночь,
00:09:43вы даже не видите
00:09:44сам континент.
00:09:45Думаю, эти огни
00:09:46должны обозначать города.
00:09:47Если я нажму здесь слева,
00:09:49да,
00:09:50все как раньше,
00:09:51переносит нас к конкретным городам.
00:09:53Но опять же,
00:09:53это определенно шаг назад
00:09:54по сравнению с двумя предыдущими.
00:09:56В общем,
00:09:56сравнивая эти три,
00:09:57я бы отдал лидерство Fable 5.
00:10:00Недалеко позади,
00:10:02я бы поставил Kimi K3,
00:10:04а на третье место
00:10:05я бы поставил GPT 5.6.
00:10:07Теперь давайте сравним токены,
00:10:09время и стоимость,
00:10:10потому что мы видели результат,
00:10:11но сколько нам на самом деле
00:10:13пришлось за это заплатить?
00:10:15У нас была Kimi,
00:10:16у нас была Fable,
00:10:17и еще был Codex,
00:10:19который я просто обозначу как X.
00:10:21Что касается токенов,
00:10:24Kimi была, безусловно, самой тяжелой.
00:10:26Ей потребовалось 21,5 миллиона токенов,
00:10:30чтобы это сделать.
00:10:31А по времени,
00:10:33это заняло один час
00:10:35и 33 минуты.
00:10:37Более 90 минут,
00:10:39чтобы создать это,
00:10:39и 21,5 миллиона токенов.
00:10:42Стоимость,
00:10:42и всё это данные
00:10:43из Open Router,
00:10:44составила 8,66 доллара.
00:10:47Теперь давайте обсудим Fable.
00:10:49Что касается токенов,
00:10:50она использовала 3,5 миллиона.
00:10:53По времени,
00:10:55это заняло всего 17 минут,
00:10:56а общая стоимость
00:10:58составила 11,64.
00:11:00Опять же,
00:11:02о чем я говорил
00:11:02в начале?
00:11:03Мы говорили о скорости
00:11:04и эффективности использования токенов.
00:11:06Kimi K3 явно
00:11:07сильно отстает от Fable
00:11:09в этом плане,
00:11:09особенно когда дело доходит
00:11:11до времени.
00:11:11И когда мы посмотрели
00:11:12на стоимость одного миллиона токенов,
00:11:14казалось бы, типа,
00:11:15о,
00:11:16это
00:11:16треть от стоимости Fable.
00:11:17Ну,
00:11:18в реальности,
00:11:19не совсем.
00:11:20Все равно дешевле Fable.
00:11:20Не поймите меня неправильно,
00:11:22но не настолько
00:11:23эффективно.
00:11:25Затем у нас был Codex,
00:11:26результатом которого я,
00:11:27честно говоря,
00:11:28был немного разочарован.
00:11:28Он использовал 5,6 миллиона токенов.
00:11:29По времени
00:11:32он занял 25 минут,
00:11:33а его общая стоимость
00:11:35составила 5,66.
00:11:36Если вы задаетесь вопросом,
00:11:38как токены
00:11:39и стоимость
00:11:40не совсем совпадают
00:11:42с тем, что рекламируется
00:11:42для входных и выходных данных,
00:11:43поймите, что
00:11:44во всех трех случаях
00:11:44активно используется кэширование.
00:11:46Что это всё означает?
00:11:47Ну,
00:11:48самое главное — Kimi,
00:11:49верно?
00:11:51Очень требовательна
00:11:52к токенам,
00:11:52и работала она целую вечность.
00:11:53Полтора часа.
00:11:55Честно говоря,
00:11:56когда я делал это видео,
00:11:57я думал:
00:11:59о, может быть,
00:12:00я сделаю три,
00:12:00может даже четыре примера.
00:12:01Нет,
00:12:01я не собираюсь
00:12:02сидеть тут
00:12:0220 часов ради этого.
00:12:03И,
00:12:03знаете,
00:12:04да, она сильно отстает
00:12:05по этим двум параметрам
00:12:06от передовых моделей,
00:12:07но в целом
00:12:09результат был достойным.
00:12:09Знаете,
00:12:10я думаю, она проделала
00:12:11в этих двух областях
00:12:12если учесть все факторы.
00:12:13И самой дорогой
00:12:14из всех,
00:12:15очевидно,
00:12:15была Fable,
00:12:16а самой дешевой —
00:12:17Codex.
00:12:18Так что же мы можем
00:12:19вынести из всего этого?
00:12:20Ну,
00:12:20я думаю, что мы можем
00:12:21а Fable
00:12:22была самой дорогой.
00:12:24Так что же мы можем
00:12:26вынести из этого?
00:12:27Что ж,
00:12:27я думаю, что мы можем вынести,
00:12:29по крайней мере,
00:12:29здесь во фронтенде,
00:12:31и это, вероятно,
00:12:32применимо и к кодингу,
00:12:32если мы хотим
00:12:33принимать результаты
00:12:33тестов на веру,
00:12:34это то, что Kimi
00:12:36может конкурировать.
00:12:37Kimi K3
00:12:38— это модель с открытым исходным кодом,
00:12:39которая может составить
00:12:40конкуренцию Fable в 5.6.
00:12:42Однако,
00:12:43она не так дешева,
00:12:45как вы могли ожидать.
00:12:46В определенных случаях
00:12:47она даже дороже.
00:12:49И она просто медленная.
00:12:51Она очень медленная.
00:12:54Что, по сути,
00:12:55является решающим
00:12:55фактором для многих людей,
00:12:56в зависимости от того, что вы делаете.
00:12:58Но,
00:12:58если вас это устраивает,
00:13:01знаете,
00:13:02то, возможно, это
00:13:03не такой уж большой минус.
00:13:03Но я думаю,
00:13:04главное, что теряется
00:13:05в тестах и цифрах
00:13:06— это действительно стоимость.
00:13:06Верно?
00:13:07Потому что она не так дешева,
00:13:08как ожидалось,
00:13:09из-за этой
00:13:09неэффективности
00:13:10в том, что касается
00:13:11реального расхода токенов.
00:13:12На этом я с вами
00:13:12прощаюсь.
00:13:14Надеюсь, мне удалось
00:13:15пролить больше света
00:13:16на Kimi K3.
00:13:16Я думаю, она потрясающая.
00:13:17У нас есть модель с открытым кодом,
00:13:18которая может конкурировать.
00:13:19Но давайте не будем
00:13:20забегать вперед
00:13:21в плане её реальной мощи
00:13:22и, особенно,
00:13:23её стоимости.
00:13:23Как в деньгах,
00:13:24так и во времени.
00:13:25Так что
00:13:26дайте знать в комментариях,
00:13:27что вы думаете.
00:13:28и времени.
00:13:29Так что,
00:13:30к моему мастер-классу по Cloud Code,
00:13:31который теперь также включает
00:13:31мастер-класс по Codex.
00:13:32Помимо этого,
00:13:32ещё увидимся.
00:13:33на мой мастер-класс по Cloud Code
00:13:34который также включает
00:13:35мастер-класс по Codex
00:13:36...
00:13:37Помимо этого,
00:13:39ещё увидимся.