Дайте мне 9 минут, и я покажу, почему не стоит сбрасывать со счетов Jev
MMaximilian Schwarzmüller
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00Несколько часов назад вышла новая модель ИИ, и я искренне считаю, что она может изменить всё.
00:00:07Знаю, знаю, новые модели выходят почти каждую неделю, но сейчас речь идет
00:00:13не об очередной большой языковой модели. Я говорю о Jeff от TypeSafe AI. Звучит
00:00:19как имя личного помощника вроде Grokbot, да? А TypeSafe AI смахивает
00:00:25на библиотеку TypeScript. Но ничего из этого не верно. Это совершенно новый тип ИИ-модели.
00:00:31Это не большая языковая модель, но она кажется очень умной и дает нам то, что обычные LLM
00:00:39обеспечивают лишь частично. Кстати, сразу уточню: это видео
00:00:44не спонсировано. Вы можете перейти на их сайт typesafe.ai и там
00:00:51встать в очередь. Вчера вечером по немецкому времени я сделал это, как и все, а доступ получил
00:00:56уже сегодня утром. Итак, что же это такое? Идея в том, что у вас есть модель, созданная не для
00:01:04генерации текста, а для его понимания. Вы передаете ей любой текст, а затем задаете
00:01:12несколько вариантов. Вот базовый пример: у меня есть образцы текстов, например письма или
00:01:21сообщения клиентов из чата. Допустим, на вашем сайте есть чат, куда пишут пользователи,
00:01:28и эти тексты — их сообщения. Вы хотите решить, что с ними делать дальше. Конечно,
00:01:34их можно прогнать через языковую модель. Но тут есть пара проблем: во-первых, инъекции промптов;
00:01:40во-вторых, это выходит довольно дорого, так как требуется продвинутая модель. В итоге
00:01:48вы сжигаете кучу токенов, сперва отправляя описания всех инструментов,
00:01:54затем дополнительную информацию и само сообщение клиента.
00:02:00Токены улетают мгновенно. В-третьих, это относительно медленно. Флагманским
00:02:06языковым моделям нужно время на ответ. А Jeff работает супербыстро — счет идет на миллисекунды.
00:02:12Он работает в облаке, а не на вашем ПК, но молниеносно. Суть в том,
00:02:18что вы передаете Jeff сообщение (здесь «ask Jeff» — это просто мой запрос через клиент к ИИ).
00:02:26Вы даете ему текст — причем можно передавать сложнейшие структурированные данные, а не только
00:02:32простую строку, — а затем указываете, что именно делать
00:02:39с этим сообщением. Точнее, вы задаете ему вопросы. Существует три типа вопросов:
00:02:46выбор (Choices), оценка (Scoring) и да/нет (Now). Вопросы с выбором — это именно то, о чем вы подумали:
00:02:53вы задаете варианты, а модель возвращает уровень уверенности, какой вариант верный.
00:02:58Оценка — когда модель выставляет балл. Вы задаете
00:03:02шкалу или уровни, и она оценивает текст на их основе. А «Now» — это вопросы с ответом да или нет.
00:03:10В этом базовом примере я беру сообщения пользователей и отправляю их в модель.
00:03:15Затем я задаю вопросы. Первый: «Какая команда должна обработать это сообщение?», и я предлагаю
00:03:21три варианта. Тут полная свобода — вы можете задать всё, что угодно,
00:03:26и добавить больше вариантов (кажется, до 10 на данный момент), описав суть каждого. Например,
00:03:33для отдела биллинга я поясняю, что он отвечает за платежи, счета и так далее.
00:03:38В демо есть и другие команды. Это первый вопрос, который я отправляю Jeff на основе
00:03:44сообщения клиента. Но это еще не всё, ведь за один заход можно задать сразу несколько вопросов.
00:03:49Можно сделать несколько вопросов с выбором, но я хочу показать по одному из каждой категории.
00:03:53Итак, один вопрос с выбором, один да/нет («Является ли сообщение срочным?»). Направим все
00:04:00три сообщения через модель, чтобы проверить их на срочность. А третий тип
00:04:07вопроса — оценка: я хочу узнать, насколько клиент
00:04:11выглядит раздраженным. Если запустить код, мы увидим,
00:04:20что обработка происходит невероятно быстро. Запрос ушел в облако к ИИ-модели,
00:04:25всё обработалось, но большая языковая модель при этом вообще не задействовалась.
00:04:30Для первого сообщения выбор пал на техподдержку. Уровень уверенности сгенерирован Jeff
00:04:36автоматически. На вопрос да/нет о срочности ответ «да» — тут высокая уверенность,
00:04:42почти единица, а уровень раздражения весьма высокий. Второе
00:04:49сообщение о том, что списали деньги дважды и нужен срочный возврат. Его следует направить
00:04:56в биллинг. Jeff решил, что это срочно, а уровень раздражения тоже довольно высокий. А вот
00:05:03третий вопрос предназначен для отдела продаж: там нет срочности и никакого раздражения.
00:05:09Как видите (по крайней мере, таков мой вывод), это невероятно полезно. Мы можем делать
00:05:18то же самое на LLM, но я уже описал их минусы. А этот подход быстрый и супердешевый.
00:05:24Поговорим о ценах: 42 доллара за МИЛЛИАРД (не миллион, как у других
00:05:33моделей) входных токенов, а исходящие токены бесплатны! Вывод не стоит вообще ничего.
00:05:40Это колоссально дешевле любых больших языковых моделей. Вы можете слать кучу сложных вопросов в Jeff,
00:05:49и это обойдется в копейки, а исходящие токены не стоят ничего. Плюс всё работает невероятно быстро
00:05:56и заточено именно под принятие решений. И если подумать (именно поэтому я так воодушевлен),
00:06:02огромная часть того, что мы разрабатываем, сводится к решениям. Любой ИИ-агент
00:06:08буквально состоит из решений: какой инструмент вызывать и когда. Конечно, как я упомянул,
00:06:15его можно комбинировать с языковыми моделями. Вот еще пример, где я создал ассистента
00:06:22с несколькими простыми вызовами функций. Скажем, это система умного дома,
00:06:29в которой можно включать или выключать свет в комнате (для этого созданы функции-заглушки).
00:06:35Но для определенных задач нам все же нужна LLM, ведь Jeff не умеет
00:06:42составлять тексты. Когда вам нужно сгенерировать текст, например ответное письмо клиенту,
00:06:48без LLM не обойтись. Здесь я подключаю языковую модель
00:06:54через AI SDK от Vercel. Я беру GPT-5.6 Terra со средним уровнем размышления —
00:07:02довольно доступный вариант. При этом выбор инструмента делает Jeff, а не
00:07:10языковая модель. Затем я запускаю выбранные инструменты, причем в одних из них задействована LLM,
00:07:15а в других — нет. Это по-настоящему круто: мы строим системы,
00:07:21где постоянно приходится принимать решения, оценивать что-то или отвечать «да/нет».
00:07:26Сейчас для этого часто привлекают языковые модели, и они хороши,
00:07:31поймите меня правильно. Одно из их бесспорных преимуществ — это контекстное окно.
00:07:36В документации Jeff упоминается лимит около 32 000 токенов текста на вход
00:07:45для вопросов. Есть подобного рода ограничения. В документации также есть целая статья
00:07:50о неоднородности работы их текущей модели: она слаба в математике, числах,
00:07:56сравнении дат и времени. То есть слабые места имеются. Во-первых, я рассчитываю, что,
00:08:05как и другие ИИ-модели, со временем она станет лучше и проблемы решатся. Во-вторых,
00:08:12это не выбор «или-или», а отличный дополнительный инструмент к языковым моделям. Будь он
00:08:18таким же медленным и дорогим, польза была бы сомнительной, но это не так. С его
00:08:24плюсами проект выглядит очень многообещающе. Нам еще предстоит долгосрочное тестирование,
00:08:32проверка в продакшене и на сложных сценариях, чтобы оценить склонность к ошибкам,
00:08:40уязвимость к инъекциям промптов и тому подобное. Но выглядит это
00:08:47очень полезно. И в отличие от той субквадратичной шумихи, которая была пару месяцев
00:08:53назад, этим можно пользоваться и протестировать прямо сейчас. Если получите доступ,
00:08:57вставайте в лист ожидания (мне доступ дали буквально через пару часов). Выглядит крайне
00:09:03перспективно. Думаю, комбинируя Jeff с традиционным
00:09:12детерминированным кодом и языковыми моделями, можно создавать потрясающие
00:09:20системы. Надеюсь, этот обзор дал вам хорошее первое представление о Jeff. Регистрируйтесь
00:09:27в листе ожидания, если хотите потестировать инструмент лично, и пробуйте его в деле!
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기