Pinecone 2.0 — Эдо Либерти, Pinecone

Русскийالعربية Deutsch English Español Français हिन्दी Bahasa Indonesia 日本語 한국어 Português 中文

Computing/SoftwareInternet Technology

Transcript

00:00:00интерфейс. В этой работе реализовано множество отличных идей, но я

00:00:06хочу рассказать вам об одной из них. То, что вы видите,

00:00:11— это интерфейс Nexus. Вверху отображается вопрос, который

00:00:17задал агент, а слева видны шаги, которые он

00:00:23выполнил. Внизу справа, пожалуй, самое интересное —

00:00:28сгенерированный код. Nexus работает принципиально иначе,

00:00:34чем другие системы: это агентивный кодер времени выполнения. В отличие

00:00:40от привычных систем программирования, где задача — взять крупную кодовую

00:00:49базу и помочь с её редактированием, после завершения правок вы получаете

00:00:55готовое ПО, которое развёртывается и становится итоговым продуктом.

00:01:00Исполняемый файл больше не содержит модель — только код. Но здесь

00:01:05всё иначе: во время запроса движок буквально

00:01:10создаёт среду вроде Jupyter Notebook или Python-репозитория.

00:01:16Агенты пишут код и запускают его. Если получен нужный результат, они знают, как действовать дальше,

00:01:20а если результат не тот, который ожидали, переписывают этот фрагмент кода.

00:01:24В итоге вы получаете

00:01:30фрагмент кода, решающий задачу и извлекающий нужные данные.

00:01:36Его можно сохранить и запустить повторно, но главное — он невероятно гибок,

00:01:42поскольку ответ получен не стандартным запросом к базе данных,

00:01:50а сформирован кодом, что даёт колоссальную гибкость. Кстати,

00:01:57что интересно: при таком подходе к разработке ПО

00:02:05объём промптов существенно снижается. Мы сократили его

00:02:08со 150 000 токенов, необходимых для описания всех инструментов агента,

00:02:12до менее чем 1000 токенов для задания всех

00:02:16интерфейсов извлечения данных из Nexus. Вживую

00:02:23процесс выглядит следующим образом: слева вы видите,

00:02:29как Nexus с noQL отвечает на вопрос, а справа — та же задача,

00:02:38выполняемая агентом со всем набором инструментов. Но учтите:

00:02:43вариант справа сильно ограничен. Это как сотрудник в первый день

00:02:48работы: ему нужно изучить кучу информации, понять, где находятся данные,

00:02:51разобраться в задаче и написать массив кода. Ему крайне

00:02:55сложно. Не знаю, заметили ли вы, но

00:03:02само собой, этот метод намного медленнее и затратнее по

00:03:08расходу токенов. Что ещё интереснее, он значительно менее

00:03:12точен, так как у агента нет нужного контекста и целей.

00:03:17Мы уже сотрудничаем с рядом

00:03:25ранних клиентов, и результаты перед вами. Не вдаваясь

00:03:30в подробности, скажу, что в самых разных сферах,

00:03:35компаниях и типах задач наблюдается одна и та же

00:03:40картина: переход на эту парадигму дает существенную экономию средств — снижение

00:03:50расхода токенов на 77–90% стало обычной нормой. Скорость работы

00:03:58возрастает на 20–30%, а иногда и до 77%.

00:04:07И самое главное — точность решений при этом

00:04:11тоже заметно возрастает. Это безоговорочный успех. В заключение скажу,

00:04:20что Nexus выходит из стадии раннего доступа в публичное превью буквально завтра, так что обязательно попробуйте.

00:04:50Спасибо.

Key Takeaway

Переход на агентивное программирование времени выполнения в Nexus сокращает расход токенов до 90% и ускоряет работу системы на 77% за счет динамического создания и выполнения кода под каждый запрос.

Highlights

Движок Nexus динамически создает исполняемую среду Python при каждом запросе, генерируя и тестируя код в реальном времени.
Объем промптов для функций извлечения данных снизился со 150 000 до менее чем 1000 токенов.
Использование архитектуры Nexus снижает расходы на токены на 77–90%.
Скорость выполнения задач возрастает в диапазоне от 20% до 77%.
Точность выполнения задач повышается благодаря динамическому тестированию и переписыванию неудачных фрагментов кода.

Timeline

Архитектура агентивного кодера Nexus

Nexus формирует изолированную среду исполнения кода непосредственно во время обработки запроса.
Агенты проверяют корректность написанного кода и автоматически исправляют ошибки до вычитки итогового результата.
Формирование ответа через исполняемый код сокращает размер контекста со 150 000 токенов до менее чем 1000 токенов.

Классические инструменты генерации кода отдают пользователю готовый статичный файл после завершения работы модели. Nexus работает в режиме времени выполнения: под каждый запрос создается виртуальная среда типа Jupyter Notebook. Агент пишет код, запускает его, оценивает промежуточный результат и переписывает неудачные блоки. Такой подход избавляет от необходимости передавать описания всех инструментов в промпте, сводя интерфейс извлечения данных к минимальному набору инструкций.

Сравнение производительности и точности

Стандартные агенты со множеством внешних инструментов перегружают контекстное окно и работают медленнее.
Нехватка точного контекста в классических системах приводит к снижению точности ответов.
Динамическая генерация кода исключает избыточные затраты ресурсов на обработку больших массивов информации.

При традиционном подходе агент вынужден анализировать всю структуру данных и доступные инструменты с нуля, что аналогично первому дню сотрудника на новом рабочем месте. Это создает избыточную нагрузку на модель и увеличивает финансовые затраты на токены. Использование специализированного генератора кода Nexus избавляет систему от слепых зон в контексте и повышает итоговую точность вычислений.

Метрики и экономическая эффективность Nexus

Расход токенов в реальных сценариях клиентов снизился на 77–90%.
Общее время выполнения задач сократилось на величину от 20% до 77%.
Публичный превью-доступ к Nexus открывается на следующий день после презентации.

Тестирование технологии на ранних клиентах из различных отраслей подтвердило стабильное снижение затрат при одновременном росте производительности. Экономия достигается за счет уменьшения объема передаваемых промптов и исключения холостых циклов генерации. Повышение точности решений зафиксировано во всех типах обрабатываемых задач.

Community Posts

No posts yet. Be the first to write about this video!

Write about this video