Наблюдаемость в облаке ИИ

VVercel
AI/미래기술창업/스타트업컴퓨터/소프트웨어

Transcript

00:00:00(жизнерадостная музыка) - Привет всем,
00:00:06спасибо,
00:00:08что пришли сегодня.
00:00:12Я Малавика, и, как вы слышали, я продакт-менеджер в Vercel.
00:00:15Надеюсь, вы хорошо провели день на конференции.
00:00:18Я просто поражена тем,
00:00:19что вы создаёте с помощью наших инструментов с открытым исходным кодом и примитивов инфраструктуры.
00:00:24Было так приятно встретить многих из вас лично впервые и увидеть новые и знакомые лица.
00:00:31Так что сегодня мы много узнали об AI cloud.
00:00:38К этому моменту вы, наверное, устали слышать про AI cloud.
00:00:43Вы, может быть, думали: ну когда же уже будет happy hour?
00:00:47Но как напоминание,
00:00:49в случае если сообщение ещё не совсем дошло,
00:00:52Vercel — это единая платформа для разработки,
00:00:56развёртывания и запуска интеллектуальных приложений и агентов за ними.
00:01:02Миссия Vercel всегда была скрыть сложность управления инфраструктурой и позволить вам сосредоточиться на создании потрясающего опыта пользователей.
00:01:14Поэтому когда мы думаем о том,
00:01:17как хорошо нам удалось упростить процесс разработки,
00:01:23мы действительно хорошо справились с этапом сборки.
00:01:29Framework-ориентированная инфраструктура означает,
00:01:31что вам не нужно думать об основных примитивах инфраструктуры.
00:01:35Нет необходимости в сложной оркестровке или коде для определения инфраструктуры.
00:01:40Мы берём на себя подготовку вычислительных ресурсов,
00:01:43сетей,
00:01:43кэширования и многого другого,
00:01:45чтобы вы могли сосредоточиться на логике приложения.
00:01:48Но если посмотреть на этап выполнения,
00:01:50то здесь нам ещё предстоит много работы,
00:01:53чтобы сделать его таким же простым и лёгким,
00:01:55как сборка.
00:01:56К сожалению,
00:01:57управление приложением во время выполнения остаётся очень трудозатратным для команд разработчиков.
00:02:06Например,
00:02:07сколько здесь в зале было крупных инцидентов на прошлой неделе?
00:02:12Я вижу не так много поднятых рук.
00:02:15Я удивлена.
00:02:16Ну, может быть, вы используете GCP?
00:02:20Может быть, кто-то из вас.
00:02:22Вы,
00:02:23наверное,
00:02:24очень довольны тем,
00:02:25что самостоятельно запускаете Next.js на VPS в Hetzner.
00:02:29Вы думаете: облако меня не достанет.
00:02:33Но реагирование на инциденты связано с огромным количеством ручной работы.
00:02:38Сначала команды должны настроить оповещения и мониторинг,
00:02:41чтобы выявить потенциальные проблемы.
00:02:44Эти инструменты мониторинга впоследствии вызывают усталость от оповещений,
00:02:48поскольку команды пытаются выявить важные проблемы среди шума.
00:02:52А когда мы выявляем проблему,
00:02:55команды тратят часы на отладку,
00:02:57поиск первопричины и применение исправления.
00:03:02Так что,
00:03:02собственно,
00:03:03здесь,
00:03:04в зале,
00:03:04мы сделаем это немного интерактивным.
00:03:08Как вы думаете,
00:03:09сколько времени разработчики тратят на отладку инцидента?
00:03:13Сколько из вас думают,
00:03:14что это менее 20% времени инцидента уходит на отладку?
00:03:18- Больше. - Больше?
00:03:20Я слышала 80%.
00:03:22Так что, по нашему мнению, это примерно...
00:03:24Кто-то думает, что 40%?.
00:03:26Окей, у нас есть... Кто-то думает 60, 70?
00:03:33Окей, похоже, это может быть примерно консенсус.
00:03:36На самом деле,
00:03:37оказывается,
00:03:38что 50% времени инцидента уходит на выявление первопричины и определение того,
00:03:44кто должен это решить.
00:03:46Это же безумие!
00:03:47В 2025 году,
00:03:48с ИИ,
00:03:48мы тратим часы ценного времени разработчиков на отладку проблем..
00:03:54А что если мы сможем сократить это до секунд?
00:03:56Ну, с Vercel Agent вы можете.
00:04:01Наши оповещения об аномалиях мониторят ваше приложение на предмет подозрительной активности.
00:04:06Из коробки, без конфигурации.
00:04:09Как только мы обнаруживаем необычное поведение,
00:04:12Vercel Agent исследует проблему,
00:04:15проводит анализ первопричины и диагностирует её за секунды.
00:04:20В отличие от традиционных инструментов наблюдения или поставщиков инфраструктуры,
00:04:24мы имеем полный контекст вашего приложения.
00:04:26Мы его создали, развернули и запускаем его в production.
00:04:30Хотя мы не знаем ваше приложение так хорошо,
00:04:33как вы,
00:04:33и уж точно не так хорошо,
00:04:35как ваш гениальный инженер,
00:04:36мы находимся в уникальном положении,
00:04:38чтобы предложить ИИ-нативный подход к обеспечению надёжности,
00:04:42производительности и безопасности во время выполнения.
00:04:45Исследования Vercel Agent опираются на нашу встроенную систему наблюдения,
00:04:51которую мы тщательно разработали,
00:04:53чтобы дать вам видимость поведения во время выполнения с контекстом времени сборки.
00:05:00Логи выполнения дают вам детальную видимость поведения приложения.
00:05:07С логами выполнения вы можете проследить жизненный цикл HTTP-запроса к вашему приложению,
00:05:12начиная с момента,
00:05:13когда он попадает в сеть Vercel,
00:05:15и заканчивая моментом,
00:05:17когда ответ возвращается клиенту.
00:05:19Мы также предоставляем вам готовые рекомендуемые панели управления,
00:05:24чтобы вы могли быстро понять здоровье вашего приложения,
00:05:28выявить проблемы и оптимизировать производительность.
00:05:32С недавно запущенными оповещениями об аномалиях Vercel вы теперь можете активно мониторить ваше приложение на предмет необычной активности,
00:05:42чтобы быстро выявить и устранить проблемы.
00:05:45И наконец,
00:05:46с помощью нашего инструмента запросов вы можете исследовать огромное количество метрик,
00:05:52которые мы собираем и выводим по вашему приложению.
00:05:55Вы можете создавать запросы,
00:05:57чтобы ответить на множество вопросов: от того,
00:06:00какие боты сканируют моё приложение,
00:06:02до определения P90 времени до первого токена различных поставщиков моделей,
00:06:07которых вы используете в своём приложении.
00:06:09Исследования Vercel Agent опираются на все эти функции,
00:06:15снижая потребность в ручном изучении и выделяя ключевые идеи.
00:06:22Глядя на будущее Vercel Agent,
00:06:25наша цель — в конечном счёте переосмыслить то,
00:06:29как мы взаимодействуем с инструментами наблюдения.
00:06:34Наше видение состоит в том,
00:06:36чтобы облако ИИ не только информировало вас о проблемах,
00:06:39но и исправляло и оптимизировало ваше приложение.
00:06:42Принципиально,
00:06:44облако ИИ должно не просто преподносить вам проблемы,
00:06:49оно должно давать вам решения,
00:06:52рекомендации,
00:06:53pull request'ы и автоматические действия.
00:06:58И это тот мир, который мы создаём с помощью Vercel Agent.
00:07:03Вы можете начать работу с Vercel Agent прямо сегодня.
00:07:05Как вы слышали,
00:07:06это публичная бета,
00:07:07и мы дарим 100 долларов в бесплатных кредитах всем пользователям Vercel,
00:07:11чтобы попробовать эти новые функции.
00:07:13Мы запустили код-ревью скилл в прошлом месяце,
00:07:16и он доступен всем пользователям Vercel.
00:07:19Исследования агентов доступны,
00:07:21начиная с сегодня,
00:07:22и они доступны для клиентов Pro и Enterprise с observability plus.
00:07:27И вы можете перейти на вкладку Agent в панели управления Vercel,
00:07:30чтобы начать работу.
00:07:33Так что я переключусь на другую тему.
00:07:35Я хочу уделить время ещё одной важной теме — эвалюэшн.
00:07:39Сколько из вас в зале используют специальный продукт для наблюдения за ИИ для эвалюэшн?
00:07:44Ох, я вижу, что поднято очень мало рук.
00:07:48Интересно.
00:07:49Но для тех из вас,
00:07:50кто их использует,
00:07:52вы знаете,
00:07:52что ИИ-приложения недетерминированны.
00:07:55Поэтому очень важно,
00:07:56чтобы мы также мониторили качество вывода.
00:08:00Агенты объединяют серию шагов рассуждения,
00:08:03вводя ещё большую сложность.
00:08:06И именно поэтому мы видим большую экосистему фреймворков агентов,
00:08:09которые строятся на основе Open Telemetry,
00:08:12чтобы помочь разработчикам мониторить,
00:08:14отлаживать и оптимизировать рабочие процессы своих агентов.
00:08:17И,
00:08:18похоже,
00:08:18я видела очень мало поднятых рук,
00:08:20но сколько из вас собирали трейсы для эвалюэшн?
00:08:23Хорошо, я вижу несколько поднятых рук в зале.
00:08:27Я вижу несколько поднятых рук.
00:08:27Простите, я как-то подглядываю отсюда.
00:08:29Здесь довольно ярко.
00:08:30Так что если вы собираете трейсы с помощью Open Telemetry,
00:08:35вы можете отправлять их в любое место с помощью Vercel Drains.
00:08:40Vercel Drains позволяет вам экспортировать все ваши данные Vercel в инструмент наблюдения третьей стороны.
00:08:46Так что если вы используете инструмент эвалюэшн третьей стороны,
00:08:49вы можете экспортировать ваши трейсы туда.
00:08:50Чтобы облегчить разработчикам запуск эвалюэшн и мониторинг качества модели,
00:08:56мы фактически сотрудничаем с Brain Trust через Vercel Marketplace.
00:09:01С этой новой интеграцией вы можете автоматически отправлять трейсы и данные оценки из Vercel в Brain Trust всего несколькими щелчками.
00:09:10Ранее сегодня вы,
00:09:11возможно,
00:09:12услышали больше о нашей интеграции Marketplace во время панели с Анкуром Гойалом,
00:09:17основателем Brain Trust.
00:09:19Чтобы упростить вам начало работы,
00:09:21у нас есть демонстрационное приложение.
00:09:25Здесь вы можете отсканировать этот QR-код.
00:09:27Это демоприложение вы можете клонировать из нашей библиотеки шаблонов.
00:09:30Это чат-бот на основе ИИ,
00:09:32построенный с помощью Next.js,
00:09:34AISDK и AI Gateway,
00:09:35с отправкой трейсов в Brain Trust.
00:09:38Дам вам всем секунду.
00:09:39Ох, я вам не мешаю?
00:09:44Я отойду в сторону.
00:09:45Отлично.
00:09:47Как вы можете видеть,
00:09:49наша цель — предоставить вам гибкость и контроль над тем,
00:09:53какие инструменты вы используете.
00:09:55Хотя мы усердно работаем над созданием действительно отличного встроенного инструмента наблюдения,
00:10:00у вас всегда будет свобода отправлять ваши данные куда угодно.
00:10:03Самое важное — это то,
00:10:05что вы сможете создавать потрясающий опыт пользователей и превращать непредсказуемый код в надёжные системы.
00:10:11И на этом заканчивается сегодняшняя часть.
00:10:15Если вы встретите меня на happy hour,
00:10:17я хотела бы узнать больше о том,
00:10:18что вы создаёте.
00:10:19Спасибо большое.
00:10:20(аплодисменты аудитории) (жизнерадостная музыка) (жизнерадостная музыка)

Key Takeaway

Vercel Agent представляет ИИ-нативный подход к наблюдаемости облака, который за секунды диагностирует проблемы в production и предоставляет разработчикам решения вместо попыток самостоятельной отладки.

Highlights

Vercel Agent автоматически обнаруживает проблемы в приложении за секунды благодаря встроенным оповещениям об аномалиях без необходимости конфигурации

50% времени инцидента разработчики тратят на выявление первопричины и определение ответственного лица, что можно сократить с помощью ИИ

Встроенная система наблюдения Vercel предоставляет логи выполнения с полным контекстом жизненного цикла HTTP-запроса от сети до клиента

Vercel Drains позволяет экспортировать все данные в инструменты третьих сторон, обеспечивая гибкость в выборе средств мониторинга

ИИ-приложения требуют мониторинга качества вывода через эвалюэшн, для чего Vercel интегрируется с Brain Trust через Marketplace

Будущее Vercel Agent предполагает автоматическое исправление и оптимизацию приложений с помощью pull request'ов и автоматических действий

Разработчики получают $100 в бесплатных кредитах для тестирования Vercel Agent, доступного в публичной бета-версии

Timeline

Введение и миссия Vercel

Малавика, продакт-менеджер Vercel, начинает презентацию с благодарности аудитории и описывает основную миссию компании. Vercel позиционируется как единая платформа для разработки, развёртывания и запуска интеллектуальных приложений и агентов. Компания уже успешно упростила процесс разработки на этапе сборки с помощью framework-ориентированной инфраструктуры, которая избавляет разработчиков от необходимости думать об основных примитивах инфраструктуры, сложной оркестровке и коде для определения инфраструктуры. Однако на этапе выполнения (runtime) остаётся много работы, так как управление приложением во время выполнения остаётся очень трудозатратным для команд разработчиков.

Проблема инцидентов и отладки в production

Докладчица подробно объясняет проблемы, с которыми сталкиваются разработчики при реагировании на инциденты. Сначала команды должны настроить оповещения и мониторинг для выявления потенциальных проблем, но эти инструменты часто приводят к усталости от оповещений, так как много ложных срабатываний. После обнаружения проблемы команды тратят часы на отладку и поиск первопричины. По статистике, около 50% времени инцидента уходит на выявление первопричины и определение того, кто должен это решить, что иллюстрируется интерактивным опросом аудитории. Малавика подчеркивает парадокс: в 2025 году с развитием ИИ разработчики по-прежнему вынуждены тратить ценные часы на ручную отладку проблем вместо фокусировки на создании полезных функций.

Представление Vercel Agent и его возможности

Vercel Agent представляется как решение, способное сократить время диагностики с часов до секунд. Система использует оповещения об аномалиях для мониторинга приложения на предмет подозрительной активности прямо из коробки без конфигурации. Когда обнаруживается необычное поведение, Vercel Agent автоматически исследует проблему, проводит анализ первопричины и диагностирует её. Уникальное преимущество Vercel состоит в том, что компания имеет полный контекст приложения: она его создала, развернула и запускает в production, что даёт ИИ-агенту уникальный доступ к данным для обеспечения надёжности, производительности и безопасности. Исследования агента опираются на встроенную систему наблюдения, которая была тщательно разработана для предоставления видимости поведения во время выполнения с контекстом времени сборки.

Встроенные инструменты наблюдения Vercel

Vercel предоставляет несколько встроенных инструментов для наблюдения за приложениями. Логи выполнения дают детальную видимость поведения приложения и позволяют проследить жизненный цикл HTTP-запроса от момента попадания в сеть Vercel до возврата ответа клиенту. Компания также предоставляет готовые рекомендуемые панели управления для быстрого понимания здоровья приложения и выявления проблем. Новые оповещения об аномалиях позволяют активно мониторить приложение на предмет необычной активности для быстрого выявления и устранения проблем. Инструмент запросов позволяет исследовать огромное количество метрик, начиная от анализа ботов, сканирующих приложение, до определения P90 времени до первого токена различных поставщиков моделей, что особенно важно для ИИ-приложений.

Будущее Vercel Agent и автоматизация решений

Докладчица описывает амбициозное видение будущего Vercel Agent и облака ИИ в целом. Целью компании является переосмысление взаимодействия с инструментами наблюдения: облако ИИ должно не только информировать разработчиков о проблемах, но и исправлять и оптимизировать приложения. Вместо того чтобы просто преподносить проблемы, система должна давать решения, рекомендации, pull request'ы и автоматические действия. Это принципиальный сдвиг от инструментов, которые требуют ручного вмешательства разработчиков, к системам, которые могут автономно действовать. Именно такой мир создаётся с помощью Vercel Agent, предоставляя разработчикам возможность фокусироваться на бизнес-логике вместо рутинной отладки.

Availability и ценообразование Vercel Agent

Vercel Agent находится в публичной бета-версии и доступен для всех пользователей Vercel с $100 в бесплатных кредитах для тестирования новых функций. Код-ревью скилл был запущен в прошлом месяце и доступен всем пользователям Vercel. Исследования агентов (Agent Investigations) доступны начиная с дня презентации и предназначены для клиентов Pro и Enterprise с подпиской observability plus. Разработчики могут начать работу, перейдя на вкладку Agent в панели управления Vercel. Это демократизирует доступ к ИИ-инструментам наблюдения для различных уровней пользователей, хотя более продвинутые функции требуют платной подписки.

Эвалюэшн ИИ-приложений и интеграция с Brain Trust

Малавика переключается на важную тему эвалюэшн (оценки качества) ИИ-приложений, отмечая, что ИИ-приложения недетерминированны, поэтому критически важно мониторить не только логи выполнения, но и качество вывода. Агенты, которые объединяют серию шагов рассуждения, добавляют ещё большую сложность, поэтому экосистема framework'ов агентов строится на основе Open Telemetry для помощи в мониторинге и отладке. Vercel Drains позволяет экспортировать все данные наблюдения в инструменты третьих сторон, обеспечивая гибкость выбора. Новая интеграция с Brain Trust через Vercel Marketplace позволяет автоматически отправлять трейсы и данные оценки всего несколькими щелчками. Демонстрационное приложение — AI-чат-бот, построенный с Next.js, AISDK и AI Gateway с отправкой трейсов в Brain Trust — показывает, как практически внедрить эту интеграцию.

Заключение и видение Vercel

В заключении презентации Малавика подчеркивает основной принцип Vercel: предоставить разработчикам гибкость и контроль над используемыми инструментами наблюдения. Хотя компания усердно работает над созданием отличного встроенного инструмента наблюдения, у разработчиков всегда будет свобода отправлять данные в любое место. Главная цель заключается в том, чтобы позволить разработчикам создавать потрясающий опыт пользователей и превращать непредсказуемый код в надёжные системы. Докладчица приглашает аудиторию пообщаться на happy hour для обсуждения их проектов и применения представленных решений.

Community Posts

View all posts