AI 클라우드를 위한 옵저버빌리티

VVercel
AI/미래기술창업/스타트업컴퓨터/소프트웨어

Transcript

00:00:00(경쾌한 음악) - 오늘 와주셔서 정말 감사합니다.
00:00:12저는 말라비카이고, 들으신 대로 Vercel의 프로덕트 매니저입니다.
00:00:15컨퍼런스에서 좋은 시간 보내셨길 바랍니다.
00:00:18여러분이 우리의 오픈소스 도구와 인프라 기초들로 만들어내고 있는 것들을 보면서 정말 감동했습니다.
00:00:24많은 분들을 처음으로 직접 만나고, 새로운 얼굴뿐 아니라 친숙한 얼굴들도 보니 너무 좋습니다.
00:00:31오늘 우리는 AI 클라우드에 대해 많이 배웠습니다.
00:00:38이쯤이면 AI 클라우드 얘기가 지겹고 있을 겁니다.
00:00:43'차라리 행사 후 음료 한잔 마실 수는 없을까' 이런 생각이 드실 거죠.
00:00:47하지만 혹시 모르니 다시 한 번 말씀드리면,
00:00:51Vercel은 지능형 애플리케이션과 그 뒤의 에이전트들을 구축,
00:00:58배포,
00:00:58실행하기 위한 통합 플랫폼입니다.
00:01:02Vercel의 미션은 항상 인프라 관리의 복잡성을 없애고 여러분이 멋진 사용자 경험을 만드는 데만 집중할 수 있게 하는 것입니다.
00:01:14소프트웨어 개발 수명 주기 전반에서 우리가 얼마나 잘 복잡성을 제거했는지 생각해보면,
00:01:24빌드 시간을 정말 간단하게 만들었습니다.
00:01:29프레임워크 정의 인프라는 기본 인프라 기초들을 고민할 필요가 없다는 뜻입니다.
00:01:35복잡한 오케스트레이션이나 코드형 인프라 같은 것도 필요 없습니다.
00:01:40우리가 컴퓨팅, 네트워킹, 캐싱 등을 모두 관리하니 여러분은 애플리케이션 로직에만 집중하시면 됩니다.
00:01:48하지만 런타임 관점에서 보면 여전히 많은 일을 해야 빌드 시간만큼 쉬워질 수 있습니다.
00:01:56안타깝게도 런타임에서 애플리케이션을 관리하는 것은 개발팀에게 여전히 엄청나게 시간이 오래 걸립니다.
00:02:06지난주에 심각한 장애를 겪으신 분 계신가요?
00:02:12손을 드신 분이 그리 많지 않네요.
00:02:15놀랍네요.
00:02:16혹시 GCP를 쓰고 계신 건가요?
00:02:20혹시 여기 계신 분들?
00:02:22Hetzner의 VPS에서 Next.js를 직접 호스팅하고 계신데 정말 기분이 좋으실 거 같아요.
00:02:29'클라우드도 날 못 건드린다'는 생각이실 거죠.
00:02:33하지만 장애 대응에 너무 많은 수동 작업이 필요합니다.
00:02:38먼저 팀은 잠재적 문제를 식별하기 위해 알람과 모니터링을 설정해야 합니다.
00:02:44그러면 이 모니터링 도구 때문에 팀은 수많은 노이즈 속에서 중요한 신호를 찾느라 알람 피로도를 겪게 됩니다.
00:02:52그리고 문제를 발견한 후, 팀은 몇 시간을 들여 문제를 디버깅하고 근본 원인을 찾아 해결책을 적용합니다.
00:03:02이번엔 청중과 함께 좀 더 상호작용적으로 진행해볼까 합니다.
00:03:08개발자들이 장애 디버깅에 얼마나 많은 시간을 쓴다고 생각하시나요?
00:03:13장애 시간의 20% 미만이 디버깅에 소요된다고 생각하시는 분?
00:03:18- 더 많다. - 더 많다고요?
00:03:2080%라는 말씀이네요.
00:03:22혹은 40% 정도라고 생각하시는 분?
00:03:2660%, 70% 정도라고 생각하시는 분?
00:03:33어느 정도 합의가 이뤄진 것 같네요.
00:03:36실제로는 장애 시간의 50%를 근본 원인 파악과 누가 해결해야 할지 결정하는 데 씁니다.
00:03:46미친 거 같지 않나요? 2025년인데 AI가 있어도 개발자들이 몇 시간을 문제 해결에 낭비합니다.
00:03:54이걸 몇 초로 줄일 수 있다면 어떨까요?
00:03:56Vercel Agent로 가능합니다.
00:04:01우리의 이상 감지 알람은 의심스러운 활동이 없는지 애플리케이션을 모니터링합니다.
00:04:06별도의 설정 필요 없이 기본으로 제공됩니다.
00:04:09비정상적인 행동을 감지하면 Vercel Agent가 문제를 조사하고,
00:04:15근본 원인을 분석하고,
00:04:17몇 초 안에 문제를 진단합니다.
00:04:20기존의 관찰성 도구나 인프라 제공자와 달리, 우리는 여러분 앱에 대한 전체 맥락을 갖고 있습니다.
00:04:26우리가 앱을 만들었고, 배포했으며, 프로덕션에서 운영하고 있으니까요.
00:04:30여러분의 10배 생산성 엔지니어만큼은 아니지만,
00:04:35런타임에서 안정성,
00:04:36성능,
00:04:37보안을 보장하는 AI 네이티브 접근 방식을 제공할 수 있는 독특한 위치에 있습니다.
00:04:45Vercel Agent 조사는 우리의 기본 관찰성 도구를 기반으로 하는데,
00:04:52빌드 타임 컨텍스트를 통해 런타임 행동을 가시화할 수 있도록 신중하게 설계했습니다.
00:05:00런타임 로그는 애플리케이션 행동을 세밀하게 볼 수 있게 해줍니다.
00:05:07런타임 로그를 사용하면 HTTP 요청이 Vercel 네트워크로 들어오는 시점부터 응답이 클라이언트에게 반환되는 시점까지 전체 과정을 추적할 수 있습니다.
00:05:19또한 우리는 의견이 반영된 대시보드를 기본으로 제공하므로 애플리케이션의 건강 상태를 빠르게 파악하고,
00:05:28문제를 찾고,
00:05:29성능을 최적화할 수 있습니다.
00:05:32최근에 출시한 Vercel의 이상 감지 알람으로 애플리케이션의 비정상적인 활동을 능동적으로 모니터링하고 문제를 빠르게 식별하고 해결할 수 있습니다.
00:05:45마지막으로 쿼리 도구를 사용하면 우리가 수집하고 애플리케이션에 표시하는 방대한 메트릭을 탐색할 수 있습니다.
00:05:55'내 애플리케이션을 크롤링하는 봇은 뭐가 있지?' 같은 질문부터 애플리케이션에서 사용하는 다양한 모델 제공자의 P90 첫 토큰까지의 시간을 정량화하는 것까지 다양한 질문에 답할 쿼리를 작성할 수 있습니다.
00:06:09Vercel Agent 조사는 이 모든 기능을 기반으로 하며,
00:06:16수동 탐색의 필요성을 줄이고 핵심 인사이트를 강조합니다.
00:06:22Vercel Agent의 다음 단계를 생각해보면,
00:06:26우리의 목표는 궁극적으로 관찰성 도구와 상호작용하는 방식을 재상상하는 것입니다.
00:06:34우리의 비전은 AI 클라우드가 단지 문제를 알려주는 것이 아니라 애플리케이션을 수리하고 최적화하는 것입니다.
00:06:42근본적으로 AI 클라우드는 문제만 보여주는 게 아니라 솔루션,
00:06:50추천,
00:06:50풀 리퀘스트,
00:06:52자동화된 작업을 제공해야 한다고 생각합니다.
00:06:58이것이 바로 우리가 Vercel Agent로 만들어가고 있는 세상입니다.
00:07:03지금 바로 Vercel Agent를 시작할 수 있습니다.
00:07:05말씀드렸듯이 현재 공개 베타 상태이며,
00:07:07모든 Vercel 사용자에게 이 새로운 기능들을 시도할 수 있도록 100달러의 무료 크레딧을 드리고 있습니다.
00:07:13지난달에 코드 리뷰 스킬을 출시했으며, 이는 모든 Vercel 사용자에게 제공됩니다.
00:07:19Agent 조사는 오늘부터 제공되며,
00:07:21Observability Plus를 가진 Pro 및 엔터프라이즈 고객에게 제공됩니다.
00:07:27Vercel 대시보드의 Agent 탭을 방문하셔서 시작하실 수 있습니다.
00:07:33이제 주제를 바꿔서 진행해보겠습니다.
00:07:35또 다른 중요한 주제인 평가(evals)에 대해 시간을 들이고 싶습니다.
00:07:39청중 중에서 평가용 전용 AI 관찰성 도구를 사용하고 계신 분?
00:07:44손을 드신 분이 정말 적네요.
00:07:48흥미롭습니다.
00:07:49하지만 사용하고 계신 분들을 위해 말씀드리면, AI 애플리케이션은 비결정적입니다.
00:07:55그래서 결과물의 품질도 함께 모니터링하는 것이 매우 중요합니다.
00:08:00Agent들은 일련의 추론 단계를 연쇄적으로 처리하므로 더욱 복잡해집니다.
00:08:06그래서 우리는 개발자가 자신의 에이전트 워크플로우를 모니터링하고,
00:08:10디버깅하고,
00:08:11최적화할 수 있도록 OpenTelemetry 위에 구축된 수많은 에이전트 프레임워크 생태계를 봐왔습니다.
00:08:17손을 드신 분이 정말 적으셨는데, 평가를 위해 트레이스를 수집하고 계신 분?
00:08:23손을 드신 분이 있네요.
00:08:27손을 드신 분들이 있습니다.
00:08:27죄송하네요, 제가 여기 봤는데.
00:08:29조명이 꽤 밝네요.
00:08:30OpenTelemetry를 사용해서 트레이스를 수집 중이시면,
00:08:34Vercel Drains를 사용해서 그 트레이스를 어떤 목적지로든 보낼 수 있습니다.
00:08:40Vercel Drains는 모든 Vercel 데이터를 제3자 관찰성 도구로 내보낼 수 있게 해줍니다.
00:08:46제3자 평가 도구를 사용 중이시면, 여기로 트레이스를 내보낼 수 있습니다.
00:08:50개발자가 쉽게 평가를 실행하고 모델 품질을 모니터링할 수 있도록,
00:08:55우리는 Vercel 마켓플레이스를 통해 Brain Trust와 파트너십을 맺었습니다.
00:09:01이 새로운 통합으로 Vercel의 트레이스와 평가 데이터를 몇 번의 클릭만으로 자동으로 Brain Trust로 스트리밍할 수 있습니다.
00:09:10오늘 앞서 Brain Trust의 창립자 Ankur Goyal과의 패널 토론에서 우리 마켓플레이스 통합에 대해 더 들으셨을 겁니다.
00:09:19시작을 정말 쉽게 하기 위해, 우리는 데모 앱을 준비했습니다.
00:09:25이 QR 코드를 스캔하시면 됩니다.
00:09:27이 데모 앱은 우리의 템플릿 라이브러리에서 복제할 수 있습니다.
00:09:30이는 Next.js,
00:09:31AI SDK,
00:09:32AI Gateway로 만들어졌으며 트레이스가 Brain Trust로 전송되는 AI 챗봇입니다.
00:09:38잠시 시간을 드리겠습니다.
00:09:39제가 방해가 되나요?
00:09:44비켜드리겠습니다.
00:09:45좋습니다.
00:09:47보셨듯이 우리의 목표는 여러분에게 어떤 도구를 사용할지에 대한 유연성과 제어권을 제공하는 것입니다.
00:09:55우리가 정말 훌륭한 기본 관찰성 도구를 만들기 위해 노력하고 있지만,
00:09:59여러분은 항상 자신의 데이터를 어디든 보낼 자유가 있습니다.
00:10:03가장 중요한 것은 여러분이 훌륭한 사용자 경험을 만들고 예측 불가능한 코드를 안정적인 시스템으로 바꿀 수 있다는 것입니다.
00:10:11이것으로 오늘 발표를 마치겠습니다.
00:10:15혹시 행사 후 저를 만나게 되면, 여러분이 만들고 있는 것에 대해 더 얘기하고 싶습니다.
00:10:19감사합니다.
00:10:20(청중 박수) (경쾌한 음악) (경쾌한 음악)

Key Takeaway

Vercel은 AI 클라우드 플랫폼을 통해 개발자가 인프라 복잡성 없이 안정적이고 최적화된 애플리케이션을 구축하고 관리할 수 있도록 하는 AI 기반 관찰성과 자동 진단 도구를 제공합니다.

Highlights

Vercel은 AI 애플리케이션 구축, 배포, 실행을 위한 통합 플랫폼으로, 인프라 관리의 복잡성을 제거하고 개발자가 사용자 경험 구축에 집중할 수 있도록 지원합니다.

Vercel Agent는 장애 대응 시간의 50%를 차지하는 근본 원인 파악 프로세스를 몇 초 안에 완료할 수 있는 AI 기반 이상 감지 및 진단 도구입니다.

런타임 로그, 의견이 반영된 대시보드, 이상 감지 알람, 쿼리 도구 등 기본 관찰성 도구를 제공하여 애플리케이션의 건강 상태를 실시간으로 모니터링합니다.

AI 애플리케이션은 비결정적이므로 결과물의 품질을 모니터링하는 것이 중요하며, Vercel은 평가(evals)를 위해 Brain Trust와 파트너십을 맺었습니다.

Vercel Drains를 통해 모든 Vercel 데이터를 제3자 관찰성 도구로 내보낼 수 있어 개발자에게 데이터 관리의 유연성과 제어권을 제공합니다.

AI 클라우드의 궁극적 비전은 단순히 문제를 알려주는 것이 아니라 자동화된 작업, 풀 리퀘스트, 추천을 통해 애플리케이션을 직접 수리하고 최적화하는 것입니다.

현재 Vercel Agent는 공개 베타 상태이며 모든 Vercel 사용자에게 100달러의 무료 크레딧을 제공하고 있습니다.

Timeline

발표 시작 및 Vercel 플랫폼 소개

말라비카 Vercel 프로덕트 매니저가 컨퍼런스 참석자들을 환영하고 Vercel의 미션을 소개합니다. Vercel은 지능형 애플리케이션과 에이전트를 구축, 배포, 실행하기 위한 통합 플랫폼으로, 인프라 관리의 복잡성을 없애는 것을 핵심 목표로 삼고 있습니다. 프레임워크 정의 인프라와 같은 기술을 통해 개발자는 기본 인프라 기초나 복잡한 오케스트레이션을 고민할 필요 없이 애플리케이션 로직에만 집중할 수 있습니다. 컴퓨팅, 네트워킹, 캐싱 등 모든 인프라 관리를 Vercel이 담당함으로써 개발 생산성을 크게 향상시킵니다.

런타임 관리의 복잡성과 장애 대응의 현실

발표자는 빌드 시간의 단순화에도 불구하고 런타임에서 애플리케이션 관리가 여전히 매우 시간 소모적임을 지적합니다. 개발팀은 모니터링 설정, 알람 피로도 극복, 장애 디버깅, 근본 원인 파악 등의 수동 작업에 많은 시간을 투자해야 합니다. 청중과의 상호작용을 통해 장애 시간의 약 50%가 실제 디버깅이 아닌 근본 원인 파악과 책임자 결정에 소요됨을 확인합니다. 이러한 비효율성을 해결하기 위해 Vercel Agent가 제시되는데, 이는 몇 초 안에 문제를 진단할 수 있는 AI 기반 솔루션입니다.

Vercel Agent의 기능 및 이상 감지 알람

Vercel Agent는 의심스러운 활동을 모니터링하는 기본 이상 감지 알람으로, 별도의 설정 없이 자동으로 제공됩니다. 비정상적인 행동을 감지하면 Agent가 문제를 조사하고 근본 원인을 분석하여 몇 초 안에 진단을 완료합니다. Vercel이 애플리케이션을 직접 구축, 배포, 운영하므로 애플리케이션에 대한 완전한 맥락을 가지고 있어 기존 관찰성 도구나 인프라 제공자와 차별화됩니다. Vercel Agent 조사는 런타임 로그를 활용하여 HTTP 요청이 Vercel 네트워크로 들어오는 시점부터 클라이언트에게 반환되는 시점까지 전체 과정을 추적할 수 있습니다.

기본 관찰성 도구 및 대시보드 기능

Vercel은 의견이 반영된 기본 대시보드를 제공하여 개발자가 애플리케이션의 건강 상태를 빠르게 파악하고 문제를 찾으며 성능을 최적화할 수 있도록 합니다. 최근 출시된 이상 감지 알람으로 애플리케이션의 비정상적인 활동을 능동적으로 모니터링합니다. 쿼리 도구를 사용하면 수집된 방대한 메트릭을 탐색하여 '애플리케이션을 크롤링하는 봇' 같은 구체적인 질문부터 다양한 모델 제공자의 P90 첫 토큰까지의 시간 정량화까지 다양한 질문에 답할 수 있습니다. 이러한 모든 기능은 Vercel Agent 조사의 기반이 되어 수동 탐색의 필요성을 줄이고 핵심 인사이트를 강조합니다.

AI 클라우드의 미래 비전과 자동화

발표자는 AI 클라우드의 궁극적 목표를 단순히 문제를 알려주는 것이 아니라 애플리케이션을 실제로 수리하고 최적화하는 것으로 제시합니다. 미래의 AI 클라우드는 문제 진단을 넘어 솔루션, 추천, 풀 리퀘스트, 자동화된 작업을 제공하여 개발팀의 부담을 획기적으로 줄일 것입니다. Vercel Agent는 이러한 비전을 실현하는 첫 단계이며, 현재 공개 베타 상태입니다. 모든 Vercel 사용자는 100달러의 무료 크레딧을 받을 수 있으며, Agent 조사는 Observability Plus를 가진 Pro 및 엔터프라이즈 고객에게 제공됩니다.

평가(Evals)와 AI 애플리케이션 모니터링

AI 애플리케이션은 비결정적이므로 결과물의 품질 모니터링이 매우 중요하며, 에이전트는 일련의 추론 단계를 연쇄적으로 처리하기 때문에 더욱 복잡합니다. Vercel은 개발자가 에이전트 워크플로우를 모니터링, 디버깅, 최적화할 수 있도록 OpenTelemetry 위에 구축된 수많은 에이전트 프레임워크 생태계를 지원합니다. Vercel Drains를 통해 모든 Vercel 데이터를 제3자 관찰성 도구로 내보낼 수 있으며, 평가 도구로 트레이스를 전송할 수 있습니다. Vercel 마켓플레이스를 통해 Brain Trust와의 파트너십으로 트레이스와 평가 데이터를 몇 번의 클릭만으로 자동으로 스트리밍할 수 있습니다.

데모 앱 소개 및 결론

발표자는 QR 코드로 접근 가능한 데모 앱을 소개하며, 이는 Next.js, AI SDK, AI Gateway로 만들어졌으며 트레이스가 Brain Trust로 전송되는 AI 챗봇입니다. Vercel의 기본 목표는 개발자에게 사용할 도구 선택에 대한 유연성과 제어권을 제공하는 것이며, 데이터를 어디든 보낼 자유를 보장합니다. 가장 중요한 것은 개발자가 훌륭한 사용자 경험을 만들고 예측 불가능한 코드를 안정적인 시스템으로 변환할 수 있다는 점입니다. 발표를 마친 후 참석자들과의 추가 대화를 제안하며 발표를 종료합니다.

Community Posts

View all posts