Ship 26 NYC - 문의 티켓의 90% 자동화: Vercel의 지원 에이전트를 구축한 방법

하이라이트

• Vercel은 단 2명의 엔지니어와 3주 간의 개발을 통해 티켓의 91%를 자율 처리하는 지원 에이전트를 구축했다.

• 자체 구축한 에이전트는 월 5,000시간 이상의 기술 지원 시간을 절약하며 풀타임 엔지니어 31명을 추가 충원한 효과를 낸다.

• 모델 라우팅을 담당하는 AI Gateway를 활용해 단 한 줄의 코드 수정으로 Opus 4.6에서 Gemini 3.5 Flash로 전환하며 해결률을 5% 끌어올렸다.

• Model Context Protocol(MCP)을 적용해 에이전트에 전체 Vercel 내부 툴셋 접근 권한을 부여함으로써 프롬프트 수정 없이 해결률이 15% 상승했다.

• Fluid Compute 인프라 특성상 AI 모델의 응답을 대기하는 동안에는 요금 측정이 중단되므로 에이전트 실행 함수 비용이 거의 발생하지 않는다.

타임라인

1. 00:00 - 03:00

   수작업 지원 프로세스의 한계와 직접 구축 계기

   새벽 시간 발생한 프로덕션 버그 대응 시 CRM, 배포 로그, 결제 내역, 문서 페이지를 일일이 확인해야만 업무 처리가 가능했다. 외부 솔루션은 모델 업데이트 반영이 늦고 내부 API 연결을 위한 인증 인프라 유지가 복잡했다. 30일 이내 마이그레이션 통보를 계기로 제품에 깊이 통합된 자체 솔루션을 개발했다.

   • 기존의 기술 지원 방식은 10개 이상의 탭을 오가며 맥락을 수집하느라 1건 응답에 40분 이상 소요되는 병목을 일으킨다.
   • 기성 챗봇은 내부 데이터베이스 및 로그 접근 권한이 없어 수동 지원 문제를 해결할 수 없다.
   • 기존 에이전트 제공업체의 마이그레이션 통보와 로드맵의 한계로 인해 3주 만에 자체 에이전트를 개발했다.
2. 03:00 - 06:05

   자체 구축 에이전트의 성과 및 표준 지원 흐름

   업계 평균적인 지원 에이전트 해결률인 60~75%를 크게 상회하는 성과를 달성했다. 지원 요청이 들어오면 고객의 요금제, 사용 팀, 인시던트 내역을 자동으로 수집해 정보를 보강한다. 에이전트는 확신을 가질 때까지 조사 루프를 수행한 뒤 직접 답변을 보내거나 담당자 전달 및 툴 실행 조치를 완료한다.

   • 배포 초기의 60%대 해결률은 시스템 깊은 연동을 통해 91%까지 상승했다.
   • 엔지니어 2명이 만든 에이전트는 주간 7,000건, 누적 13만 건 이상의 케이스를 성공적으로 처리했다.
   • 티켓 정보 보강, 자율 조사 루프, 직접 조치 실행의 3단계 흐름으로 작동한다.
3. 06:05 - 09:51

   AI SDK와 AI Gateway를 활용한 핵심 루프 및 안정성 확보

   복잡한 보일러플레이트 코드 작성 없이 비즈니스 로직에만 집중할 수 있는 환경을 마련했다. AI SDK 제공 UI 훅을 통해 실시간 스트리밍과 상호작용 가능한 툴 호출 화면을 손쉽게 프론트엔드와 연결했다. AI Gateway를 활용하면 서비스 중단 없이 모델을 상시 전환할 수 있어 지속적인 성능 개선이 가능하다.

   • AI SDK는 모델 호출, 툴 실행, 대화 상태 및 UI 스트리밍 관리를 단순화하여 핵심 루프 구현 시간을 단축한다.
   • AI Gateway는 자동 장애 조치와 저지연 라우팅을 제공해 특정 모델 제공업체의 장애 중에도 서비스 SLA를 보장한다.
   • 단 한 줄의 코드 수정으로 모델을 교체해 하룻밤 사이에 해결률 5% 증가를 기록했다.
4. 09:51 - 14:44

   MCP 연동과 Upstash Search 기반 지식 베이스 구축

   에이전트가 실패한 배포 로그나 실제 결제 내역을 조회하여 추측이 아닌 데이터 기반 답변을 제공한다. 외부 토큰 교환 시스템 없이 보안 흐름을 직접 제어한다. 제품 문서가 업데이트되는 즉시 업서트(upsert) 처리하므로 기능 출시 몇 분 만에 관련 문의 대응이 가능하다.

   • Model Context Protocol(MCP) 연동을 통해 엔지니어가 사용하는 것과 동일한 내부 툴셋 접근 권한을 부여하자 해결률이 15% 추가 상승했다.
   • Next.js 라우트 핸들러 내에 MCP 정의를 위치시켜 단순하고 안전한 통합 구조를 완성했다.
   • Vercel 마켓플레이스의 Upstash Search를 활용해 복잡한 인프라나 임베딩 파이프라인 없이 최신 문서를 즉시 검색 인덱스에 반영한다.
5. 14:44 - 18:09

   실제 동작 시연 및 에이전트 도입 전략

   간단한 위젯 형태를 넘어 승인 절차가 포함된 맞춤형 UI를 구현해 복잡한 고객 요청을 해결한다. 에이전트 1대 운영 비용은 지원 엔지니어 1명 채용 비용보다 적지만 31명 분량의 리소스를 대체한다. 인프라 관리를 최소화하고 도메인 지식 학습과 툴 연결에 집중할 때 높은 자율 해결률을 달성할 수 있다.

   • 청구 상세 내역 조회부터 Stripe 연동 인보이스 다운로드, 주소 변경 승인 UI까지 단일 인터페이스에서 처리한다.
   • 해결 과정의 80%가 동일한 패턴을 보이는 정형화된 업무 대기열부터 에이전트 적용을 시작해야 한다.
   • Fluid Compute 환경에서는 모델 응답 대기 시간 동안 함수 비용이 청구되지 않아 운영 비용이 극도로 절감된다.