Vercel에서 Claude Managed Agents로 고성능 에이전트 구축하기

하이라이트

• 클라우드 관리형 에이전트는 지속성 있는 서버에서 하네스를 실행하고 작업 실행 시에만 샌드박스를 생성하는 두뇌와 손 분리 구조를 채택하여 신뢰성과 지연 시간을 개선한다.

• 동적 워크플로우를 사용한 에이전트 실험 결과, 거대한 코드베이스의 70개 버그 중 세 번 모두 66개를 찾아내어 단일 에이전트의 14개에서 27개 사이 탐지 성능을 크게 앞섰다.

• 동적 워크플로우는 최대 1,000개의 에이전트를 실행할 수 있으며 이 중 64개가 동시에 작업을 처리한다.

• Vercel 샌드박스는 Firecracker 마이크로 VM 위에서 동작하여 격리 수준과 빠른 시작 시간 사이의 최적의 균형을 제공한다.

• 앤스로픽은 Claude Max 및 Team 플랜에 API 크레딧을 포함하여 개발자가 관리형 에이전트 구축을 쉽게 시작할 수 있도록 지원한다.

타임라인

1. 00:00 - 05:38

   클라우드 관리형 에이전트와 아키텍처 재설계

   블랙 프라이데이를 앞두고 3주 만에 24개국에 진출해야 하는 가상의 시나리오를 통해 야심 찬 작업을 처리할 에이전트 구축의 필요성을 제기한다. 기존에 요청마다 샌드박스를 부팅하던 방식은 샌드박스 종료 시 에이전트가 함께 죽는 신뢰성 문제, 토큰 스트림 수신 지연, 샌드박스 내부에 자격 증명이 존재하여 발생하는 보안 문제를 가졌다. 이를 해결하기 위해 두뇌와 손을 분리하여 서버에 스토리지를 유지하고 방화벽을 통해 자격 증명을 관리하는 아키텍처로 개선했다.

   • 클라우드 관리형 에이전트는 클로드 API 기반으로 클라우드에서 에이전트를 실행하기 위해 개발된 API 스위트이다.
   • 초기 샌드박스 직접 부팅 방식은 신뢰성 저하, 지연 시간 증가, 보안 취약점이라는 세 가지 문제를 야기했다.
   • 지속성 있는 서버에서 두뇌 역할을 수행하고 필요할 때만 샌드박스를 손 역할로 생성하는 구조로 재설계되었다.
   • 프런트 도어 영역에서는 Vercel의 채팅 SDK를 활용하여 에이전트와 상호작용하는 인터페이스를 구축할 수 있다.
2. 05:38 - 09:37

   다중 에이전트 전략과 동적 워크플로우

   모델의 지능을 최대로 끌어내기 위해 여러 에이전트가 협력하는 다중 에이전트 전략을 다룬다. 작은 모델이 어려운 질문을 더 큰 모델에 묻는 자문 방식, 결과물의 품질을 확인하고 반복하는 채점 방식, 지나간 세션을 종합하여 메모리에 추가하는 드리밍 방식을 활용한다. 이러한 전략들은 복잡한 금융 업무 실험에서 단순 실행 방식보다 우수한 성능을 입증했다.

   • 토큰에 역할과 작업을 부여하는 다중 에이전트 전략은 단순 실행 방식보다 금융 업무 등 복잡한 작업에서 더 뛰어난 결과를 낸다.
   • 자문, 채점, 드리밍 등의 패턴을 통해 에이전트의 성능과 품질을 높일 수 있다.
   • 동적 워크플로우는 클로드가 작업을 시작할 때 스스로 계획을 수립하고 에이전트를 단계별로 조율하는 기능이다.
3. 09:37 - 14:04

   동적 워크플로우의 성능과 활용

   단일 에이전트가 오랜 시간 실행될 때 발생하는 컨텍스트 저하와 목표 상실 문제를 해결하기 위해 도입된 동적 워크플로우의 효용성을 설명한다. 복잡한 버그 검출 작업에서 다중 에이전트를 동적으로 조율하는 워크플로우가 단일 에이전트보다 훨씬 높은 정확도를 기록했다. 해당 워크플로우는 분산과 종합, 적대적 검증, 루핑 등의 패턴을 조합하며 최대 1,000개의 에이전트를 동시에 실행할 수 있다.

   • 동적 워크플로우는 단일 에이전트 운영 시 발생하는 나태함 현상, 자체 평가 한계, 목표 표류 현상을 극복한다.
   • 거대 코드베이스 버그 찾기 실험에서 동적 워크플로우는 3회 모두 70개 중 66개의 버그를 찾아냈다.
   • 워크플로우 실행 시 세션 예산을 설정하여 토큰 소모를 통제할 수 있다.
4. 14:04 - 20:57

   에이전트 인프라 보안과 모범 사례

   수많은 에이전트를 운영할 때 반드시 확보해야 할 보안 대책을 다룬다. 모델 정렬과 온라인·오프라인 안전장치 외에도 엔지니어링 관점에서 두뇌와 손을 분리하여 샌드박스를 신뢰할 수 없는 영역으로 격리하는 것이 핵심이다. 샌드박스 내부에 실제 자격 증명을 두지 않고 방화벽을 거치기 전 플레이스홀더 토큰을 사용하는 자격 증명 브로커링 방식을 적용하며, 이그레스 트래픽 기본 차단과 모니터링 체계를 구축해야 한다.

   • 두뇌와 손을 분리하는 아키텍처는 샌드박스 내부의 신뢰할 수 없는 코드가 자격 증명이나 모니터링에 접근하는 것을 차단한다.
   • Vercel 샌드박스의 자격 증명 브로커링 기능을 통해 샌드박스 외부의 방화벽에서 토큰을 주입한다.
   • 격리를 위해 Firecracker 기반의 마이크로 VM을 사용하며, 이그레스 제어와 킬 스위치를 적용해야 한다.