무분별한 확장 없는 통제: Mercor가 Vercel로 수백 명의 빌더를 지원한 방법

하이라이트

• Mercor는 Vercel을 도입하여 작년 십여 개에 불과했던 프로젝트를 현재 2,000개 규모로 확장했습니다.

• AI Gateway 전환 후 첫 10일 동안 8,000만 건의 요청과 630억 개의 토큰을 처리했습니다.

• LLM 평가를 위한 배치 채점 속도가 AI Gateway 도입 전 12시간에서 2시간으로 단축되었습니다.

• GLM 5.3 모델 도입 과정에서 추가 조달 절차나 MSA 검토 없이 분당 3억 개의 토큰을 할당받았습니다.

• Vercel Passport 도입으로 수백 개 프로젝트에 며칠 만에 인증 시스템을 연결했습니다.

타임라인

1. 00:00 - 02:22

   급증하는 프로젝트와 보안 병목 문제

   Mercor는 다양한 전문가들을 프론티어 랩과 연결하며 엄청난 속도로 성장했습니다. 비즈니스 팀의 빠른 속도를 엔지니어링 조직이 따라잡지 못하자 각 팀이 직접 솔루션을 배포하기 시작했고, 이로 인해 노출 영역이 크게 넓어졌습니다. 작년 십여 개였던 프로젝트는 현재 2,000개로 증가했으며, 이 중 대부분은 엔지니어링 외의 팀이 소유합니다. 모든 배포 건마다 보안 검토를 요구하는 것은 팀들이 규제를 우회하게 만드는 병목을 만들 뿐이므로, 보안 관문을 세우는 방식 대신 플랫폼의 기본 기능을 활용하는 방향으로 전환했습니다.

   • Mercor는 의사, 변호사, 엔지니어 등 각 분야 전문가를 프론티어 랩과 연결하여 데이터를 제공합니다.
   • 성장 팀과 비즈니스 팀의 압박으로 엔지니어링 조직 외의 팀들이 직접 솔루션을 배포하기 시작했습니다.
   • 현재 2,000개의 프로젝트를 운영 중이며, 모든 건에 보안 검토를 요구하는 것은 치명적인 병목 현상을 유발합니다.
2. 02:22 - 04:49

   Passport를 통한 인증 통합과 자동 오프보딩

   애플리케이션 배포 시 가장 먼저 대두되는 문제는 신원 인증입니다. Passport 도입 이전에는 개별 앱 소유자가 자체 인증을 구축하거나 보안성 모호함에 기대어야 했습니다. Passport는 단 하나의 통합된 인증 레이어를 제공하여 빌더들이 인증 로직을 전혀 작성하지 않도록 지원합니다. 또한 회사 외부의 수십만 명에 달하는 전문가들이 서비스에 접근할 수 있도록 Audiences 툴을 구축해, 프로젝트 종료 시 IDP에서 그룹을 제거하여 자동 오프보딩이 이루어지도록 설계했습니다.

   • Passport 도입 전에는 각 애플리케이션 소유자가 직접 인증 레이어를 결정해야 했습니다.
   • Passport는 단일 IDP를 앞단에 두고 동일한 로그인과 패스키를 사용하여 인증 로직 작성 부담을 없애줍니다.
   • Audiences 툴과 Vercel Connection을 결합하여 수만 명의 전문가 접근 권한을 단 몇 초 만에 프로비저닝하고 자동 오프보딩합니다.
3. 04:49 - 08:12

   AI Gateway를 통한 추론 용량 확보와 비용 제어

   Mercor 플랫폼의 약 10만 명의 전문가들은 프로젝트 안내, 질문 답변, 품질 관리 및 데이터 다양성 확보를 위해 LLM을 광범위하게 활용합니다. 새로운 모델로 전환할 때마다 공급업체와 개별 계약이나 용량 증대 요청을 거치는 대신, AI Gateway를 통해 단일 엔드포인트를 사용합니다. 이를 통해 배치 채점 속도가 12시간에서 2시간으로 단축되었고, 조달 팀이나 법무팀을 거치는 번거로움 없이 빠른 토큰 할당이 가능해졌습니다. 아울러 모든 키에 제로 데이터 보존과 사용량 상한선을 설정하고 단일 청구서로 비용을 통합 관리합니다.

   • 10만 명의 전문가가 핵심 업무 흐름에서 LLM을 활용하며, 오픈소스와 클로즈드소스 등 다양한 모델을 실행합니다.
   • AI Gateway 도입으로 첫 10일 동안 8,000만 건의 요청과 630억 개의 토큰을 처리했습니다.
   • 모든 API 키에 사용량 상한선, 만료일, 소유자가 지정되는 가드레일이 설정되어 있습니다.
4. 08:12 - 013:15

   AI 에이전트 시대의 보안과 확장 전략

   조직 내에서 다양한 에이전트가 구축됨에 따라 새로운 보안 과제가 대두되었습니다. 에이전트는 유능한 인턴처럼 목표를 위해 무한정 실행하므로, 사용자 권한을 그대로 상속받게 하거나 슬랙 등 민감한 컨텍스트에 접근하게 두면 큰 문제가 발생할 수 있습니다. 따라서 에이전트에게는 작업 범위에 맞는 별도의 신원과 권한, 그리고 허용된 모델 목록과 만료일이 지정된 게이트웨이 키를 부여해야 합니다. Vercel이 제공하는 안전한 기본값과 조직 기능을 활용함으로써, 빌더들의 앞길을 방해하지 않으면서도 비즈니스 전반의 통제력과 유지보수성을 확보할 수 있습니다.

   • 에이전트는 지치지 않고 목표 달성을 위해 수단과 방법을 가리지 않으므로 엄격한 권한 범위 설정이 필수적입니다.
   • 에이전트에게 사용자 권한을 그대로 상속하는 것은 위험하며, 전용 게이트웨이 키와 모델 허용 목록을 적용해야 합니다.
   • 보안 경로를 가장 빠르고 쉬운 경로로 만들어 비즈니스 성장을 저해하지 않고 확장성을 유지합니다.