Controle Sem Proliferação: Como a Mercor Desbloqueou Centenas de Desenvolvedores com a Vercel

하이라이트

• A Mercor passou de menos de uma dúzia para 2.000 projetos em um ano, com a maioria pertencendo a equipes fora da engenharia.

• A adoção do AI Gateway permitiu atender 80 milhões de solicitações e 63 bilhões de tokens nos primeiros 10 dias.

• O tempo de execução de um lote de avaliação de LLM caiu de 12 horas para duas horas.

• O uso do Vercel Passport elimina a necessidade de criadores escreverem código de autenticação próprio.

• Cada chave de API gerada recebe um limite de gastos, validade e proprietário específicos.

타임라인

1. 00:00 - 04:44

   Crescimento de projetos e o desafio da identidade

   As equipes de crescimento e negócios pressionavam o setor de engenharia devido à alta velocidade dos Frontier Labs. Como a engenharia não conseguia acompanhar o ritmo, outras equipes começaram a lançar soluções próprias, o que elevou os riscos de segurança. Para evitar gargalos com revisões manuais em cada lançamento, a empresa implementou o Vercel Passport. Essa ferramenta unifica a identidade por padrão, eliminando a necessidade de criadores escreverem códigos de autenticação e garantindo o off-boarding automático de colaboradores externos após o fim de seus engajamentos.

   • A Mercor conecta especialistas de diversas áreas aos Frontier Labs para fornecer dados para modelos de inteligência artificial.
   • A pressão constante das equipes de crescimento gerou soluções descentralizadas que aumentaram a superfície de exposição.
   • O Vercel Passport substitui decisões individuais de autenticação por um login padronizado em centenas de projetos.
   • A ferramenta audiences permite provisionar e revogar o acesso de centenas de milhares de especialistas externos em segundos.
2. 04:44 - 08:12

   Gestão de inferência e controle com o AI Gateway

   Com uma base massiva de especialistas utilizando modelos de linguagem em todas as etapas, a alternância rápida entre diferentes modelos tornou-se essencial. Anteriormente, a adoção de uma nova tecnologia exigia negociações contratuais demoradas para ajuste de limites de taxa. O uso do AI Gateway resolveu esse atrito, permitindo alocar centenas de milhões de tokens rapidamente e reduzir o tempo de lotes de avaliação de 12 para duas horas. Além disso, o sistema impõe travas de segurança rigorosas, como limites de gastos por chave de API e retenção zero de dados.

   • Cerca de 100.000 especialistas utilizam LLMs em fluxos de trabalho para controle de qualidade e geração de variantes de dados.
   • O AI Gateway fornece um único endpoint para modelos de código aberto e fechado, dispensando novos contratos complexos.
   • A retenção zero de dados é ativada por padrão para proteger informações em setores sensíveis.
   • A plataforma centraliza o monitoramento de gastos por usuário, projeto e carga de trabalho, gerando uma fatura única.
3. 08:12 - 13:15

   Segurança e governança para agentes autônomos

   A proliferação de agentes autônomos criados por equipes internas apresenta novos desafios de segurança, comparáveis ao comportamento de estagiários incansáveis que buscam atingir objetivos por qualquer meio. Para conter riscos como o acesso indevido a canais de comunicação ou documentos confidenciais, a Mercor aplica isolamento de permissões rigoroso. Cada agente opera com chaves restritas a modelos específicos, validades definidas e tetos de orçamento. Dessa forma, a empresa consegue escalar para milhares de projetos sem inflar o tamanho da equipe de segurança.

   • Agentes autônomos operam continuamente sem supervisão humana constante, o que eleva os riscos de vazamento de dados.
   • Os agentes recebem chaves de gateway exclusivas com listas de permissões de modelos, validades e limites de gastos.
   • O caminho seguro precisa ser o mais rápido e fácil para evitar que equipes criem soluções paralelas sem controle.
   • A automação de padrões de plataforma impede que revisões de segurança se tornem um entrave intransponível para a empresa.