As Habilidades Tinham SÓ UM Trabalho (E Falharam)

O vídeo inicia discutindo como a Vercel buscou o melhor método para fornecer a documentação do Next.js para agentes de IA. O objetivo era garantir que o modelo conhecesse APIs recentes ou versões específicas que não estavam em seus dados de treinamento originais. Eles começaram testando o padrão aberto de "skills" da Anthropic, que são pacotes modulares de instruções carregados sob demanda. O narrador explica que, embora populares, essas ferramentas dependem inteiramente da decisão do agente para serem utilizadas. Este segmento estabelece o cenário de um problema técnico real enfrentado por desenvolvedores que utilizam automação com IA.

Nesta seção, são revelados dados estatísticos preocupantes sobre o desempenho das skills, que falharam em ser invocadas em 56% das vezes. A Vercel notou que a presença de uma skill ociosa poderia até prejudicar o desempenho, introduzindo ruído no processamento do modelo. Tentativas de forçar o uso via prompts específicos aumentaram a ativação para 95%, mas tornaram o sistema extremamente frágil a variações textuais sutis. Por exemplo, exigir o uso da skill fazia o agente ignorar o contexto do próprio projeto do usuário. Essa fragilidade levou à conclusão de que a abordagem era instável demais para ambientes de produção profissional.

A alternativa testada foi o arquivo agents.md, um formato que insere instruções diretamente no prompt de sistema de forma permanente. Para evitar que o excesso de texto degradasse a qualidade da IA, a Vercel utilizou apenas um índice com caminhos de arquivos em vez da documentação completa. Uma instrução crucial foi adicionada para que a IA priorizasse a recuperação de arquivos locais em vez do conhecimento pré-treinado do modelo. Os resultados foram impressionantes, com os agentes atingindo pontuações perfeitas em testes automatizados, build e lint. O narrador enfatiza que a solução mais simples e direta acabou sendo a mais eficaz tecnicamente.

O encerramento do vídeo analisa os motivos por trás da superioridade do arquivo de agentes, focando na eliminação de pontos de decisão para a IA. Ao tornar o conhecimento um contexto persistente, a documentação passa a fazer parte do raciocínio básico do modelo desde o início da conversa. O orador esclarece que as skills ainda têm seu lugar em fluxos explícitos, como migrações de código solicitadas pelo usuário, mas não para conhecimento geral de frameworks. A recomendação final é projetar sistemas para recuperação e sempre validar as implementações com processos de avaliação (evals). O vídeo termina oferecendo uma ferramenta da Vercel para implementar essa técnica de forma imediata em projetos Next.js.