Log in to leave a comment
No posts yet
Estamos na era em que agentes de IA escrevem código e constroem infraestrutura. No entanto, os desenvolvedores na linha de frente ainda sentem insegurança. Isso ocorre porque um agente que parecia perfeito há um momento pode, de repente, fornecer uma resposta absurda ou ignorar ferramentas explicitamente instruídas.
Um experimento recente da equipe do Vercel AI SDK traz um resultado impactante. Quando se dá aos agentes de IA o poder de escolha das ferramentas — ou seja, as "Skills" (habilidades) — a taxa de falha chega a impressionantes 56%. Isso não é um problema de inteligência do modelo. É uma evidência de que a forma como fornecemos informações à IA está fundamentalmente errada. O segredo para elevar a taxa de sucesso do agente para 100% não reside na adição de ferramentas, mas em uma estratégia de contexto persistente baseada no agents.md.
Muitos desenvolvedores concedem aos agentes diversas capacidades de chamada de ferramentas e esperam que a IA as utilize por conta própria sempre que necessário. No entanto, essa abordagem possui um ponto fraco fatal chamado ruído de decisão.
A janela de contexto de um modelo de IA funciona como a memória de curto prazo humana. Após mais de 5 trocas de mensagens, as instruções contidas no prompt de sistema inicial perdem prioridade. Chamamos isso de corrupção de contexto. O agente, a cada momento, hesita entre usar uma ferramenta agora ou apenas responder com o que já sabe. Esse próprio ponto de decisão torna-se um ponto único de falha que induz ao erro.
A solução para transformar uma taxa de falha de 56% em 0% é simples. Em vez de dar o poder de escolha ao agente, fixamos as regras e informações centrais do projeto no prompt de sistema. O arquivo agents.md é o núcleo dessa estratégia.
De acordo com os benchmarks da Vercel, quando a mesma informação era fornecida como uma ferramenta, a taxa de sucesso era de 79%. No entanto, quando incluída diretamente em forma de índice no agents.md, a taxa de aprovação atingiu 100%.
| Métrica de Análise | Abordagem de Chamada de Ferramentas (Skills) | Contexto Persistente (agents.md) |
|---|---|---|
| Tomada de Decisão | O agente decide se carrega a cada vez | A informação reside sempre no sistema |
| Confiabilidade | Cerca de 53% ~ 79% (Instável) | Até 100% alcançável |
| Carga de Raciocínio | Carga alta devido ao ruído de decisão | Carga baixa ao omitir a tomada de decisão |
| Características | Método sob demanda (On-demand) | Método passivo |
Para maximizar o desempenho, você deve projetar o agents.md não como um simples arquivo de texto, mas como um README para máquinas.
Proibições específicas elevam a qualidade dos resultados do agente de forma mais imediata do que princípios abstratos. São necessárias ordens concretas, como usar MUI v3 e obrigatoriamente usar Jotai para gerenciamento de estado. Instruções para nunca usar alert() e utilizar componentes de bibliotecas específicas evitam que o agente se desvie do padrão.
Você não deve permitir que o agente desperdice tokens percorrendo todo o repositório. Deve fornecer a localização dos arquivos principais como um mini-índice. Desenhe um mapa claro indicando se deve usar pnpm no build e onde estão localizados os arquivos de rotas e schemas.
Se o arquivo ficar muito grande, o desempenho na verdade cai. A Vercel recomenda uma abordagem de indexação comprimindo 40KB de documentação em 8KB. O segredo é otimizar e entregar o caminho para acessar o conhecimento, em vez de tentar "dar na boca" todo o conhecimento de uma vez.
Assim como a dívida técnica se acumula no código, a "dívida de prompt" se acumula no uso da IA. Se cada membro da equipe der instruções diferentes ao agente, a consistência dos resultados desmorona. Ao manter o agents.md na raiz do projeto e gerenciá-lo via Git, o controle de versão é integrado e o mesmo guia padrão da equipe pode ser aplicado, independentemente do modelo utilizado.
Na era dos agentes de IA, a vitória ou derrota é decidida pela engenharia de contexto, mais do que pela inteligência do modelo. Em vez de esperar que os agentes se tornem mais inteligentes, construir um ambiente onde o agente não possa errar é o caminho mais seguro para aumentar a produtividade. Comece agora mesmo criando um agents.md na raiz do seu projeto e formalizando as regras da sua equipe.