A Anthropic finalmente resolveu o problema da janela de contexto de 1M

하이라이트

• A degradação do desempenho, conhecida como podridão de contexto, começa a ocorrer em torno de 300.000 a 400.000 tokens, o que corresponde a apenas 40% da capacidade total da janela de 1 milhão de tokens.

• A compactação automática pelo modelo é ineficiente porque descarta informações cruciais e ignora o estado completo do projeto, sendo preferível o gerenciamento manual.

• O uso de estruturas JSON para salvar estados e tarefas permite preservar informações críticas de forma consistente antes de limpar a janela de contexto.

• A utilização de subagentes isola chamadas de ferramentas, pesquisas na web e raciocínios intermediários, evitando a poluição do contexto do agente principal.

• O comando de retrocesso (rewind) é mais eficaz do que a correção incremental, pois remove seções com erros e garante que o agente opere a partir de um estado limpo.

타임라인

1. 00:00 - 02:14

   Os limites reais da janela de contexto

   Embora a expansão para 1 milhão de tokens permita processar mais documentos simultaneamente, isso introduz problemas de interferência. O excesso de dados disponíveis na memória torna o modelo menos capaz de manter o foco, resultando em alucinações e esquecimento de instruções anteriores. O fenômeno ocorre em cerca de 40% da capacidade total, desmistificando a ideia de que janelas maiores eliminam a necessidade de gerenciamento.

   • A janela de contexto de 1 milhão de tokens sofre de degradação de desempenho muito antes de ser preenchida.
   • A podridão de contexto manifesta-se quando o excesso de informações causa perda de foco e raciocínio no modelo.
   • O desempenho começa a declinar significativamente a partir de 300.000 a 400.000 tokens.
2. 02:15 - 03:52

   Falhas comuns em agentes de longa execução

   Agentes que rodam por longos períodos acumulam ruído que prejudica sua capacidade de tomada de decisão. O desvio de objetivo ocorre quando instruções iniciais são esquecidas devido ao volume de novos dados. A corrupção de memória é particularmente problemática, pois o agente pode modificar arquivos baseando-se em fatos que já não refletem o estado real do projeto.

   • A poluição de contexto, o desvio de objetivo, a corrupção de memória e a imprecisão de decisão são os quatro principais modos de falha.
   • A corrupção de memória ocorre quando o agente opera com base em estados internos desatualizados ou incorretos.
   • A imprecisão de decisão manifesta-se em escolhas contraditórias diante de situações idênticas.
3. 03:53 - 09:14

   Estratégias de gerenciamento: Compactação e Limpeza

   A compactação feita automaticamente pelo modelo é propensa a perdas, pois ele prioriza eventos recentes e descarta detalhes que considera irrelevantes. Recomenda-se realizar a compactação manualmente por volta de 300.000 tokens. Para manter a memória do projeto, salvar o estado em um arquivo JSON e iniciar uma nova sessão limpa permite um recomeço preciso e focado.

   • A compactação automática deve ser evitada em favor de intervenções manuais para garantir maior precisão.
   • O comando clear remove todo o contexto, sendo útil ao alternar entre tarefas não relacionadas.
   • A combinação de JSON estruturado com o comando clear preserva informações críticas enquanto elimina o ruído.
4. 09:15 - 12:45

   Subagentes e comandos de retrocesso

   Delegar tarefas intermediárias a subagentes evita a poluição do contexto principal com dados brutos ou caminhos de raciocínio temporários. O retrocesso é preferível à correção contínua, pois assegura que o estado futuro do agente não seja influenciado por decisões errôneas passadas. Essa abordagem mantém a consistência e a eficácia do agente em fluxos de trabalho complexos.

   • Subagentes isolam tarefas de pesquisa ou refatoração, mantendo o contexto principal limpo.
   • O uso periódico de recapitulações reforça objetivos originais dentro da janela de trabalho.
   • O comando de retrocesso (rewind) remove partes problemáticas do histórico de execução, prevenindo a propagação de erros.