Continuamos a Reconstruir o Nosso Agente de IA. Eis o que Sobreviveu - Fuad Ali, Arize AI

하이라이트

• O protótipo inicial do agente Alex apresentava cerca de 50% de alucinação e 50% de utilidade.

• O código de suporte gerencia o estado do plano e a verificação de conclusão em vez de deixar tarefas complexas inteiramente a cargo do modelo.

• Um arquivo Markdown simples com limite de 8.000 caracteres superou grafos de conhecimento complexos e recuperação vetorial para a memória de longo prazo.

• Grandes resultados de ferramentas são truncados e armazenados externamente para evitar o estouro da janela de contexto do agente.

• Sessões de produção em tempo real funcionam como casos de teste dinâmicos para a melhoria contínua do agente.

타임라인

1. 00:00:00 - 05:00:00

   Evolução e Arquitetura Inicial do Agente

   O projeto começou com modelos da era 3.5 e exigiu a transferência de cálculos pesados para o código de suporte. A arquitetura evoluiu de um copiloto básico para um sistema capaz de planejar e executar tarefas em várias etapas.

   • O agente Alex passou por múltiplas reconstruções estruturais desde o final de 2023.
   • O sistema utiliza o próprio agente Alex para realizar depurações e avaliações de código.
   • A versão inicial funcionava como um roteador simples de habilidades sobre uma árvore de decisão.
2. 05:00:00 - 09:40:00

   Decisões de Design: Planejamento e Conclusão de Turnos

   Dar total autonomia de planejamento aos modelos gerava consumo excessivo de chamadas de LLM sem progresso útil. A implementação de verificações explícitas no código de suporte garante a estabilidade e a compatibilidade com múltiplos fornecedores de IA.

   • O controle do plano foi transferido gradualmente para o código de suporte para evitar que o modelo perdesse o foco.
   • A finalização de turnos tornou-se um mecanismo rígido imposto pelo código para suportar diferentes provedores de modelos.
   • Chamadas iterativas de ferramentas substituíram as listas de tarefas autogeridas pelos modelos.
3. 09:40:00 - 13:30:00

   Gerenciamento de Memória e Contexto

   O excesso de dados em uma mesma sessão degrada o desempenho do agente. O uso de arquivos enxutos para a memória de longo prazo facilita a auditoria humana e evita custos computacionais desnecessários com estruturas complexas.

   • Resultados excessivamente grandes de ferramentas são truncados para preservar a janela de contexto.
   • Um arquivo Markdown individual por usuário provou ser superior a grafos de conhecimento para a memória de longo prazo.
   • Trabalhos em segundo plano atualizam a memória de forma segura após o término de cada sessão.
4. 13:30:00 - 19:57:00

   Especialistas, Modelos e Testes em Produção

   A equipe abandonou a divisão em múltiplos especialistas em favor de um agente unificado. O rastreamento contínuo das execuções em ambiente de produção substitui os testes tradicionais, permitindo identificar falhas qualitativas de forma automatizada.

   • A arquitetura com múltiplos subagentes especialistas foi unificada em um único agente flexível que carrega habilidades sob demanda.
   • Sessões de produção e dados de CI alimentam conjuntos de dados de regressão para testes contínuos.
   • O julgamento humano permanece indispensável para definir o equilíbrio entre velocidade e qualidade.