Pare de Dar Ferramentas ao Seu Agente. Dê a Ele um Sandbox - Mikyo King, Arize AI

하이라이트

• A transição do modelo de ferramentas tradicional para o modo de código reduziu a quantidade de tokens em 43% e cortou os custos em 31% na plataforma Phoenix da Arize AI.

• O modo de código permite que os agentes de IA executem fluxos de trabalho complexos e chamem múltiplas ferramentas em um único turno de processamento.

• A infraestrutura do modo de código implementada inclui ambientes Bash, sandboxes Python e endpoints SQL para consultas agregadas avançadas de latência e rastreamento.

• A arquitetura de sandbox duplo e os desafios operacionais, como gerenciamento de permissões e tratamento de falhas, continuam sendo considerações importantes ao adotar o modo de código.

타임라인

1. 00:00 - 01:51

   A evolução do desenvolvimento de software e a ascensão do modo de código

   O histórico de 30 anos de desenvolvimento de software demonstra a separação entre ferramentas criadas para programadores e usuários comuns. Com o avanço atual, os agentes de IA podem construir softwares dinamicamente para atender às necessidades dos usuários, eliminando barreiras tradicionais de interface e aquisição de sistemas.

   • A fronteira entre software para engenheiros e não engenheiros está se dissolvendo através de agentes de codificação dinâmicos.
   • Os modelos de fundação são treinados com benchmarks voltados para a criação autônoma de software.
2. 01:51 - 04:35

   Limitações da chamada de ferramentas tradicional versus arquitetura do modo de código

   Fornecer ferramentas isoladas ao agente gera latência, alto custo operacional e acúmulo de contexto irrelevante. Em contraste, a arquitetura do modo de código permite que o modelo busque, componha e execute operações complexas utilizando apenas os dados necessários na janela de contexto.

   • A abordagem tradicional de catálogos gigantes de ferramentas causa degradação de contexto, excesso de peso e múltiplos turnos de interação.
   • O modo de código fornece um ambiente de programação que executa ferramentas sequencialmente, em paralelo ou com condicionais em um único turno.
3. 04:35 - 08:21

   Razões técnicas para a eficácia e implementação prática do modo de código

   A capacidade de criar ferramentas de forma emergente resolve problemas complexos, como a remoção de informações de identificação pessoal sem vazar dados na janela de contexto. A utilização de SQL e scripts permite consultas agregadas precisas de latência de rastreamento sem paginação exaustiva.

   • O modo de código funciona por meio de divulgação progressiva de ferramentas, composabilidade e eficiência superior de tokens.
   • A Arize AI integrou ferramentas como Bash, sandboxes Python e consultas SQL em sua plataforma Phoenix para lidar com operações CRUD e agregação de dados.
4. 08:21 - 14:30

   Desafios operacionais, problemas em aberto e metodologia de avaliação

   A adoção do modo de código exige cuidados com a segurança de rede, gerenciamento de segredos e barreiras de proteção para permissões amplas. Através de testes sistemáticos no framework Harbor, a empresa comprovou uma redução de 43% nos tokens e de 31% nos custos operacionais gerais.

   • O uso do modo de código introduz desafios relacionados a recursos de sandbox, rede, segredos, permissões e complexidade operacional.
   • A Arize AI avalia seus agentes utilizando o framework Harbor para executar testes repetidos em ambiente isolado, medindo o indicador pass@k.