Sua correção de agente acabou de quebrar outra coisa - Sofia Jakovcevic, Arize AI

하이라이트

• Uma alteração de uma única linha em um prompt de sistema melhora a segurança das ações em 17 pontos, mas degrada a conclusão de tarefas em 17 pontos.

• Os agentes falham em tempo de execução e não no nível do código estático.

• O ciclo de regressão de agentes utiliza cinco etapas que começam com a extração de rastreamentos de produção reais em vez de dados sintéticos.

• Os testes automatizados em CI impedem o merge de alterações de agentes que não atendem aos critérios de regressão definidos.

• Os agentes de programação conectados a backends de observabilidade externos compreendem o impacto real das alterações em produção.

타임라인

1. 00:00 - 06:27

   O desafio invisível da regressão em agentes

   A construção de sistemas de IA traz desafios complexos devido à opacidade do comportamento dos agentes. A aplicação de uma restrição de confirmação antes de ações melhora a segurança em 17 pontos, mas reduz a conclusão de tarefas no mesmo valor. O diff estático mostra apenas o texto alterado, enquanto o rastreamento em produção revela as trajetórias e os desvios comportamentais reais.

   • Os agentes operam como caixas pretas difíceis de prever e depurar sem observabilidade.
   • Uma modificação simples em uma linha de prompt gera melhoria na segurança e degradação simultânea na conclusão de tarefas.
   • As falhas de agentes ocorrem no tempo de execução e não no nível do código estático.
2. 06:27 - 11:52

   O processo de cinco etapas para testes de regressão

   A criação de um loop de regressão robusto substitui a intuição subjetiva por dados numéricos confiáveis. A seleção de conjuntos de dados abrange tanto falhas conhecidas quanto o sucesso operacional existente para evitar regressões indesejadas. Os testes executados no SDK ou na plataforma permitem validar o impacto financeiro e de desempenho de novos modelos ou alterações de código antes do envio para produção.

   • O primeiro passo extrai rastreamentos de produção reais, casos extremos e fluxos de trabalho bem-sucedidos.
   • O mecanismo de pontuação utiliza avaliadores baseados em LLM como juiz ou código para transformar métricas subjetivas em pontuações numéricas.
   • Os experimentos de linha de base comparam o desempenho do agente antes e depois de alterações de prompts, ferramentas ou modelos.
   • A automação no CI via GitHub Actions bloqueia pull requests que falham nos critérios de regressão.
3. 11:52 - 19:15

   Aplicação prática e o futuro da auto-melhoria de agentes

   A demonstração prática na plataforma Arize ilustra a execução de testes de prompts e a integração com agentes remotos. A conexão de agentes de programação a repositórios de habilidades elimina o envio de PRs às cegas baseados apenas em código estático. O futuro da tecnologia reside em agentes capazes de analisar seus próprios rastreamentos e otimizar seu funcionamento de forma autônoma.

   • O Prompt Playground e o Agent Playground avaliam desde agentes individuais até sistemas multiagentes complexos.
   • As Agent Skills conectam agentes de programação em IDEs diretamente aos dados de observabilidade em produção.
   • A evolução da observabilidade direciona-se para a auto-melhoria, onde os próprios agentes investigam e corrigem suas falhas.