Agentes Que Se Autoaperfeiçoam Enquanto Você Dorme - Fuad Ali, Arize AI

하이라이트

• O Signal atua como um agente SRE autônomo programado a cada seis horas para ler rastreamentos de produção, agrupar falhas e propor correções de código no GitHub.

• A ausência de normalização de slugs em consultas gerou três chamadas sequenciais de LLM e elevou a latência de busca para 14 a 17 segundos no assistente Wonder Toys.

• Modelos de decisão aplicados à detecção de spam isolam 4,6% dos casos com confiança entre 0,3 e 0,7 para intervenção manual, mantendo 99,5% de precisão no restante.

• A execução de experimentos baseados em fixtures vivas de falha valida correções antes do deploy, registrando taxas de aprovação como 88,9% para evitar regressões.

• Avaliações com taxa de aprovação contínua de 99,999% podem ser desativadas no tráfego em tempo real para economizar tokens e custos de execução.

타임라인

1. 00:00 - 05:44

   A necessidade de automação na depuração de agentes

   Erros em agentes não determinísticos criam alertas de suporte contínuos em sistemas de produção. Casos reais, como o da concessionária de automóveis que permitiu a compra de um carro por cinco dólares devido a um erro em chatbot, comprovam os riscos jurídicos e operacionais do modelo sem contenção. O workshop propõe um ambiente prático usando o repositório da aplicação Wonder Toys, Python, Node e chaves de API para automatizar esse ciclo de correção.

   • O comportamento não determinístico de agentes de IA torna a identificação de falhas mais complexa do que na engenharia de software tradicional.
   • A proliferação de agentes internos e externos impede a análise manual de rastreamentos durante incidentes de produção.
   • Falhas de agentes em produção trazem consequências financeiras e jurídicas graves.
2. 05:45 - 12:14

   Os cinco estágios de maturidade e a instrumentação por rastreamento

   A maturidade operacional de equipes com agentes varia desde a simples observabilidade até a capacidade de comprovar alterações de código. Árvores de rastreamento exibem o percurso completo de chamadas de LLMs e ferramentas externas como ChromaDB e FastAPI. Como engenheiros não conseguem inspecionar manualmente milhares de traces de sessão às 4h da manhã, esses registros devem servir de contexto estruturado para o próximo agente da cadeia.

   • A evolução do ciclo de suporte de agentes percorre cinco fases: rastreamento, avaliação, captura de falhas em testes, geração de correções e validação experimental.
   • A CLI do AX automatiza a instrumentação da árvore de execução sem esforço manual.
   • Árvores de rastreamento reúnem argumentos, saídas, chamadas de ferramentas, latência e consumo de tokens por sessão.
3. 12:15 - 19:50

   Operação do Signal e diagnóstico de causa raiz

   O Signal revisa projetos a cada seis horas ou mediante alertas de limite de latência superior a 10 segundos. No caso do Wonder Toys, o agente identificou que o LLM passava palavras com letras maiúsculas e espaços em vez de slugs minúsculos com hífens. Essa falha gerou tentativas repetidas e requisições sequenciais redundantes, o que levou o Signal a formular a causa raiz e redigir uma proposta de PR em seis minutos de análise autônoma.

   • O Signal opera como agente SRE programável que inspeciona rastreamentos e analisa o código-fonte conectado ao GitHub.
   • Erros de capitalização nas buscas forçaram varreduras individuais de produtos, elevando a latência para até 17 segundos.
   • O Signal agrupa falhas em tickets únicos para eliminar duplicatas e manter a higiene de alertas.
4. 19:51 - 26:48

   Arquitetura de avaliadores e papel do julgamento humano

   Verificações em código validam respostas estruturadas como JSON por custos mínimos, enquanto LLMs e agentes como juízes avaliam objetivos qualitativos. Com o assistente Alex, equipes geram templates de avaliações em um clique diretamente a partir de rastreamentos de falhas. O humano atua onde o risco exige governança, especialmente na validação de código antes do merge e na seleção manual de quais problemas devem compor o dataset de regressão contínua.

   • Avaliadores variam entre verificações determinísticas de código, modelos LLM-as-a-judge e agentes autônomos.
   • Modelos de decisão oferecem saídas binárias ou pontuações com custo computacional e latência menores.
   • O julgamento humano permanece fundamental na definição dos critérios de teste, na curadoria dos dados e na revisão de PRs críticos.
5. 26:49 - 34:15

   Experimentação, fixtures vivas e validação de regressão

   Modificações em ambientes não determinísticos exigem comprovação de estabilidade para evitar quebras em ferramentas adjacentes. Um teste prático de correção de enum de categorias atingiu 88,9% de aprovação nas métricas de benchmark, confirmando a eliminação de chamadas repetidas. Ao associar modelos de decisão, sistemas corporativos transferem apenas os casos de baixa confiança (como 4,6% em detecções de spam) para triagem humana, assegurando alta precisão no restante do pipeline.

   • Ajustes em prompts de sistema causam falhas colaterais não intencionais em ferramentas secundárias.
   • A execução de experimentos testa a correção proposta contra fixtures vivas antes de qualquer alteração ir para produção.
   • O roteamento por pontuações de confiança envia casos ambíguos para filas de anotação manual.
6. 34:16 - 43:42

   Integração operacional, expansão de skills e gestão de custos

   A plataforma permite conectar skills para coletar logs em APMs ou inspecionar permissões RBAC. A mensuração de resultados qualitativos baseia-se em métricas comportamentais da sessão inteira do usuário, como repetição de buscas e taxa de refatoração de filtros. A gestão de custos exige balancear quais testes devem permanecer obrigatórios no CI/CD e quais devem rodar apenas por amostragem nos rastreamentos ao vivo.

   • O Signal suporta sandboxes externas como Modal, Daytona e E2B e integrações com Datadog e Slack.
   • O alinhamento de avaliações utiliza a jornada completa da sessão do usuário para medir satisfação e qualidade.
   • Aposentar avaliações com alta taxa de acerto contínua controla os custos operacionais de tokens.
7. 43:43 - 52:53

   Retornos decrescentes, dogfooding e encerramento

   O Signal avalia as próprias investigações e comandos bash internos por meio de autoanálise recursiva. No entanto, além de indicadores objetivos como taxa de aprovação de PRs e criação de datasets, a avaliação excessiva perde eficácia e inflaciona gastos sem gerar valor de negócio. Equipes devem monitorar o custo de execução do agente corretor frente ao agente principal, ajustando amostragens e dependências de contexto conforme o retorno sobre o investimento.

   • A execução do Signal sobre seus próprios rastreamentos avalia a saúde das ferramentas internas via dogfooding.
   • A avaliação contínua atinge retornos decrescentes quando perde contato com métricas proxy objetivas.
   • O equilíbrio do ROI define se o gasto para manter o ciclo de autoaperfeiçoamento compensa o valor do agente original.