Como Escrever Sua Primeira Avaliação de IA - SallyAnn DeLucia, Arize AI

하이라이트

• Avaliações subjetivas impedem a detecção de regressões de prompt e inviabilizam a comparação objetiva entre diferentes versões de modelos.

• Testes de software tradicionais validam uma única saída determinística, enquanto agentes de IA possuem múltiplos caminhos e exigem rastreamentos para expor a lógica interna.

• Modelos de decisão fornecem saídas probabilísticas rápidas sem explicações, ao contrário do LLM como juiz, que gera justificativas textuais completas.

• A precisão do LLM como juiz diminui ao avaliar múltiplos critérios simultaneamente, exigindo o isolamento de apenas uma qualidade por avaliação.

• O agente de IA Alex expandiu seu conjunto inicial de verificações básicas de segurança e QA para 32 avaliações simultâneas em produção.

• Métricas operacionais apenas sinalizam que algo falhou, mas avaliações específicas identificam o modo de falha exato da aplicação.

타임라인

1. 00:00 - 03:08

   Limitações das impressões subjetivas no ciclo de vida de agentes

   O hábito de alterar prompts e julgar os resultados por impressões superficiais esconde problemas graves em produção. Sem uma suíte de avaliação estabelecida, equipes não conseguem comprovar se uma alteração consertou um defeito ou se introduziu novas falhas. O monitoramento contínuo depende desse sinal objetivo para comparar versões de modelos e validar se uma atualização realmente beneficia a aplicação.

   • Avaliações são o principal sinal operacional para monitorar o comportamento de agentes de IA.
   • Ajustes empíricos em prompts geram regressões silenciosas que quebram casos de uso semanas após o deploy.
   • A ausência de critérios objetivos impossibilita a criação de barreiras de qualidade no fluxo de CI.
2. 03:08 - 07:29

   Diferenças entre testes tradicionais, rastreamentos e categorias de juízes

   A execução de um agente envolve árvores complexas de chamadas a ferramentas, subagentes e LLMs que não revelam a lógica diretamente no código. O LLM como juiz resolve essa complexidade ao fornecer rótulos acompanhados de justificativas analíticas que explicam a nota atribuída. Para testes determinísticos como JSON e palavras-chave, funções em código ou métricas ROUGE e BLEU continuam mais adequadas. Novas APIs de modelos de decisão operam com baixo custo e velocidade, entregando probabilidades binárias para os casos avaliados.

   • Rastreamentos funcionam como logs de execução e avaliações atuam como os testes de software em IA.
   • Sistemas multiagente geram múltiplas saídas aceitáveis, tornando testes unitários convencionais insuficientes.
   • Os métodos avaliativos variam entre código determinístico, modelos de decisão rápidos e LLM como juiz com explicação.
3. 07:29 - 19:03

   Análise prática de rastreamentos em arquiteturas multiagente

   O exame detalhado de uma árvore de rastreamento de um agente de viagens demonstra como dados de ferramentas climáticas e de destinos alimentam spans subsequentes de LLM para síntese. Essa decomposição em nós com hierarquia de dependência permite localizar com exatidão a etapa causadora do erro. A instrumentação nativa captura atributos essenciais de entrada e saída, enquanto esquemas manuais acomodam parâmetros específicos de cada produto.

   • O nó raiz de um rastreamento concentra a entrada do usuário e o resultado final da interação.
   • Spans representam unidades atômicas de trabalho, distinguindo chamadas a ferramentas de etapas de raciocínio de subagentes.
   • Instrumentações agnósticas capturam chamadas modulares de frameworks como LangGraph por meio do OpenInference.
4. 19:03 - 25:05

   Definição de critérios concretos e regra da qualidade única

   Substituir termos como prestativo por requisitos quantificáveis, como respeitar o orçamento e limitar o número exato de dias de viagem, garante avaliações confiáveis. A literatura e a prática comprovam que concentrar o prompt do juiz em uma única regra por execução evita dispersão e erros de julgamento. O ciclo de vida do agente Alex exemplifica esse princípio ao iniciar com métricas de segurança e evoluir gradualmente para 32 verificadores em produção.

   • Critérios concretos substituem adjetivos vagos por parâmetros verificáveis de sucesso e falha.
   • LLMs atuando como juiz devem focar em apenas uma dimensão de qualidade por prompt de avaliação.
   • A construção de avaliações deve começar simples e expandir conforme a complexidade do tráfego real.
5. 25:05 - 32:02

   Configuração do dataset e testes de prompt no playground

   A criação de um juiz no Arize começa pela filtragem de spans específicos, como chamadas de ferramentas ou o nó raiz, para consolidar um conjunto representativo. O prompt de avaliação deve conter instruções claras de papel, critérios explícitos de aprovação e reprovação, rótulos e exigência de explicação analítica. Execuções iterativas sobre modelos rápidos como o GPT-4o-mini permitem calibrar as variáveis antes de salvar e disponibilizar o avaliador na plataforma.

   • Filtros por atributos de span isolam os passos exatos que devem alimentar o dataset de teste.
   • O mapeamento desacoplado de variáveis permite reutilizar o mesmo juiz em diferentes tarefas e origens de dados.
   • O playground valida a concordância entre o modelo de avaliação selecionado e as expectativas do projeto.
6. 32:02 - 35:18

   Alinhamento humano, automação contínua e governança multidisciplinar

   Equipes maduras não limitam a avaliação ao desenvolvimento; elas implementam rotinas online onde cada transação do agente passa por juízes automatizados. Agentes gerenciados como o Signal consomem essas informações analíticas para identificar padrões de falha e sugerir correções. A governança bem-sucedida de IA exige colaboração ampla entre todas as partes interessadas para estabelecer métricas operacionais e diagnósticos específicos de cada modo de falha.

   • O alinhamento confronta o julgamento gerado por IA com a anotação manual realizada por humanos.
   • Avaliações online executam automaticamente sobre cada rastreamento enviado em ambiente produtivo.
   • A definição de critérios de sucesso exige o envolvimento direto de produto, engenharia, suporte e segurança.