Como Testar Agentes de IA Quando Não Existe Benchmark — Nathanael Weill, Air Canada

Highlights

• A ausência de benchmarks públicos e o acesso limitado a especialistas em domínios específicos dificultam a criação de avaliações para agentes de IA na Air Canada.

• Inverter o problema através da geração de dados de teste baseados em respostas conhecidas eleva a frequência de avaliações de uma por semana para dezenas por dia.

• A complexidade excessiva em pipelines de RAG introduz quebras em funcionalidades existentes sem garantir melhorias reais na precisão.

• A remoção proposital de cláusulas em contratos assinados gera um benchmark robusto para testar a detecção de lacunas por parte dos agentes.

• O uso de validações baseadas em código e correspondência exata substitui com vantagem a instabilidade e o ruído gerados por modelos de linguagem atuando como juízes.

Timeline

1. 00:00 - 05:32

   O desafio da avaliação sem benchmarks e sem especialistas

   A construção de agentes para tarefas específicas em grandes empresas esbarra na escassez de tempo dos profissionais de domínio. Sem métricas padronizadas ou conjuntos de dados prontos, o processo de validação humana torna-se o principal limitador do ritmo de desenvolvimento, impedindo iterações rápidas.

   • A equipe da Air Canada desenvolve soluções de IA para múltiplos segmentos com restrições severas de acesso a especialistas de domínio.
   • A ausência de benchmarks públicos impede a mensuração direta da eficácia das soluções implementadas.
   • Reuniões semanais com especialistas comparando múltiplos chatbots geram divergências de opinião e limitam os testes a uma única execução por semana.
2. 05:32 - 07:45

   Invertendo o problema com RAG e automação de código

   O princípio de partir de uma página conhecida para gerar perguntas e verificar se o agente consegue recuperá-la elimina a dependência de opiniões subjetivas. Esse mecanismo simplifica a arquitetura técnica, permitindo focar em componentes essenciais como modelos de embedding e estratégias de chunking.

   • A inversão do fluxo consiste em extrair dados de documentos, gerar perguntas sintéticas e validar as respostas do agente de forma automatizada por código.
   • Pipelines complexos e sobrecarregados de técnicas teóricas frequentemente destabilizam o sistema em vez de aprimorá-lo.
   • A adoção de testes automatizados eleva a frequência de avaliações para dezenas diárias e impulsiona a precisão de forma consistente.
3. 07:45 - 16:20

   Técnicas de teste aplicadas à análise de contratos de fornecedores

   O projeto de análise de contratos utiliza estratégias como a geração de contratos a partir de regras predefinidas, a remoção intencional de cláusulas obrigatórias e a variação de dados irrelevantes como endereços e nomes. Essas táticas geram centenas de casos de teste executáveis por código sem exigir supervisão humana constante.

   • Cinco abordagens distintas auxiliam na criação de benchmarks para análise de contratos sem a necessidade de bases de dados externas.
   • A manipulação de regras conhecidas e a injeção controlada de falhas em contratos assinados permitem mapear falhas de detecção nos agentes.
   • Modificações superficiais e estruturais em contratos servem para comprovar a estabilidade e a consistência das saídas do modelo.
4. 16:20 - 19:46

   Limitações do LLM como juiz e ciclos de melhoria contínua

   Avaliações baseadas em correspondência exata ou código superam o LLM como juiz em termos de confiabilidade e velocidade. A estruturação de um ciclo de testes consistente acelera o desenvolvimento e redefine a avaliação como um instrumento de engenharia contínua.

   • O uso de modelos de linguagem como avaliadores introduz um nível de ruído comparável ao erro do próprio agente em desenvolvimento.
   • O feedback real obtido de especialistas deve ser direcionado para a criação de testes e prompts melhores, e não para correções manuais pontuais.
   • Os testes automatizados funcionam como ferramentas de suporte ao desenvolvedor e não como uma aprovação binária definitiva.