Cómo probar agentes de IA cuando no existe un benchmark — Nathanael Weill, Air Canada
Original · How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
Key Takeaway
La creación de conjuntos de pruebas automatizados mediante la inversión del problema permite evaluar agentes de IA sin benchmarks públicos y acelera el desarrollo de una prueba semanal a ciclos diarios.
Highlights
La falta de un benchmark público y el acceso limitado a expertos impiden evaluar directamente los agentes de IA en Air Canada.
La inversión del problema de prueba permite generar preguntas a partir de documentos para evaluar agentes mediante código en lugar de opiniones humanas.
El uso de pruebas automatizadas incrementa la velocidad de evaluación de una vez por semana a docenas por día.
Las evaluaciones basadas en código superan la fiabilidad de usar un modelo de lenguaje grande como juez debido al ruido generado por este último.
La retroalimentación de los expertos se reutiliza para generar mejores conjuntos de pruebas y prompts en lugar de corregir directamente al agente.
Timeline
El desafío de evaluar agentes sin benchmarks en Air Canada
El trabajo en una empresa masiva implica abordar tareas específicas sin contar con estándares de evaluación previos ni disponibilidad constante de especialistas sectoriales. La construcción de un sistema RAG en el sector de telecomunicaciones demostró que la complejidad excesiva en los flujos de trabajo rompe funcionalidades existentes sin garantizar mejoras reales en las respuestas.
- El equipo de ciencia de datos en Air Canada desarrolla soluciones de IA para operaciones, corporativo, comercial y lealtad.
- La ausencia de benchmarks públicos y el acceso limitado a expertos en cada unidad de negocio dificultan la creación de evaluaciones.
- Un proyecto anterior de sistemas RAG para ingenieros de telecomunicaciones enfrentó exactamente el mismo obstáculo con miles de documentos de proveedores.
La inversión del problema de evaluación
Las opiniones divergentes entre expertos ralentizan drásticamente el ciclo de desarrollo cuando se depende de revisiones humanas. La automatización mediante la generación inversa de preguntas elimina la dependencia de juicios subjetivos y permite centrar los esfuerzos en optimizar componentes fundamentales como el modelo de incrustación y la fragmentación de textos.
- Las reuniones semanales con múltiples expertos para calificar chatbots de forma manual limitan el progreso a una prueba por semana.
- La técnica de invertir el problema consiste en extraer una página, pedirle a un modelo que redacte una pregunta y usar código para verificar la respuesta del agente.
- La automatización de las evaluaciones eleva la frecuencia de prueba a docenas por día y mejora la precisión general del sistema.
Técnicas de prueba para el análisis de contratos de proveedores
La automatización del análisis contractual carece de fuentes externas o benchmarks preexistentes, lo que obliga a diseñar métodos propios de generación de pruebas. La manipulación de contratos firmados para eliminar o mover cláusulas específicas consolida un estándar de evaluación sólido donde el agente debe detectar las infracciones de manera automática.
- El análisis de contratos de proveedores en Air Canada requiere identificar cláusulas, encontrar documentos de respaldo, redactar enmiendas y clasificar resultados.
- Cinco técnicas permiten evaluar el sistema: comparación de contratos pasados, generación de contratos alrededor de reglas conocidas, alteración de contratos firmados, pruebas de invariancia ante cambios superficiales y uso de plantillas con espacios en blanco.
- Las validaciones ejecutadas mediante código reemplazan al modelo de lenguaje como juez para evitar el ruido y la dificultad de calibración.
Conclusiones sobre el diseño de pruebas para agentes
El diseño de sistemas de agentes complejos exige adaptar la arquitectura de la solución para que sea evaluable mediante código, incluso si esto implica modificar el diseño original. Las pruebas automatizadas actúan como un soporte continuo que guía la evolución iterativa del agente hacia niveles óptimos de precisión.
- La retroalimentación obtenida se canaliza hacia la mejora de los conjuntos de pruebas y los prompts en lugar de realizar correcciones manuales directas.
- La evaluación automatizada funciona como una herramienta de apoyo para el desarrollador y no constituye un criterio definitivo de lanzamiento.
- Escribir primero la respuesta y verificar mediante código establece el camino principal para dejar atrás el despliegue de agentes sin evaluación.
Description
Nathanael Weill leads a team building AI agents at Air Canada, where tasks are so specific there's no public benchmark and domain experts have little time to grade results. His fix is to write the answer first: start from a known answer, generate the input from it, and check whether the agent finds its way back. He shows how that took a past RAG project from one expert-graded test a week to dozens of automated tests a day, then applies it to a supplier-contract review agent with five ways to build a test set: past decisions, planted rule violations, removed clauses, changes that shouldn't matter, and contract templates with filled-in blanks. He also explains why he avoids LLM judges whenever code can check the answer. Chapters: - 00:00 Intro - 00:47 No benchmark, no experts - 01:41 A lesson from a telecom RAG project - 04:43 Weekly expert reviews were too slow - 05:38 Flip it: write the answer first - 06:33 From one test a week to dozens a day - 07:30 Supplier contract review - 10:08 How the contract agent works - 10:39 Five ways to build a test set - 12:31 Planting rule violations - 13:39 Removing clauses - 14:42 Changes that shouldn't matter - 15:38 Templates with blanks - 16:39 Avoid LLM judges when code can check - 18:07 Use expert feedback to build better tests Nathanael Weill, Air Canada: https://www.aircanada.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!