Wie man KI-Agenten testet, wenn kein Benchmark existiert — Nathanael Weill, Air Canada

하이라이트

• Das Fehlen von öffentlichen Benchmarks und begrenzter Zugang zu Fachexperten erschweren die Evaluation von KI-Agenten in Unternehmen.

• Das Umkehren des Problems durch die automatische Generierung von Fragen aus Ausgangsdokumenten ermöglicht die Erstellung eines verlässlichen Testdatensatzes.

• Die Umstellung von wöchentlichen manuellen Experten-Meetings auf automatisierte Test-Skripte steigert die Evaluationsfrequenz von einer Messung pro Woche auf Dutzende pro Tag.

• Die gezielte Manipulation unterzeichneter Verträge durch das Entfernen einzelner Klauseln erweist sich als wirkungsvollster Ansatz zur Erstellung von Test-Benchmarks.

• Code-basierte Prüfungen vermeiden das erhebliche Rauschen, das beim Einsatz von LLMs als automatisierte Richter entsteht.

타임라인

1. 00:00 - 05:32

   Herausforderungen bei der Agenten-Evaluation

   Die Entwicklung von KI-Lösungen in großen Unternehmen wie Air Canada scheitert häufig an fehlenden Standard-Benchmarks. Entwickler sind keine Fachexperten, und die Einbindung von Spezialisten beschränkt sich auf wöchentliche Treffen mit verschiedenen Chatbot-Varianten. Diese manuelle Methode erlaubt nur einen Testdurchlauf pro Woche und liefert oft divergierende Einschätzungen, was einen schnellen Iterationszyklus verhindert.

   • Das Erstellen von KI-Agenten für spezifische Unternehmensaufgaben erfolgt ohne verlässliche öffentliche Benchmarks.
   • Der direkte Zugang zu Fachexperten ist stark eingeschränkt, da diese durch ihre eigenen Aufgaben stark ausgelastet sind.
   • Wöchentliche manuelle Feedback-Runden mit Experten führen oft zu widersprüchlichen Bewertungen und verlangsamen den Entwicklungsprozess massiv.
   • Komplexe Pipeline-Erweiterungen zerstören oft zuvor funktionierende Funktionen, ohne die Gesamtleistung messbar zu verbessern.
2. 05:33 - 07:49

   Das Prinzip der umgekehrten Testgenerierung

   Um das Evaluierungsproblem zu lösen, wird das Verfahren umgekehrt: Statt auf Experten zu warten, generiert ein LLM Fragen direkt aus Quelldokumenten. Der Agent muss diese Fragen beantworten, und ein Skript gleicht das Ergebnis mit dem Original ab. Dieser automatisierte Testdatensatz vervielfacht die Testgeschwindigkeit und zeigt, dass Einfachheit und saubere Basisparameter wichtiger sind als übertriebene Pipeline-Komplexität.

   • Das Umkehren des herkömmlichen Ansatzes beginnt mit einem Ausgangsdokument, zu dem ein LLM automatisch eine passende Frage generiert.
   • Der KI-Agent sucht nach der Antwort, woraufhin ein direkter Code-Vergleich zwischen gefundener und ursprünglicher Quelle erfolgt.
   • Automatisierte Tests ersetzen subjektive Expertenmeinungen und erlauben Dutzende Evaluierungen pro Tag.
   • Die Konzentration auf grundlegende Parameter wie Embedding-Modelle und Chunking erzielt bessere Ergebnisse als unnötige Systemkomplexität.
3. 07:50 - 16:20

   Techniken zur Testdatenerstellung bei Lieferantenverträgen

   Bei der Analyse von Tausenden Lieferantenverträgen fehlen standardisierte Versionierungen oder Originaldaten. Fünf verschiedene Techniken lösen dieses Dilemma: der Vergleich früherer Verträge, das Generieren von Verträgen rund um bekannte Regeln, das gezielte Entfernen von Klauseln aus echten Verträgen, das Testen mit invarianten Daten sowie das Befüllen standardisierter Vertragsvorlagen mit Testdaten.

   • Die Analyse von Lieferantenverträgen bei Air Canada erfordert automatisierte Prüfungen auf Regelkonformität und fehlende Klauseln.
   • Das Entfernen spezifischer Klauseln aus echten unterzeichneten Verträgen liefert den stärksten Benchmark für das Erkennen von Mängeln.
   • Das Einbringen von irrelevanten Änderungen wie veränderten Namen oder umgeordneten Klauseln stellt die Konsistenz des Agenten sicher.
   • Die Nutzung von Vertragsvorlagen mit variablen Leerstellen ermöglicht die automatisierte Generierung von Testfällen mit bekannten Regelverstößen.
4. 16:21 - 19:46

   Fazit und Bewertungsmethoden

   Code-basierte Auswertungen und exakte Übereinstimmungen sind im Vergleich zu LLM-basierten Richtern deutlich verlässlicher, da letztere zu viel methodisches Rauschen erzeugen. Das Feedback der Experten wird direkt für die Erstellung präziserer Tests und Prompts verwendet. Testgenerierung fungiert somit als essenzielles Werkzeug für Entwickler, um schrittweise bessere Agenten auszuliefern.

   • Exakte Übereinstimmungen und Code-Prüfungen arbeiten wesentlich schneller und fehlerfreier als LLMs als Richter.
   • Der Einsatz von LLMs als Richter erzeugt oft so viel Rauschen, dass die Fehlersuche fast so aufwendig ist wie das eigentliche Problem.
   • Feedback von Experten fliesst gezielt in die Generierung besserer Tests und Prompts ein, nicht in die direkte Code-Korrektur.
   • Generierte Tests dienen als reines Werkzeug zur Entwicklerunterstützung und stellen keine automatische Freigabeentscheidung dar.