Wie du deine erste KI-Eval schreibst – SallyAnn DeLucia, Arize AI

하이라이트

• Klassische Unit-Tests scheitern an KI-Agenten, weil Agentenlogik nicht im Code ablesbar ist, sondern erst nachträglich über Traces sichtbar wird.

• LLM-as-a-Judge-Evaluierungen funktionieren empirisch am zuverlässigsten, wenn jede Eval strikt auf genau ein Erfolgskriterium isoliert wird.

• Produktionsreife Agenten-Evaluierung skaliert iterativ von wenigen Basis-Metriken bis hin zu Dutzenden spezialisierten Prüfungen, wie 32 aktive Evals am Beispiel des Arize-Agenten Alex zeigen.

• Herkömmliche Systemmetriken zeigen lediglich an, dass etwas fehlschlägt, während Evaluierungen den exakten Fehlermodus der Modellausgabe identifizieren.

• Decision Models bieten eine schnellere und kostengünstigere Auswertung ohne Textbegründung, während LLM-as-a-Judge detaillierte Reasoning-Erklärungen für jedes Label liefert.

타임라인

1. 00:00 - 05:14

   Grenzen von Vibe Checks und die Rolle von Traces

   Ohne systematische Tests führen manuelle Prompt-Änderungen nach kurzer Zeit zu unbemerkten Regressionen, die sich ohne objektive Datenbasis nicht beweisen lassen. Während reguläre Softwarefunktionen feste Ein- und Ausgaben im Quellcode abbilden, erzeugen LLMs mehrere gültige Ausgabepfade. Traces dienen hierbei als Protokolle, die komplexe Aufrufketten und Tool-Interaktionen für Evaluierungen überhaupt erst sichtbar und messbar machen.

   • Reine Vibe Checks machen Prompt-Regressionen und Modellvergleiche in CI/CD-Pipelines unmöglich.
   • KI-Agenten erfordern Traces statt deterministischer Software-Unit-Tests.
   • Traces dokumentieren alle Zwischenschritte und Tool-Aufrufe zwischen Nutzereingabe und finaler Antwort.
2. 05:15 - 07:30

   Evaluierungsarten für Agentensysteme

   Für unterschiedliche Testphasen stehen LLM-as-a-Judge, Decision Models, Code-Prüfungen sowie Agent-as-a-Judge zur Verfügung. Deterministische Anforderungen wie exakte String-Vorkommen oder Formatvorgaben gehören in Code-Tests wie ROUGE oder Schema-Validatoren. LLM-Richter bieten dagegen semantische Analysen mit erläuterndem Feedback, während Decision Models schnellere binäre Wahrscheinlichkeiten liefern.

   • LLM-as-a-Judge liefert strukturierte Labels mitsamt erklärender Begründung.
   • Code-basierte Evaluierungen prüfen deterministische Kriterien wie JSON-Schemata und Wortübereinstimmungen.
   • Decision Models bieten schnelle Wahrscheinlichkeitswerte ohne Reasoning-Texte.
3. 07:31 - 19:04

   Konstruktion von Traces und Trace-Hierarchien

   In Multi-Agenten-Architekturen delegiert ein Agent Arbeitsschritte an Sub-Agenten und Werkzeuge. Anhand eines Reiseplaner-Beispiels zeigt sich die Zerlegung: Ein Root-Span stößt Sub-Agenten für Wetterdaten an, woraufhin separate LLM-Aufrufe die Werkzeugauswahl treffen und deren Rohdaten zusammenfassen. Framework-agnostische Auto-Instrumentierer zeichnen diese Schritte mitsamt Parametern standardisiert auf.

   • Der Root-Span enthält die übergeordnete Benutzereingabe und die finale Endausgabe.
   • Verschachtelte Sub-Spans trennen Recherche-, Tool- und Syntheseschritte voneinander ab.
   • OpenInference ermöglicht die automatische Instrumentierung unabhängig vom eingesetzten Agenten-Framework.
4. 19:05 - 25:17

   Kriterienbildung und Isolierung einzelner Dimensionen

   Vage Formulierungen führen zu inkonsistenten Bewertungen. Präzise Vorgaben wie die Einhaltung eines festen Budgets oder die Berücksichtigung expliziter Tage definieren den Erfolg zweifelsfrei. Das Beschränken auf ein einzelnes Kriterium pro Evaluator verhindert Fehlurteile des Bewertungsmodells. Der Agent Alex steigerte seine Prüfungen auf dieser Basis schrittweise von elementaren Sicherheitsprüfungen auf 32 spezialisierte Evals.

   • Spezifische Kriterien ersetzen vage Vorgaben wie Hilfsbereitschaft oder Genauigkeit.
   • Jede LLM-as-a-Judge-Evaluierung darf nur eine Dimension gleichzeitig bewerten.
   • Drei präzise Stichpunkte für Bestehen und Durchfallen bilden das Fundament des Richter-Prompts.
5. 25:18 - 32:05

   Prompt-Design und Testdurchlauf im Playground

   Über Filterkriterien wie parent_id gleich null oder spezifische Span-Namen wandern repräsentative Traces in Testdatensätze. Im Prompt-Playground werden Systemrolle, Kriterienliste sowie Pass- und Fail-Bedingungen formuliert. Dank Variablenzuordnung bleibt der Evaluator über verschiedene Datensätze hinweg wiederverwendbar, während Durchläufe mit kleineren Modellen wie GPT-4o-mini das Urteilsverhalten vor dem Speichern absichern.

   • Filter nach Root-Spans oder Tool-Namen isolieren relevante Daten für Evaluierungsdatensätze.
   • Variable Mappings entkoppeln den Eval-Prompt von festen Trace-Attributnamen.
   • Playground-Iterationen mit Modellen wie GPT-4o-mini validieren Prompt und Labelvergabe vor dem Produktiveinsatz.
6. 32:06 - 35:18

   Human Alignment und kontinuierliche Online-Evals

   Teams annotieren Datensätze manuell, um die Treffsicherheit des Evaluators mit menschlichen Urteilen abzugleichen. Automatisierte Online-Evals bewerten jeden Produktiv-Trace kontinuierlich im Hintergrund. Weil herkömmliche Metriken lediglich Systemabbrüche melden, braucht die Ursachenanalyse semantische Evals, die inhaltliche Abweichungen exakt aufschlüsseln.

   • Alignment vergleicht Modellergebnisse mit menschlichen Annotationen auf Goldstandards.
   • Online-Evals führen Evaluatoren automatisch auf jedem eingehenden Produktionstrace aus.
   • Evaluierungen decken den konkreten Fehlermodus auf, während Metriken nur Anomalien signalisieren.