Dein Agent-Fix hat gerade etwas anderes kaputtgemacht - Sofia Jakovcevic, Arize AI
원제 · Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI
핵심 요약
Ein robuster Regressionstestprozess mit datengestützten Evaluierungen und Traces als wahrer Datenquelle verhindert, dass Code-Korrekturen an KI-Agenten unbemerkt andere Systemfunktionen beschädigen.
하이라이트
KI-Agenten versagen selten auf Code-Ebene, sondern unvorhersehbar zur Laufzeit.
Eine einfache System-Prompt-Änderung steigerte die Aktionssicherheit um 17 Punkte, verschlechterte jedoch gleichzeitig die Aufgabenerledigung um 17 Punkte.
Traces und strukturierte Logs bilden die neue primäre Quelle der Wahrheit für KI-Systeme.
Jeder Produktionsfehler sollte automatisch in einen neuen Testfall für die Regressionstest-Suite überführt werden.
Die Zukunft der Observability verlagert sich von menschlicher Überprüfung hin zur automatisierten Selbstverbesserung durch KI-Agenten selbst.
타임라인
Die Blackbox von KI-Agenten und die Grenzen traditionellen Debuggings
Die Erstellung von KI-Systemen erfolgt oft intuitiv, wodurch das Verhalten der Agenten zur Blackbox wird. Ein konkretes Fallbeispiel verdeutlicht, dass eine einzeilige Prompt-Änderung zur Bestätigung vor Aktionen zwar die Aktionssicherheit um 17 Punkte erhöht, jedoch durch unvollständige Aufgaben zu einer Verschlechterung der Aufgabenerledigung um exakt denselben Wert führt. Solche Netto-Null-Ergebnisse zeigen, dass das reine Coden nach Gefühl ohne numerische Evaluierung zu blinden und fehlerhaften Releases führt.
- Observability bringt Licht in die intransparente Blackbox von KI-Systemen.
- Kleine Änderungen an Prompts führen oft zu unvorhersehbaren Nebenwirkungen.
- Eine isolierte Sicherheitsverbesserung kann unbemerkt andere Leistungsmetriken verschlechtern.
Laufzeitfehler als Kernproblem und Traces als neue Wahrheit
Der Irrglaube, dass Fehler im statischen Code liegen, führt zu fehlerhaften Annahmen bei der Code-Review. Während der Code-Diff lediglich die Modifikation in einer Markdown-Datei anzeigt, verändern sich in der Produktion Tausende von Agenten-Trajektorien, Tool-Aufrufen und Interaktionen. Observability-Backends und Traces erfassen diese dynamischen Laufzeitprozesse und machen stille Fehler überhaupt erst sichtbar.
- Agentenfehler ereignen sich fast ausschließlich während der Laufzeit in der Produktion.
- Statische Code-Diffs zeigen lediglich den Code, während Traces das tatsächliche Laufzeitverhalten offenbaren.
- Strukturierte Logs und Traces ersetzen den statischen Code als primäre Quelle der Wahrheit.
Der fünfstufige Prozess für automatisierte Regressionstests
Der strukturierte fünfstufige Prozess startet mit dem Sammeln realer Produktionsdaten, einschließlich erfolgreicher Workflows, bekannter Fehler und Edge Cases. Im zweiten Schritt bewerten automatisierte LLM-Richter die Leistung anhand subjektiver Kriterien wie Schritt-Effizienz oder Genauigkeit. Anschließend werden Baseline-Experimente durchgeführt, um Prompt- oder Modelländerungen quantitativ zu messen. Schließlich lässt sich dieser Prozess direkt in GitHub Actions als CI/CD-Gate integrieren, sodass Pull Requests erst nach Bestehen aller Regressionstriterien gemergt werden.
- Die Regressionsschleife beginnt mit echten Produktions-Traces anstelle synthetischer Daten.
- Evaluatoren wandeln subjektive Metriken wie Halluzinationen in quantitative numerische Scores um.
- Experimente und CI/CD-Pipelines verhindern das Ausrollen schädlicher Prompt-Änderungen.
Plattformanwendung und die Zukunft der KI-Selbstverbesserung
In der Plattform lassen sich sowohl einzelne Prompts als auch komplexe Multi-Agenten-Systeme im Playground gegeneinander testen. Durch die Anbindung von Coding-Agenten über externe Skills schließt sich der Kreis zwischen Entwicklung und Produktion. Jeder aufgetretene Produktionsfehler fließt direkt in neue Tests ein. Damit verschiebt sich die Rolle der Observability von der menschlichen Analyse hin zu Systemen, in denen Agenten sich selbst verstehen, evaluieren und reparieren.
- Prompt- und Agent-Playgrounds ermöglichen detaillierte Vergleiche verschiedener Versionen.
- Coding-Agenten lassen sich über Skills direkt mit Observability-Daten verknüpfen.
- Zukünftige Agenten untersuchen und korrigieren ihre Fehler vollkommen eigenständig.
설명
A one-line prompt change made a support agent 17 points safer and 17 points worse at finishing tasks. Sofia Jakovcevic, forward deployed engineer at Arize AI, explains why agents fail at runtime rather than in code, and walks through a five-step regression loop built from production traces: curate datasets, score with evaluators, run baseline experiments, compare changes, and gate merges in CI. Then she shows how to close the loop at agent speed, with coding agents that read traces and fix themselves. Chapters 00:00 Intro: observability for agents 01:08 The real problem: fixes that break other things 02:26 A one-line prompt change: +17 and -17 04:48 Agents fail at runtime, not in code 06:25 The five-step regression loop 06:48 Step 1: Build datasets from production traces 07:50 Step 2: Score with evaluators 09:48 Steps 3-4: Baseline experiments and comparisons 11:14 Step 5: Gate merges in CI 11:48 Demo: experiments in Arise 15:38 Using coding agents and skills 16:12 Closing the loop at agent speed Sofia Jakovcevic, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!