Agenten, die sich im Schlaf selbst verbessern – Fuad Ali, Arize AI
원제 · Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
핵심 요약
Eine automatisierte Selbstverbesserungsschleife verbindet Traces, synthetische Evals und hypothesenbasierte Experimente, sodass Agenten Fehlerursachen eigenständig beheben und Menschen nur noch strategische Kontrollpunkte steuern.
하이라이트
Signal liest Produktions-Traces standardmäßig alle sechs Stunden, fasst Fehlerbilder zusammen und generiert automatisch Korrektur-Pull-Requests.
Das Festlegen von Konfidenzschwellenwerten leitet unklare Fälle gezielt an menschliche Prüfer weiter, wie etwa bei Spam-Tests mit 4,6 % Übergaberate bei Werten zwischen 0,3 und 0,7.
Die Umwandlung von Produktionsfehlern in dynamische Datensätze erzeugt permanente Regressionsprüfungen für zukünftige Entwicklungszyklen.
Günstige Entscheidungsmodelle senken die Ausführungskosten von Trace-Klassifizierungen gegenüber klassischen LLM-as-a-Judge-Ansätzen erheblich.
Experimente validieren Codeänderungen vor dem Zusammenführen gegen historische Testfälle, um nachgelagerte Regressionen zu verhindern.
타임라인
Herausforderungen durch Indeterminismus und Einrichtung der Umgebung
Hergebrachte Debugging-Methoden stoßen an Grenzen, wenn Systeme Handlungsspielräume besitzen. Wenn Chatbots falsche Rabatte gewähren oder den Verkauf komplett blockieren, entstehen operative Risiken. Für die praktische Demonstration dient eine lokale E-Commerce-Anwendung mit integriertem Bug.
- Nicht-deterministisches Verhalten erschwert die Ursachenanalyse bei Agentenfehlern massiv.
- Wachsende Agentenflotten erzeugen unüberschaubares Rauschen in Produktionssystemen.
- Die lokale Testumgebung Wonder Toys basiert auf FastAPI, Next.js und ChromaDB.
Stufen der Agenten-Observability und der automatisierte Korrekturkreislauf
Die meisten Organisationen erfassen Ausführungsbäume, scheitern jedoch an der systematischen Auswertung der Datenmengen. Der Reparaturkreislauf schließt diese Lücke, indem ein spezialisierter SRE-Agent Fehlermuster bündelt und Code-Anpassungen vorschlägt. Entwickler verifizieren abschließend die generierten Experimente.
- Teams durchlaufen Phasen vom reinen Tracing über Evals bis hin zu automatisierten Regressionstests.
- Manuelles Lesen von Millionen Traces ist für Ingenieure unmöglich.
- Signal automatisiert die Kette aus Trace-Analyse, Datensatzerstellung, Eval-Generierung und Validierung.
Trace-Bäume und automatisierte Fehlererkennung in der Praxis
Die Instrumentierung erfolgt über Open-Source-SDKs und die AX-CLI. Im Wonder-Toys-Projekt übergab das Modell menschenlesbare Kategorienamen statt Bindestrich-Slugs an die Datenbanksuche. Signal lokalisierte die fehlende String-Normalisierung im Quellcode und erstellte innerhalb von sechs Minuten einen Pull Request.
- Trace-Spans erfassen Tool-Aufrufe, Prompts, Token-Verbrauch und Latenzen.
- Inkonsistenzen zwischen LLM-Ausgaben und Datenschema führten zu 14 bis 17 Sekunden Latenz.
- Signal identifiziert redundante Suchwiederholungen durch Analyse von Code und Traces.
Erweiterbare Sandbox-Skills und dynamische Datensätze
Das Agent Studio ermöglicht die Zuweisung modularer Werkzeuge an Inspektions-Agenten. Über Schwellenwerte, beispielsweise eine Latenz von über 10 Sekunden, starten automatisierte Untersuchungen. Gespeicherte Fehlerfälle wachsen kontinuierlich an und schützen vor wiederkehrenden Defekten.
- Skills binden externe Systeme wie GitHub, Datadog oder Berechtigungsdatenbanken an.
- Verwaltete Sandboxes oder eigene Plattformen wie Modal und E2B führen Diagnosen aus.
- Fehlgeschlagene Traces transformieren sich in dynamische Fixtures für Regressionstests.
Eval-Architekturen und die menschliche Rolle
Code-basierte Prüfungen eignen sich für deterministische JSON- oder Schematests, während semantische Eigenschaften Modellbewertungen erfordern. Günstige Entscheidungsmodelle liefern strukturierte Klassifizierungen mit Konfidenzwerten. Entwickler steuern den Prozess, indem sie Schwellenwerte festlegen und fehlerhafte Datensätze manuell absegnen.
- Evaluatoren reichen von schnellen Code-Prüfungen über LLM-as-a-Judge bis zu flexiblen Decision-Modellen.
- Menschliches Urteil steuert PR-Freigaben, Datensatzkuration und Qualitätsdefinitionen.
- Alex generiert automatisiert neue Evaluierungs-Prompts direkt aus Trace-Nachweisen.
Experimentelle Validierung und CI/CD-Integration
Vor dem Merge eines Fixes lässt die CLI den modifizierten Agenten erneut gegen den Fehlerbestand laufen. Erst das Erreichen von Schwellenwerten, im gezeigten Experiment 88,9 %, belegt die Wirksamkeit ohne Regressionen. Die Kopplung mit Konfidenzmetriken entlastet Entwickler, da nur noch Randfälle manuelle Zuarbeit verlangen.
- Experimente testen Codekorrekturen gegen historische Fehlerfälle auf definierte Zielwerte.
- Prompts-Anpassungen bergen das Risiko verdeckter Seiteneffekte in anderen Tool-Aufrufen.
- Ergebnisse mit niedriger Konfidenz wandern automatisiert in Annotationswarteschlangen.
Zukunftsausblick und Kostenoptimierung von Evals
Die Ausführung komplexer Test-Harnesses verlangt sorgfältige Überlegungen bezüglich gemockter Datenbanken und Docker-Umgebungen. Evaluierungsaufwände müssen gegen das Fehlerrisiko abgewogen werden. Für qualitative Kriterien wie Filtergüte dienen Nutzersitzungsverläufe und manuelle Annotationen als Basis optimierter Prompt-Vorlagen.
- End-to-End-Reparaturen streben minimale menschliche Beteiligung außerhalb finaler UI-Tests an.
- Hochentwickelte Evals mit nahezu 100 % Erfolgsquote werden zur Kostensenkung abgeschaltet.
- Qualitative Evaluation erfordert die Betrachtung vollständiger Nutzersitzungen statt einzelner Spans.
Wirtschaftlichkeit und Grenzen rekursiver Agenten-Evaluation
Die Balance zwischen CI/CD-Prüfungen und Live-Sampling bestimmt die Betriebskosten. Zwar lassen sich Meta-Traces zur Überprüfung des SRE-Agenten heranziehen, ohne echte Kundenrückmeldungen driftet das System jedoch in Scheinmetriken ab. Genaue Budgetierung erfordert die permanente Messung des ROI zwischen Reparaturkosten und Systemnutzen.
- CI/CD deckt kritische Grenzwertfehler ab, während Stichproben das Produktions-Tracing finanzierbar halten.
- Signal kann zur Selbstüberprüfung rekursiv eigene Ausführungs-Traces analysieren.
- Mangelnde Ground Truth setzt der rekursiven Qualitätsbewertung harte Grenzen.
설명
In this workshop, Fuad Ali of Arize AI shows how to build a self-improvement loop for AI agents: trace everything, let Signal (an always-on agent) read your traces on a schedule and file deduplicated issues, turn failures into evals and living regression datasets, run experiments to prove a fix works, and keep humans at the highest-leverage points: eval design, dataset curation and reviewing fixes. He demos the loop on a toy-shopping agent with a planted bug and takes questions on evaluating qualitative output, decision models and cost. Chapters 00:00 Intro and workshop setup 05:42 Where is your team on the maturity curve? 07:39 The loop: trace, signal, eval, experiment, fix 08:46 Demo agent and tracing 12:15 Signal: an always-on agent reading your traces 16:11 Agent Studio and managed agents 18:31 Turning failures into datasets 20:32 Evals: code, LLM as a judge, decision models 24:48 Creating an eval from a Signal issue 27:01 Experiments: proving the fix works 31:12 Keeping humans in the loop 34:16 Toward a fully automated loop 40:16 Q&A: evaluating qualitative output 48:21 Q&A: decision models, data sources and cost Fuad Ali, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!