Gehirn vs. Hände: Wie man KI-Agenten sicher in der Produktion betreibt — Viren Baraiya

Highlights

• Das Harness übernimmt als deterministische Hände die Ausführung, während das LLM als Gehirn für die Planung zuständig ist.

• Ein KI-Agent in der Produktion funktioniert wie eine spät gebundene Saga (late-bound saga), die aus $n$ verfügbaren Werkzeugen dynamisch zur Laufzeit Abläufe generiert.

• Conductor dient als Open-Source-Workflow-Orchestrierungsplattform zur Kompilierung und sicheren Ausführung von Agentenplänen.

• Sicherheitskritische Aktionen wie Cluster-Neustarts erfordern deterministische Abläufe und menschliche Freigaben statt unkontrollierter LLM-Entscheidungen.

• Langlebige Agenten-Harnesses benötigen integrierte Ausfallsicherheit gegen Netzwerkausfälle und Systemneustarts.

Timeline

1. 00:00 - 05:00

   Entwicklung von Chatbots zu Produktionsanwendungen

   Erste Implementierungen fokussierten sich auf simple Kundenservice-Chatbots mit einzelnen Tool-Aufrufen. In realen Produktionsumgebungen agieren Agenten jedoch als Hintergrundarbeiter, ereignisgesteuerte Systeme oder langlaufende Koordinatoren. Analoge Strukturen zu Microservices zeigen, dass ein einzelner Agent nicht alle Aufgaben übernehmen darf, um Halluzinationen zu vermeiden. Das Harness verbindet Datenbanken, Schnittstellen, menschliche Interaktionen und mehrere Spezialagenten zu einer stabilen Gesamtanwendung.

   • Produktionsagenten gehen weit über einfache Chatbot-Szenarien hinaus.
   • Komplexe Architekturen nutzen Microservice-Prinzipien für klar abgegrenzte Aufgaben.
   • Das Agenten-Harness bildet den eigentlichen Anwendungsrahmen.
2. 05:00 - 10:22

   Das Gehirn-und-Hände-Prinzip für determinierten Betrieb

   Anwendungen im Produktionsbetrieb verlangen strikte Vorhersehbarkeit bei kritischen Schritten wie Zahlungen oder Systemneustarts. Das LLM analysiert den Zustand der Welt und schlägt Handlungsoptionen vor. Die tatsächliche Durchführung obliegt dem Harness, das feste Abläufe garantiert, Idempotenz sicherstellt und erforderliche Freigabeprozesse erzwingt. Diese klare Trennung schützt vor Fehlern durch Sprachmodell-Halluzinationen.

   • Nicht-deterministische Modellentscheidungen erfordern deterministische Ausführungsumgebungen.
   • Das LLM dient ausschließlich als planendes Gehirn.
   • Das Harness agiert als ausführende Hand für Nebeneffekte und kritische Aktionen.
3. 10:22 - 11:58

   Agenten als spät gebundene Sagas

   Traditionelle Sagas definieren jeden Prozessschritt im Voraus fest. Agentenbasierte Systeme nutzen hingegen eine begrenzte Auswahl vordefinierter Werkzeuge, um daraus zur Laufzeit dynamische Ausführungspläne zu erstellen. Dieser Ansatz vereinfacht die Abdeckung komplexer Verzweigungen deutlich, da nicht mehr alle Ereigniskombinationen manuell programmiert werden müssen.

   • Agenten-Harnesses stellen eine Weiterentwicklung klassischer Saga-Workflow-Muster dar.
   • Abläufe werden nicht vorab fest verdrahtet, sondern zur Laufzeit zusammengestellt.
   • Aus $n$ Werkzeugen entstehen dynamisch unzählige Ausführungskombinationen.
4. 11:58 - 16:39

   Demonstration einer automatisierten Behebungsschleife

   In einer Live-Anwendung analysiert ein SRE-Agent Systemprotokolle und schlägt eine Abfolge von Behebungsschritten vor. Die Plattform Conductor kompiliert diesen Multi-Schritt-Plan in einen deterministischen Workflow. Nach Ausführung der ersten Maßnahmen wie einem Daten-Rollback prüft eine zweite Schleifeniteration den neuen Systemzustand und schließt die Aufgabe ohne unnötige Wiederholungen ab.

   • Eine SRE-Agentenschleife analysiert Fehler und generiert strukturierte Abfolgepläne.
   • Das Tool Plan and Compile übersetzt LLM-Vorschläge in ausführbare Conductor-Workflows.
   • Mehrstufige Iterationen prüfen den Erfolg von Maßnahmen automatisch.