Woran du erkennst, dass ein KI-Agent eigenständig arbeiten kann — Evan Kormos, Coinbase

하이라이트

• Richtlinien definieren die Regeln für die Erledigung von Arbeit in einer Organisation, insbesondere in Bezug auf Risiko und Compliance.

• Gesteuerte Zyklen wie gerichtete azyklische Graphen oder DAGs strukturieren Workflows und deren Abhängigkeiten in Python-Code.

• Agenten arbeiten probabilistisch, wodurch exakte Ausgabevergleiche nicht ausreichen und stattdessen repräsentative Datensätze sowie statistische Auswertungen erforderlich sind.

• Der schrittweise Übergang von der manuellen Überwachung zur Stichprobenprüfung erfolgt, sobald das gemessene Vertrauen einen Richtlinienschwellenwert erreicht.

• Das Grundprinzip beim Aufbau von Prozessen mit Agenten besteht darin, das System nach außen hin deterministisch und nach innen hin anpassungsfähig zu halten.

타임라인

1. 00:00 - 02:26

   Grundlagen und Richtlinien

   Die Richtlinie steuert die organisatorischen Abläufe mit Vorgaben wie muss, darf und soll. Während sich das System in der Laufzeit kontinuierlich verändert, bleibt es an diese übergeordneten Richtlinien gebunden. Die Trennung zwischen Build-Zustand und Run-Zustand schafft die Basis für die Einbindung von Agenten.

   • Richtlinien legen die organisatorischen Regeln für Risiko und Compliance fest und fungieren als ursprüngliche institutionelle Absicht.
   • Der Erstellungszustand und der stetig laufende Ausführungszustand des Systems werden voneinander getrennt.
   • Agenten durchqueren das klassische Betriebsmodell aus Menschen, Prozessen und Technologie als verbindendes Element.
2. 02:26 - 08:09

   Workflow-Modellierung und Graphen

   Workflows lassen sich durch gerichtete Graphen darstellen, die komplexe Abläufe wie Softwarebereitstellungen oder Kreditvergaben strukturieren. Innerhalb einzelner Prozessknoten laufen iterative Schleifen ab, die Feedback nutzen, um die Arbeitsergebnisse zu verfeinern. Mit zunehmender Geschwindigkeit durch den Einsatz von Agenten steigt die Bedeutung einer durchgehenden Prozessvisualisierung und Metrikenerfassung.

   • Gerichtete azyklische Graphen oder DAGs bilden Workflows, Schritte und Abhängigkeiten ohne Rückschleifen ab.
   • Open-Source-Werkzeuge wie Apache Airflow oder LangChain verwalten den Zustand dieser Prozessstrukturen.
   • Die Einbindung von Agenten in Prozesse verschiebt das Volumen und erfordert operative Sichtbarkeit sowie Metriken zur Vermeidung von Engpässen.
3. 08:09 - 13:12

   Qualitätssicherung und Vertrauensmechanismen

   Die Qualität eines Prozesses hängt direkt von der Verlässlichkeit der Prüfungen ab. Da Agenten unterschiedliche Antworten auf dieselbe Anfrage liefern können, sind repräsentative Datensätze und systematische Auswertungen notwendig. Traces fungieren dabei als Laufzeitprotokolle, die herkömmliche Softwaretests ergänzen.

   • Die Variabilität von KI-Eingaben und -Ausgaben erfordert definierte Kriterien für gute Ergebnisse.
   • Probabilistisch arbeitende Agenten lassen sich nicht allein durch exakte Ausgabevergleiche absichern.
   • Statistische Analysen von wiederholten Evaluierungen und Laufzeitprotokollen bilden einen ergänzenden Vertrauensmechanismus.
4. 13:12 - 17:23

   Automatisierung und Stufenweiser Übergang

   Nicht jeder Prozessknoten eignet sich für die vollständige Automatisierung durch Agenten. Der Übergang erfolgt schrittweise von manueller Verifizierung über Stichproben bis hin zu einer stärker automatisierten Überwachung, bei der Menschen gezielt Ausnahmen und die Verfeinerung von Datensätzen steuern.

   • Die Eignung einzelner Prozessknoten für die Automatisierung durch Agenten wird anhand spezifischer Kriterien geprüft.
   • Am ersten Tag arbeiten Menschen und Agenten in einer vollständig überwachten Umgebung zusammen.
   • Nach Erreichen von Vertrauensschwellenwerten wechselt der Prozess zu Stichprobenprüfungen und der Bearbeitung von Ausnahmen.