Hör auf, deinem Agenten Werkzeuge zu geben. Gib ihm eine Sandbox – Mikyo King, Arize AI

Highlights

• Die Umstellung auf den Code-Modus reduziert die Token-Menge bei Agenten-Workflows um 43 Prozent.

• Durch den Einsatz einer Programmierumgebung sanken die Betriebskosten um 31 Prozent.

• Der Code-Modus ermöglicht es einem Agenten, beliebig viele Tools in einer einzigen Runde aufzurufen.

• Das Arise-Team nutzt das Harbor-Framework, um Agenten in isolierten Sandbox-Umgebungen ohne Netzwerkzugriff zu testen.

Timeline

1. 00:00 - 01:51

   Einführung in den Code-Modus und Vergleich mit traditioneller Software

   Historisch gesehen unterscheiden sich Softwarelösungen für Programmierer stark von denen für Anwender. Während Entwickler maßgeschneiderte Skripte zur Automatisierung schreiben, sind Nicht-Techniker auf vorgefertigte Benutzeroberflächen angewiesen. Der Code-Modus verwischt diese Grenze, da moderne Foundation-Modelle in der Lage sind, Code und Software dynamisch nach Bedarf zu erstellen.

   • Software lässt sich in Anwendungen für Entwickler und Nicht-Entwickler einteilen.
   • Programmierer schreiben Skripte, um Daten dynamisch und automatisiert abzurufen.
   • Coding-Agenten bauen die benötigte Software dynamisch für den Nutzer.
2. 01:51 - 06:11

   Probleme des traditionellen Tool-Aufrufs und Vorteile des Code-Modus

   Traditionelle Agenten erhalten im Voraus einen riesigen Katalog an Werkzeugen, was zu aufgeblähten Kontextfenstern, hoher Latenz und vielen Gesprächsrunden führt. Der Code-Modus löst dieses Problem durch progressive Offenlegung und Komponierbarkeit. Agenten suchen sich die Werkzeuge selbst aus, verknüpfen sie und erzeugen ein emergentes Verhalten, wie etwa das sichere Entfernen sensibler Daten.

   • Klassische Agenten kämpfen bei großen Tool-Katalogen mit Kontext-Verfall und Datenmüll.
   • Der Code-Modus stellt eine Programmierumgebung zur Verfügung, um Tools sequenziell oder parallel auszuführen.
   • Modelle müssen nur noch relevante Ergebnisse anstelle von rohem Tool-Ballast in das Kontextfenster schreiben.
3. 06:11 - 11:43

   Praktische Anwendung und operative Herausforderungen des Code-Modus

   Die Plattform Phoenix integriert Bash, Python und SQL, um komplexe Aggregationsabfragen und Datenmanipulationen direkt auszuführen. Trotz dieser mächtigen Funktionen bringt der Ansatz Hürden mit sich. Dazu zählen die Verwaltung von Ressourcen wie CPU und Arbeitsspeicher, der sichere Umgang mit API-Schlüsseln sowie die Fehlerbehebung bei fehlgeschlagenem LLM-Code.

   • Bei Arise kommt eine Kombination aus Bash, Python-Sandboxes, REST-CRUD-Endpunkten und SQL zum Einsatz.
   • Zu den Herausforderungen gehören Netzwerksicherheit, Geheimhaltung von Tokens und fehleranfällige Berechtigungen.
   • Operative Komplexität entsteht durch schwereres Debugging und doppeltes Sandboxing.
4. 11:43 - 14:30

   Evaluierung, Ergebnisse und Fazit

   Um die Qualität des generierten Codes zu sichern, durchlaufen die Agenten standardisierte Testläufe im Harbor-Framework mit binären Verifikatoren. Die messbaren Resultate zeigen signifikante Einsparungen bei Token und Kosten bei konstanter Latenz. Systematisches Dogfooding und präzise Evaluierungen bilden die Grundlage, um Agenten langfristig leistungsfähiger zu machen.

   • Das Harbor-Framework führt Agenten in Sandbox-Umgebungen mit deaktiviertem Netzwerk aus.
   • Die Token-Menge sank nachweislich um 43 Prozent und die Kosten um 31 Prozent.
   • Strukturierte Evaluierungen helfen dabei, das Verhalten der Agenten kontinuierlich zu verbessern.