So testest du deine Agenten mit echten Aufgaben dank Harbor – Xander Song, Arize AI

하이라이트

• Harbor evaluiert KI-Agenten in isolierten Docker-Sandboxes anhand natürlicher Sprachanweisungen, echter Daten und automatisierter Verifier-Skripte.

• Verifier bewerten den Erfolg eines Agenten standardmäßig als Blackbox über deterministische Nebeneffekte wie Datenbankänderungen oder Statuscodes, getrennt von internen Ausführungsschritten.

• Vorab definierte Oracle-Lösungsskripte validieren die Integrität von Testumgebungen, Testdaten und Verifiern, bevor Tokenkosten für tatsächliche Agentenläufe anfallen.

• Unabhängige Trials pro Aufgabe kompensieren stochastisches Modellverhalten und skalieren über Sandbox-Provider wie Daytona mit rund 200 parallelen Workern.

• Eine minimale Prompt-Korrektur zugunsten von SQL-Abfragen gegenüber schrittweiser GraphQL-Paginierung senkt die Anzahl der Werkzeugaufrufe und Interaktionsrunden pro Aufgabe messbar.

타임라인

1. 00:00 - 07:44

   Grundkonzept und Architekturprinzipien von Harbor

   Entwickler stehen vor der Herausforderung, Agentensysteme auf Basis messbarer Fakten statt subjektiver Eindrücke weiterzuentwickeln. Harbor stellt dafür standardisierte Jobs bereit, die Datasets mit mehreren Aufgaben und konfigurierbaren Durchläufen bündeln. Das optionale Agent Trajectory Interchange Format (ATIF) erfasst detaillierte Ausführungsschritte für nachgelagertes Tracing und Debugging.

   • Harbor übergibt natürlichsprachliche Aufgaben in Markdown-Form an Agenten innerhalb isolierter Docker-Container.
   • Aufgabenspezifische Verifier prüfen nach der Ausführung die erzeugten System-Nebeneffekte und schreiben Rewards in eine reward.txt-Datei.
   • Aufgaben und Verifier bleiben konstant, während Agenten-Prompts, Tools oder Architekturen iterativ modifiziert werden.
   • Oracle-Skripte lösen definierte Aufgaben vorab deterministisch, um Testumgebungen fehlerfrei und ohne LLM-Tokenkosten zu kalibrieren.
2. 07:44 - 14:19

   Implementierungsunabhängige Verifikation am Migrationsbeispiel

   Analoge Prinzipien zu API-Integrationstests sichern die Langlebigkeit der Test-Suite. Wenn Tests nur das Endergebnis über Statuscodes oder Tabellenschemata bewerten, bricht eine Refaktorisierung von System-Prompts oder Schnittstellen die Tests nicht vorzeitig ab. Diese Trennung erlaubt Entwicklern, den Agenten bei gleichbleibenden Kriterien wie eine Blackbox neu aufzubauen.

   • In einem Beispielszenario behebt ein Coding-Agent eine fehlerhafte SQL-Datenbankmigration innerhalb eines Test-Containers.
   • Verifier werden erst nach Abschluss der Agentenarbeit in den Container eingehängt, um Manipulationen durch den Agenten auszuschließen.
   • Verifier prüfen ausschließlich das Ergebnis im Dateisystem oder in Tabellen und bleiben unabhängig vom internen Lösungsweg.
3. 14:19 - 17:04

   Horizontale Skalierung und Metriken mit Sandbox-Providern

   Agenten wie Claude Code auf Opus 5 oder Codex auf GPT-5 zeigen bei identischen Vorgaben unterschiedliche Ausführungspfade. Durch die parallele Verteilung einzelner Trials über externe Infrastruktur werden auch umfangreiche Datasets in kurzer Zeit evaluiert. Die aggregierte Pass-at-k-Rate liefert ein klares Signal über die Zuverlässigkeit einer Codeänderung.

   • Jeder Durchlauf startet in einem frischen, vollständig isolierten Docker-Container.
   • Mehrere Durchläufe fangen die stochastische Varianz von Sprachmodellen über Pass-at-k-Kennzahlen verlässlich ab.
   • Cloud-Sandbox-Anbieter wie Daytona führen Test-Suites mit etwa 200 gleichzeitigen Workern parallel aus.
4. 17:04 - 20:37

   Integration von Harbor in Phoenix und Open Inference

   Open Inference standardisiert die Erfassung von LLM- und Tool-Aufrufen für nachgelagerte Observability-Systeme. Harbor verfügt zwar über eine eigene lokale Benutzeroberfläche sowie einen Webdienst, doch Phoenix erweitert diesen Workflow um detailliertes Tracing. Dadurch lassen sich einzelne Aufrufe und Fehlerursachen über eine spezialisierte Oberfläche Schritt für Schritt nachvollziehen.

   • Harbors ATIF-Trajektorien konvertieren direkt in semantische Open-Inference-Konventionen auf Basis von OpenTelemetry.
   • Phoenix bildet Harbors Grundelemente auf Datasets, Experiment-Runs und Evaluierungsmetriken ab.
   • Die Benutzeroberfläche versioniert Testaufgaben und visualisiert Reward-Trends über aufeinanderfolgende Modell-Iterationen.
5. 20:37 - 33:18

   Phoenix-Systemarchitektur und Ausführungskonventionen

   Die Architektur von Phoenix profitiert von einem Single-Node-Aufbau, der sich vollständig in ein isoliertes Image verpacken lässt. Harbor steuert den Ablauf über feste Dateikonventionen für Start-, Verifier- und Oracle-Skripte. Statt Produktionsdatenbanken vollständig zu spiegeln, genügen bereinigte Teildatensätze in SQLite, um typische Arbeitsabläufe realitätsnah abzutesten.

   • Die Testumgebung bündelt CLI-Clients, MCP-Server, SQLite-Instanzen und den serverseitigen Pixie-Agenten in einem Docker-Container.
   • Harbor agiert als externer Orchestrator von einem Host-Rechner oder CI-Runner aus und ruft vordefinierte Pfad-Skripte im Container auf.
   • Verteilte Architekturen erfordern eine Kapselung des Agenten hinter stabilen API-Grenzen, um aufwändiges Mocking zu vermeiden.
6. 33:18 - 44:12

   Optimierung von Tool-Aufrufen bei Aggregationsabfragen

   Das Hinzufügen eines Werkzeugs garantiert nicht dessen Nutzung, wenn der Agent zwischen mehreren Optionen wählen muss. Durch die Verfeinerung des System-Prompts sank die Anzahl der Tool-Aufrufe pro Aufgabe messbar. Verifier können in Optimierungsszenarien gezielt prüfen, ob ein spezifisches Tool genutzt wurde, selbst wenn dies die strikte Entkopplung vom Lösungsweg leicht lockert.

   • Agenten überlasteten Schnittstellen durch manuelle Paginierung, da Standard-REST- und GraphQL-Endpunkte keine Aggregationen boten.
   • Ein schreibgeschütztes SQL-Werkzeug im MCP-Server ermöglicht direkte Aggregationsberechnungen auf der Datenbank.
   • Ein gezielter Prompt-Hinweis steuert den Agenten darauf hin, SQL GraphQL bei Zählungen und Gruppierungen vorzuziehen.
   • Synthetisch generierte Oracle-Abfragen kalibrierten die Testsuite vor dem ersten Testlauf gegen LLM-Fehlentscheidungen.
7. 44:12 - 55:52

   Trace-Inspektion, Regressionstests und Ausblick

   Die detaillierte Auswertung von Traces belegt, dass der Agent mehrstufige Bash- und GraphQL-Ketten durch direkte SQL-Aufrufe ersetzt. Während Frameworks wie Harbor ursprünglich für reine Programmieragenten entworfen wurden, liegt der Nutzen in der Praxis im Testen maßgeschneiderter Infrastruktur um den Agenten herum. Die größte Herausforderung bleibt die kontinuierliche Pflege realistischer Testdaten in Sandbox-Containern.

   • Visuelle Vergleiche zweier Testläufe zeigen den direkten Rückgang von Turns und GraphQL-Aufrufen zugunsten von SQL.
   • End-to-End-Regressionstests bilden komplette Skill-Workflows analog zu Playwright-Abläufen für LLMs ab.
   • Konflikte zwischen Skill-Front-Matters lassen sich durch zielgerichtete Single-Turn-Tests isoliert absichern.
   • Das primäre Optimierungsobjekt ist das Gesamtsystem aus Coding-Agent, MCP-Server, CLI und benutzerdefinierten Skills.