Intelligenterere Modelle haben den Harness getötet. Das ist übrig geblieben — Jediah Katz, SpaceXAI

하이라이트

• Das Agent-Harness funktioniert als Schnittstelle, die das KI-Modell steuert und mit Computern sowie Diensten von Drittanbietern verbindet.

• Intelligenterere Modelle machen komplexe Programmier-Harnesses überflüssig, da sie Fähigkeiten wie Code-Untersuchung und Testausführung nativ verinnerlichen.

• Der Daten-Schwungrad-Effekt sorgt dafür, dass das Harness immer schwierigere Aufgaben in Reichweite bringt und dadurch langfristig seine eigenen Korrekturen obsolet macht.

• Das autonome Produkt GrokBot verwendet langlebige Koordinator-Bots, die eine Flotte von Arbeiter-Agenten steuern.

• Zwei Drittel der aktuellen Optimierungen im Harness-Bereich konzentrieren sich auf die Senkung der Kosten pro Aufgabe und die Verbesserung der Cache-Trefferquote.

타임라인

1. 00:00 - 04:30

   Die Evolution des Agent-Harness

   Die Entwicklung begann Anfang 2023 und führte über verschiedene Phasen bis zum aktuellen Stand des Harness Engineering. Die Laufzeitebene bildet dabei das fundamentale Fundament für die Agentenschleife und den Zustand, während die Orchestrierungsebene steuert, welche Modelle wann aufgerufen werden. Mit dem lang laufenden Harness GrindSwarm gelang es Cursor, einen vollständigen Browser zu entwickeln, was die Leistungsfähigkeit dieser frühen Systeme demonstrierte.

   • Die Berufsbezeichnungen wandelten sich von Prompt Engineer über Context Engineer bis hin zum Harness Engineer.
   • Das Harness agiert als die Augen und Hände des Modells, aufgeteilt in Laufzeitebene sowie Kontext- und Orchestrierungsebene.
   • Das Multi-Modell-Harness namens GrindSwarm erstellte einen Browser komplett von Grund auf neu, war jedoch extrem teuer in der Ausführung.
2. 04:30 - 07:14

   Der Tod des Programmier-Harness

   Nach einer Hochphase des Harness behaupteten Branchenexperten dessen Tod, da moderne Modelle die früheren Hilfestellungen nicht mehr benötigen. Evaluierungen wie Sweet Bench Lite bestätigen, dass ausgefallene Programmier-Harnesses keine zusätzliche Programmierintelligenz mehr beisteuern. Durch das Daten-Schwungrad lernen die Labore aus den gelösten Aufgaben, sodass die Modelle diese Fähigkeiten dauerhaft verinnerlichen und das Harness entlastet wird.

   • Studien der UC Berkeley sowie von Apple und der EPFL zeigen, dass die Wahl des Harness bei neueren Spitzenmodellen keinen nennenswerten Unterschied mehr für die Punktzahl macht.
   • Frühere Leitplanken im Harness wurden entfernt, da die Modelle Programmierfähigkeiten und Code-Untersuchungen nativ beherrschen.
   • Das Daten-Schwungrad führt dazu, dass erfolgreiche Aufgaben mehr Trainingsdaten erzeugen und Modelle dadurch eigenständig besser werden.
3. 07:14 - 12:06

   Neue Grenzen und das Produkt GrokBot

   Obwohl das reine Programmieren automatisiert wurde, treibt das Harness den Fortschritt in neuen Anwendungsbereichen voran. GrokBot demonstriert diesen Ansatz durch den Einsatz von koordinierten Agenten für alltägliche Büro- und Organisationsaufgaben. Hierbei greifen Entwickler wieder zu gezielten Prompts und Leitplanken, um die Interaktion mit dem Nutzer sicher und zielgerichtet zu gestalten.

   • GrokBot arbeitet als autonomer Kollege für allgemeine Wissensarbeit mit langlebigen Koordinator-Bots und Arbeiter-Agenten.
   • Komplexe Abläufe wie Präsentationserstellung, reibungslose Reisebuchungen und risikoreiche E-Mail-Kommunikation erfordern neue Leitplanken im Harness.
   • Das Harness erschließt dem Modell kontinuierlich neue Aufgabenbereiche jenseits des reinen Programmierens.
4. 12:06 - 14:18

   Infrastruktur, Vertrauen und Effizienz

   Bestimmte Aufgabenbereiche lassen sich nicht allein durch Modellintelligenz lösen, weshalb das Harness für Infrastruktur und Sicherheit unerlässlich bleibt. Unternehmen verlangen strikte Zugriffskontrollen für API-Schlüssel und granulare Berechtigungen für Agenten. Zudem erweist sich die Kosten- und Geschwindigkeitsoptimierung durch ein effizientes Harness als entscheidender wirtschaftlicher Faktor.

   • Autonome Agenten, die tagelang arbeiten, erfordern eine zuverlässige Cloud-Infrastruktur anstelle von lokalen Laptops.
   • Sicherheitsstrukturen und Berechtigungen verhindern katastrophale Aktionen oder unerwartet hohe API-Gebühren.
   • Die Optimierung von Cache-Trefferquote, Token-Effizienz und Modell-Mix senkt die Betriebskosten pro Aufgabe drastisch.
5. 14:18 - 18:06

   Zukünftige Trends der Harness-Entwicklung

   Die Zukunft bringt einen Übergang zu höheren Abstraktionsebenen, bei denen Agenten selbst als primäre Bausteine fungieren. Innerhalb von sechs Monaten wird der überwiegende Teil der Agentenarbeit in der Cloud stattfinden. Das gestrige Hilfsgerüst ist zwar obsolet, doch das moderne Agenten-Harness formt das Fundament für zukünftige Automatisierung.

   • Harnesses werden durch ein höheres Entwicklungstempo zunächst chaotischer, weshalb interne Funktionsweisen vor Nutzern verborgen werden.
   • Primitive wie Abonnements für Slack-Beiträge oder CI-Fehler ersetzen starre Integrationen.
   • Zentrale Dashboards protokollieren temporäre Shims und veranlassen eigenständig deren Bereinigung per Pull Request.