Vibe-Check verboten: Harte Probleme in komplexen Codebases lösen – Dex Horthy, HumanLayer

Dex Horthy stellt sich vor und referenziert seinen erfolgreichen Vortrag über "12-Factor Agents". Er präsentiert Statistiken von Igor (AI Engineer Konferenz), die zeigen, dass KI bei neuen Projekten gut funktioniert, aber bei komplexen Bestands-Codebasen oft nur minderwertigen Code produziert. Die Umfrage unter 100.000 Entwicklern belegt, dass viel Zeit damit verschwendet wird, den "Müll" der Vorwoche zu überarbeiten. Horthy betont, dass das Hauptproblem in der Zunahme technischer Schulden durch unreflektierten KI-Einsatz liegt. Dieser Abschnitt verdeutlicht die Notwendigkeit für besseres Context Engineering in realen Unternehmensszenarien.

Der Sprecher gesteht, dass er anfangs von Tools wie Claude Code nicht beeindruckt war, bis sein Team einen neuen Workflow entwickelte. Durch diesen Ansatz konnten sie ihren Durchsatz um das Zwei- bis Dreifache steigern, was eine komplette Neugestaltung ihrer Zusammenarbeit erforderte. Ihr System namens "Research-Plan-Implement" ging auf Hacker News viral und stieß auf großes Interesse in der Entwickler-Community. Das Ziel ist es, komplexe Probleme ohne "Pfusch" zu lösen und gleichzeitig die mentale Ausrichtung im Team zu wahren. Horthy unterstreicht, dass die sinnvolle Nutzung jedes Tokens ein enormer Hebel für die Produktivität ist.

Horthy erläutert fortgeschrittenes Context Engineering und warnt vor der naiven Nutzung von Agenten, die lediglich in endlosen Korrekturschleifen feststecken. Er stellt die "absichtliche Kompaktierung" vor, bei der relevante Informationen in Markdown-Dateien zusammengefasst werden, um neue Agenten-Sitzungen effizient zu starten. Es wird erklärt, dass LLMs zustandslos sind und ihre Leistung direkt von der Qualität der Eingabe-Token abhängt. Ein interessanter Aspekt ist die Warnung vor dem "Ausschimpfen" der KI, da dies den Verlauf negativ beeinflusst und zu weiteren Fehlern führen kann. Der Fokus liegt hierbei auf der Optimierung des Kontextfensters hinsichtlich Korrektheit, Vollständigkeit und Rauschunterdrückung.

In diesem Teil wird das akademische Konzept der "Dumb Zone" eingeführt, das besagt, dass Modelle unzuverlässiger werden, je voller das Kontextfenster ist. Bei Claude Code liegt die kritische Marke oft schon bei 40 % der verfügbaren 168.000 Token. Horthy warnt davor, Sub-Agenten nach menschlichen Rollen (wie QA oder Frontend) zu benennen, da sie stattdessen zur technischen Kontextsteuerung dienen sollten. Ein Sub-Agent sollte beispielsweise eine Codebasis analysieren und dem Hauptagenten nur die exakte Datei-Referenz zurückgeben. Dadurch bleibt der Hauptagent in der "Smart Zone" und kann präzisere Werkzeugaufrufe tätigen.

Der Sprecher geht tief in die drei Phasen des RPI-Workflows ein: Recherche, Planung und Implementierung. In der Recherche-Phase geht es um objektive Wahrheitsfindung im Code, während die Planung exakte Schritte inklusive Code-Snippets und Testvorgaben festlegt. Horthy demonstriert die Wirksamkeit anhand eines Praxisbeispiels aus einer 300.000 Zeilen umfassenden Rust-Codebasis, für die er erfolgreich einen Fix erstellte. Der CTO der betroffenen Firma merkte nicht einmal, dass der Pull Request primär von einer KI vorbereitet wurde. Dennoch betont der Sprecher, dass bei extrem komplexen Aufgaben, wie dem Entfernen von Hadoop-Abhängigkeiten, auch dieser Workflow an seine Grenzen stoßen kann.

Horthy warnt vor dem Begriff "Spec-driven Development", den er als durch "semantische Diffusion" verwässert und nutzlos ansieht. Er zieht Parallelen zu Martin Fowlers Aussagen von 2006 und erklärt, dass jeder etwas anderes unter einer "Spezifikation" versteht – von einfachen Prompts bis hin zu vollständiger Dokumentation. Er betont, dass KI das Denken nicht ersetzen kann, sondern lediglich verstärkt, was der Mensch bereits geleistet hat. Der Code sollte nicht blind als "Assembler" betrachtet werden, solange die Begriffe und Prozesse nicht klar definiert sind. Dieser Abschnitt dient als Realitätscheck für den aktuellen Hype um KI-Agenten.

Der Vortrag zeigt praktische Wege auf, wie Teams Kontext schrittweise offenlegen können, ohne das Modell zu überfordern. Horthy schlägt vor, Kontext-Informationen hierarchisch über die Verzeichnisstruktur eines Repositories zu verteilen. Anstatt riesige Dokumentationen zu pflegen, die schnell veralten und "Lügen" enthalten, empfiehlt er komprimierten Kontext auf Abruf. Ein Recherche-Prompt sollte vertikale Schnitte durch die Codebasis ziehen und eine Momentaufnahme der tatsächlichen Wahrheit erstellen. Ziel ist es, die "Smart Zone" des Modells für die eigentliche Problemlösung freizuhalten.

Ein zentraler Punkt ist die Bedeutung von Code-Reviews zur mentalen Ausrichtung im Team. Horthy erklärt, dass technische Leiter durch das Lesen der KI-generierten Pläne den Überblick behalten können, ohne jede Zeile Code selbst lesen zu müssen. Er zitiert Mitchell und Jake, um zu verdeutlichen, dass der Prozess aus Recherche, Plan und Implementierung den Menschen dazu zwingt, die Korrektheit sicherzustellen. Ein Fehler in der Recherche oder Planung kann 100 schlechte Zeilen Code nach sich ziehen, weshalb hier die größte menschliche Sorgfalt nötig ist. Das Ziel ist eine hohe Hebelwirkung bei gleichzeitig maximalem Vertrauen in die Ausführung.

Zum Abschluss rät Horthy dazu, den Aufwand für Context Engineering an die Komplexität der Aufgabe anzupassen – einfache Änderungen benötigen keinen vollen RPI-Zyklus. Er prognostiziert, dass Coding-Agenten zum Standard werden, die wahre Herausforderung jedoch im Kulturwandel der Teams liegt. Es droht eine Kluft zwischen erfahrenen Engineers und Junior-Entwicklern, die durch qualitativ minderwertigen "Slop"-Code verschärft wird. Er fordert technische Leiter auf, Workflows aktiv zu gestalten, um den Übergang zu einer Welt mit 99 % KI-generiertem Code zu meistern. Der Vortrag endet mit einem Aufruf zur Zusammenarbeit und dem Hinweis auf seine Firma HumanLayer.