Warum Menschen mit von KI gesch geschriebenem Code nicht mithalten können - Tariq Shaukat, Sonar

Highlights

• Die Implementierung von asynchronen Agenten im Entwicklungslebenszyklus führt zu einem Anstieg der geschriebenen Codezeilen um 2.450 Prozent.

• Entwickler stimmen den Ausgaben einer KI zu 93 Prozent zu, wenn sie Recht hat, aber in vier von fünf Fällen auch dann, wenn die KI Unrecht hat.

• Die Genauigkeit von Software-Agenten bricht von 91 Prozent bei 10.000 Zeilen Code stark ein, wenn die Codebasis 50.000 Zeilen erreicht.

• Bei langwierigen Aufgaben summieren sich Fehler, sodass eine Teilgenauigkeit von 95 Prozent nach 20 Schritten zu einer Gesamtgenauigkeit von nur noch 36 Prozent führt.

• Je nach Modell und Situation ändern sich Urteile bei identischen Replikationen von LLMs in 7 bis 17 Prozent der Fälle.

Timeline

1. 00:00 - 02:24

   Prinzipien realer Fabriken und die Softwareentwicklung

   Historische Vergleiche mit der Automobilindustrie zeigen, dass Qualität und Passgenauigkeit durch strukturelles Denken statt durch nachträgliches Reparieren entstehen. Diese Prinzipien bilden das Fundament der modernen Software-Best-Practices.

   • Das Toyota-Produktionsesystem revolutionierte die Fertigung durch fehlerfreie Auslieferung und null Nacharbeit.
   • Moderne Best Practices der Softwareentwicklung wie Agile, Kanban und Continuous Integration stammen direkt aus diesen Produktionsprinzipien.
   • Toyota priorisierte Qualität vor Masse und erlaubte jedem Arbeiter, das Band bei Problemen anzuhalten.
2. 02:24 - 10:25

   Herausforderungen und Grenzen von KI-Agenten

   Der massive Zuwachs an generiertem Code führt zu Engpässen beim Ausliefern und zu kognitiver Kapitulation bei Menschen. Zudem stoßen Agenten bei großen Codebasen an strukturelle Grenzen, und inhärente Unzuverlässigkeiten von Modellen erschweren die automatisierte Qualitätskontrolle.

   • Asynchrone Agenten steigern die Commit-Zahlen massiv, während die Releases nur um 30 Prozent steigen.
   • Komplexe und große Codebasen verringern die Genauigkeit von Agenten und vervielfachen den Token-Verbrauch drastisch.
   • LLMs erweisen sich als unzuverlässige Juroren, deren Meinungen bei einfachen Nachfragen oder Replikationen schwanken.
3. 10:25 - 16:25

   Die Code Confidence Formel und Ergebnisse

   Um in einer Welt des Code-Überflusses verlässliche Ergebnisse zu erzielen, müssen Softwarefabriken von Grund auf neu gedacht werden. Die Verknüpfung von präzisen Vorgaben, Leitplanken, starker Verifizierung und überprüfbarer Evidenz garantiert messbare Verbesserungen bei Sicherheit und Zuverlässigkeit.

   • Die Code Confidence Formel kombiniert Intention, Leitplanken, Verifizierung und Evidenz.
   • Der Einsatz von Leitplanken und klaren Intentionen reduziert die Token-Kosten um 36 Prozent und verringert Commit-Fehler um 92 Prozent.
   • Ein unabhängiger Verifizierungsstandard erhöht das Vertrauen in Codesicherheit und Time-to-Market erheblich.