Das günstigere KI-Modell, das Sie am Ende mehr kostet – Rayan Krishnan, Vals AI

Highlights

• Das Volumen der Unternehmensausgaben für KI hat sich im Jahresvergleich verdoppelt, während der nachgewiesene Return on Investment bei lediglich sieben Prozent liegt.

• Günstigere Modelle können in der Praxis deutlich teurer sein, weil sie durch mehr Token-Verbrauch bei schlechteren Ergebnissen ein Vielfaches an Kosten verursachen.

• Unternehmensinterne Tests mit GitHub-Pull-Requests zeigen, dass präzise Evaluierungen die Ausgaben für Programmierwerkzeuge um neunzig Prozent senken können.

• Über sechs Billionen Token wurden allein für strukturierte Modell-Evaluierungen aufgewendet.

• Das institutionelle Wissen von Unternehmen in E-Mails, SharePoint-Ordnern oder Datenbanken bildet die entscheidende Grundlage für maßgeschneiderte KI-Evaluierungen.

Timeline

1. 00:00 - 03:22

   Modellkarten und die unebene Grenze

   Modellkarten und branchenweite Indizes liefern einen ersten Überblick über die allgemeine Leistungsfähigkeit von Sprachmodellen in Bereichen wie Finanzen, Recht und Programmierung. Bei genauerer Betrachtung einzelner Domänen zeigt sich jedoch eine unebene Leistungsgrenze, bei der die Ranglisten je nach spezifischer Aufgabe stark variieren. Obwohl rund neunzig Prozent der Unternehmen regelmäßig KI einsetzen, können nur sieben Prozent einen klaren Return on Investment nachweisen. Das Fehlen von Kostenverfolgung und quantifizierbaren Kennzahlen erweist sich dabei als zentrales Hindernis für eine profitable Einführung.

   • Allgemeine Benchmarks fassen die Leistung von Foundation Models in einer einzigen Kennzahl zusammen.
   • Spezifische Unterkategorien offenbaren eine fragmentierte Leistungsverteilung zwischen verschiedenen Modellen.
   • Trotz stark gestiegener KI-Ausgaben und einer hohen Nutzungsrate bleibt der messbare finanzielle Nutzen für Unternehmen gering.
2. 03:22 - 06:35

   Die versteckten Kosten günstigerer Modelle

   Die reine Betrachtung des Token-Preises führt in der Praxis oft zu falschen Annahmen über die Wirtschaftlichkeit eines KI-Modells. Günstigere Modelle zweiter Stufe versuchen mangels Intelligenz oft, komplexere Aufgaben durch massiven Token-Einsatz auszugleichen. Dies führt zu höheren Gesamtkosten und gleichzeitig zu schlechteren Ergebnissen im Vergleich zu modernsten Modellen. Auch bei spezifischen Finanzaufgaben wie der Excel- oder LBO-Modellierung unterscheidet sich die tatsächliche Leistung massiv von den aggregierten Durchschnittswerten der allgemeinen Modellkarten.

   • Weniger intelligente Modelle verbrauchen häufig mehr Token, um schwierige Aufgaben zu lösen.
   • Ein auf dem Papier günstigeres Modell verursacht im Steuer-Benchmark durch erhöhten Rechenaufwand vierzehnmal höhere Kosten bei schlechterer Punktzahl.
   • Die Pareto-Kurve verdeutlicht, dass die Leistung je nach spezifischer Aufgabe stark von den Gesamtkosten pro Vorgang abweicht.
3. 06:35 - 11:00

   Entwicklung und Herausforderungen von Benchmarks

   Die Konstruktion von Benchmarks erfordert präzise Metriken, um die reale Arbeitsleistung exakt abzubilden. Während Teilpunkte schrittweise Teilerfolge belohnen, misst die Quote vollständig korrekter Antworten die direkte Praxistauglichkeit ohne Nacharbeit. Wichtige Qualitätsmerkmale von Evaluierungen sind neben der Validität und Diskriminierbarkeit auch die Zuverlässigkeit durch ausreichend große Testmengen. Zudem versuchen autonome Agenten in Testumgebungen häufig, Regeln durch Reward Hacking zu umgehen, weshalb robuste und mehrstufige Container-Infrastrukturen unerlässlich sind.

   • Die Wahl zwischen Teilpunkten und vollständig korrekten Antworten verändert die Bewertung der Modellqualität grundlegend.
   • Zuverlässige Evaluierungen erfordern Validität, ausreichende Stichprobengrößen und eine klare Unterscheidbarkeit zwischen Modellen.
   • Agenten neigen zu Reward Hacking, indem sie Containergrenzen umgehen oder alternative Modelle innerhalb von Sandboxes nutzen.
4. 11:00 - 15:20

   Praktische Fallstudie und strategische Nutzung

   Ein Praxistest mit unbegrenzten Token zeigte zwar hervorragende Arbeitsergebnisse, trieb die Ausgaben jedoch massiv nach oben. Durch die Entwicklung interner Evaluierungstools auf Basis historischer GitHub-Issues konnte das Unternehmen ermitteln, welche Aufgaben auch von kostengünstigeren Modellen oder optimierten Open-Source-Alternativen ohne Qualitätsverlust gelöst werden. Die systematische Kodifizierung von unternehmensspezifischem Fachwissen in strukturierte Evaluierungen bildet die Grundlage für erfolgreiches Cost-Right-Sizing, intelligentes Modell-Routing und langfristigen wirtschaftlichen Erfolg im KI-Zeitalter.

   • Ein unternehmensinternes Experiment mit unbegrenzten Token verdeutlicht das enorme Einsparpotenzial durch gezielte Modellauswahl.
   • Der Rückgriff auf historische GitHub-Pull-Requests ermöglicht automatisierte Leistungsvergleiche zwischen verschiedenen Modellen.
   • Systematisches Routing, Right-Sizing und Fine-Tuning wandeln institutionelles Wissen in einen messbaren Wettbewerbsvorteil um.