Wann es sich lohnt, eigene KI-Modelle zu betreiben statt APIs zu bezahlen – Steven Latré, imec

Highlights

• Open-Weight-Modelle und eigene Infrastruktur bieten bei agentischen Aufgaben mit langem Zeithorizont Einsparungen von rund 25 Prozent im Vergleich zur reinen API-Nutzung.

• Eine Benchmark-Analyse mit Tausenden Durchläufen an Programmierassistenten zeigt, dass leistungsstärkere Hardwaresysteme wie der A/B 200 eine rentable GPU-Auslastung von nur 15 Prozent ermöglichen.

• Die Wahl des Programmier-Frameworks beeinflusst zwar kaum die Lösungsrate der Aufgaben, halbiert jedoch in bestimmten Fällen den Token-Verbrauch und damit die GPU-Rechenzeit.

• Größere Open-Weight-Modelle wie Kimi K3 erreichen eine Lösungsrate von 86 Prozent, erlauben auf eigener Infrastruktur jedoch nur rund vier gleichzeitige Benutzer bei einer um den Faktor drei höheren Latenz.

• Der Übergang von der API zur eigenen Infrastruktur erfordert eine komplexe Optimierung aus Modellwahl, Hardware-Architektur, KV-Cache und Nebenläufigkeit.

Timeline

1. 00:00 - 04:38

   Phasen der KI-Reife und der Übergang zur eigenen Infrastruktur

   Das Unternehmen imec entwickelt Halbleiter und untersucht die Wechselwirkungen zwischen KI-Workloads und Infrastruktur. Nach anfänglicher Nutzung teurer APIs und einfachem Modell-Routing verlagert sich der Fokus zunehmend auf das Hosting von Open-Weight-Modellen. Dieser Schritt bringt neben der Kostenkontrolle neue Herausforderungen wie Hardware-Architekturen, CPU-GPU-Verhältnisse und KV-Cache-Optimierungen mit sich.

   • Unternehmensanwendungen durchlaufen Phasen von exklusiven Spitzenmodellen über Token-Preise und Modell-Routing bis hin zu Open-Weight-Modellen.
   • Der Betrieb von APIs ist unkompliziert, während die Kontrolle über die eigene Infrastruktur den Lösungsraum stark erweitert.
   • Ein imec durchgeführter Benchmark mit Tausenden Durchläufen quantifiziert den genauen Nutzen des Wechsels von APIs zur eigenen Infrastruktur.
2. 04:38 - 12:30

   Benchmark-Ergebnisse zu Genauigkeit, Hardware und Nebenläufigkeit

   Anhand von SWE-bench-Pro-Programmieraufgaben wurden verschiedene Frameworks, Modelle und Hardware-Konfigurationen getestet. Kleinere Open-Weight-Modelle zeigen eine solide Leistung, verbrauchen jedoch unterschiedlich viel GPU-Ressourcen. Bei großen Modellen schränkt der Speicherbedarf für Modellparameter und KV-Cache die Anzahl gleichzeitiger Nutzer massiv ein, womit die Nebenläufigkeit zu einem kritischen Faktor wird.

   • Kleinere Modelle wie Qwen und DeepSeek erreichen Lösungsraten von 35 bis 40 Prozent, während das Kimi-K3-Modell bei 86 Prozent liegt.
   • Die Nebenläufigkeit bricht bei großen Modellen stark ein, weshalb Kimi K3 auf eigener Hardware nur etwa vier gleichzeitige Benutzer bei dreifacher Latenz erlaubt.
   • Der Übergang zu Open-Weight-Modellen erfordert eine genaue Betrachtung der Hardware-Beschränkungen, da keine lineare Kostenkurve vorliegt.
3. 12:30 - 18:25

   Gesamtbetriebskosten, Harness-Einfluss und Ausblick

   Die Gesamtkostenanalyse zeigt, dass der Schwellenwert für profitable On-Premises-Infrastrukturen stark von der gewählten Hardwareklasse abhängt. Zudem verdeutlichen Tests mit unterschiedlichen Programmier-Harnesses, dass die Optimierung des Token-Verbrauchs die Betriebskosten direkt halbiert. Abschließend plant imec den Aufbau einer offenen Benchmarking-Plattform und einer Allianz, um die Lücke zwischen Software- und Halbleiterwelt zu schließen.

   • Leistungsstarke Hardwaresysteme wie der A/B 200 machen den Betrieb ab einer realistischen GPU-Auslastung von 15 Prozent wirtschaftlich.
   • Die Wahl des Programmier-Harnesses verändert die Anwendungsgenauigkeit kaum, halbiert jedoch bei bestimmten Modellen den Token-Verbrauch und die GPU-Kosten.
   • Eine neue Allianz soll Software- und Hardware-Experten zusammenbringen, um die Benchmarking-Daten für Enterprise-Anwendungen öffentlich bereitzustellen.