Ohne Caching kostet Ihr KI-Agent das Zehnfache – George Cameron, Artificial Analysis

Highlights

• Ohne Prompt-Caching steigen die Ausgaben für komplexe KI-Agenten-Workloads von 21 Dollar auf über 200 Dollar pro Aufgabe.

• Das Preisniveau für die Erreichung eines bestimmten Intelligenzgrads sinkt im Jahresvergleich um etwa das Zehnfache.

• Zwischen führenden proprietären Modellen und günstigen Alternativen bestehen Kostenunterschiede von mehreren Größenordnungen.

• Die wesentlichen Kostentreiber bei agentischen Abläufen sind die Anzahl der Input-Token, die Cache-Trefferquote sowie die Interaktionsrunden.

• Unterschiedliche Stufen des Reasoning-Aufwands verändern die Kosten für dieselbe Aufgabe von 1 Dollar auf 21 Dollar.

Timeline

1. 00:00 - 06:52

   Einführung in das KI-Benchmarking und den Stack

   Das Unternehmen analysiert die Kompromisse zwischen verschiedenen Modellen, Inferenz-Entscheidungen und Kostenstrukturen. Neben dem allgemeinen Intelligenzindex werden auch spezialisierte Benchmarks wie für Finanz- und Buchhaltungsagenten bereitgestellt. Das rasante Tempo bei Modellveröffentlichungen erfordert eine kontinuierliche Verfolgung des Marktes.

   • Artificial Analysis bewertet als unabhängiges Unternehmen den gesamten KI-Stack von der Agentenebene bis zur Inferenz.
   • Der entwickelte Intelligenzindex dient als zentrale Metrik aus zehn verschiedenen Evaluierungsbereichen.
   • Open-Weights-Modelle verbleiben durchgehend drei bis neun Monate hinter den führenden proprietären Modellen.
2. 06:52 - 15:20

   Kostentreiber und wirtschaftliche Faktoren von KI-Agenten

   Komplexe agentische Aufgaben erfordern zahlreiche Schritte und erzeugen erhebliche Mengen an Input- und Reasoning-Token. Ohne effektives Caching vervielfachen sich die Aufwände drastisch. Zudem beeinflusst der gewählte Grad des Reasoning-Aufwands die Gesamtkosten einer Ausführung massiv.

   • Einzelne Aufgaben verursachen Kosten zwischen unter 5 Cent und über 5 Dollar je nach Modellwahl.
   • Die Kosten für den Zugriff auf ein festes Intelligenzniveau sinken im Jahresvergleich um das Zehnfache.
   • Die Anzahl der Input-Token, Cache-Treffer und Interaktionsrunden bestimmen die Gesamtkosten eines Agenten-Workloads.
3. 15:20 - 19:32

   Abwägungen zwischen Intelligenz und Kosten treffen

   Bei Aufgaben mit begrenzter Intelligenz führt ein teureres Modell zu keinem besseren Ergebnis, weshalb hier kostengünstigere Alternativen ausreichen. Für komplexe, offene Probleme lässt sich über das Budget die gewünschte Intelligenzstufe steuern. Eine strukturierte Evaluation mit eigenen Prototypen hilft bei der optimalen Modellauswahl.

   • Aufgaben unterteilen sich in Kategorien mit unbegrenzter oder begrenzter Intelligenz.
   • Das Pareto-Optimum zeigt das bestmögliche Verhältnis zwischen Kosten und erreichbarer Intelligenz.
   • Das Tool Optima unterstützt Entwickler bei der Erstellung individueller Kompromisskurven für eigene Workloads.