Transcript
00:00:00Anthropic hat gerade Claude Opus 5 veröffentlicht, und es könnte tatsächlich besser als Fable sein,
00:00:04während es nur die Hälfte kostet. Wenn das stimmt, ist das mein neues Lieblingsmodell – finden wir es also heraus.
00:00:13So beschreiben sie Opus 5: Opus 5 ist ein durchdachtes und proaktives Modell,
00:00:18das zum halben Preis fast an die Spitzenintelligenz von Claude Fable 5 heranreicht. Bei Programmierung und Wissensarbeit
00:00:23in Evaluierungen wie Frontier Bench und GDP Val ist Opus 5 der neue Stand der Technik,
00:00:28bleibt bei Cybersicherheitsaufgaben jedoch hinter Mythos 5 zurück. Opus 5 ist für den täglichen Einsatz konzipiert, arbeitet
00:00:33effizienter als andere Modelle und ist das neue Standardmodell für Claude Max sowie das stärkste Modell
00:00:38in den Claude Pro-Tarifen. Danach zeigen sie die Benchmarks, und es gewinnt in vielen davon,
00:00:43obwohl Fable 5 vertreten ist – und die Vorsprünge sind keineswegs gering. Laut ihren
00:00:47Angaben ist es bei Frontier Bench fast 10 % besser als Fable 5. Besonders verrückt finde ich jedoch
00:00:52das Ergebnis bei Arc AGI. Opus 4.8 erreichte hier 1,5 %, während Sol mit 7,8 % den bisherigen Höchstwert hielt –
00:01:00Opus 5 schafft jedoch 30,2 %. Das Team hinter diesem Benchmark zeigte sogar, dass Opus eine völlig neue
00:01:06Fähigkeit an den Tag legte, die man bisher bei keinem anderen Modell gesehen hat: Es wandelte die Tests in
00:01:10algebraische Notation um, um fortgeschrittenes logisches Schlussfolgern anzuwenden. Das ist wirklich beeindruckend.
00:01:15Falls Sie sich übrigens fragen, warum Fable hier nicht aufgeführt ist: Das liegt an Fables Datenaufbewahrungsrichtlinie.
00:01:19Arc AGI möchte nicht riskieren, dass Details des Benchmarks an Anthropic durchsickern. Die gute
00:01:24Nachricht ist jedoch, dass Opus 5 im allgemeinen Zugriff keine solchen Anforderungen hat. Das dürfte
00:01:29viele Leute sehr freuen. Werfen wir als Nächstes einen Blick auf die unabhängigen Benchmarks von
00:01:33Artificial Analysis. Im Programmier-Index belegt es den zweiten Platz, nur 0,3 Punkte hinter GPT 5.6 Sol
00:01:39Extra High. Es schlägt Fable jedoch um 1,5 Punkte und zeigt einen beachtlichen Sprung gegenüber Opus 4.8.
00:01:45Ein Riesenlob übrigens an Kimi K3, das hier die etablierten Größen aufmischt. Dazu habe ich bei
00:01:49Veröffentlichung ein Video gemacht, abonnieren Sie also unbedingt, um bei KI- und
00:01:52Entwickler-News auf dem Laufenden zu bleiben. Betrachten wir als Nächstes den Agenten-Index, übernimmt Opus 5
00:01:57sogar die Führung mit einem leichten Vorsprung vor Fable 5 und setzt sich vor das Sol-Modell von OpenAI.
00:02:02Das gleiche Bild zeigt sich beim Intelligenz-Index, wo Opus 5 ebenfalls vorne liegt. Was die reine Leistung
00:02:06angeht, scheint Opus 5 also ein ausgesprochen starkes Modell zu sein, was mich ehrlich gesagt ziemlich überrascht.
00:02:11Ich dachte eigentlich, ihr Fokus läge jetzt auf Fable und Opus würde sich eher in Richtung eines neuen
00:02:15Sonic-Modells entwickeln. Nun scheint es jedoch, als lägen Fable und Opus Kopf an Kopf – bis man
00:02:19den Preis berücksichtigt. Schaut man sich die Kosten pro Aufgabe auf Artificial Analysis an, ist Opus
00:02:235 tatsächlich 72 Cent günstiger als Fable 5 und liegt nur geringfügig über
00:02:28Opus 4.8. Wenn es um das beste Preis-Leistungs-Verhältnis geht, bleibt GPT 5.6 Sol
00:02:33allerdings weiterhin der Gewinner, da es fast nur die Hälfte von Opus 5 kostet. Man sieht
00:02:37in diesem Diagramm, in dem Grün den attraktivsten Quadranten darstellt, dass die GPT-Modelle genau dort liegen,
00:02:42zusammen mit Kimi K3, während die Anthropic-Modelle ihren eigenen Bereich im höheren Preissegment
00:02:46einnehmen. Cursor Bench spiegelt all diese Ergebnisse ebenfalls wider. Hier erzielt
00:02:50Opus 5 Max nahezu dieselbe Punktzahl wie Fable 5, allerdings kostet Fable für diese Aufgabe 17 $,
00:02:56während Opus mit 8 $ zu Buche schlägt. Der Preis entspricht übrigens genau dem von Opus 4.8:
00:03:015 $ pro eine Million Input-Tokens und 25 $ pro eine Million Output-Tokens. Wer also
00:03:06Opus 4.8 schätzt, hat eigentlich keinen Grund, dieses Modell nicht zu nutzen. Und als Fan
00:03:10von Fable 5 werde ich Opus 5 definitiv häufig verwenden, um mein Abonnement
00:03:14sowie meine Credits zu schonen, damit sie nicht so schnell aufgebraucht sind. Meine Einschätzung zu Fable im Vergleich zu Opus
00:03:18ist, dass Fable bei extrem komplexen Langzeit-Problemstellungen nach wie vor das Spitzenmodell bleibt,
00:03:23für 95 % der Aufgaben kann Opus 5 diesen Platz jedoch mühelos einnehmen. Sehen wir uns das Modell nun aber
00:03:28in der Praxis bei einigen lokalen Tests an. Im ersten Test bat ich die Modelle,
00:03:32ein vollständiges Formel-1-Rennspiel in einer einzelnen HTML-Datei mittels Three.js zu erstellen. Auf die benötigte Zeit
00:03:37sowie die hypothetischen API-Kosten gehe ich am Ende ein, aber werfen wir
00:03:40werfen wir einfach einen Blick auf die Ergebnisse. Das ist das Ergebnis von Opus 5, und ich muss sagen, ich bin wirklich
00:03:45äußerst beeindruckt von den Modellen. Es nutzt keinerlei externe Assets oder Ähnliches.
00:03:50Das wurde alles von Opus 5 generiert und sieht sehr gut aus. Das Streckenlayout war zwar etwas verdreht,
00:03:55aber das Fahrverhalten überzeugt völlig. Rundenzeiten, Platzierungen, Reihenfolge –
00:03:59all das funktioniert einwandfrei. Wir fahren hier zwar unter dem Gras, aber die Kollisionsabfrage greift,
00:04:03und unter dem Gras befindet sich tatsächlich eine Strecke, sodass sich das leicht korrigieren ließe.
00:04:07Auch die Kiesbetten funktionieren erstaunlich gut. Ich bin ehrlich gesagt sehr beeindruckt vom
00:04:12Ergebnis von Opus 5. Diese F1-Autos sehen meiner Meinung nach von allen am besten aus.
00:04:16Machen Sie sich jedoch selbst ein Bild: Dies ist das Ergebnis von Fable. Das Streckenlayout finde ich
00:04:20ebenfalls gelungen, die Fahrzeuge sind jedoch etwas simpler ausgefallen als bei Opus 5.
00:04:25Die Kamerabewegung beim Einlenken gefällt mir allerdings sehr gut, und auch hier funktionieren
00:04:28alle weiteren Funktionen wie Positionsanzeige und Zeitmessung einwandfrei. Fable 5 hat also
00:04:33ebenfalls hervorragende Arbeit geleistet, persönlich bevorzuge ich jedoch die Variante von Opus. Das hier ist
00:04:37das Ergebnis von GPT 5.6 Sol bei maximaler Rechenleistung. Modellierung und Kameraführung
00:04:43sind gut gelungen, allerdings fehlt hier die Rennstrecke völlig, einige Elemente stehen verkehrt herum
00:04:47und etwa auf halber Strecke bricht der Kurs ab. Meiner Meinung nach schneidet es daher schlechter ab
00:04:51als Fable und Opus. Opus bleibt hier für mich klar im Vorteil.
00:04:56Das letzte getestete Modell war Kimi K3, und das ist das gelieferte Ergebnis.
00:05:01Für ein Open-Weights-Modell ist das wirklich äußerst beeindruckend. Es hat eine gute Leistung gezeigt,
00:05:05recht ähnlich zu GPT 5.6 Sol. Begrenzungen, Strecke und Positionierung
00:05:09funktionieren einwandfrei. Es hat im ersten Versuch ein wirklich passables Spiel gebaut. Betrachten wir
00:05:14Kosten und Laufzeiten dieser Durchläufe, benötigte Opus 5 46 Minuten und 51 Sekunden
00:05:19für das F1-Spiel, was über die API etwa 12,99 $ gekostet hätte. In diesem Fall war
00:05:25Opus 5 also teurer als Fable, was bei genauerer Betrachtung an der fünfmal höheren
00:05:30Token-Anzahl lag. Ich hoffe sehr, dass dies ein Ausreißer war, da andere Benchmarks solch ein Verhalten
00:05:35nicht zeigen. Ich berechne die Kosten der Claude-Modelle mithilfe des Claude Code Usage Tools,
00:05:39weshalb Abweichungen möglich sind, da man bei der Nutzung eines Abonnements keine exakten Preisangaben erhält.
00:05:44Wie bereits erwähnt, gehören diese Modelle zum Premium-Segment. Weicht man auf Modelle wie GPT 5.6 aus,
00:05:49erhält man eine schnellere und günstigere Option, deren Ergebnisse meiner Meinung nach allerdings
00:05:54schlechter ausfielen. Wagen wir jedoch einen weiteren Test: Diesmal sollen die Modelle ein Dashboard zur
00:05:58Verwaltung persönlicher Finanzen erstellen – also eine Full-Stack-Anwendung mit Frontend und Backend,
00:06:02wobei ich auch einige umzusetzende Funktionen vorgegeben habe. Das ist das Ergebnis,
00:06:06das Opus 5 geliefert hat, und ich muss sagen, ich bin wirklich beeindruckt. Das UI gefällt mir sehr,
00:06:11es trifft genau meinen persönlichen Geschmack. Schreiben Sie mir gerne in die Kommentare, wie es Ihnen gefällt.
00:06:15Alles ist voll funktionsfähig, ich habe alle Features getestet. Es gibt separate Seiten für jede
00:06:20der angeforderten Funktionen, und das Zusammenspiel zwischen Frontend und Backend klappt reibungslos.
00:06:24Der gewählte UI-Stil überzeugt mich vollkommen – für mich das beste Ergebnis
00:06:28im gesamten Testfeld. Zum Code selbst: Im Frontend wurden React und React Router genutzt, was ich sehr begrüße,
00:06:33und im Backend gibt es Pluspunkte für den Einsatz einer echten Datenbank. Es wurde
00:06:37Node SQLite für die Datenbank verwendet, als Server kam Express zum Einsatz. Hier ist das Ergebnis
00:06:42von Fable 5: Die Benutzeroberfläche von Opus 5 gefällt mir zwar besser, aber auch diese ist nicht schlecht.
00:06:48Diese Diagramme hier sind allerdings etwas nutzlos. Das untere Diagramm ist recht gelungen,
00:06:53und sämtliche Funktionen arbeiten einwandfrei. Opus 5 hat schlicht mehr Mühe in die Benutzeroberfläche gesteckt
00:06:57und ist in dieser Hinsicht klar überlegen. Beim Code zeigte sich ein ähnlicher Aufbau wie bei Opus 5,
00:07:01da ebenfalls React verwendet wurde; allerdings verzichtete es auf eine Routing-Bibliothek
00:07:05und baute stattdessen eine eigene kleine Routing-Lösung. Eine Standardlösung wie React Router wäre mir lieber gewesen.
00:07:09Bei der Datenbank setzte es ebenfalls auf Node SQLite, und auch dieser Server basiert auf Express –
00:07:13ein sehr ähnliches Backend also. Für das Frontend hat Opus jedoch definitiv den besseren Tech-Stack gewählt.
00:07:18Das hier ist das Ergebnis von GPT 5.6 Sol, und beim UI-Design spielt es ganz oben mit.
00:07:22Es steht Opus in nichts nach. Der Stil ist anders, letztlich also reine Geschmacksache,
00:07:26mir persönlich gefällt es aber hervorragend. Die gesamte Benutzeroberfläche wurde großartig ausgearbeitet,
00:07:31und alle Funktionen sind einsatzbereit. Dieses Modell nutzt für die einzelnen Funktionen jedoch keine separaten Seiten,
00:07:35sondern springt lediglich zu unterschiedlichen Bereichen derselben Seite.
00:07:38Zudem wählte es den ungewöhnlichsten Tech-Stack im Testfeld: Es entschied sich für NextJS in Kombination
00:07:43mit Drizzle für die Datenbank – ein Ansatz, den ich sehr schätze und der für solch ein Projekt durchaus sinnvoll ist.
00:07:47Für das Hosting wurden jedoch Cloudflare und Vinext gewählt, was mir etwas eigenwillig erscheint.
00:07:52Vinext steckt noch in einer sehr frühen Phase und ist kaum praxiserprobt.
00:07:56Vermutlich gibt es im System-Prompt eine Vorgabe, die die Nutzung von Cloudflare und Vinext erzwingt.
00:08:00Wie ich schon im Kimi-K3-Video erwähnte, liegt das wahrscheinlich daran, dass ihre eigenen gehosteten
00:08:04ChatGPT-Websites so aufgebaut sind. Das letzte getestete Modell ist Kimi K3. Hier ist das gelieferte Ergebnis,
00:08:09das insgesamt sehr solide ausfällt. Die Benutzeroberfläche erinnert an Ergebnisse,
00:08:14die man von GPT 5.4 oder 5.5 kennt; im UI-Design hinkt es also etwas hinterher. Alle Funktionen arbeiten
00:08:19jedoch einwandfrei, weshalb es am UI wenig auszusetzen gibt. Es erfüllt die Anforderungen exakt.
00:08:24Beim Code muss ich allerdings Punkte abziehen. Für das Frontend wurde zwar React gewählt,
00:08:28ähnlich wie bei Fable wurde jedoch eine eigene Routing-Logik gebaut. Betrachtet man den Server,
00:08:32liegt lediglich ein Express-Server vor, ohne eine echte Datenbank wie Node SQLite einzubinden.
00:08:36Stattdessen wurde eine eigene Datenbanklogik in JavaScript geschrieben, die alle Daten in einer JSON-Datei speichert.
00:08:40Das ist definitiv nicht der Ansatz, den man sich in der Praxis wünscht.
00:08:44Was Laufzeit und Kosten beim Finanz-Dashboard-Test angeht, war Fable mit 30,79 $
00:08:48am teuersten und benötigte 56 Minuten und 55 Sekunden. Bei Opus lagen die Kosten mit 29,82 $
00:08:55sehr nah an Fable, wobei die Laufzeit mit 59 Minuten und 15 Sekunden sogar etwas länger ausfiel.
00:09:02Die GPT-Modelle sind im Vergleich extrem preiswert – rund dreieinhalb Mal günstiger.
00:09:07Ich hoffe sehr, dass dieser Wettbewerb die Preise von Anthropic künftig nach unten drückt.
00:09:11Mein Fazit fällt daher gemischt aus. Ich habe jeden Test nur einmal durchgeführt und insgesamt zwei Tests gemacht.
00:09:16Ich hoffe daher, dass die Benchmarks von Artificial Analysis präziser sind, laut denen Opus
00:09:20nur ein Drittel von Fable kostet. Das werde ich bei weiterer Nutzung genauer beobachten.
00:09:24Möglicherweise liegt es auch an meinem Tool zur Kostenmessung. Ein Pluspunkt für Opus ist jedoch,
00:09:28dass es bei Cybersicherheitsaufgaben etwas weniger restriktiv ist als Fable 5. Die Schutzmechanismen entsprechen
00:09:33weitgehend Opus 4.8, abgesehen von verschärften Leitplanken in einigen spezifischen Cyber-Bereichen.
00:09:37Laut Hersteller erlaubt Opus 5 das Aufspüren von Schwachstellen im Quellcode,
00:09:42blockiert jedoch binärbasierte Schwachstellenscans sowie Penetrationstests und
00:09:46die Erstellung von Exploits. Interne Tests zeigten, dass die Klassifikatoren etwa 85 % seltener eingreifen
00:09:51als bei Fable 5. Der Wettbewerb unter den Modellen ist derzeit wirklich beeindruckend.
00:09:55GPT 5.6 beweist, dass Preise sinken können; Open-Source-Modelle wie Kimi halten bei der Intelligenz
00:10:00mit den großen Anbietern mit, und Anthropic schiebt die Leistungsgrenzen kontinuierlich weiter nach oben.
00:10:04Welches Modell ist Ihr Favorit und wie ist Ihr Eindruck von Opus?
00:10:09Schreiben Sie es gerne in die Kommentare, lassen Sie ein Abo da und wie immer: Bis zum nächsten Mal!