Opus 5 ist da – Und es ist BESSER ALS FABLE?!
CChase AI
Computing/SoftwareBusiness NewsInternet Technology
Transcript
00:00:00Claude Opus 5 ist gerade erschienen, und Anthropic behauptet, dass wir nun ein Modell haben,
00:00:04das den Ergebnissen von Fable 5 bei den halben Kosten sehr nahe kommt. Schauen wir uns an, was geboten wird.
00:00:09Werfen wir einen Blick auf einige der Benchmarks, und die Zahlen sind auf Anhieb ziemlich abgefahren.
00:00:14Es schlägt Fable 5 und hängt Opus 4.8 in einigen dieser Tests komplett ab, insbesondere bei
00:00:20agentischem Terminal-Coding, Wissensarbeit und agentischer Suche. Auch Modelle wie GPT 5.6
00:00:27werden in diesen Kategorien geschlagen. Die einzigen Bereiche, in denen Opus 5 schlechter als Fable 5 abschneidet,
00:00:33sind multidisziplinäres Schlussfolgern – wovon es nicht weit entfernt ist; mit Tools schlägt es Fable sogar – sowie
00:00:39Recht und Gesundheit. Aber überall sonst schlägt es tatsächlich das Topmodell. Und wenn diese Zahlen stimmen,
00:00:46ist das irre. Hier steht, dass das Modell bei Cursor Bench 3.2 unter voller Auslastung
00:00:51innerhalb von 0,5 % der Spitzenwertung von Fable 5 lag, aber bei den halben Kosten pro Aufgabe. Verrückt. Und man sieht das
00:00:57genau hier. Wir haben Opus 5 in Rot, Fable 5 in Orange und unten in Blau ist Opus 4.8.
00:01:03Ja, bei absolut maximaler Leistung zieht Fable 5 vorbei, aber die meisten arbeiten nicht
00:01:08auf Maximum. Sie arbeiten entweder auf hoch oder extra hoch. Und wenn man sich extra hoch und hoch
00:01:13im Vergleich zu Fable ansieht, bekommen wir mit Opus 5 im Grunde dieselben Ergebnisse, aber eben
00:01:17zu etwa den halben Kosten. Und in einigen anderen Benchmarks, wie dem Artificial Analysis Coding Agent Index,
00:01:23schlägt Opus 5 Fable 5 direkt. Dasselbe gilt für den Frontier Bench.
00:01:27Es hängt Fable tatsächlich ab und ist günstiger. Schauen wir uns nun etwas Wissensarbeit
00:01:32und Problemlösungsaufgaben an. Und was ich wirklich verrückt finde, ist nicht nur diese ganze
00:01:37Dynamik zwischen Fable 5 und Opus 5. Es ist der Sprung von Opus 4.8 zu Opus 5. Durch die Bank
00:01:43ist das ein riesiger, gewaltiger Fortschritt. Und wenn das wie bei Sonnet 5 gewesen wäre,
00:01:49wo wir zwar bessere Leistungen als beim Vorgänger sahen, es aber unbezahlbar
00:01:53teuer war – denn Sonnet 5 ist heruntergebrochen auf die Aufgabe irgendwie das teuerste Modell auf dem Markt –
00:01:57nach Aufgabe betrachtet. Das ist hier nicht der Fall. Opus scheint im Vergleich zu diesen
00:02:03zwei anderen Modellen extrem token-effizient zu sein. Und die Tatsache, dass es Fable 5 tatsächlich schlägt,
00:02:07darüber komme ich wirklich nicht hinweg. Eine weitere interessante Verbesserung ist die visuelle Ausgabe. Hier sieht man Opus 5
00:02:13bei einer Windkanal-Simulation. Und hier drüben baut es ein interaktives 3D-Tierzellen-
00:02:19Artefakt. Ein Nachteil von Claude ist, dass es keine eigenen Bilder erstellen kann. Dass es
00:02:24nun besser mit solchen 3D-erstellten SVG- oder quasi HTML-Grafiken umgehen kann, ist enorm.
00:02:31Eine weitere große Verbesserung ist laut Anthropic, dass es eigene Ergebnisse viel stärker überprüft
00:02:35und sorgfältig iteriert, bis es erfolgreich ist. Was bedeutet das? Das bedeutet, wenn wir Opus 5
00:02:40für langfristige agentische Aufgaben nutzen – Dinge, die nicht in einem Schritt erledigt sind. Das sind Schleifen, richtig? Das
00:02:45ist wie das ganze Graph-Engineering, von dem alle sprechen. Alles, was von Claude verlangt,
00:02:49seine Arbeit mit einem vorgegebenen Ziel abzugleichen und das immer und immer wieder zu tun.
00:02:53In dieser Hinsicht ist Opus 5 viel besser als Opus 4.8. Und ein interessantes
00:02:58Beispiel hierzu: Opus 5 erhielt die Zeichnung eines Maschinenteils und sollte Code schreiben, um es als
00:03:033D-FreeCAD-Modell nachzubauen. Dem Modell wurde jedoch keine Möglichkeit gegeben, die Zeichnung tatsächlich zu betrachten.
00:03:09Es sollte also dieses Ziel erreichen, ohne genaue Anweisung, wie. Also hat es kurzerhand
00:03:14eine eigene Computer-Vision-Pipeline geschrieben, um die Geometrie aus Rohpixeln zu extrahieren, und hat dann das
00:03:19gesamte Maschinenteil rekonstruiert. Bei allen langfristigen Aufgaben mit einem klaren Zielvorhaben
00:03:25ist Opus 5 bei der Ausführung deutlich besser als 4.8. Was unerwünschtes Verhalten angeht,
00:03:29liegt es ebenfalls eine Stufe über allen vorherigen Modellen. Niedriger ist hier besser. Wir sehen eine enorme Steigerung der Fähigkeiten
00:03:35von Opus 4.8 beim Finden von Schwachstellen und Exploits in Open-Source-Code. Eine weitere tolle Sache sind die
00:03:40Sicherheitsvorkehrungen. Das ist kein Fable-Szenario, bei dem das Modell sofort abblockt,
00:03:45wenn man etwas über Cybersicherheit oder Biologie erwähnt. Diese Leitplanken sind bei Opus 5 viel weniger streng als bei Fable 5.
00:03:50Obwohl immer noch einige Klassifikatoren enthalten sind, heißt es, dass sie im Vergleich zu Fable mit einer um 85 % geringeren Wahrscheinlichkeit
00:03:56anschlagen. Der letzte große Punkt sind schließlich die Kosten. Wie gesagt, es kostet die Hälfte von Fable.
00:04:01Wir sprechen von 5 $pro Million Input-Tokens und 25$ pro Million Output-Tokens. Und wie wir in den Benchmarks
00:04:07und Diagrammen gesehen haben, ist dies ein relativ token-effizientes Modell. Ich bin also sehr gespannt darauf, es auszuprobieren,
00:04:12denn wenn die Zahlen stimmen, haben wir im Grunde ein besseres Fable zum halben Preis.