스크립트
00:00:00Fable 5.1とGPT-6 Astraがわずか数日違いでリリースされ、両モデルともベンチマークで非常に
00:00:05高いスコアを記録しています。AstraはAGIテストでほぼ100%を記録し、どのモデルも
00:00:11これほど迫ったものはありませんでした。そのため、こうした数値を見れば、実際の作業を任せたときにも
00:00:16非常にうまくこなしてくれると期待するでしょう。しかし、そうしたテストでの好成績は、モデルが実際の作業を
00:00:20どれだけうまくこなせるかを示してはくれません。そこで私たちは、実際の自社業務でも両モデルが同様に
00:00:25優れたパフォーマンスを発揮するかどうか確かめることにしました。当社はソフトウェア会社であるため、テスト用のプロジェクトがすでにいくつかありました。
00:00:30そこで、両モデルにそれらのプロジェクトの作業を与え、何を作り上げたのかを確認しました。各モデルを複数の
00:00:35プロジェクトで実行し、さまざまな領域でどれほどうまく機能したかを採点しました。結果の判定と
00:00:41採点にはGPT-5.6を使用しました。この判定用モデルは、どちらの結果がFableのものでどちらが
00:00:45Astraのものかを知りません。一方のモデルの総合スコアは100点満点中86点、もう一方は84点でした。一見すると
00:00:52小さな差に思えるかもしれませんが、総合で優勢だったモデルがすべてのテスト項目で勝ったわけではなく、
00:00:57もう一方のモデルも特定の分野で驚くほど優れた成果を見せました。そこで、各モデルがテストでどのように
00:01:02パフォーマンスを発揮したか、そしてどのカテゴリでどちらが勝ったのかを順に見ていき、そうした違いが
00:01:07実際の作業にどのように影響するかを確認できるようにします。各モデルのパフォーマンスについて見ていく前に、まず
00:01:12モデル自体の概要を確認しておきましょう。このセクションは詳細を知らない方向けですので、すでに
00:01:17ご存知の場合はこのセクションを飛ばして次のセクションに進んでいただいて構いません。Anthropicは
00:01:229月1日にFable 5.1をリリースしましたが、Anthropicがリリースの熱狂を十分に楽しむ間もなく、
00:01:27OpenAIはFableのわずか数日後にGPT-6 Astraを投入しました。人々はこれらのモデルを使って非常に興味深い
00:01:33製品を構築し、その限界に挑戦して、非常に驚くべき結果を得ています。
00:01:37価格面に関しては、両モデルとも入力トークン100万あたり10ドル、出力トークン100万あたり50ドルという同じ価格設定になっています。
00:01:43しかしFable 5.1には1つ違いがあり、Anthropicはキャッシュ済み読み取りの価格を75%引き下げました。
00:01:49キャッシュ済み読み取りをご存知ない方のために説明すると、モデルがすでに読み取った会話の部分が再利用のために
00:01:54保存されます。新しいプロンプトを送信すると、モデルが最初からもう一度読み込む代わりに保存された部分が再利用され、
00:02:00これがキャッシュ済み読み取りと呼ばれるものです。こうした読み取りにより、会話の再利用がすでに安価になっていますが、
00:02:05価格が下がったことでさらに安くなっています。しかし、だからといって全体的にFableのほうが安く使える
00:02:10モデルになるわけではありません。総額は他の多くの要素にも依存するためであり、これについては後ほど説明します。
00:02:14さて、FableモデルはClaude codeにしばらく組み込まれていましたが、Fable 5.1はまだ
00:02:19Claude Proプランに含まれていないため、Proプランでは利用クレジットを通じて別途支払う必要があります。
00:02:25MaxプランではFable 5.1が含まれていますが、Fableモデルには他のモデルよりも厳しい制限が課されています。
00:02:30一方でOpenAIは、Astraをそのような別個のモデルとして扱っていません。なぜならAstraは
00:02:36ChatGPT+およびProの通常のコーデックス制限の一部であり、使用量をすべてAstraに充てることができるからです。
00:02:41これらのモデルは長時間のタスクの処理に非常に優れており、大規模な機能の構築を指示して、
00:02:47ステップの処理を単独で進めさせることができます。しかし、こうしたモデルに長時間のタスクを処理させるときには、
00:02:52保持できるコンテキストの量も重要になります。FableではClaude code内で100万トークンが提供されるのに対し、
00:02:57コーデックスにおけるAstraのデフォルトのコンテキストウィンドウはわずか27万2,000トークンです。
00:03:02もっとも、Astra自体はAPI経由であればFableの100万を超えるはるかに大きなウィンドウを持っていますが、
00:03:09当面の間、コーデックスではそれが提供されるわけではありません。コーデックスではAstraであってもデフォルトの
00:03:14コンテキストウィンドウが27万2,000トークンに設定されているためです。
00:03:21さて、これらのモデルは高度な調査を実行できるレベルに達しているため、OpenAIとAnthropicの
00:03:26両社は、実行できる作業の一部を制限する安全ガードレールを追加しています。
00:03:31しかし、そうした制限はさまざまな形でユーザーの作業にも影響を与えます。リクエストが許可されていないと
00:03:36安全システムが判断したとき、各モデルの反応が異なるためです。Astraは、タスクの一部が自身のルールに反する
00:03:41と判断した場合、そのタスクをきっぱりと拒否し、その旨を伝えてくれます。一方で、
00:03:45Claude codeは、リクエストがルールに反する場合にFableからより小規模なモデルへと切り替わります。
00:03:51そして多くの人が、Claude codeが知らぬ間にモデルを切り替えていることに気づきました。したがって、その切り替えの後も
00:03:56Claude codeが処理を続けた場合、得られている結果はもはやFableからのものではない可能性があります。
00:04:01私たちが測定した最初の指標は品質であり、これはモデルの作業が実際どれほど優れているかを評価するものです。
00:04:06このテストでは複数のクライアントプロジェクトを使用したため、それらの詳細を明らかにすることはできませんが、
00:04:11どのように作業を評価し、モデル間にどのような違いがあったのかを説明することはできます。コードがどれほど適切に
00:04:16記述され組織化されているかという点において、FableはAstraの78点に対し90点を記録しました。アプリの異なる
00:04:22部分のコードをより明確に分離して維持していたためです。これにより、後から変更を加える際にモデルがアプリを
00:04:27理解しやすくなり、テストしたすべてのプロジェクトにおいて、この点でFableはAstraの一歩先を行っていました。
00:04:32また、要求された作業のうちどれだけの割合が完了したかについて、FableはAstraの84点に対し91点を記録しました。これは、
00:04:39明示的に修正を依頼していなかった問題についても解決してくれたためです。しかし、完成した機能が
00:04:44修正を求めずとも正しく機能しているかどうかも確認し、その点ではAstraがFableの85点に対して87点を記録しました。
00:04:50Astraがリードした理由の一部は、アプリをより徹底的にチェックし、既知の問題をより多く修正したことにあります。
00:04:55Fableが自身のアプリをテストした際、問題が発生し得る状況の一部を見落としていたため、完成した機能には
00:05:00まだいくつかの問題が残っていました。アプリの使用感に関しては、Astraが89点、Fableが88点となりました。
00:05:08ページのさまざまな要素を、見つけやすく使いやすい場所に配置していたためです。
00:05:13したがって、先ほど挙げたすべてのテストに基づくと、Fableの総合品質スコアは88点であったのに対し、Astraは84点でした。
00:05:19より完全な機能が構築され、後からの変更が容易だったためです。したがって、品質の面では
00:05:25Fableが明らかな勝者となります。次のテストに進む前に、スポンサーであるZapierからのメッセージをご覧ください。
00:05:30バイブコーディングでアプリを作ると素晴らしいものが出来上がりますが、Gmail、Slack、Notionなどのツールに
00:05:35実際に接続したいと思った瞬間、あらゆる統合やOAuthフローを手作業で構築することになります。気づいたときには
00:05:41認証コードの海に埋もれ、突然統合処理自体がプロジェクトのすべてになってしまいます。そこで登場するのが
00:05:46Zapier SDKです。これはClaude codeやCursorのプロジェクト内に直接組み込めるコードライブラリであり、
00:05:52Zapierが持つ9,000以上のアプリエコシステムへのプログラム的なアクセスを提供します。そのため、個々の統合を
00:05:58手作業で構築する代わりに、必要なものを呼び出すだけで作業を続けることができます。わずか数行で、APIドキュメントや
00:06:04面倒な認証処理なしに、アプリからメールを送信したりNotionページを作成したりできるようになります。
00:06:10また、事前構築済みの事前アクションが存在しないNotion上のカスタムプロパティを更新する必要がある場合も、
00:06:15SDKを通じて直接呼び出すことができます。真の意味で既存の作業環境に寄り添うツールです。統合の手作業での配線に
00:06:20うんざりしているなら、ぜひZapier SDKをお試しください。リンクは下の説明欄にあります。
00:06:26私たちが測定した次の指標は、長時間のタスクをモデルがどれほどうまく処理したか、すなわち作業を進める中で
00:06:31私たちの細かな指示なしに、どれだけの作業を独力で完了させたかという点です。途中で発生した問題への対処能力も確認しました。
00:06:36このため、各モデルに構築するアプリのアイデアを与え、そのプロンプトガイドに従ってリクエストを記述することで、
00:06:42最良の条件で作業を行えるようにしました。具体的な詳細を指定することはせず、
00:06:47アプリに求められる機能を説明しただけです。Astraは約32分間、Fableは約44分間作業を行いました。
00:06:53Astraはアプリの構築やチェックの最中にエラーに遭遇しましたが、それらを自力で乗り越え、
00:06:58私たちが各問題について逐一指示を出すことなく、アプリの修正を続けました。Fableも途中停止や
00:07:03次の指示を求めることなくアプリを完成させ、構築した内容のチェックを実行しました。
00:07:09したがって両モデルとも作業をやり通しましたが、完成したアプリを詳しく調べて、何が残されているかも確認しました。
00:07:13Astraのアプリは、独立したランディングページなしでログインページに直接開く仕様になっていました。
00:07:18サインインすると、レイアウトはうまく整理されておりアプリも機能しましたが、多くのAI生成アプリにありがちな
00:07:24見慣れたレイアウトが残っていました。しかし、サイドパネルに問題があり、サインアウトボタンに
00:07:30到達できるほど十分にスクロールできませんでした。ボタンにたどり着くには画面を縮小する必要がありましたが、
00:07:35これはAstra自身のチェックでも見落とされていた点です。Fableのアプリもログインページに直接開きましたが、
00:07:40そのデザインははるかにありふれた印象を受けるものでした。機能は動作したものの、すべてが密に詰め込まれすぎていて
00:07:45アプリが使いにくく、繰り返されるグラデーションがそのお馴染みのAI生成ルックを助長していました。
00:07:51小型画面への適応はしていましたが、機能自体は詳細であるにもかかわらず、それでも使いやすいレイアウトではありませんでした。
00:07:56また、他にも複数のアプリや巨大な機能がこのようにモデルに自力で作業させる形で計画・構築されました。
00:08:01そのため、長時間の作業において、Astraは100点満点中93点を獲得し、Fableの90点を上回りました。
00:08:08Fableは、プロンプトで視覚的な面にも注力するよう明記していなかった場合、機能の動作を優先する傾向がありました。
00:08:13Astraはアプリの機能性と見た目の両方に気を配っていたため、長時間のタスクではAstraの勝利となります。
00:08:18私たちが注目した次の指標は、デザインとアプリの使いやすさでした。モデルにデザインの採点を行わせることはしましたが、
00:08:23そのデザインセンスだけに頼ることはしたくありませんでした。そこで、Fableの結果用とAstraの結果用の
00:08:28ビューアーを独自に構築し、自分たちの目でデザインを確認して使い心地を比較できるようにしました。
00:08:33両モデルに同じデザインタスクを与え、最初はフォントを販売するビジネス向けのランディングページから始めました。
00:08:38Fableのバージョンは、色彩やフォントからレイアウトに至るまで、Opusが生成しがちなものに非常によく似ていました。
00:08:44最近Opusのデザインでよく見かける、ページ全体を横切るテキストの帯まで含まれていました。
00:08:50しかし、FableがOpusと異なっていた点の一つは、デザイン全体により多くのインタラクティブな要素を追加したことであり、
00:08:55これによりアプリの使い心地が向上しました。Astraのバージョンはよりゆったりとしたレイアウトで、
00:09:00Astraのバージョンはより余白のあるレイアウトで、文字の大きさや色のはっきりした違いにより
00:09:05テキストがより読みやすくなっていました。しかし動きははるかに少なかったため、見る分には
00:09:10より快適なものの、Fableのデザインほどの体験は得られませんでした。そのためFableは
00:09:14インタラクションスコアで94点を獲得し、Astraは85点でした。次に、各モデルにホラーゲームの
00:09:20ランディングページのデザインを依頼しました。Fableのデザインはアニメーション付きの灯台を使って
00:09:25雰囲気を出していました。コードで描画される画像であるSVGでアートワークを作成しましたが、
00:09:31Fableが選んだサイズや色のせいで、暗い背景に対してテキストが十分に際立っていませんでした。
00:09:36同じデザインタスクで、Astraはコードでアートワークを作成する代わりに、Codexに組み込まれた
00:09:42画像生成モデルを使用して画像を生成しました。また、依頼していないにもかかわらず
00:09:47ゲームのティーザーも作成しました。そしてAstraが優れていたのはフォントと色の選択であり、
00:09:52それにより暗い背景でもテキストが際立つようになっていました。音楽フェスのサイトでは、
00:09:57FableのバージョンはOpusが作成したデザインに見られるデザイン上の選択の多くを繰り返していました。
00:10:03しかし、そうした見慣れた選択であっても、Fableはサイト独自のスタイルを持たせるために
00:10:08より多くの労力を費やしたように感じられました。Astraは生成されたコンサートの写真を使用しましたが、
00:10:13全体的なデザインはよりありふれたものでした。最後の比較は縦列駐車ゲームで、
00:10:18Fableのバージョンは本当によく作られており、バックミラーのおかげで車の移動位置を
00:10:23より正確に判断しやすくなりました。ゲームには2つのカメラ視点がありましたが、どちらにも問題がありました。
00:10:27片方は駐車スペースの反対側を表示し、もう片方は前方の道路の全体像を示す代わりに
00:10:32片側しか表示しなかったためです。これにより車をどこに動かしているか把握しづらくなり、
00:10:38カメラアングルが正しければ、ゲームはよりリアルに感じられたはずです。Astraは3つの固定視点を
00:10:42提供し、サイドパネルに運転のコツを追加したことで、ゲームがより遊びやすくなっていました。
00:10:48カメラ視点はいずれもFableのものよりはるかに優れていました。これらはモデルに対して
00:10:53希望するデザインの詳細をほとんど伝えない一般的なテストであり、ここではモデル自身の好みを確認できました。
00:10:58どちらも他の作品で見られたデザインの選択を繰り返していましたが、どちらも良い結果を出していました。
00:11:04そしてアプリの見た目や使用感についてもう少し詳細を伝えれば、両方ともうまくデザインしてくれると期待できます。
00:11:09つまり好みという点だけで言えば、ビジュアルと使いやすさではAstraが勝ち、アニメーションと
00:11:15インタラクティビティではFableが勝ちました。しかし、コストとスピードのテストに進む前に、
00:11:20チャンネル登録と高評価ボタンを押していただけると大変嬉しいです。この小さなサポートのジェスチャーが
00:11:25私たちにとって大きな励みになります。私たちが測定した次の指標は効率性であり、作業のコスト、
00:11:31所要時間、そして完了までにモデルがツールを使用した回数を網羅しています。コストについて知っておくべき
00:11:37こととして、APIは使用していないため、これらは使用されたトークンに基づいてAPIを使用した場合の
00:11:47推定コストにすぎません。テストは通常のサブスクリプションで実行しました。すべてのテスト実行を通じて、
00:11:52Fableの合計推定コストは49.18ドルになり、Astraの27.69ドルと比較して、
00:11:57Astraの合計は約44%低くなりました。FableはAstraのほぼ3倍の出力トークンを生成しました。
00:12:03ちょうどFableのプロンプトガイドに、他のモデルよりも多く書く傾向があると言及されているのと同様です。
00:12:09両モデルともそれらのトークンのコストは同じだったため、多く書くことがFableのコストを押し上げる要因となりました。
00:12:17ツールの使用もトークンの使用量を増やす要因となります。モデルがどのツールを使うかを決定し、
00:12:23作業を続ける前に結果を読み込むためです。6回の実行全体で、Fableのメインエージェントは
00:12:30ツールを443回使用したのに対し、Astraは287回でした。そのため、それもコスト増加の一因となりました。
00:12:35コストに関して、Astraは100点満点中80点を獲得し、Fableの66点を上回りました。
00:12:40スピードに関しても、Astraは70点でFableの67点を上回り、先頭に立ちました。
00:12:44長期実行タスクは、Astraの合計約62分に対し、Fableは約73分かかりました。
00:12:49したがって、コスト、スピード、およびツールの効率性のスコア全体で、AstraがFableを上回る結果となりました。
00:12:53私たちが測定した次の指標は指示追従性であり、構築中にモデルが提示された指示にどれだけ従ったか、
00:12:58そして作業が継続するにつれてそれらの指示を守り続けたかどうかを確認しました。
00:13:04Fableでプロジェクトを実行した際、私たちの指示で明示的に禁止していたにもかかわらず、
00:13:09Astraは100点中96点を獲得し、Fableの88点を上回りました。つまり、指示に従うという点では、
00:13:16また、ファイルを作成または変更する方法に関するルールも無視していました。
00:13:21Claude自身のファイル編集ツールを使用するように指示してあったため、変更内容は追跡され簡単に元に戻せるはずでしたが、
00:13:27代わりにコマンドを実行して2つのファイルを作成しました。指示追従性において、
00:13:33Astraは100点満点中96点を獲得し、Fableの88点を上回りました。
00:13:37したがって、指示に従うという点では、今回の実行においてAstraが優位に立ちました。
00:13:42私たちが測定した次の指標はレビューの品質であり、問題を含むプロジェクトをモデルに渡し、
00:13:47それらの問題を発見するよう求めました。まず両モデルに同じコードをレビューさせ、
00:13:524つの問題を意図的に含めることで、何を見つける必要があるかをこちらで把握できるようにしました。
00:13:57Fableは4つすべてを見つけ、さらにこちらが追加していない5つの追加の問題も発見し、
00:14:03それらは後に確認されて確定しました。Astraは追加した4つのうち2つを発見したものの、
00:14:08レビューが完了したと私たちに伝えました。また、モデルが誤った問題を報告するかどうかを確かめるため、
00:14:13怪しく見えるが実際には正しい3つの箇所も含めました。どちらもそれらをバグとして扱わなかったため、
00:14:19ここでの違いは見つけた量の違いであり、Fableの方がより徹底したレビューを提供してくれました。
00:14:25しかし、確認された9つの問題を持つ大規模なプロジェクトでテストしたところ、Astraは5つを修正し、
00:14:30Fableは4つしか見つけて修正できませんでした。そのためAstraの方が多くの修復を完了させましたが、
00:14:35両方ともいくつかの問題を未修正のまま残しました。そうした修復や、モデルが他の作業をどのように
00:14:40確認したかを含めたレビューの品質について、Fableは84点を獲得し、Astraの78点を上回りました。
00:14:45したがって、Fableの方が全体的により強力なレビューを提供してくれたため、総合的なレビューのスコアでは
00:14:51Fableが優位に立ちました。これらの結果に基づくと、Astraはテストした複数のカテゴリ全体で
00:14:56明確な勝者となりますが、だからといってFableが劣ったモデルというわけではありません。
00:15:01すべてのタスクで良好なパフォーマンスを発揮し、いくつかのタスクではAstraに大きく遅れをとらなかったためです。
00:15:05そのため、与えるタスクに基づいてモデルを選択する必要があります。
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기