Claude Codeの最大の問題を解決するオープンソースリポジトリ
CChase AI
Computing/SoftwareSmall Business/StartupsInternet Technology
Transcript
00:00:00たったひとつのスキルでCloudCodeを劇的に効率化できるでしょうか？
00:00:03処理を高速化し、コストを抑え、コード量を減らしつつも
00:00:06私たちが慣れ親しんだ高品質な結果を維持できるでしょうか？
00:00:10それをまさに実現できると謳っているのがPonytailです
00:00:13その結果、公開からわずか7日で4万スターを獲得する話題作となっています
00:00:18もっとも、こうした主張をするツールはPonytailが初めてではありません
00:00:22過去にはCavemanを取り上げましたが、これらのツールには共通の思想があります
00:00:26それは、CloudCodeは本来冗長であるため、
00:00:29「そんなに多く語るな」と指示すれば、
00:00:32はるかに簡潔でありながら、最終的に同等に正確な、
00:00:36あるいはCavemanの時のような、さらに高い正確性を発揮する可能性もあります。
00:00:40Ponytailはその最新版に過ぎませんが、
00:00:42過去のどのツールをも凌駕する数値を叩き出していると主張しています
00:00:45その数値がまさにここに示されています
00:00:47コード行数、トークン数、コスト、そして処理時間が比較されています
00:00:52どの項目でも、グレーはツールを使わないベースラインを表し、
00:00:55緑色がPonytailを表しています
00:00:58Ponytailはほぼすべての分野でトップに立つか、それに匹敵する成績を残しています
00:01:03さて、ここでご覧いただいた数値は集計値です
00:01:05いくつかの異なるテストから算出した平均値であり、
00:01:08Haiku 4.5を使用して実行されたものです
00:01:11ご安心ください。この後でテストを検証し、
00:01:14実際のモデルを見ていきます。現実には誰もHaiku 4.5なんて使っていませんからね
00:01:18私たちが使っているのはOpus 4.8なので、そちらの数値を確認しましょう
00:01:20コード行数に関しては、約50%削減されています
00:01:24トークン、コスト、時間の面を見ると、
00:01:27ベースラインと比較して約20%から30%の改善が見られます
00:01:31これは決して少ない数字ではありません
00:01:32特に非常に高価なFableのようなツールにこれを当てはめると、
00:01:36その効果は絶大です
00:01:37もし「Fableのようなツールを使っているなら、
00:01:40もっと速く、安くなりますよ」と言えたなら、
00:01:42すごく嬉しいですよね？
00:01:43仕組みについて解説し、
00:01:45ベンチマークスコアをお見せする前に、
00:01:47私が試した感想を交えつつ、今日のスポンサーである私からの告知を挟みます
00:01:50「Chase AI+」では、「Clawed Codeマスタークラス」を開講しています
00:01:53これはゼロからAI開発を始めるための最適な方法であり、
00:01:56特に非エンジニア出身の方にはぴったりの内容です
00:01:59毎週欠かさず内容をアップデートしており
00:02:01Claude Codeのマスタークラスや
00:02:03マスタークラスも含まれています
00:02:06リンクを固定コメントに貼っておきますのでご覧ください
00:02:08繰り返しになりますが、毎週内容を更新し、
00:02:10実際のユースケースに焦点を当てています
00:02:12ですから、Clawed Codeをマスターしたいなら、
00:02:15ここはまさに打ってつけの場所です
00:02:16それでは、Ponytailの仕組みはどうなっているのでしょうか？
00:02:17コードを書く前に、
00:02:196つのステップを踏む仕組みになっています
00:02:20まず最初の質問は、
00:02:22「そもそもこれを作る必要があるのか？」という点です
00:02:24答えが「いいえ」なら、
00:02:26コードを書く必要など全くありません
00:02:28比較的当たり前のことですね
00:02:29その次に、「標準ライブラリで代用できないか？」と問いかけます
00:02:33答えが「はい」であれば、
00:02:34標準ライブラリを使用します
00:02:36ベンチマークを見ていて気付く大きな特徴として、
00:02:38Clawed Codeが、すでに存在している機能を
00:02:41スクラッチから再実装してしまうケースが多々あるという点があります
00:02:45何らかのライブラリ内や、プラットフォームの標準機能としてすでに備わっているにもかかわらずです
00:02:49つまりClawed Codeには、こういう問題があります
00:02:51「すでに車輪は発明されているのに、
00:02:52このプログラムにはすでに車輪がある。
00:02:53なぜか、
00:02:55『一から車輪を作り直そう』としてしまう」
00:02:56その結果として、
00:02:57本当は必要のない大量のコードが
00:02:59生成されてしまうわけです
00:03:01こうした現象が、これらのベンチマークにおいて
00:03:03何度も繰り返されます
00:03:04少し話を戻しますが、
00:03:05これら6つのステップは、基本的にClawed Codeに対して
00:03:09「その機能はすでにネイティブで存在しないか？」と問いかけるものです
00:03:12「わざわざ独自のものを作る必要があるのか？」と
00:03:15Clawedは、その必要がなくても
00:03:17独自のものをしたがる傾向があるためです
00:03:18標準ライブラリにない場合でも、
00:03:20「ネイティブのプラットフォーム機能か？インストール済みの依存関係か？」と確認します
00:03:22インストール済みの依存関係か？
00:03:241行で書けるか？
00:03:26冗長にする必要があるか？
00:03:27そして、これらすべてをクリアして
00:03:28基本的には「いや、違う、違う」となったら
00:03:30こう伝えます。何を書くにしたって
00:03:33動く最小限のコードにしろ、と。
00:03:35やり過ぎないこと。
00:03:36必要でなければ作らないこと。
00:03:37そして、必要なら最小限に抑えること。
00:03:40つまり、Claude Codeをサボらせるわけです
00:03:42ただし、手抜きはさせません。
00:03:44信頼境界の検証やデータ損失の処理、
00:03:47セキュリティ、アクセシビリティなどに関わる
00:03:48ものは、絶対に妥協の対象外です。
00:03:50つまり、適用する対象を賢く選んでいるわけです。
00:03:53さて、インストールについてですが、比較的簡単です。
00:03:55こちらのコマンドをコピーするだけです。
00:03:57もちろん、このリポジトリへのリンクを
00:03:58概要欄に貼っておきますので、
00:04:00これでインストールが行われます。
00:04:01これはCodecksなどでも使えますし、
00:04:03実質的にあらゆるAIエージェントで使えます。
00:04:05Ponytailにはいくつかのコマンドがあります。
00:04:07具体的には、light、full、ultra、offです。
00:04:10ここでも、Cavemanをとても彷彿とさせますね。
00:04:12目指しているCavemanのレベルのようなものです。
00:04:14コードをレビューさせることができます。
00:04:16リポジトリを監査させることもできます。
00:04:18さらに、debt、gain、helpというスキルもあります。
00:04:20こちらも、GitHubリポジトリ内で
00:04:22さらに深く掘り下げて確認できます。
00:04:24ですが、ベンチマークの結果が
00:04:24伴わなければ、これらはあまり意味がありません。
00:04:26このリポジトリの素晴らしいところは、
00:04:28ベンチマークを提供してくれている点です。
00:04:29自分で実行してみることもできます。
00:04:31そして何だと思いますか？
00:04:32私メもまさにそれをやったんです。
00:04:34あなたも自分でこれを試すことができます。
00:04:36READMEには、どのように
00:04:37ベンチマークを取得したのかについての
00:04:39詳細な解説が載っています。
00:04:40また、自分でそれを再現することも可能です。
00:04:43それで、私がお見せするのは
00:04:44これらすべてのベンチマークを
00:04:45再現したときに得られた数値です。
00:04:48リポジトリにあるHaiku 4.5だけでなく、
00:04:51Opus 4.8でも検証を行いました。
00:04:52なぜなら、誰もHaikuなんて使っていませんからね。
00:04:54私はHaikuには興味ありません。
00:04:56興味があるのはOpusです。
00:04:58そして結果は、
00:05:00正直かなり興味深いものになりました。
00:05:02では、テスト結果とスコアを見てみましょう。
00:05:04これが公開されている数値です。
00:05:07こちらはHaikuによる実行結果です。
00:05:09そして、一番右側にあるのが
00:05:10Opusによる実行結果です。
00:05:12下部に、合算値があります。
00:05:1454%という数字は、コードの行数に注目したものです。
00:05:17Ponytailによれば、コードの行数が54%削減されています。
00:05:21私たちが実行したところ、Haikuでは56%でした。
00:05:24つまり、ほぼ全く同じ結果でした。
00:05:27そしてOpusでは71%でした。
00:05:29つまり、Opusを使用した場合、Ponytailを使うことでさらに大きな効率化やコードの効率化が見られました。
00:05:36なぜでしょうか？
00:05:36こうしたより強力なモデルは、おしゃべり好きだからです。
00:05:40冗長になりがちなんですね。
00:05:41繰り返しますが、これは「Caveman」に通じる話です。
00:05:43そこで取り上げられていた研究の一つを覚えているでしょう。
00:05:45非常に冗長なモデルは、とにかくたくさん話したがるというアイデアです。
00:05:50その結果、余計なことを言いすぎて正解から遠ざかってしまうことさえあります。
00:05:53ですから、これは興味深いことであり、この手法にとって一種の追い風になります。
00:05:57興味深いですね。
00:05:58彼らはテストでHaikuを使用した理由について、コストのためだと語っています。
00:06:02私に言わせれば、最初からOpusで検証すべきでした。
00:06:04なぜなら、実際に動かしてみるとOpusの方がはるかに優れた結果を出すからです。
00:06:09ご存じの通り、これこそ皆が使っているモデルです。
00:06:11つまり、彼らはコード行数の削減効果をむしろ過小評価していたと言えます。
00:06:15そして、これはコストにも当てはまります。
00:06:17Haiku 4.5を検証した際、私たちのテストの総合結果はどうだったでしょうか？
00:06:21コストは約25%削減され、Opus 4.8ではなんと53%も削減されました。
00:06:28すごいことですよね。
00:06:30コストが53%も安くなっているのです。
00:06:32これがFableだったらと想像してみてください。
00:06:33あらゆるテストや数値の結果を全体的に確認することができます。
00:06:35最低でも13%の削減でした。
00:06:38そして、マルチステップのウィザードなどでは、最大73%に達する場合もありました。
00:06:42こうなると、「そもそも一部のタスクにOpusが必要なのか？」と思うかもしれません。
00:06:45もっともな指摘です。
00:06:45しかし、ここで示されている意図をまずは理解してください。
00:06:48スキルを使わずに通常のOpusで処理すると通常1.39ドルかかるコストが、Ponytailを使用すると0.38ドルになりました。
00:06:55Ponytailを使った場合です。
00:06:57一方、Haikuを見ると、こうした小型モデルではPonytailを使うとかえってコストが高くなるケースすらありました。
00:07:04したがって、コード行数を減らして効率を高めるというアプローチは、より強力なモデルにおいて圧倒的に効果を発揮します。
00:07:11小型モデルの場合は、そもそも単純かつ高速ゆえに最初から効率的であるため、逆にマイナスの影響が出ることさえあります。
00:07:18ここにある「count items」のベンチマークを見ると、HaikuでPonytailを使用すると21%もコストが高くなりました。
00:07:27もっとも、たった2セントの差ではありますが、言いたいことはそういうことです。
00:07:31モデルが強力であればあるほど、このアーキテクチャは効果を発揮します。
00:07:34Fableでこれを試したらどうなるか、ぜひ見てみたいですね。
00:07:37重ねて言いますが、53%という数字は伊達ではありません。
00:07:39それでは、スピードはどうでしょうか？
00:07:40ここでも、Haikuに関して同様の傾向が見られます。
00:07:43どれくらい速くなったのでしょうか？
00:07:44Ponytailを使ったHaikuは、使わない場合に比べて約31%も高速でした。
00:07:51Opusの場合は71%も高速化しています。
00:07:5571%もです。
00:07:56そしてHaikuでは何が見られたでしょうか？
00:07:58Ponytailを使うと逆に遅くなった事例が、実際3つほどありました。
00:08:03状況によっては22%ほど遅くなることもありましたが、Opusの全ベンチマークでは一貫して最大88%も向上しています。
00:08:10そう、常に速かったわけです。
00:08:13ご覧のとおり、マルチステップウィザードで78%、日付ピッカーで88%です。
00:08:17そして最悪のシナリオでも、27%の違いでした。
00:08:22そのため、Ponytailのこうした数値を見ると、ベンチマークは実行できても「20%って本当に何の意味があるんだろう？」と割り引いて考えてしまいます。
00:08:31そして「あ、Haikuだったんだ」となるわけです。
00:08:33つまり、これはちょっとデタラメですね。
00:08:34しかしOpusでテストしてみると、まったく結果が異なります。
00:08:36圧倒的に効果的なんです。
00:08:37そこで当然の疑問として浮かんでくるのが、ベンチマーク自体はどうなのかということです。
00:08:41つまり、これらのベンチマークはどれほど有効なのか？
00:08:42現実的なのでしょうか？
00:08:44まずはリポジトリにアクセスしてご自身で試してみるか、ご自身が妥当だと思う独自のベンチマークを実行してみてください。
00:08:52いずれにせよ、実行された19種類のベンチマークについて言えば、全体を通して同じ傾向が見られ始めています。
00:08:59Opusのようなより強力なモデルを見ると、正直Haikuの結果は無視してもいいくらいです。
00:09:04Haikuはどうでもいいんです。
00:09:06安いし。
00:09:07速いからです。
00:09:08だからこそ効率的なのです。
00:09:11そして繰り返しになりますが、本質的には単なるスキルなのだから、これを試してみるデメリットはあるでしょうか？
00:09:16この数値は本当に素晴らしいものです。
00:09:17このリポジトリにアクセスし、ダウンロードしてご自身で使い始めることを強くおすすめします。
00:09:21最悪のシナリオとして、あなたのプロジェクトが非常に複雑で、冗長性を抑えるよう指示することがかえって裏目に出てしまうとしましょう。
00:09:30まあ、つまり「害もなく咎めもない」ような状況だと思います。
00:09:34それが最悪の場合です。
00:09:37ベストケースなら、Opusの使用量を約50%節約でき、速度も70%向上します。
00:09:43本当に興味深い内容ですね。
00:09:45私は日常の作業にこれを絶対に取り入れるつもりです。
00:09:471、2ヶ月ほど前からずっとCavemanを使っていて、常に自動で読み込ませています。
00:09:52これからはPonytailに切り替えて、使い心地を試してみようと思います。
00:09:55こうしたツールがどんどん登場するのは、素晴らしいことです。
00:09:58最近耳にするのは、トークンコスト、トークンコスト、トークンコストばかりですからね。
00:10:03そのため、それを引き下げてくれるものなら何であれ大歓迎されるはずです。
00:10:07今回の動画はこの辺りで終わりにします。
00:10:08いつものように、Claude Codeマスタークラスに参加したい方はぜひ ChaseAI Plus をチェックしてください。
00:10:13感想をコメント欄で教えてくださいね。またお会いしましょう。