キャッシュなしでは、AIエージェントのコストは10倍になる - ジョージ・キャメロン（アーティフィシャル・アナシス）

하이라이트

• AIエージェントにおいてプロンプトキャッシュ機能が活用されない場合、キャッシュヒット率がゼロであれば、タスクあたりの実行コストは21ドルから200ドル以上に跳ね上がる。

• 人工アナリティクスの知能インデックスにおいて、Anthropicの「Opus 5.5」がトップを走っている。

• 最先端のプロプライエタリモデルと安価なモデルの間には、1タスクあたり数ドル対0.05ドル未満という2桁のコスト差が存在する。

• オープンウェイトモデルは、最先端のプロプライエタリモデルから3〜9ヶ月遅れの範囲を維持し続けている。

• 人工アナリティクスのウェブサイトには500を超えるモデルが掲載されている。

타임라인

1. 00:00 - 06:25

   人工アナリティクスの活動とAIスタックの全体像

   人工アナリティクスは、コーディングエージェントからハードウェアや推論レイヤーに至るまで幅広いベンチマークを行っている。OpenAIやAnthropicなどの主要企業にも結果が引用されており、開発者が本番環境へ展開する際のトレードオフの議論を支援している。また、総合的な知能を把握するための知能インデックスにおいて、Anthropicの「Opus 5.5」が現在トップに位置している。

   • 人工アナリティクスはAIスタック全体にわたってベンチマークを行う独立系のAIベンチマーク企業である。
   • モデル選定時には、価格、速度、キャッシュヒット率などの推論に関する決定も同時に行われている。
   • 知能インデックスは、ナレッジワークや科学的推論など10個の異なる評価を統合した指標である。
2. 06:25 - 15:39

   AIモデルのコスト構造とキャッシュの重要性

   12ヶ月前と比較してエージェントの登場により推論トークンのカウントが必要となり、コスト構造は格段に複雑化している。ナレッジワークのベンチマークにおいて、Opusはタスク完了に平均21ドルかかるのに対し、安価なモデルでは大幅にコストを抑えられる。特に、入力トークンに対するキャッシュヒット率が維持されない場合、コストは飛躍的に跳ね上がるため注意が必要である。

   • 最先端のモデルと安価なモデルの間には2桁のコスト差が存在している。
   • エージェント型ワークロードの最大のコスト要因は入力トークンの数とキャッシュヒット率、そしてタスクあたりのターン数である。
   • プロンプトキャッシュが機能しない場合、タスクあたりのコストは21ドルから200ドル以上に増加する。
3. 15:39 - 19:34

   タスクの分類とコスト最適化の意思決定

   コストと知能のバランスを取るため、まずはパレート曲線のどこに自分のタスクが位置しているかを確認する。タスクを無制限の知能タスクと制限された知能タスクに分類することで、必要な知能の上限や予算に応じた最適なモデル選定が可能になる。小規模なプロトタイプでテストを行い、人工アナリティクスのOptimaなどのツールを活用して最適化を図ることが推奨される。

   • 開発者は知能のパレート曲線を利用して、予算と必要な知能のトレードオフを判断する必要がある。
   • タスクは、より高い知能が常に優れた結果をもたらす「無制限の知能タスク」と、恩恵がない「制限された知能タスク」に分類できる。
   • 人工アナリティクスは、ユーザーが独自のベンチマークを生成し意思決定をサポートする「Optima」という製品をリリースしている。