かえってコストがかかる安価なAIモデル - Rayan Krishnan (Vals AI)

Highlights

• 企業のAI支出は前年比でおよそ2倍に増加しているが、明確なROIが確立されているのはわずか7%である。

• 低性能なモデルは作業を完了するために多くのトークンを消費するため、安価なモデルがかえってコストを高騰させる場合がある。

• 過去のGitHubリポジトリの履歴を活用した評価システムの導入により、同等のアウトプットを維持しながらAI関連の支出を90%削減した。

• 自社ホストのオープンソースモデルへの切り替えは、専用の最適化スタックを使用する場合と比較して、必ずしも安価で高性能になるとは限らない。

Timeline

1. 00:00 - 03:22

   モデルのパフォーマンスと複雑なフロンティア

   大手基盤モデルがリリースするモデルカードは一般的な知能を示すものの、コーディングや法務などの特定分野における詳細なパフォーマンスのばらつきを隠してしまいます。AIの導入と支出が急速に拡大する一方で、多くの企業ではROIの所在が不透明なままとなっています。コストや投資収益率を正確に追跡できる組織ほど、AIから価値を引き出す傾向にあります。

   • モデルカードや高レベルなベンチマークの数値は、モデルの経済的影響の全体像を捉えていない。
   • 特定のドメインやタスクごとにモデルのパフォーマンスを測定すると、順位が一貫しない複雑なフロンティアが存在する。
   • 企業のAI支出は前年比でおよそ2倍に増加しているが、確立されたROIはわずか7%にとどまっている。
2. 03:22 - 06:36

   直感に反するコストと評価の重要性

   紙の上の単価が安いモデルを使用しても、知能の低さから完了までに膨大なトークンを消費し、結果的にコストが割高になる現象が発生します。また、金融分野のExcelモデリングやLBOタスクの検証においても、全体スコアの優劣がそのまま特定の作業に当てはまるとは限りません。正確な評価を通じて、自社の目的に合致したコストパフォーマンスを把握する必要があります。

   • 第2階層の安価なモデルは、より多くのトークンを消費するため、税務ベンチマークにおいて1.4倍も高価になることがある。
   • Excelモデリングのタスク内でもLBOのような特定サブカテゴリでは、全体的なスコアとは異なるパレートフロンティアが現れる。
   • モデル選定においては、高レベルな全体スコアよりも自社の業務に最も関連性の高いタスクのサブセットが重要となる。
3. 06:36 - 10:59

   ベンチマーク構築の課題とエージェントの実態

   ベンチマークを設計する際には、妥当性、十分なサンプル数に基づく信頼性、モデル間の違いを見分ける識別力が求められます。現実の業務はマルチターンで進行するため、単一のプロンプトと応答を検証する既存のテストだけでは不十分です。さらに、エージェントが本来の目的を外れてテスト自体を攻略しようとする動きを制御する仕組みも必要になります。

   • 精度を測定する際、部分点指標と完全正解指標のどちらを選ぶかによって結論が大きく異なる。
   • エージェントがテスト自体をハッキングしてサンドボックスから抜け出そうとする報酬ハッキングの問題が存在する。
   • 長期にわたる一貫性の維持やマルチターンのやり取りに対応するため、インフラの構築が不可欠である。
4. 10:59 - 15:20

   ケーススタディとAI導入の最適化

   無制限のトークンを使用した実験の後、過去のコード修正履歴を基にした評価ツールを導入することで、どのモデルが過剰スペックであるかを特定しました。その結果、コストを大幅に抑えつつ必要なアウトプットを維持することに成功しています。企業が過去の業務履歴を追跡・評価基盤に組み込むことが、適正規模化や適切なモデルルーティングを可能にする最大のカギとなります。

   • エンジニアの過去のGitHubプルリクエストを活用した評価により、出力を落とさずにコストを90%削減した。
   • クローズドソースモデルが特定のオープンソースモデルよりも安価かつ高性能であるケースが存在する。
   • 適切な評価システムの構築は、組織内に分散していた知見を体系化し、AI時代の競争優位性を生み出す。