私たちの小型モデルがファイナンス業務でOpusを撃破 - アレクサンダー・シェフチェンコ（Ramp）

Highlights

• RampにおけるLLMを使用するユースケースの数はこの1年間で123%増加した。

• 350億パラメータのQAN 3.5モデルのポストトレーニングにより、当時のフロンティアモデルであったOpus 4.6を上回る正確なタスク精度を達成した。

• 1万個の並列エージェントを用いたペネトレーションテストにより、最も深刻度の高い7つの脆弱性を発見しすべてパッチを適用した。

• オープンウェイトモデルは最高峰の推論モデルと比較して最大5分の1のコストで利用できる。

• カートリッジ技術により大量のコンテキストを20〜30倍以上圧縮してオフラインでKVキャッシュに格納できる。

Timeline

1. 00:12 - 03:35

   RampにおけるAI活用の現状とビター・レッスンの背景

   Rampは約3年前から応用AIチームにおいてLLMや機械学習を適用し製品を向上させてきた。常に新しいモデルがリリースされ安価で高速かつ優れた精度を提供できる状況は、まさにビター・レッスンのパターンである。2023年はガードレールやコンテキストの制限に苦しみながらもエージェントをリリースし、現在はさらに深い応用研究に取り組んでいる。

   • RampではLLMを使用するユースケースが1年間で123%増加した。
   • ユニットエコノミクスベースでは新しいフロンティアモデルの登場によりトークンコストが安くなっている。
   • 2023年当時はエージェント構築に膨大な労力が必要であったが、2026年現在はモデル性能の向上により容易になった。
2. 03:35 - 05:58

   特化型モデルの構築とOpus超えの達成

   スプレッドシートエージェントの利用拡大に伴い、大量のシートを処理する際の遅延や高コストな思考トークンが課題となった。そこでフロンティアモデルをオーケストレータとしつつ、特化型の高速な財務質問応答モデルを別途訓練することで、精度と速度の大幅な向上を実現した。

   • Ramp Sheetsの頭脳を応用し、財務質問応答モデルの訓練が行われた。
   • Prime Intellectとの提携により350億パラメータのQAN 3.5モデルのポストトレーニングが実施された。
   • 当時のフロンティアモデルであるOpus 4.6を上回るタスク精度とHaikuレベルの高速なレイテンシを両立した。
3. 05:58 - 10:09

   KVキャッシュの活用とエージェント型スウォームによるペネトレーションテスト

   月の締め作業など事前に必要なドキュメントが分かるタスクでは、夜間にコンテキストを圧縮して準備しておくカートリッジ技術が有効である。また、1万の並列エージェントによるスウォームを活用したセキュリティ検証により、自動かつ低コストで複雑な脆弱性を特定することが可能となった。

   • カートリッジ技術を用いることで大量のコンテキストを20〜30倍以上圧縮し夜間にKVキャッシュへ格納できる。
   • 1万個の並列エージェントを用いたペネトレーションテストにより深刻な脆弱性7件が発見され修正された。
   • オープンウェイトモデルを使用することで最高峰の推論モデルと比べて最大5分の1のコストで同等の検出率を維持できる。
4. 10:09 - 14:07

   プロダクトへの展開とRAMP Labsの研究ブログ

   研究成果から影響を受けたプロダクトとして、コストや利用状況を詳細に分析するトークン利用管理システムや、処理を最適化するRamp Routerが提供されている。さらに、事後学習のコストを償却するポータルの仕組みや、Datadog上のモニターを自動改善する研究など、多くの取り組みがX（@Ramplabs）やブログで紹介されている。

   • トークン利用管理システムにより勘定科目や税額控除を含めた詳細なLLMの利用状況が把握できる。
   • Ramp Routerは複数のルーティング戦略を備え、レイテンシとトークンコストを削減する。
   • ポータルと呼ばれる事後学習の成果転移や自己改善型モニタリングなどの研究成果が公開されている。