自社独自のAIモデルを育成すべき理由 - ウィル・ブラウン（Prime Intellect）

하이라이트

• 組織のライフサイクル全体にわたってエージェントが深く統合された企業は、組織的な知識や優位性を複利的に高めていくことができる。

• Paper Instruments社は30万ドルをかけてモデルをトレーニングし、スプレッドシートやスライドといったナレッジワークにおいてパレートフロンティア最適と言えるモデルを作成した。

• 日中は推論リソースをエージェントの処理に割り当て、夜間は余剰リソースをトレーニングに充てることで、真の継続学習を実現できる。

• エージェントは膨大な量の非構造化テキストデータを調べ上げ、非効率なワークフローを表面化させる能力に長けている。

타임라인

1. 00:00 - 06:00

   組織におけるAIの進化と現状の課題

   ChatGPTの登場以降、推論モデルからエージェントへと技術は急速に発展してきた。企業内には明文化されていない暗黙知や摩擦のポイントが多く存在し、従来のコンテキスト内学習やプロンプトだけでは、人間の同僚のような組織的知識をモデルに蓄積することが難しいという課題がある。

   • エージェントやインターフェースの分野で急速な進展が見られる。
   • 企業の歴史や暗黙知は人々の頭の中やメール、関係性の中に存在している。
   • エージェントは非構造化データから非効率なパターンを見つけ出す能力に長けている。
2. 06:00 - 11:14

   コンテキストからウェイトへの移行とトレーニングの役割

   エージェントに毎回同じ指示を出したり同じミスを繰り返さないよう伝えたりするのではなく、モデルのウェイト自体に永続的に学習させることが求められる。人間の専門知識が複雑なパイプラインを経由してモデルに反映される現状を改善し、日々の業務からのフィードバックを直接トレーニングに統合する必要がある。

   • モデルのキャッシュ率が向上しても、膨大な入力の再処理コストがボトルネックとなる。
   • 好みや摩擦、ヒューリスティクスといった要素はコードではなくデータとして存在する。
   • 現在のモデル改善パイプラインは多くのステップを経ており、比較的非効率である。
3. 11:14 - 20:06

   継続学習の実践とモデルの自己改善ループ

   組織がモデルから価値を引き出すためには、トレースや評価を活用した継続学習の導入が効果的である。決定モデルや動的UIのウィジェットカード機能を通じて人間から得たフィードバックをラベルとして機能させ、モデルを直接向上させることができる。オープンモデルを活用して自社のドメイン知識をトレーニング設定に変えることで、強力かつパーソナライズされたシステムを構築可能である。

   • コードベースのようにモデルを扱い、テストケースとしての評価を活用することが有用である。
   • Paper Instruments社は30万ドルでナレッジワークに特化した最適モデルを構築した。
   • 昼間は推論、夜間はトレーニングにリソースを配分することで継続学習が現実のものとなる。