스크립트
00:00:00ステージにご登壇いただくのは、Hugging Faceの共同創業者であり最高科学責任者であるトーマス・ウルフさんです。
00:00:30皆さんこんにちは。オリブさん、こんにちは。ステージにお迎えできて嬉しいです。招いていただきありがとうございます。今日は皆さんにとって素晴らしい時間になると思います。先ほど、人工知能分析で現在2位のGLMをご覧いただいたばかりですからね。誰も使えないのでそれは置いておいて、今度は4位のモデルの登場です。つまり、トップモデルの数々、少なくともトップオープンソースモデルが連続で登場するわけです。
00:00:57そして私たちはとても幸運なことに、素晴らしい経歴を持つオリブさんをお迎えしています。彼女はアメリカのペンシルベニア州に来て、NYUのヤン・ルカン氏の研究室で博士号を取得し、JPAの研究に取り組んでいました。でも今日はJPAの話はやめておきましょうよね？それはまたの機会にして、当時同じくニューヨークにあったHugging Faceに加わる代わりに、彼女はMinimaxに参加することを決めたのです。
00:01:26世界中の新しいAI企業をまだご存知ない方のために補足しておきますと（現在64社ほどあると言われていますので、ご存知なくても無理はありません）、Minimaxは中国における「AIドラゴン」と呼ばれるトップ企業の1つです。現在非常に有名なDeepSeekをはじめ、Kimiを手掛けるMoonshot、Zhipu、そして先ほどご覧いただいたGLMなどがあります。
00:01:51このように新しいモデルがあり、そしてMinimaxがあります。どれも非常に優れており、トップの座を争う極めて優秀なチームです。
00:01:58Minimaxの最新リリースは、ちょうど6月明かりに発表されたM3で、当時のトップモデル、トップオープンソースモデルでした。
00:02:08非常に印象的ですね。このモデルには非常に興味深い点がたくさんあるので、さっそく掘り下げていき、Minimaxの特別なところや優れた点について少し話していきましょう。
00:02:20そうですね。ではオリブさん、はじめに、M3についてのあなたのお考えや、このモデルの気に入っている点、リリースはいかがだったかなどについて少し教えていただけますか？
00:02:32はい、M3は今月初めにリリースしました。総パラメータ数が約4000億、活性化パラメータが200億の比較的小さなモデルです。
00:02:45しかし、コーディングのパフォーマンスとビジョンの理解力の両方の面で非常に高い能力を持っています。
00:02:52オープンソースモデルが通常持っていない点として、このモデルはコーディングだけでなく、動画や画像も理解することができ、100万という超ロングコンテキストを備えています。
00:03:09私たちがMSA（Minimax Sparse Attention）と呼ぶ新しいアーキテクチャによって実現しています。将来のAIアプリケーションにおいて非常に重要となる、コーディング能力という3つの要素を本当に組み合わせました。
00:03:26エージェントとしての能力、より長いコンテキスト、そしてマルチモーダルな理解です。はい、それがこのモデルの非常に興味深い点だと思います。
00:03:35このモデルには語るべきことがたくさんあり、トップ5のオープンソースモデルの中で実際にマルチモーダルである唯一のモデルだと思いますので、その点について話す必要がありますね。
00:03:45ですがまずはロングコンテキストについてですね。というのも、本当に実用的な100万トークンのロングコンテキストを初めて実現したモデルでもあったからです。
00:03:54そして皆さんには、それを効率的にするための手法であるMinimax Sparse Attentionもあり、それについても広く公開・共有されていますよね。
00:04:04ですから、これについて、アテンションからどのようにプロジェクトが進み、このロングコンテキストを実現したのか少しお話しいただけますか？
00:04:11そうですね、ロングコンテキストに関するストーリーは、Minimax M1やMinimax 01の時代にまで遡ります。当時からモデルは1,000万トークンのコンテキストを処理するタスクを実行できました。
00:04:251,000万ですか。1,000万です、はい。しかし当時はエージェントモデルではありませんでしたよね？例えば、本を丸ごと入力してそれに対するレビューを生成するといった使い方が主でした。
00:04:37私たちが気づいたのは、コンテキストが長くなることで、特にユーザーと対話する際に多くの能力が解放されるということでした。
00:04:47そして現在、エージェントが環境全体と対話し、すべてのツール応答を受け取り、マルチターンをこなす中で、短いコンテキストでは複雑なタスクを遂行するには不十分なのです。
00:05:03そのため、今回のバージョンでは「より長いコンテキストを復活させなければならない」と考えました。
00:05:09そこで私たちが追求したのが、スケーラブルでありながらシンプルなデザインを持つMinimax Sparse Attentionです。
00:05:23より高い視点から説明すると、コンテキスト内で何がより重要であるかを高レベルで選択するインデックスブランチを備えています。
00:05:36そして、選択されたブロックに対して計算を実行し、実際にタスクを遂行するSparse Attentionブランチがあります。
00:05:44このようにして、長さをスケールさせ、将来的にモデルサイズもスケールさせることができるような、エレガントなアーキテクチャを本当に設計しました。
00:05:57素晴らしいですね。この分野に長く携わってきた者として、私たちはアテンションに関する多くの研究を行ってきましたよね。
00:06:03このN乗の計算量や、多くの線形アテンションがありました。
00:06:06ええ。
00:06:06そして、これらすべてがいつの間にか消えていきました。
00:06:09Flash Attentionが登場したとき、私たちは単により効率的なカーネルが必要なのだと発見しました。
00:06:13そして今、第一原理に立ち返り、アテンションとは何かを考える原点に戻っているのが気に入っています。
00:06:18どうすればそれをより効率的にできるでしょうか？
00:06:20100万トークンというのはすごいですよね。GPT-2は1,024で、誰もが「わあ、本当に大きいね。これ以上必要になることは絶対にないよ」と思っていました。
00:06:28これが将来的にどうなっていくとお考えですか？ジェフ・ディーンは先日、1兆トークンのアテンションについて私に話していました。
00:06:35私たちは1兆トークンのアテンションに向かうべきだと思いますか？
00:06:38それは間違いなく私たちが探求できる方向性の1つであり、コンテキストの超長文化は間違いなくそうです。
00:06:45探求するのが非常にワクワクすることであり、ハードウェアとともにアーキテクチャの設計において多くの研究が必要とされる分野です。
00:06:54ええ。
00:06:55まだ手をつ付けやすい簡単な成果（ローハング・フルーツ）がたくさんあると思いますか？
00:06:57今日、OpenAIが実際に行っているように、手法の詳細はわかりませんが、おそらくアテンション周辺のより効率的な処理を行うことで、推論コストを半分に削減しているのを見かけます。
00:07:08処理方法を改善することで得られる簡単な成果は、まだたくさんあるとお考えですか？
00:07:14M3について非常に興味深い点の1つは、スパースアテンションのおかげで、あるいは部分的には小さなモデルであるからこそコストが非常に低いことですが、同時に非常に効率的でもあります。
00:07:22そうですね。
00:07:23もっと先に進むことができると思いますか？
00:07:25そもそもMinMax Sparse Attentionはどのようにして発明されたのでしょうか？
00:07:29エージェントがそのアイデア思いついたのですか？
00:07:31それともやはり人間が思いついたのですか？
00:07:33そのあたりについて少し教えてください。
00:07:35はい。
00:07:36モデルの効率を高めるために、特にタスクに非常に敏感でありながら強力な能力が求められるタスクがある場合、アーキテクチャや推論の最適化にまだまだ多くの労力を注ぐことができると考えています。
00:07:52そしてそのような種類のタスクに対して、私たちはモデルを本当に効率的にしたいのです。
00:07:56そして、この部分を考え出したのは誰ですか？
00:07:59実は、私たちのチームのインターン生がそれに取り組んだのです。
00:08:02私もです。
00:08:03まだインターンではありませんが。
00:08:04多くのラボではそのようなことは通常起こりません。というのも、一部のラボではインターン生はデータや仕事などにアクセスさせてもらえないからです。
00:08:15ですが、はい、私たちはモデルに貢献したいと思うすべての人に対してオープンです。
00:08:20そのため、このアーキテクチャは実際にはインターン生によって設計されました。
00:08:23それはとても素晴らしいですね。
00:08:24インターン生にもまだ活躍の場がありますね。
00:08:26良いニュースですね。
00:08:27MinMaxの内部での働き方についても、良いきっかけになるお話です。
00:08:32登壇前に、誰もがプロジェクトを提案できるという話をしていたのですが、
00:08:37どのように組織され、どのように研究を進めているのか教えていただけますか？
00:08:41学校や、あるいはこれまでの、何と言うか、
00:08:49従来のハイテク企業ともかなり異なっていると思います。
00:08:51かなり違いますね。
00:08:53私たちが確実にしているのは、誰もがモデルをいじって、
00:09:04モデルのどこを改善できるか考えられるよう、優れた基盤とインフラを整えることです。
00:09:07そしてモデルリリース後、時間があるときにモデルをいじって、
00:09:13独自の評価について考えることができます。
00:09:15独自の弱点を見つけ、モデルで改善したい点を提案できるのです。
00:09:21それに興味を持った他の人たちが、プロジェクトに参加を提案します。
00:09:26そして数週間、あるいは数か月にわたって作業に取り組みます。
00:09:29成果が出ると、最終的なものが私たちのモデルに組み込まれます。
00:09:33最終トレーニングで使用され、ユーザーのもとへと届けられるのです。
00:09:39面白いですね。
00:09:39では、本当に長い時間をかけてプロジェクトに取り組むこともあるわけですね。
00:09:42数か月となると、可能性についての非常に深い探求になり得ますね。
00:09:46はい。
00:09:47例えば、アーキテクチャにはより長時間の調査、研究、
00:09:53実験、さらには事前学習の評価のやり直しが必要になる場合もあります。
00:09:57はい。
00:09:58そのため、より長い時間がかかることもあります。
00:10:00それは本当に素晴らしいですね。
00:10:01ええ。
00:10:02評価についても非常にお力を入れていると聞いています。
00:10:03その通りですね。
00:10:04その話もできますね。
00:10:05おそらくそれに関連することとして、M3とチームが持つユニークな特徴があります。
00:10:11マルチモーダリティについての点です。
00:10:12つまり、テキストだけでなく、画像や動画もこのモデルは理解できるということです。
00:10:16Hugging Faceのモデルカードを読むと、私の理解では——もっと詳しく説明していただけますが——
00:10:21このモデルは後から追加されたものではなく、最初からマルチモデルとして訓練されたとあります。
00:10:26そうですよね？
00:10:27はい。
00:10:28それについて、なぜそれが重要だと思われるのか、もう少し詳しく教えていただけますか？
00:10:33なぜ単なる後付けではなく、最初からマルチモデルのトレーニングを始めているのでしょうか？
00:10:37私たちはこれを「ネイティブ・マルチモーダリティ」と呼んでいます。
00:10:41他の多くの研究室では、マルチモデル、例えば視覚理解の能力をトレーニングするのは、
00:10:50テキストの事前学習が終わった後であることがよくあります。
00:10:54アダプターを組み込んでから、その部分をトレーニングするのです。
00:10:57しかし私たちがわかったのは、それではかえってテキストのパフォーマンスが低下するということです。
00:11:02また、モデルがテキスト理解のほうに収束してしまうため、視覚理解のパフォーマンスもうまく収束しません。
00:11:08それは最も最適とは言えず、スケーラブルでもありません。
00:11:11考えてみれば、私たちはデータをスケールさせたいわけですよね？
00:11:17それに、事前学習の途中でこの能力をトレーニングする研究室もあります。
00:11:20例えば、継続事前学習などです。
00:11:27しかし私たちが気づいたのは、それでは非常にレシピに敏感になってしまうということです。
00:11:29アーキテクチャが異なればレシピも異なり、データミックスが異なり、
00:11:35学習率も異なります。
00:11:41制御が難しく、実験結果や結論をより大きなモデルにうまくスケールさせることができません。
00:11:43そこで私たちは考えました。なぜ最初の一歩からトレーニングしないのかと。
00:11:52それが最も自然なことなのです。
00:11:54多くの研究室がそのやり方で問題に直面しているのは知っています。
00:12:01テキストと視覚理解の両方のトレーニングで、数ステップ後にモデルが崩壊してしまうのです。
00:12:03しかし、私たちはその問題を解決することができました。
00:12:07ITの面で多くの作業を行い、実際にトレーニングするデータについても多くの工夫を凝らしました。
00:12:15例えば、インターリーブデータと呼ばれるものを使用しています。
00:12:18それは実際のデータですが、画像や動画をマスクして隠すのではなく、そのまま残しています。
00:12:26そして、データに対して非常に優れたクレンジングとマスキングを行っています。
00:12:30また、非常に優れた報酬モデルを構築しているため、最初の一歩からトレーニングでき、大幅にスケールアップできるのです。
00:12:38データに対して非常に優れたクリーニングとマスキングを行い、
00:12:42優れた報酬モデルを構築することで、最初のステップから学習させ、大幅にスケールアップさせました。
00:12:50ええ、崩壊することはありません。
00:12:52それは本当に印象的ですね。
00:12:53印象的です。
00:12:54将来的にさらに大型のモデルを期待して良いでしょうか？
00:12:57今回のはまだかなり小規模ですよね？
00:12:594,280億パラメータで、アクティブなのは230億です。
00:13:04それでは、1兆を超えるとお考えですか？
00:13:08間違いなく。
00:13:09ええ、将来的に間違いなく超えるでしょう。
00:13:12パラメータが少ないと、モデルが非常に優れたパフォーマンスを発揮できないタスクが多々あります。
00:13:21私たちは間違いなく、これよりもさらに野心的に取り組んでいきます。
00:13:25それは素晴らしいですね。
00:13:26楽しみです。
00:13:27そして、ミニマックスに関して私がいつも魅力的だと感じるもう一つの興味深い点は、アプリやプロダクトのラインナップも非常に豊富だということですよね？
00:13:36ミニマックスが昨年の1月にHugging Faceプラットフォームでオープンソースの提供を始めたのは既に覚えています。
00:13:43つまり、それは18か月前のことですね。
00:13:45そして、皆様が何をしているのかを理解するために、チームと少しお話ししました。
00:13:48その時、これらのアプリの一部ですでに膨大な利用実績があることを知りました。
00:13:54これがどのように始まったのか、少し教えていただけますか？
00:13:57つまり、基本的に多くのアプリを持っていて、「これだけのデータがあるんだから、
00:14:02モデルを訓練してみてはどうか」と考えたのでしょうか？
00:14:03そして研究チームを立ち上げたのでしょうか。
00:14:05その経緯はどのようなものだったのですか？
00:14:07私たちのストーリーは、最初の日からモデルが中心でした。
00:14:11マルチモーダルモデル、つまりすべてのビジョンを理解し、すべてのモダリティを出力できるモデルこそが、
00:14:19会社が設立される前ですら、CEOが初日に計画していたことでした。
00:14:25それがAGIの夢だったのです。
00:14:27ChatGPTが登場するよりもずっと、非常に早い時期だったと思います。
00:14:30なるほど。
00:14:31ええ。
00:14:32そしてアプリというのは、後からついてきたものです。
00:14:35モデルの能力があるのだから、人々にその素晴らしさを体験してもらいたいと考えました。
00:14:40APIだけで使える人は多くありませんよね？
00:14:43誰もがAPIを通じて体験できるとは期待できません。
00:14:46そのため、優れたユーザーインタラクション、優れたインターフェース、優れたアプリ、そして人々がモデルを体験できるような優れたシナリオが必要でした。
00:14:57現在、これらのアプリは世界約200か国で3億人以上の人々に利用されていると思います。
00:15:06そして100万社を超える企業でも利用されています。
00:15:09ええ。
00:15:10その規模を聞いたときは本当に驚きました。
00:15:12私たちはこのような利用規模の大きさを普段あまり意識していません。
00:15:17そこから、オープンソースのビジネスモデルなどの話題につながるのですが、これは常に存在する疑問で、モデルをオープンソースにするのは良いことですが、同時に何らかの収益源も確保する必要がありますよね？
00:15:33ですので、例えばM3を無料で提供することに決めたのだと思います。
00:15:38そしてそれは世界にとって素晴らしいことだと思います。
00:15:41この点についてどうお考えですか？
00:15:42アプリ用にも何か特定のモデルをお持ちですか？
00:15:45将来もモデルのオープンソースを続けるとお考えですか？確実に言うのは難しいかもしれませんが。
00:15:52現在のオープンソースに対する文化はどのようなものでしょうか？
00:15:55個人的にも、またモデル研究チームとしても、私たちは常にモデルをオープンソースにしたいと願っています。
00:16:01それが私たちの計画です。オープンソースコミュニティが協力することで、モデルをより良く構築できると強く実感しているからです。
00:16:09例えば、素晴らしいコミュニティからモデルのパフォーマンスに関する多くのフィードバックをいただき、私たちがオープンソース化したものに対してもプルリクエストが寄せられますよね。
00:16:20それらは非常に価値が高く、その後のバージョンに活かされています。
00:16:24ですから、オープンソース化は間違いなく素晴らしいことです。
00:16:27素晴らしいですね。
00:16:28ところで、M3やミニマックスを利用しているオーディエンスに対して、何か要望はありますか？
00:16:33フィードバックとして送ってほしいことは何かありますか？
00:16:37例えば、ユーザーがモデルを修正したり、いろいろと試行錯誤したりしている様子をご覧になったりしますか？
00:16:43あるいは、将来のモデルのためにコミュニティから得られる最も良いものは何だと思われますか？
00:16:51ユーザーが直面しているあらゆる課題、特にマルチモーダルに関する課題ですね。
00:16:57これらを組み合わせるのは今回が初めてのことです。
00:16:59将来的にはさらに野心的に取り組んでいきます。
00:17:03現時点ではいくつか欠点があるかもしれませんが、現在改善を進めています。
00:17:06ですので、モデルのパフォーマンスが芳しくないというフィードバックがあれば、将来のバージョンで必ず改善していきます。
00:17:13また、ユーザーが求めている機能についても同様です。
00:17:17例えば、思考プロセス（シンキング・エフォート）などが挙げられますよね。
00:17:21それを求める声もあります。
00:17:23誰もが要望を出すことができ、将来のモデルでそれを実現できるように努めます。
00:17:28ええ。
00:17:29コーディングエージェントの観点で、すでにマルチモーダルを多用しているユーザーは多いと感じますか？
00:17:33少し未開拓な部分があるように感じます。
00:17:37そうですね。
00:17:38その通りです。
00:17:39しかし、これは実際には多くの機能や多数のエージェントアプリケーションの可能性を切り開くものです。
00:17:47例えば、モデルにパワーポイントを読ませたいとしますよね。
00:17:51あるいは、あまり構造化されていないレポートを読ませたい場合などです。
00:17:55そして、非常に長い動画を理解させたいとします。
00:17:58例えば、長時間のプレイ動画を視聴した後に、モデルが内容を理解した上で何らかのツールを使って動作するようにしたい場合などです。
00:18:07これにより、多種多様なエージェントのユースケースが広がります。
00:18:12つまり、エージェントがついに私のYouTubeチュートリアルを視聴して、コーディングツールの使い方や私の説明を理解できるようになるということでしょうか？
00:18:18そのような感じでしょうか？
00:18:19はっ？
00:18:20エージェントがついにYouTubeのチュートリアルを視聴して、そこから物事を理解できるようになるということですか？
00:18:24ええ。
00:18:25はい。
00:18:26そう思います。
00:18:27内部でも多くのエージェントコーディングツールを使用していますか？
00:18:30つまり、コーディングはもちろんですが、研究の面でもすでに活用されているのでしょうか？
00:18:34自動化されているのですか？
00:18:35はい。
00:18:36部分的にですか？
00:18:37それとも違いますか？
00:18:38これはどのように機能しているのですか？
00:18:39はい。
00:18:40私たちには独自の研究用ハーネスがあります。
00:18:42ワークフローを自動化する独自の研究用ハーネスを構築しているのです。
00:18:46私たちのワークフローの多くは自動化されていると言えます。
00:18:49最新のフロンティアモデルがすべて、能力向上のためのカーネル最適化を追求していることがお分かりいただけるかと思います。
00:18:57例えば、モデルに他のモデルを評価させたりします。
00:19:00モデルにデータを構築させたり、自動データ生成を行わせたりするのです。
00:19:05M3を含め、より多くのモデルがそうしたタスクをこなせるようになっていることがわかります。
00:19:10実際、私たちはそうしたユースケース、つまり長時間のコンテキスト処理やカーネル最適化に非常に長けています。
00:19:16そのため、そのモデルの能力を活かし、ハーネスと組み合わせることで、日々のルーティンワークを支援し、
00:19:24イテレーションをさらに高速化することができます。
00:19:26M3チームはすでにM4を構築しているのですか？
00:19:30M3.1を構築しています。
00:19:31M3.1ですか？
00:19:32はい。
00:19:33なるほど。
00:19:34まだ先の話ではなく。
00:19:35すでに進めています。
00:19:36最後に、来月に向けてどのようなことにワクワクしているか伺って締めくくりたいと思います。
00:19:41どう思われますか？
00:19:42機能の面であったり、AIの分野で実現してほしいこと、あるいはもっと一般的に
00:19:49ご自身の頭の中で今一番気になっていることなどについて教えてください。
00:19:54ワクワクするようなことはたくさんあります。
00:19:58ただ、最近私が最もエキサイティングだと感じているのは、多くの
00:20:04AIアプリケーションで採用されているマルチエージェントやモデルルーティングであり、それがさらなる能力や
00:20:11さらに複雑なタスクを可能にする点です。
00:20:13また、モデルに何ができて何ができないのかを教えてくれる点でもあります。
00:20:19それによって、さまざまなことができるようになります。
00:20:22とてもエキサイティングです。
00:20:24アライブさん、本当にありがとうございました。
00:20:25お迎えできて光栄でした。
00:20:26呼んでいただきありがとうございます。
00:20:27皆さん、ありがとうございました。
00:20:28皆さん、ありがとうございました。
00:20:29皆さん、ありがとうございました。
00:20:29ありがとうございます。
00:20:29皆さん、ありがとうございました。
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기