스크립트
00:00:00この夏最もスターを獲得した新リポジトリ、6週間で8万3000以上です。
00:00:05GoogleやMicrosoft、OpenAIからではなく、PewDiePieから登場しました。そう、あのPewDiePieです。
00:00:12Issueトラッカーを開くと、最も賛成票を集めているIssueには引用するとこう書かれています。
00:00:17「これは純粋なカオスだ」。そして別のコメントには「自分のマシンで動かすのすらマジで怖い」と。
00:00:22そこで、代わりに私が試してみます。一体これが何なのか見ていきましょう。
00:00:30プロジェクト名はOdysseus。単なる「もう一つのチャットUI」と呼ぶには控えめすぎます。これはセルフホスト型の
00:00:38AIワークスペースで、読み上げるのも大変なほど多くの機能を備えています。
00:00:44これらすべてを行いながら、セッション間を維持し、マシン上で1つのアプリとして動作します。
00:00:50GPLライセンスで、クラウドプランもサブスクもありません。チャットやメールはすべてシンプルなローカルデータに保存され、
00:00:56自分でバックアップできます。経緯を知れば納得です。昨年、PewDiePieは
00:01:02誰よりもローカルAIの沼にハマりました。改造した48GB 4090を10台積んだリグを組み、
00:01:09700億パラメータのモデルと、ボットの評議会を備えた「ChatOS」という自作UIを構築しました。
00:01:18ボットたちが結託し始めるまで回答に投票させていたのです。Odysseusはそれを一般向けに再構築したものです。
00:01:245月31日に公開され、48時間で3万スターを獲得。これが実のところ何なのか見ていきましょう。
00:01:30ワークフローを効率化するコーディングツールがお好みなら、ぜひチャンネル登録してください。動画を随時更新しています。
00:01:35では動かしてみましょう。MacならクローンしてDockerを実行するスクリプト1つで、
00:01:41すべてがセットアップされます。Grepするとターミナルに一時パスワードが表示され、ポート7000で共有されます。
00:01:48「admin」とそのパスワードでログインできます。画面には、黒背景に赤文字の等幅フォントという
00:01:52ターミナル風インターフェースが現れます。XDAは「奇妙だが素晴らしい」と評し、Hacker Newsのユーザーは
00:01:58「酷い」と呼びました。正直、この評価の割れ方こそがこのプロジェクトのすべてを物語っています。
00:02:03最初に開くのはクックブックです。Macのチップやユニファイドメモリをスキャンし、ここで実際に動作する
00:02:09ローカルモデルを教えてくれます。そしてLlama.cpp経由でダウンロードし、フルMetalアクセラレーションで提供します。
00:02:16この画面1つで1時間分の調べる手間が省けます。ボックスを自由にドラッグできるのも
00:02:22クールですが、次に面白いのはモデルの比較機能です。1つのプロンプトに対して
00:02:273つのローカルモデルを並べてブラインドテストできます。プロンプトを入力し、完了したら
00:02:34どのモデルが書いたか明かされる前に勝者を選べます。これがボット評議会です。なかなか
00:02:40面白いですね。コンテナ用のFastAPIアプリ「Odysseus」、ベクトルメモリ用の「ChromaDB」、
00:02:47同梱された検索エンジン「SearXNG」、通知用の「Nifty」で構築されています。この構成のおかげで、後ほど話す
00:02:54Deep Researchが有料APIゼロで動作します。自身のSearXNGで検索し、
00:03:00情報源を読み込み、引用付きレポートをすべてローカルでストリーミング返答します。メモリ記憶も本物です。今日伝えた事実を
00:03:06明日新しいセッションで尋ねても覚えています。メールクライアントはIMAP経由で受信トレイを整理し、
00:03:11返信の下書きを作成します。当然の理由からメールの同期は控えましたが、機能としては組み込まれています。
00:03:17統合カレンダーもあり、普通のカレンダーのように予定を追加できますが、LLMが
00:03:22それを直接読み取ることができます。ここで冒頭で触れたDeep Researchを実行してみます。
00:03:26質問を投げかけると、マルチステップのエージェントループが走ります。一番しっくりくる例えは「セルフホスト型
00:03:33クラウドプロジェクトに受信トレイがくっついたもの」です。公平を期して伝えておくと、エージェントループや
00:03:39クックブック、リサーチパイプラインは、OpenCodeやLLM Fit、
00:03:46AlibabaのDeep Researchからクレジットを明記して移植されたものです。これは巧みな組み合わせであり、完全な新規発明では
00:03:52ありません。そして、その必要もありません。ここでHacker Newsで投げかけられた「文字通りの疑問」に突き当たります。
00:03:58「なぜOpen WebUIを使わないのか？」。実に正論です。Open WebUIやLibreChatには、長年蓄積された
00:04:05安定したリリース実績があります。Odysseusが勝っているのは機能の広大さです。メール、カレンダー、定時実行エージェント、
00:04:11プッシュ通知、ハードウェアを認識するモデルマネージャーを1つにまとめたものは他にありません。ライセンス面でも
00:04:17違いがあります。Open WebUIのライセンスではブランディングを削除できず、Hacker Newsでも完全に
00:04:23オープンソースではないと指摘されていました。Odysseusは純粋なAGPLです。ですが、チャットとRAGだけが目的なら
00:04:30他のツールを使えば十分です。そこを議論するつもりはありません。さて、ここからが本当に聞いてほしい部分です。
00:04:34私はこのプロジェクトを推しているわけではないからです。一番上のIssueには「一体どうなってるんだ」と書かれています。
00:04:41LLMが吐き出した粗悪なコードのPRが800件マージされ、3万行のCSSファイル、無造作なインラインJavaScriptがあり、
00:04:49現時点で900件近いPRが開かれたままです。多くはAIが生成したもので、ファンから提出されたものもあります。
00:04:56タグ付けされたリリースはゼロです。ゼロです。絶えず変化する開発ブランチ、固定されていない依存関係を動かすことになるため、
00:05:03今日インストールしても、明日には全く別のアプリになっています。スター数の一部は間違いなく
00:05:07ファンによるものです。彼は1億1000万人の登録者を抱えていますが、スター数はコードレビューではありません。プロジェクト自身の
00:05:14脅威モデルを読んでみてください。エージェントはシェルアクセス、ファイルアクセス、メール送信権限を持ちます。彼らの言葉を借りれば
00:05:21「管理コンソールとして扱え」ということです。絶対にインターネットに公開しないでください。DockerのMac固有の課題として、
00:05:27DockerとmacOSがGPUに直接アクセスできないため、推論はCPUのみで実行されます。ですから、
00:05:32私の結論は2つあります。ローカルの遊び場としては最高ですが、本番環境の依存関係としては絶対にNGです。
00:05:39そして、その両面があっていいのです。しかし「単なるスパムコードだ」と切り捨てる人々が見落としている点があります。すでに300人以上が
00:05:45このプロジェクトに貢献しています。コミュニティの力でCODEOWNERSファイルが導入され、100件以上のコメントを集めた
00:05:52完全なアーキテクチャ改革案が作成されました。そして2日前、リポジトリは独自のGitHub Organizationへと移行しました。
00:05:59カオスで、混雑していて、不揃いですが、最近私が見たどのプロジェクトよりも活気に満ちています。
00:06:05私からの結論です。重要なのはコードではありません。正直、コードはそのリポジトリで
00:06:09最も重要度の低い部分です。重要なのは、1億1000万人の人々が、信頼する人物から「自分のマシンで
00:06:15独自のAIを動かし、自分のデータを所有できる」と聞かされたことです。AIのセルフホストは主流になりつつありますが、
00:06:20常にそれを信頼すべきとは限りません。このようなコーディングのコツやテクニックがお好きなら、
00:06:24ぜひBetterStackチャンネルを登録してください。それでは、次の動画でお会いしましょう。