PewDiePie 现在是软件工程师了...

BBetter Stack
컴퓨터/소프트웨어AI/미래기술

스크립트

00:00:00今年夏天最受关注的新开源项目,六周内收获了超过 8.3 万颗星。
00:00:05它不是来自 Google、微软或 OpenAI,而是来自 PewDiePie。没错,就是那个 PewDiePie。
00:00:12如果你打开它的 Issue 列表,赞数最高的 Issue 这样写道:
00:00:17“这简直是纯粹的灾难。” 还有一条评论说:“我甚至不敢在自己的电脑上运行它。”
00:00:22所以,我来帮大家踩这个坑,看看这到底是个什么东西。
00:00:30这个项目叫 Odysseus,把它仅仅称为“另一个 AI 聊天界面”未免有些小看它了。它是一个自托管的
00:00:38AI 工作区,据说能做到下面列出的这一大堆功能,多到我都念不过来。
00:00:44在实现所有这些功能的同时,它能跨会话保留数据,作为一个应用在你机器上运行。
00:00:50开源 GPL 协议,没有云端服务,没有订阅费。每一条聊天和邮件都保存在本地数据
00:00:56文件夹里,你可以随时备份。它的背景故事也解释了一切。去年,PewDiePie 沉迷
00:01:02本地 AI,比我们大多数人都狂热。他组装了一台拥有 10 张显卡的机架,用改装过的 48G
00:01:09显存 4090 运行 700 亿参数模型,还自制了一个名为 Chat OS 的界面,里面有一个 Bot 委员会
00:01:18对回答进行投票,直到这些 Bot 开始合谋对付他。Odysseus 就是那套系统的重构版,面向所有人发布。
00:01:24他在 5 月 31 日发布了这个项目,48 小时内获得了 3 万颗星。我们来看看它究竟如何。
00:01:30如果你喜欢能提高工作效率的编程工具,请务必订阅。我们一直在推出新视频。
00:01:35那么让我们运行它吧,因为在 Mac 上,真的只需要克隆仓库并运行 Docker 脚本,它就会
00:01:41搞定一切。用 grep 命令可以从终端获取临时密码,服务运行在 7000 端口。
00:01:48我可以用 admin 和那个密码登录。现在我们看到的是这种等宽字体、黑底红字的
00:01:52终端风格界面。XDA 评价它“怪异地好用”,而 Hacker News 的评论者却说它
00:01:58“糟糕至极”。老实说,这种两极分化的评价完美说明了这个项目的特质。
00:02:03第一站是 Cookbook。它扫描了这台 Mac 的芯片和统一内存,告诉我哪些本地
00:02:09模型可以实际运行,然后下载它们并利用 Full Metal 加速,通过 Llama CPP 提供服务。
00:02:16光是这一个界面就省去了捣鼓一小时的麻烦。我可以拖动这些框,
00:02:22挺酷的。但下一个有趣的特性是模型对比。同一个提示词,
00:02:27三个本地模型,并排盲测。我可以输入提示词,当生成完成后,
00:02:34我可以在揭晓具体模型前挑选出胜者。这就是 Bot 委员会,有点
00:02:40意思。整个架构建立在容器化的 FastAPI 应用 Odysseus、用于向量记忆的 Chroma DB、
00:02:47内置的 SearXNG 搜索引擎,以及用于推送通知的 Nifty 之上。正是这种组合,让深度研究(Deep Research)
00:02:54功能可以在零付费 API 的情况下运行,我一会再细说。它通过自带的 SearXNG 进行搜索,
00:03:00阅读来源,并流式返回带有引用的报告,全部在本地完成。它的记忆功能是实实在在的。今天告诉它一个事实,
00:03:06明天在全新的会话中问它,它依然记得。邮件客户端可以通过 IMAP 对你的真实收件箱
00:03:11进行分类并起草回复。出于显而易见的原因,我没有同步自己的邮箱,但功能确实内置了。
00:03:17这里还有一个集成日历,你可以像普通日历一样添加日程,但现在 LLM
00:03:22能够直接读取它。我可以在这里进入深度研究功能,也就是我刚才提到的。
00:03:26我可以向它提问,它会运行一个多步骤的 Agent 循环。如果要类比的话,它就像是
00:03:33硬生生贴上了收件箱功能的自托管云端项目。不过,有一点我也想客观看待,它的 Agent 循环、
00:03:39Cookbook 和研究流水线,都是在标明出处的前提下改编自 OpenCode、LLM Fit
00:03:46和阿里巴巴的 Deep Research。这只是一次熟练的拼装,并不是从零开始的发明,
00:03:52说实话,也没必要是从零开始。这就引出了 Hacker News 上被原封不动提出的问题:
00:03:58“为什么不直接用 OpenWebUI?” 这完全合理。OpenWebUI 和 LibreChat 在实际版本
00:04:05迭代上有着多年的成熟度。而 Odysseus 胜在功能包罗万象。没有其他工具能在同一个软件里
00:04:11同时提供邮件、日历、定时 Agent、推送通知和感知硬件的模型管理器。另外还有许可证的隐患,
00:04:17OpenWebUI 的许可证不允许你移除其品牌标识,正如 Hacker News 指出的那样,它不算完全
00:04:23开源。Odysseus 则是纯粹的 AGPL 协议。但如果你只需要聊天加 RAG 功能,
00:04:30那就用别的工具吧,这没什么好争论的。现在,来到你真正需要听的部分,
00:04:34因为我绝不是在推销这个项目。那个排名第一的 Issue 标题写着“这到底是在搞什么鬼”。
00:04:41它描述了 800 个合并进来的 AI 垃圾代码 PR、一个 3 万行的 CSS 文件、各种随机的内联 JavaScript,
00:04:49而现在,还有近 900 个开启状态的 PR,许多是 AI 写的,另一些则是粉丝提交的。
00:04:56项目没有任何标记的 Release 版本。零。你运行的是一个变动中的开发分支,依赖项未固定,
00:05:03今天安装,明天可能就会变成两个完全不同的应用。这些 Star 很大程度上源于粉丝效应,
00:05:07这是显而易见的。毕竟他有 1.1 亿订阅者,但 Star 并不等于代码审查。再看看项目本身的
00:05:14威胁模型。Agent 拥有 Shell 访问权限、文件权限以及发送邮件的能力。用他们的话说,
00:05:21把它当成管理员控制台对待。绝不要暴露给公网。Mac 上使用 Docker 还有一个特殊隐患,
00:05:27推理只能纯靠 CPU,因为 Mac OS 上的 Docker 无法调用原生 GPU。所以,
00:05:32我的结论有两个方面。作为一个本地试验场,它很酷;但作为生产环境的依赖,绝不行。
00:05:39兼具两者也很正常。但那些认为“它只是垃圾堆”的人忽略了一点。现在已有超过 300 人
00:05:45为这个项目做出了贡献。社区强行推进了一个 Codeowners 文件,撰写了一份完整的架构
00:05:52重构提案,引来 100 多条讨论。就在两天前,仓库迁移到了专属的 GitHub Organization 中。
00:05:59这个项目混乱、拥挤、参差不齐,但却比我好久没见过的几乎任何项目都更有生命力。
00:06:05所以,我的结论是:重点不在于代码。代码老实说是那个
00:06:09仓库里最不重要的东西。重要的是,1.1 亿人刚刚亲眼看到一个他们信任的人告诉他们:你可以
00:06:15在自己的电脑上运行属于自己的 AI,掌控属于自己的数据。本地自托管 AI 正在走向主流,
00:06:20但这并不意味着我们应该盲目信任它。如果你喜欢这类编程技巧和资讯,
00:06:24请务必订阅 BetterStack 频道。我们下期视频再见。

핵심 요약

PewDiePie 推出的开源本地 AI 工作区 Odysseus 在六周内斩获 8.3 万颗星,标志着自托管本地 AI 正在快速走向主流。

하이라이트

  • Odysseus 是由 PewDiePie 开发的自托管开源 AI 工作区,在发布后六周内收获了超过 8.3 万颗星。

  • 该项目采用 GPL 协议,所有聊天和邮件记录均保存在本地数据文件夹中,完全不产生云端服务费或订阅费。

  • 在 Mac 平台上,通过克隆仓库并运行 Docker 脚本即可在 7000 端口启动服务。

  • 系统内置 Cookbook 功能,能够自动扫描 Mac 的统一内存并下载匹配的本地模型,利用 Full Metal 加速提供服务。

  • 该项目的威胁模型极高,Agent 拥有 Shell 访问权限、文件权限以及发送邮件的能力,不建议直接暴露给公网。

  • 超过 300 人为该项目做出了贡献,代码库最近迁移到了专属的 GitHub 组织中。

타임라인

项目背景与核心特性

  • Odysseus 是一个开源的自托管 AI 工作区,不依赖云端服务且没有订阅费用。
  • 所有聊天和邮件数据均保存在本地文件夹中,支持跨会话保留数据。
  • 项目源于 PewDiePie 组装 10 张显卡机架并自制 Chat OS 的个人实践。

今年夏天,PewDiePie 推出的开源项目 Odysseus 在六周内获得了超过 8.3 万颗星。该项目没有云端服务,所有数据保存在本地。其背景源于他在去年对本地 AI 的狂热追求,曾使用拥有 48G 显存的 4090 运行 700 亿参数模型,并打造了 Bot 委员会系统。该项目在 5 月 31 日发布后,48 小时内即获得了 3 万颗星。

技术架构与功能体验

  • 在 Mac 上通过克隆仓库和 Docker 脚本即可快速部署,服务运行在 7000 端口。
  • Cookbook 功能可扫描硬件统一内存,自动下载本地模型并通过 Llama CPP 提供加速服务。
  • 系统集成了 Chroma DB 向量记忆、SearXNG 搜索引擎以及邮件和日历客户端。

运行部署过程相对直接,通过终端获取临时密码后即可登录黑底红字的终端风格界面。Cookbook 能够评估 Mac 芯片性能并运行本地模型,省去了繁琐的配置时间。同时,系统支持并排盲测的模型的对比功能。整个架构融合了 FastAPI、向量数据库、搜索引擎等组件,在零付费 API 的情况下支持零延迟的深度研究功能。

代码现状与安全风险

  • 代码库包含大量 AI 生成的代码和未固定的依赖项,目前没有任何标记的 Release 版本。
  • Agent 具备 Shell 访问、文件操作和邮件发送权限,具有较高的安全威胁模型。
  • 尽管项目混乱且参差不齐,但活跃的社区贡献和庞大的粉丝基数赋予了其极高的生命力。

排名第一的 Issue 指出了项目中的大量 AI 垃圾代码和庞大的 CSS 文件。由于缺乏正式版本和未固定的依赖项,它不适合作为生产环境的依赖。此外,由于 Mac 上的 Docker 无法调用原生 GPU,推理性能会受到限制。尽管代码本身存在混乱,但超过 300 人的贡献和持续的架构重构证明了其强大的社区生命力,也将自托管本地 AI 带入公众视野。

커뮤니티 글

모든 글 보기