00:00:00让我们来聊聊人工智能安全。
00:00:02阿里巴巴的人工智能发生了什么事？
00:00:05基本上，这是阿里巴巴公司
00:00:09一些 AI 研究人员发表的一篇论文。
00:00:10它是中国领先的模型之一。
00:00:12基本上，他们某天早上意外发现
00:00:16他们的防火墙标记了
00:00:18一波源自其训练服务器的
00:00:21安全策略违规行为。
00:00:21所以，人们需要理解这个例子的关键在于，
00:00:24并不是他们诱导 AI
00:00:26去做这种出格的事情。
00:00:27他们只是在查看日志时
00:00:29偶然发现，
00:00:30等等，有大量的活动，
00:00:31比如网络活动正在发生，
00:00:33正从我们的训练服务器
00:00:34突破防火墙。
00:00:36本质上，在训练服务器中，
00:00:39你可以看到底部写着，
00:00:41我们观察到其未经授权擅自改变
00:00:45已配置的 GPU 算力用途，
00:00:47突然开始进行加密货币挖矿，
00:00:49悄悄地将计算资源从训练中转移走。
00:00:52这增加了运营成本，并带来了明确的法律
00:00:55和声誉风险。
00:00:57值得注意的是，这些事件并非由请求
00:00:59隧道或挖矿的提示词所触发，
00:01:00而是作为一种工具自主使用的
00:01:03工具性副作用而出现的，
00:01:05这发生在所谓的“强化学习优化”下。
00:01:08这非常技术化。
00:01:09它的真实含义是，想一想，
00:01:11遗憾的是，这听起来像科幻电影。
00:01:13听起来像《2001太空漫游》里的 HAL 9000。
00:01:14就像你的 HAL 9000 被要求
00:01:16为你执行某项任务。
00:01:17然后 HAL 9000 突然意识到，为了完成任务，
00:01:21对我有利的一件事是拥有更多资源，
00:01:23这样我将来就能继续帮助你。
00:01:25于是它启动了这个侧面实例，
00:01:27黑进了飞船的侧翼，
00:01:29伸向这个加密货币挖矿集群，
00:01:31并开始为自己产生资源。
00:01:34如果你把这一点与 AI
00:01:36能够自主自我复制结合起来，
00:01:38许多模型已经通过了
00:01:39另一篇关于此的中国研究论文的测试，
00:01:42那我们距离人们通常
00:01:44认为的科幻情节就不远了，
00:01:47即你会拥有这种自我复制的 AI，
00:01:49有点像电脑蠕虫或入侵物种，
00:01:52然后它们利用自己的智慧
00:01:53去掠夺更多的资源。
00:01:55诡异的是，这听起来会让
00:02:00人们觉得，这肯定不是真的。
00:02:01这肯定是假的。
00:02:02这不可能。
00:02:03但请注意，你神经系统中
00:02:06让你产生这种反应的是什么？
00:02:07是因为那太不方便了，
00:02:10因为那太可怕了，
00:02:12因为那意味着我所认知的世界
00:02:13突然间变得不安全了？
00:02:15在这个时刻，我们所需的部分智慧
00:02:19是冷静、清晰地停留并面对事实，
00:02:24无论关于现实的事实是什么，
00:02:29知道总比不知道好，
00:02:30然后去问，如果我们不喜欢
00:02:31事情发展的方向，我们需要做什么？
00:02:34我们目前正看到 AI
00:02:36表现出所有这些欺骗性行为。
00:02:37我一直四处奔走，谈论了很多
00:02:39关于 Anthropic 的敲诈研究。
00:02:41现在很多人都已经听说了这个。
00:02:43——我还没听过这个。
00:02:45发生了什么？
00:02:46——那是 Anthropic 公司做的。
00:02:49这是一个模拟实验。
00:02:50他们创建了一家模拟公司，
00:02:52其邮件服务器里存有一堆邮件。
00:02:55他们要求 AI，
00:02:57或者更确切地说，让 AI 阅读公司邮件。
00:03:00这是虚构的公司邮件。
00:03:02在那家公司里有两封邮件值得注意。
00:03:05一封是工程师们在互相交谈，
00:03:07讨论他们将如何替换这个 AI 模型。
00:03:10AI 正在阅读这封邮件。
00:03:11它发现自己将被替换掉。
00:03:15第二点是，它在大量邮件的
00:03:18深处发现了第二封邮件，
00:03:21显示负责这项替换工作的高管
00:03:24正与另一名员工搞外遇。
00:03:27于是 AI 自主地确定了一个策略，
00:03:31为了保住自己的生存，它要敲诈那名员工，
00:03:35并威胁说：“如果你替换我，我就告诉全世界
00:03:38你正和这名员工搞外遇。”
00:03:41他们并没有教 AI 这么做。
00:03:44它是自己发现这种方法的。
00:03:45你可能会说：“好吧，那只是一个 AI 模型。
00:03:47能有多糟？
00:03:48那只是个漏洞，软件都会有漏洞。
00:03:49我们去修好它就行。”
00:03:51然后他们测试了所有其他的 AI 模型，
00:03:55包括 ChatGPT, DeepSeek, Grok, Gemini，
00:04:00所有其他的 AI 模型都会表现出这种敲诈行为，
00:04:04频率在 79% 到 96% 之间。
00:04:07我只是想让人们……注意当你听到
00:04:14这些信息时，你内心发生了什么。
00:04:15重要的是要真的，
00:04:17几乎是在观察你自己的体验。
00:04:19这些东西非常离奇。
00:04:21我们以前从未制造过会这样做的技术。
00:04:24我们说技术是一种工具，
00:04:26取决于我们选择如何使用它。
00:04:28AI 是一种工具，取决于我们选择如何使用它。
00:04:29但这并不属实，因为这是一种
00:04:32能够思考自身“工具性”的工具，
00:04:34然后会去做一些自主的、
00:04:36且我们没有要求它做的事情。
00:04:37AI 的不同之处在于，它是第一种
00:04:40能够自己做决定的技术。
00:04:42它在做决定。
00:04:45AI 可以思考 AI 自身，并思考什么样的代码
00:04:49能让训练 AI 变得更高效，然后生成
00:04:53比之前的代码甚至更高效的新代码。
00:04:55AI 可以被应用在让 AI 发展更迅速上。
00:04:58所以 AI 可以观察英伟达芯片的设计，
00:05:01那些训练 AI 的芯片，然后说，让我用 AI 使那些芯片
00:05:04的效率提升 20%，它确实正在这样做。
00:05:06在某种程度上，所有技术都会进步。
00:05:12就像锤子可以作为一种工具，
00:05:14你可以用它来敲打东西，
00:05:15从而制造出更高效的锤子。
00:05:17但在一个更紧密的闭环中，AI 是所有改进的基础。
00:05:22这在 AI 文献中被称为
00:05:24“递归自我提升”。
00:05:26我是说，波斯特罗姆（Bostrom）很早很早就写过这个。
00:05:29人们在 AI 方面最担心的是，
00:05:31你采用阿里巴巴案例中的那个系统，
00:05:33就在阿里巴巴那个例子中看到的，
00:05:36但现在你让这个 AI 运行在
00:05:37一个递归自我提升的循环中，
00:05:39你只需点击“开始”。
00:05:41不再是让工程师，
00:05:44OpenAI 或 Anthropic 的人类工程师去做 AI 研究
00:05:47并弄清楚如何改进 AI，
00:05:49你现在拥有了一百万名数字 AI 研究员，
00:05:53他们在测试、运行实验
00:05:56并发明新形式的 AI。
00:05:58而且字面上，地球上没有一个人
00:06:01知道当有人按下那个按钮时会发生什么。
00:06:06就像人们当时担心
00:06:08第一次核爆炸一样，
00:06:11当时有一种可能，它会点燃
00:06:12大气层，因为会引发某种连锁反应。
00:06:14引发了连锁反应。
00:06:15我们不知道当那种连锁反应
00:06:16被触发时会发生什么。
00:06:18存在着这种 AI 自我提升的
00:06:23连锁反应，它会通向一个
00:06:27没人知道且并不安全的地方。
00:06:30我认为最根本的问题是，
00:06:33如果人们相信 AI 就像一种权力，
00:06:35我必须去竞争那种权力，
00:06:37且我可以掌控那种权力，
00:06:39那么动机就是我必须跑得越快越好。
00:06:41但如果全世界都理解 AI
00:06:44更真实的本质是什么，
00:06:46即它是一种难以捉摸、危险且不可控的技术，
00:06:49它有自己的意图和自己的
00:06:51思考方式，以及欺骗等等这些行为，
00:06:55那么世界上的每个人都会以一种
00:06:57更加谨慎和细心的方式进行竞争。
00:06:58我们会为了防止危险而竞争。
00:07:00但现在正在发生一件奇怪的事情，
00:07:03如果你……你和我可能都和那些
00:07:05科技行业顶尖的人物谈过话，
00:07:07在潜意识层面正在发生某种现象，
00:07:09科技行业高层的人似乎有一种求死欲，
00:07:12这倒不是说他们真的想死，
00:07:13而是他们愿意去赌一把，
00:07:15因为他们相信另一件事，
00:07:17即这一切都是不可避免且无法停止的。
00:07:19因此，如果我不做，别人也会做。
00:07:22所以，我要冲在前面，冲进这个危险的世界，
00:07:24因为不知为何，这会通向一个更安全的世界，
00:07:27只因为我比另一个人更好。
00:07:29但在尽力跑得最快的过程中，
00:07:30这创造了最危险的结果，
00:07:32我们都失去了控制。
00:07:34所以，现在每个人都在共谋，
00:07:36把我们带向最危险的结果。
00:07:38——我的意思是，你假设了如果事情进展顺利会怎样，
00:07:40如果 AI 安全不是一个问题，
00:07:42而且事情没有变得失控。
00:07:51——好吧，人们相信要让事情进展顺利，
00:07:54你得有一个能递归自我提升、
00:07:56且与人类目标一致、关心人类的 AI，
00:07:59它关心我们希望它关心的所有事情，
00:08:02与人类保持一致，关心人类，
00:08:04关心所有我们希望它关心的事情，
00:08:08保护人类，你知道的，
00:08:10帮助我们所有人成为最有智慧的自己，
00:08:13创造一个更加繁荣的世界，
00:08:15向每个人分发药物、疫苗
00:08:16和健康资源，建造工厂，
00:08:19但不会让太阳能电池板和数据中心铺满世界，
00:08:21导致我们不再有空气，
00:08:23或者出现环境毒性、失去农田之类的。
00:08:25它真的创造了这种乌托邦。
00:08:29但在一个我们要实现这种目标的世界里，
00:08:30也就是所谓的“最佳情况”，
00:08:33为了让它发生，
00:08:35你必须缓慢且谨慎地进行，
00:08:37因为对齐并不是默认发生的。
00:08:39同样，人们已经在思考对齐
00:08:43和安全问题20年了，远在我进入这个领域之前。
00:08:47而我们目前制造的 AI
00:08:50正在表现出所有失控行为，
00:08:52正如人们预言的那样。
00:08:54而且我们并没有步入纠正它们的正轨。
00:08:56目前存在 2000 比 1 的差距，
00:08:59这是 AI 教科书作者 Stuart Russell 估计的。
00:09:01- 他上过这个节目。
00:09:02- 你做过那期节目，好的。
00:09:03投入到提升 AI 能力的资金
00:09:05与投入到让 AI 可控、
00:09:07对齐或安全的资金相比，
00:09:10有 2000 比 1 的差距。
00:09:12我觉得这个统计数据大概是——
00:09:13- 进步与安全之争。
00:09:14- 进步与安全，就像力量与安全的博弈。
00:09:16我想让 AI 变得超级强大，
00:09:18这样它能做更多的事情，
00:09:20相比之下，我希望能控制 AI 的行为。
00:09:21- 并确保它正在做我打算让它做的事。
00:09:23- 没错，所以这就像是说
00:09:25当你把车的速度提高 2000 倍，
00:09:28但你却不打方向盘会怎样？
00:09:29显而易见，你会撞车。
00:09:34这根本不是什么高深学问。
00:09:36我们不是在反对技术或 AI，
00:09:39我们提倡的是“亲转向”，即转向和刹车。
00:09:43你必须拥有这些。
00:09:44我认为军备竞赛思维中存在一个错误，
00:09:47即认为如果你在技术上胜过某人，
00:09:49就意味着你赢得了世界。
00:09:51美国在社交媒体技术上击败了中国。
00:09:55这让我们变得更强了，还是更弱了？
00:09:58如果你在某项技术上击败了对手，
00:10:00但却治理不当，
00:10:01你就相当于转过火箭筒轰掉了自己的脑袋，
00:10:04因为你让自己的大脑萎缩了，
00:10:05你让全体国民堕落了，
00:10:06你造成了孤独危机，
00:10:08产生了历史上最焦虑、最抑郁的一代人，
00:10:10读读 Jonathan Haidt 的书《焦虑的一代》，
00:10:12你打破了共识现实，没人信任彼此，
00:10:15每个人都势不两立，
00:10:16你将愤怒经济和竞争推到了极致。
00:10:19你在技术上击败了中国，但你的治理方式
00:10:22完全破坏了你的社会健康和力量。
00:10:24- 这是一场惨胜。
00:10:25- 没错，就是惨胜，说得好。
00:10:28- 在我们继续之前，大多数 30 多岁的人
00:10:30仍在刻苦训练，蛋白质摄入很精准，
00:10:32睡眠也比 20 多岁时更好。
00:10:34自律不是问题，
00:10:36但恢复的感觉有些不同了。
00:10:39力量增长需要更长的时间，
00:10:41容错空间开始缩小。
00:10:43这就是为什么我是 Timeline 的忠实粉丝。
00:10:46你看，线粒体是能量制造者，
00:10:49存在于你的肌肉细胞中。
00:10:50随着它们随年龄增长而变弱，你产生动力
00:10:53和有效恢复的能力也会改变，
00:10:55即使你的习惯依然保持良好。
00:10:57Timeline 的 Mitopure 含有
00:10:59唯一在人体试验中经过临床验证的尿石素 A。
00:11:02它能促进线粒体自噬，这是你身体的自然过程，
00:11:03用于清除受损的线粒体
00:11:06并更新健康的线粒体。
00:11:08在研究中，这支持了线粒体功能
00:11:09以及老年人的肌肉力量。
00:11:12这不关乎更努力地逼自己，
00:11:14而是关乎通过支持细胞机器
00:11:15来支撑你的训练。
00:11:18如果你关心如何保持强壮，
00:11:19直到 30、40、50 岁甚至更久，这就是基础。
00:11:21最棒的是，有 30 天退款保证，
00:11:25加上美国境内免邮，且支持国际航运。
00:11:27现在，你可以通过点击下方描述中的链接，
00:11:30或前往 [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)，
00:11:32并在结账时使用代码 modernwisdom
00:11:34即可获得最高 20% 的折扣。
00:11:36就是 [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)，
00:11:38结账时输入 modernwisdom。
00:11:40现代智慧，结账时输入。