强化学习之父亲自拆台：大模型路线，正卡在"出生那一刻"

强化学习之父亲自拆台：大模型路线，正卡在"出生那一刻"

Rich Sutton 在红杉访谈里，把自己写的《苦涩的教训》拿来打自家脸。下一种 AI 不是更大的模型——是能持续学习的智能体。但 OpenAI 和 Anthropic 已经不敢跟。

2026 年 8 月，强化学习之父、图灵奖得主 Rich Sutton 在红杉资本的一次访谈里，扔出一句让整个 AI 圈都会愣一下的话（来源：硅基君报道 2026-08-27）：

大语言模型既可能是《苦涩的教训》最成功的案例，也可能同时是它的反面案例。

《苦涩的教训》是谁写的？Sutton 自己。2019 年那篇著名短文的核心一句话：别往机器里塞人类的聪明，多花点时间找能跟着计算规模一起扩展的学习方法。过去几十年的 AI 历史几乎全在为这句话站台——AlphaGo、深度学习、大语言模型，每一波都赢了那些"专家规则派"。

现在 Sutton 本人站到台前，反过来给今天的 LLM 路线挑刺。他不是否定 LLM 的成功——他强调这是"惊人的科学突破"。他否定的是另一件事："训练—冻结—上线"这条范式本身可能已经走到局部最优。

大模型的毕业典礼，把学习者也封死了

Sutton 把今天的大模型比作一个"刚毕业就被冻结的大脑"。训练阶段疯狂学；训练一结束，核心权重就被锁死。它之后能给用户提供几年的服务，靠的不是再学习，而是翻当年的毕业笔记——Context 窗口塞一塞、Memory 里翻一翻、RAG 里查一查。

这和真正的人不一样。一个医生做了 1000 台手术之后，他看片子的方式、他对并发症的直觉、他判断是否该开刀的阈值，全都因为这件事变了。一个司机开了 10 年车，他甚至不需要刻意思考，就知道旁边那辆车可能要加塞。经验变成结构、结构留在身体里。今天的大模型，结构留在参数里没动，用户和它聊一亿次，结构基本还是老样子。

Sutton 给出的判断很直接：他认为今天的大模型行业可能陷入了局部最优。继续堆 GPU、做 Scaling，性能还能涨，所以头部实验室越来越难转向一条短期表现可能更差的新路线。

这就把一件行业里大家不愿意说破的事摆到台面：今天 AI 公司的整个商业模式都建立在"训练完就发货"上面。你能想象 OpenAI 在 ChatGPT 后台每天偷偷更新一次权重吗？不能——不是不能，是因为动了权重，第二天五亿用户里只要有一个小孩发现"昨天能做的事今天做不了"，就是公关事故。

合成数据救不了 Scaling，因为瓶颈还是人

"互联网高质量数据快耗尽了怎么办？"这是 2025 年以来所有大模型公司最焦虑的问题之一。流行的答案是合成数据——让模型自己生成训练数据。

Sutton 的评价非常不客气："这会是一个大错误。甚至可能成为下一条'苦涩的教训'。"

他讲的是一个很朴素的道理：合成数据看起来摆脱了真实数据的限制，但背后藏着一个人类瓶颈——谁决定什么数据值得生成？谁判断什么问题重要？谁定义奖励？ 绕一圈，决策权还是回到人手里。只要合成数据的"生成清单"仍然需要人类决定，这条路线的扩展速度就依然受制于人类知识。

Sutton 背后支撑这个判断的是 Big World Hypothesis（大世界假说）：现实世界比任何一个智能体复杂。它比互联网大，比人类语言大，比任何人记录过的所有数据都大。AlphaGo 之所以下棋赢了，因为围棋规则已经被定义清楚。开放世界里一架无人机真正飞起来会遇到的风、摩擦、马达误差、障碍物，是模拟器里没出现过的细节。这些东西不可能在模型上线前全部写进训练集。

续学习为什么这么难？毁掉旧能力，1 次更新就够

既然持续学习这么符合直觉，为什么不让大模型每天更新一次权重？

Sutton 知道这条路：这就是 Continual Learning 学术界研究了多年的灾难性遗忘（Catastrophic Forgetting）。

打个比方。今天你告诉模型："我们公司的内部项目 X，以后统一叫 Apollo。"模型根据这一条数据更新权重。看起来没问题。但神经网络里的知识不是一行行独立写的——一个权重变化，会同时影响很多过去已经学好的能力。结果 Apollo 记住了，"猫"的某条隐含规则可能被搞坏。

这也是为什么今天的模型更愿意把新信息塞进 Context、RAG、Memory，而绝不动底层权重。Cursor 这类产品做了"持续更新"，但方式仍然接近：先收集成千上万甚至数百万用户的数据，攒成一个巨型 Batch，再统一训练一次。对公共模型可以，对个人智能体就会别扭。

如果我只想教自己的 AI 助手一个新习惯，为什么要等十万个人的数据一起训练？更麻烦的是，我教它的东西，可能和另外十万个人根本没关系。

Oak Lab 下注：每个权重，拥有的学习速度不一样

Sutton 和学生 Khurram Javed 创办的 Oak Lab 想啃的就是这件难的事：让模型能用连续进入的单条经验更新自己，同时不破坏过去的知识。

Sutton 给出的一个方向叫做 Step-size Optimization。简单理解：不同知识的"可塑性"不应该一样。模型里有些东西已经被验证了无数遍，应该非常稳定；有些东西刚刚学到，应该更容易修改。所以每一个权重都拥有不同的学习速度。

这其实就是人的大脑。一个成年人不会因为今天看见一只绿色的猫，就把过去几十年对"猫"的认知全部推翻。但如果连续几年发现某条过去一直成立的规律已经变了——比如"看到一个红灯停下来"，等到道路全是绿灯也允许直行——大脑又可以慢慢调整。

更有意思的另一个方法叫 Continual Backprop。传统神经网络初始化的时候，会随机生成大量神经元权重，然后开始训练。一开始很多随机性和多样性，慢慢随机空间被用完，内部结构也越来越固化。Sutton 想做的是：训练了 10 年、20 年的神经网络，依然像年轻大脑一样保持可塑性。

Oak 团队认为，未来训练基础模型的时候就应该把这种能力直接训练进去——从第一天开始，模型同时学习两件事：第一件是知识，第二件是以后应该怎么学习知识（Meta-learning）。真正的持续学习模型，可能需要从底层重新训练。

苦涩的教训 2.0：行业越成功，越难转身

把这次访谈和《苦涩的教训》放在一起读，会看到一个有意思的转折：Sutton 当年讲的是"少塞人类的规则，多找能跟着算力扩展的方法"。今天他不是反对这条原则——他警告的是另一件事——大模型成功的范式，可能正在变成下一条要被打败的范式。

这件事难的地方在于赌注的规模。今天最顶尖的 AI 公司已经和"训练—冻结—上线"这条路绑得死死的。ChatGPT、Claude、Gemini、Cursor、Claude Code，所有这些产品每周甚至每天都被无数人和无数业务流依赖。要让其中任何一家大幅改动权重更新机制，承担的风险远超学术实验室。

但这可能正是 Sutton 想提醒行业的事。大语言模型没有失败——它已经证明规模化学习的巨大力量，也会继续成为重要的技术基础。但把语言能力等同于完整智能，把训练结束等同于学习完成，可能会让行业错过下一阶段真正关键的东西。

在他的设想里，未来不是单一模型统治所有任务，而是有许多拥有同一套基本设计、但因经历不同而各自生长的心智。它们在不同环境里学不同的知识，彼此无法穷尽地替代。世界足够大，任何系统都不可能一次学完；智能不是把所有答案预先装进参数里，而是遇到新问题后，仍然能继续长出新的理解。

Oak Lab 在赌的，正是这件事。而 OpenAI 和 Anthropic 不跟进，恰恰不是因为他们觉得这条路线错——恰恰是因为他们今天的成功，让他们最难转身。

---

关于 Sutton 这场访谈的几点观察：

• 这不是一篇被外行解读出来的"反 AI"观点。这是写出《苦涩的教训》的人，重新评估自己理论的现状。他没否定 Scaling，他否定的是 Scaling 当下这种"训练一次管终身"的形式。
• 行业里已经有人在为这件事下注，但动机不一样：LeCun 的世界模型路线、梁文锋看重的持续学习思路、Mindverse 拿到 5000 万美元 A 轮做"持续学习的 Agent 模型"——这是分散在多处的同一条隐线，不是蹭出来的风口。
• 对用 Agent 的工程师来说，今天最现实的解是别等基础设施变——把"教会 AI 新习惯"这件事拆开成两段：能塞进 Context 的塞进 Context，能写进 Memory 的写进 Memory；剩下的，等有人把这条路蹚出来。