Scaling Law 第一页就写错了：一个 bug 烧掉五年算力，我们还在用最浪费的语言制定 AGI 路线图

2026-07-04 深夜，OpenAI 前研究员 Diogo Almeida 发博客指认 2020 论文 bug，DeepMind Sander Dieleman 推文背书。OpenAI 用「固定 token + 余弦 LR 衰减 + 权威背书」三步制造了「模型已经饱和」的假象。Chinchilla 想纠正，发现自己也有 bug。最要命的是——这条曲线，是用最浪费算力的英语跑出来的。

不是我们理解错了 Scaling Law。是 Scaling Law 自己错了。

2026 年 7 月 4 日深夜，前 OpenAI 研究员 Diogo Almeida（现 DeepMind）发了篇博客，标题冷得发指——《Scaling Laws, Honestly》。

开头一句直接把话撂这：最初那版 scaling law 是错的，因为存在一个 bug。

DeepMind 的 Sander Dieleman 转头就在推上把它顶了上去，补了一刀：「大概率害得业界在一堆『体量过大、训练不足』的模型上，白白烧掉了海量算力。」

一个 bug，烧掉五年。

但这事比你想的更荒诞——连那个纠正 bug 的论文，自己也不干净。而且，我们一直在用最浪费算力的语言，制定全人类通往 AGI 的路线图。

三步骗了全球同行

OpenAI 2020 年那篇 Kaplan 论文，用三步制造了「模型已经饱和」的完美假象。

第一步：囚禁数据。

所有模型——不管你是幼儿园小朋友还是博士生——喂完全相同的饭量：大约 130B tokens。小模型被撑到，大模型严重营养不良。Chinchilla 论文后来一针见血：「对所有模型使用了固定的训练 Token 数和学习率调度方案。」

这就像让所有人用同一张试卷、同一时间考试，然后宣布成绩只跟天赋有关。你测不出谁是真正的上限，因为考试时间根本不够他把题读完。

第二步：掩耳盗铃的 LR 衰减。

余弦学习率衰减，这帮人在训练快到预设终点时，把学习率人为摁到零。曲线一走平，看上去模型学到头了，再喂也没用。

这不是模型的极限。这是学习率把成长之路掐断了。

但那条曲线看起来太像「精心设定」的了。连当年在 OpenAI 做优化的 Diogo 自己都承认，他没看出这个 bug。谁会怀疑一条平滑衰减的曲线？

第三步：权威的傲慢。

论文里写了句「结果基本不受学习率曲线影响」。在固定 token 的约束下，这句话技术上能自圆其说。但它被当成了普适法则。他们把有限条件下的局部真理，打包成宇宙通行证。

三步叠在一起，你得到一条既错、又极难 debug 的定律。全行业拿着这张错地图，在「堆参数」的跑道上狂奔了五年。

纠正 bug 的论文，自己带着另一个 bug

2022 年，DeepMind 用 Chinchilla 把结论翻了过来。

700 亿参数，喂 1.4 万亿 token。体量不到 GPT-3 的一半，数据是它四倍多。结果全面反超 2800 亿参数、只喂了 3000 亿 token 的 Gopher。