万亿参数走过的弯路，唐杰给中国大模型算了一笔新账

8 月 19 日下午，智谱联合创始人唐杰在 X 上发了一篇两千字长文。核心就一句话：万亿参数，是整个行业一起走过、又一起折返的弯路。

同一天，GLM-5.3 正式上线。基座完全没动——总参数还是 753B、激活参数还是 40B——但 AA 指数从上一代的 53 拉到了 60，编程能力提升 50%，两周内发现 2404 个安全漏洞（《GLM-5.3 来了》8/15 报道）。

这件事不只是智谱的内部选择。它是中国头部大模型公司第一次明确说出："参数量，不再是 Scaling Law 的关键旋钮。"

行业的病：只拧低音旋钮的五年

2020 年，Kaplan 等人拟合出一条规律：参数的增长速度应该比数据快得多，对应指数大约 0.73 和 0.27（据唐杰 8/19 长文转述，智东西编译）。GPT-3、Gopher、MT-NLG 全部按这个比例往大了做。

三年后 Hoffmann 等人拿 400 多个模型重新算了一遍，发现算力最优的分配更接近每个参数 20 个 Token。参数量和数据量应当以接近的速度一起增长，而不是不断拉开差距。

回过头看，那一代最大的模型，恰好是算力分配最失衡的一批。早期拟合里的误差，会在计算量每提高一个数量级时被进一步放大——这一判断来自 Hoffmann 团队在 2022 年的工作，也是唐杰这次明确表态的起点。

唐杰给出了一个形象的比喻：Scaling Law 像调音响的低音旋钮。 行业连续五年只拧"参数量"这一个旋钮，结果把别的旋钮都拧没了。低音再大，也不会变成 HiFi。

但 Chinchilla 也不是终点。它的优化目标是"训练一次、评测一次"。今天的模型上线以后，每天可能被调用几十亿次，推理成本早就盖过了那一次训练。

把推理成本也算进账本里，最优方案开始向"规模更小、训练时间更长"的模型移动。这是一种有意进行的"过度训练"——Llama-2-7B 平均每个参数对应约 290 个 Token，Gemma-2-9B 对应约 889 个 Token（数据据唐杰 8/19 长文转述）。两款模型都比 Chinchilla 推荐的 20 Token/参数高出一个数量级。

当一件商品每天被用几十亿次，"出厂配置"就不再是最贵的成本。 真正的成本是它在用户手上那 1 秒里烧掉的算力。

MoE 时代，"参数量"这个词已经失效

到 MoE（混合专家模型）这里，"参数"这个指标干脆被拆成了两件完全不同的事。

唐杰这次把这件事讲得很清楚：

• 总参数量，大致决定模型能装下多少知识、事实和长尾信息。
• 激活参数量 + 每次前向计算的有效深度，大致决定模型能做多深的思考、能维持多少步因果推理而不崩。

这两个指标在稠密模型里是同一个数，所以早期没人意识到它们是分开的。到了 MoE，总参数可能是激活参数的十倍甚至几十倍，继续把它们当成一回事就会得出错误的结论。

唐杰给了一个具体的反例：寻找一项安全漏洞不是信息检索。它并不取决于模型记住了多少 CVE 漏洞记录，而在于模型能否完成一条包含 20 个步骤的推理链，并在到达终点前始终保持思路连贯。这种能力并不存在于总参数量本身。

后续针对 MoE 的研究还发现一件更反直觉的事：在 Token/参数比不变的情况下，继续放大总参数量反而可能削弱推理能力；增加每次激活的专家数量，则能更稳定地改善推理表现。

这意味着"模型规模"这个概念本身需要被重新定义。

家里有一万本书，不代表你能写出一篇论文。 书架上摆着多少书，对应的是知识容量；今天你翻开过哪几本、走过多深的推理链，对应的才是产出能力。MoE 把这两个数从同一个数字里拆开了。

GLM-5.3 怎么把理论变成产品

唐杰把 GLM-5.3 的训练过程比作"一次控制变量实验"。

智谱没有改 GLM-5.2 的基础模型、架构、总参数量和激活参数量。他们把接下来的一个月时间，全部押在了两个动作上：扩大长程任务环境，强化学习训练。

效果不是"小幅改进"——这是唐杰的原话。AA 指数从 53 拉到 60，编程能力涨 50%，两周发现 2404 个漏洞（《GLM-5.3 来了》8/15 报道）。基座没变，变的是后训练。

GLM-5.3 真正值得记下来的，是它"没改什么"：没有新的总参数，没有新的架构，没有新的预训练。这是中国头部大模型公司第一次公开承认：当下的瓶颈不在基座体积上，而在基座被"调教"到什么程度。

当别人还在拼谁的基座更大时，智谱把一个月时间全押在了"调教"上。

这也是为什么唐杰强调"后训练"这个旋钮：模型扩展从来就不只有参数量一个维度。参数量、训练数据、单次前向计算深度、后训练，这四件事都可以扩展。并不存在一个"始终最值得增加的指标"。

算力重分配已经是行业共识

智谱不是孤例。

8 月 18 日，OpenAI 主动踩刹车：最强模型暂停训练，20% 算力被分配去"看住 AI"（来源：智东西 8/19 报道）。8 月 19 日同一天，另一条新闻是 OpenAI 新模型 Astra 让奥特曼"吓瘫"——暂停训练两周，GPT-6 训练一并冻结。

两条新闻连在一起读，意思很清楚：算力不是无限的，再大也不能光堆参数。 当 OpenAI 这种拥有最宽松算力供给的公司也开始重新分配 20% 的算力去看护自己，行业的天花板就已经被摸到了。

把这两件事和 GLM-5.3 放在一起，会得出一个有点反常识的结论：

过去 18 个月，Scaling Law 的瓶颈不在"模型还不够大"，而在"算力在训练侧堆积的速度，远远赶不上推理侧的消耗速度"。当一个模型每天被调用几十亿次，训练侧的边际投入就开始让位于推理侧的可持续性。这才是"万亿参数是弯路"这句话背后的真实账本。

接下来 12 个月怎么看大模型新闻

唐杰这篇长文最大的价值，不是把 Scaling Law 重新讲了一遍，而是给出了一个可操作的判断框架。

第一，看大模型评测时，先看激活参数再看总参数。 一家厂商说自己模型有 700B 参数，真正决定它能不能用的，是其中每次被激活的 40B 跑得有多深。

第二，后训练和强化学习投入，是接下来 12 个月中国大模型公司真正的分水岭。 基座会逐渐趋同（开源已经把这条线抹平了大半），真正能拉开差距的是调教能力、数据飞轮、长程任务环境。

第三，当一家公司说"我们又训了一个新基座"，先问它花了多少算力在推理侧。 每天调用几十亿次才是真实的算力约束，训练侧的数字再大，也只是入场券。

未来 12 个月，"参数量"不会再是大模型新闻里的核心指标。它会退回到一个工程参数的位置，像 CPU 的缓存大小一样——你得看，但你不会拿它当标题。

真正的竞争，是看谁能把同一颗基座，调教到极限。