美团 LongCat-2.0 拿 5 万张国产卡训出 1.6 万亿 Agent 模型，但它真正想做的不是更大的 LLM

1.6 万亿参数，每次只激活 480 亿。原生 1M 上下文，跑在 5 万卡国产 AI ASIC 集群上。这是美团龙猫团队 2026 年 6 月 30 日开源的 LongCat-2.0——一个万亿参数的 MoE 语言模型，专为 Agentic Coding 设计。

参数大到这种程度，反而已经不是这次发布最值得关注的事了。真正值得看的，是国产算力第一次把"万亿参数 + 长上下文 + Agent 工具链"全链路跑通了。这件事比想象中难得多。

5 万张国产卡怎么装下 1.6 万亿参数的 LLM

先说数据。

LongCat-2.0 总参数 1.6T，平均每个 token 激活约 48B，MoE 稀疏率接近 97%。原生 1M 上下文。完整训练和部署跑在 AI ASIC superpods 上。模型 API 已经兼容 OpenAI 和 Anthropic 两种格式，Claude Code、Kilo Code、OpenCode、OpenClaw、Codex 等编程工具可以直接接入。

参数 1.6T 但每次激活 48B，听起来像一辆理论极速 500 km/h 的车日常只在 80 km/h 巡航。但这套设计的成本和价值都不在"快不快"上。1.6T 是 11 个位置球员的总身价，48B 是每次只上 11 个人。MoE 把模型变成了一支足球队，而不是一个巨人。

N-gram Embedding 又往这支球队里塞了 135B 参数，相当于把守门员也升级成了外援——这部分参数位于 MoE 之外，专门用来捕捉 token 组合的局部上下文。龙猫团队把这条路线取名为 LongCat-Flash-Lite 的继承，理由很硬：当 MoE 稀疏率已经接近 97% 时，继续堆专家的边际收益接近零，把一部分参数预算放到 N-gram Embedding 上才有意义。

这是 LongCat-2.0 第一个反直觉的地方：参数越大，单 token 激活量越被严格控制。万亿不是用来"全开"的，是用来"按需调度"的。

真正难的不是模型大，是万亿模型跑在国产卡上

如果你只看参数，会以为 LongCat-2.0 只是在堆规模。但你只要翻一遍龙猫团队列出的训练工程清单，就会发现这件事的核心不在"参数多"，而在"在国产算力上把万亿参数的稳定性跑通"。

LongCat 团队从 2023 年开始探索国产算力。路线很清楚：千卡规模起步，逐步解决算子适配、通信优化、分布式稳定性，最后在 5 万卡集群上完成 LongCat-2.0 的训练和推理。

具体工程问题有七项，每一项对应的都不是一个新功能，而是把 NVIDIA 生态里已有的成熟方案，在国产 AI ASIC 上重新写一遍：

• 训练可复现：通信和计算路径都加强确定性，Embedding、FA、LSA、MoE 等模块使用自研确定性算子。
• 数值可靠性：Reduce 类算子采用分段二叉树累加降低浮点误差，关键算子加入 bit-flip 检测。
• 大规模并行：在 TP、CP、EP、DP、PP 之外，引入 EMBP 来并行 N-gram Embedding。
• 内存压力：使用 ZeRO-1、选择性重计算、OOM-aware offloading，把 padding token 路由到 zero-expert。
• 长上下文训练：使用 all-gather-based CP 并行方案，CP 可以扩展到 512 以上，支撑原生 1M 长度训练。