生产级AI系统为什么用便宜模型做地基？Model Cascading如何让80%请求在廉价层解决？GitHub Copilot背后的路由逻辑揭示的架构真相。

大模型蒸馏真相：便宜模型才是生产级AI的真正地基

大多数人对AI系统的想象，是这样的：一台超级计算器，配一个最强的模型，处理所有任务。

现实恰恰相反。

我去扒了一下几家真正把AI系统跑在生产环境的团队——不是Demo，是每天处理百万级请求的那种——发现一个反直觉的共同点：他们都在用便宜模型做大量过滤工作，把最贵的模型留在最后一步。

这不是抠门。这是架构。

你为全用最强模型多付了多少钱？

先算一笔账。

一个典型的工作流：用户发来一个请求，模型需要判断意图、从知识库检索、生成结构化回答、最后输出。

如果全程用 o3 或 Claude Sonnet 4，每千 token 的成本是几分钱。听起来不贵，但乘以每天几十万次请求，每月的账单就能让你心悸。

更关键的是：这里面80%的请求，其实根本不需要最强模型。

用户问"今天天气怎么样"，不需要 o3。用户说"我要退款"，不需要推理模型过一遍。用户说"你好"，你让 GPT-4o mini 回答，成本降低十倍，效果没什么区别。

真正需要顶级推理能力的，是那20%的复杂问题——多步骤推理、模糊需求拆解、高风险决策。

但如果你让最强模型处理所有请求，你等于在为20%的需求，100%买单。

生产级AI系统的核心架构，叫 Model Cascading——模型级联。

原理很简单：先用小模型过滤，轻重分拣，把复杂请求路由到强模型，把简单请求在廉价模型层解决。

三层结构：

第一层：分发路由器。 用 GPT-4o mini 或 Qwen3 这种级别的模型，0.1秒内判断用户意图，评估问题复杂度，决定这条请求应该进入哪条处理通道。成本极低，速度极快。

第二层：任务专用模型。 路由分发之后，不同类型的问题进入不同的处理通道。结构化查询走专用优化过的模型；长文本分析走长上下文模型；创意任务走专用生成模型。每个模型都在它最擅长的场景里工作，没有浪费。

第三层：推理模型做最终校验。 只有在任务专用模型输出不确定、或者涉及高风险决策时，才把请求交给 o3、o4 或者 Claude Sonnet 这种顶级推理模型。这一步成本最高，但触发频率最低——可能只占总请求量的5%。

整个系统的成本结构因此重构：80%的请求在第一层和第二层被处理，成本是顶级模型的1/10到1/50。只有20%真正需要大算力的请求，才会用到最贵的模型。

GitHub Copilot 是最早大规模采用级联架构的消费级AI产品之一。

据内部工程师在公开访谈里透露，Copilot 的代码补全系统并不是全程用最大模型跑。它的做法是：

这个架构让 Copilot 的 P95 延迟保持在用户可接受范围内，同时控制了成本。

对比一下：如果 Copilot 全程用云端大模型跑，每次敲键盘都触发一次 API 调用，P50 延迟会直接击穿用户体验。便宜模型在这里不只是成本优化工具，它是保证用户体验的基础设施。