基准被刷穿之后：Agent 时代最贵的能力是出题，不是答题

基准被刷穿之后：Agent 时代最贵的能力是出题，不是答题

BrowseComp 上顶尖模型的准确率，一年之内从 30% 区间爬到 90% 以上。同一批模型换到美团 LongCat 团队 7 月 24 日开源的 LoHoSearch 基准上，GPT-5.5 拿了 34.74%（来源：美团技术博客 LoHoSearch 发布文，2026-07-24）。

差了将近 60 个百分点，模型没变。变的是出题的人——准确说，出题的不再是人。

LoHoSearch 的做法是把出题权交给一张图：以完整英文维基百科为底，762 万个实体节点、2.65 亿条有向边，机器在图上采样子图、自动生成问题，再过一遍机器验证、后置过滤和人工复核，最后留下 544 道题，覆盖 11 个领域（来源：同上）。

模型能力已经不是最稀缺的东西了，能定义"什么算难、什么算对"才是。

为什么人出题一定会被刷穿

BrowseComp 这类基准的题目由标注者手写。这就带来一个天花板：标注者只能基于自己已知的实体和关系构思题目，他判断不了两件事——哪些条件真的难检索，哪些约束的候选空间足够大（来源：LoHoSearch 发布文）。

这两件事恰好是难度的全部来源。LoHoSearch 把它们拆成两个可调的旋钮：

• 搜索空间：满足某个条件的候选实体有多少个。候选越多，逐个排除的成本越高。
• 结构复杂度：要同时满足多少个条件才能锁定唯一答案。条件越多、咬合越紧，求解链条越长。

人工出题时，这两个旋钮是靠手感拧的。出题人凭直觉觉得某题很难，却说不出难在候选太多还是条件太多。机器站在全局知识图谱上出题，可以直接算出某个条件下有多少候选实体，也可以精确控制几个条件交叉之后剩几个答案。难度从此不再是形容词，是两个可复现的数值。

副作用很直接：题库可以持续再生。人工出题的成本随题量线性上涨，一个基准做完就固化，被刷穿之后只能重开项目；图谱出题的成本主要压在建图上，建完之后拧一下旋钮就能产出下一批更难的题。基准从一次性产品变成了可运行的生产线。

结果是另一条数据变得更有意思：现有的上下文管理策略，在 BrowseComp 上能带来 14.03% 的提升，在 LoHoSearch 上只有 6.8%（来源：LoHoSearch 发布文）。同一套技巧，效力砍半。

这说明过去一年很多"上下文工程"的收益，可能是在题目结构变简单的地方捡到的。题目一旦由机器按搜索空间和咬合度生成，靠切窗口、压摘要、加检索轮次能补的部分就少了。

题目的第二个坐标是时间

难度只是一个维度。美团团队在 6 月 29 日开源的 VitaBench 2.0 加了另一个：时间。

它不再问"这道题有多难"，而是问"这个用户你跟多久了"。数据规格：56 名有真实特征的用户、819 个复杂任务、2000 多个动态偏好、66 个可执行工具；平均每位用户 2093 个交互事件，时间跨度 1580 天，并且严格按时间线顺序暴露给 Agent（来源：美团技术博客 VitaBench 2.0 发布文，2026-06-29）。

1580 天大约四年半。四年半里一个人会换工作、搬家、结婚、开始带孩子，口味和预算都在漂移。按时间线顺序喂给 Agent，考的是能不能识别偏好已经变了、并且主动放弃旧结论。

一次性问答测的是模型的知识，长期时间线测的是模型愿不愿意承认自己过时。

把两个维度画在一起，格局就清楚了：常规问答基准在左下角，已经被刷穿；LoHoSearch 把单题难度顶到右侧；VitaBench 2.0 往上拉时间跨度。右上角"又难又长"那一块，目前几乎没人覆盖。

出题权是一种工程能力，不是一种论文能力

做这两个基准的团队，自己也在被同一件事拷问。

美团 Agent 评测团队的系统，从 2025 年 6 月不足 5 万行代码扩张到 31 万行，月均 16 个需求，其中 90% 以上的代码由 AI 辅助编写（来源：美团技术博客《用 Agent 评测思路管理 AI Coding》，2026-05-07）。

他们做重构时的第一个困境是量太大根本看不完。采用的办法是"专家经验定向 + AI 辅助排查"：核心开发圈定高危边界，AI 在圈定方向上做穷举扫描。产出是 3 个 P0、2 个 P1 技术债被梳理清楚，另外定位到 10 个藏在深层调用链里、逐行读代码几乎不可能穷举到的性能隐患（来源：同上）。

这套分工和 LoHoSearch 里"机器生成题目 + 人工复核 544 道"是同一个形状： 前者是算力问题，后者才是判断力问题。