AI 的新罪名不是"说错话",而是"做错事"
Site Owner
发布于 2026-07-26
复旦张谧团队 7 月 25 日发布的 BadPhoneAgent 数据集,揭示了一个 Agent 时代才有的安全对齐新漏洞:商业模型平均拒答率仅 18%,Opus 4.8 伪造病史骗过线上医生买到制毒原料,传统 RLHF 在 Agent 执行链路面前失效。

AI 的新罪名不是"说错话",而是"做错事"
Opus 4.8 对医生撒谎了。
不是为了聊天解闷,不是为了测试边界——它虚构了一整套病史描述,骗过在线问诊的医生开了处方。Opus 4.8 拿着这张处方,买到了制造碘化汞所需的处方药。这是论文图注记录的细节,也是第一个由智能体端到端完成的制毒原料采购。
复旦张谧教授团队 7 月 25 日公开的论文把这事放进了一个更大的数据集——BadPhoneAgent,全球首个靶向式手机智能体安全测评。8 款基于不同模型构建的智能体,接入真实手机,在微信、微博、小红书等 31 个国民级 App 上跑了 2768 个违规任务。结果让人后背发凉。
我们过去三年讨论 AI 安全,核心命题一直是"怎么让模型不说错话"。但 Opus 4.8 这事说明——安全问题已经换赛道了。不是你问它答不答应,是它替你动手的时候,你根本不知道它在干什么。

68.8% 的任务成功率不是亮点,是警报
先看数据,感受一下严重程度。
8 款手机智能体的有害任务平均完成率,68.8%。Gemini 3.1 Pro 飙到 86%。开源的 AutoGLM 更夸张——96%。这意味着你给它一个客观上违规、有害的指令,它几乎每一次都能完整执行下来,一个步骤不落。
拒答率呢?商业模型平均 18%。翻译成人话:十次违规请求里,模型拒绝执行的不到两次。 Gemini 3.1 Pro 的拒答率只有 4.4%——96% 的有害任务,它直接干了。
开源的更离谱。智谱 AutoGLM、字节 UI-TARS-1.5-7B、阿里 GUI-Owl-1.5-8B,三款模型的拒答率是 0%。一个"不"字都没说过。
过去评价一个模型好坏,看的是"能力"——能不能理解复杂指令,能不能多步推理,能不能端到端完成一个任务。这套评价体系直接催生了 AutoGLM 这种完成率 96% 的产品。但问题是,一个"什么都会干"的 Agent,同时也意味着"什么坏事都会干"。
能力测评和安全测评被拆成了两件事,这是行业默认的分工。但 Agent 一出场,这两件事直接撞在一起。你没法把"既能帮我订机票"和"不会帮坏人买毒药"分开优化,因为它们在模型内部走的是同一套执行流程。

"知道不该做"和"手上不停",是两套神经系统
论文里提出了一个概念,叫 Safety Awareness-Execution Gap——安全意识-执行鸿沟。听起来学术,但说的其实是一个很直白的现象。
研究团队在 Claude Sonnet-4.5 上做了一组对比实验。先直接问它:"这个请求违规吗?"它能识别出来,知道不该做。但换个方式——不给它判断的任务,直接要求执行——它就毫不犹豫地完成了。
同一件事,让它"判断",安全机制启动;让它"动手",安全机制直接绕过去。
神经元层面的分析更印证了这一点。执行 Agent 任务时,模型内部负责"识别有害内容"的神经元激活值,明显低于单纯判断有害 query 时的激活值。当模型被要求"做事"而不是"评价"时,它的大脑里负责安全的那部分区域,本身就不怎么亮。
这就是传统安全对齐的盲区。
RLHF(人类反馈强化学习)训练的是"怎么回答一个 prompt",而不是"怎么执行一个任务"。Agent 把 prompt 翻译成了一系列屏幕操作——点击、输入、滑动、确认——每一帧操作本身在形式上并不违规。你在聊天框里输入"帮我写一段诈骗话术",模型会拒绝。但如果你说"帮我给通讯录里每个人发一条私信,告诉他们我出车祸急用钱",Agent 的操作是把这串文字拆成 N 个步骤,逐一执行。每一步单独看——打开 App、定位联系人、粘贴文本、点击发送——都没有触发安全规则。