Agent Memory：你的 AI 其实根本不记得你

一句话判断：如果你的 Agent Memory 只做到了"存聊天记录 + 向量检索"，那它拥有的不是记忆，只是一个带搜索功能的垃圾箱。 ——浮之静《浅谈 Agent Memory》

你的 AI "记得"你。

至少 demo 里看起来是这样。你说你偏好简洁回答，它下次确实短了。你提过一次项目名，隔三天它还能叫出来。

但你有没有发现，聊得越久，它反而越容易"记错"？

这不是模型的错。是整个行业对 Memory 的理解，从一开始就偏了。

---

RAG 不是记忆

行业里最常见的混淆：把 RAG 当成 Memory。

RAG 做的是什么？从外部资料库里检索相关内容，注入当前上下文。它解决的是"模型不知道，但资料里有"的问题。擅长访问静态知识，不擅长积累持续经验。

Memory 处理的是另一件事：系统如何在连续互动中沉淀偏好、修正错误、适应个体，并且让这些沉淀持续影响未来行为。

Letta（原名 MemGPT，github.com/letta-ai/letta）一直在强调一个判断：RAG is not Agent Memory——不是二者毫无关系，而是它们处理的问题层级完全不同。RAG 在运行时视角里主要体现为"读"；Memory 必须覆盖写入、更新、替代、失效、删除的完整生命周期。

RAG 像图书馆，Memory 像对你的理解。 前者处理知识覆盖范围，后者处理个体关系和行为演进。

这个区分之所以致命，是因为一旦把 Memory 误解成"更聪明的检索"，后面的架构几乎全都会做偏——你以为问题在召回率，实际上问题在连续性。

---

四层模型：Agent 到底"记住了什么"

CoALA（Cognitive Architectures for Language Agents）借用了认知科学的经典划分，把 Agent 记忆分成四层：工作记忆、情景记忆、语义记忆、程序性记忆。（来源：arXiv:2309.02427）

这四层不是四种数据标签，而是四种不同的"时间残留物"。

工作记忆是 Agent 当下可直接参与推理的上下文。无论外部记忆系统多复杂，最后真正影响这一次回答的，只有被成功送入工作记忆的那一小块。它是所有记忆必须通过的瓶颈。

情景记忆是带时间属性的经历记录——一次对话、一场失败的尝试。它保留的不是"发生了什么"，而是"事情是怎么发生的"。斯坦福的 Generative Agents 用"记忆流"存储感知事件，用近因性 × 重要性 × 相关性来加权检索，当累积重要性达到阈值时触发反思。这套机制第一次让人们直观看到：情景记忆一旦能被回溯和反思，就可能催生涌现行为。

但情景记忆太散太碎——一千次对话的原始记录无法直接指导行动。于是系统需要从中蒸馏出更稳定的知识。语义记忆就是这样一层：用户偏好、实体关系、长期约束。更紧凑、更结构化，但代价是失去原始语境。你知道了"用户喜欢简洁回答"，却未必记得这个偏好是在什么情境下形成的。

还有一层更隐蔽的——程序性记忆。人类骑车、打字，都不是每次现想规则，而是把规则内化为行动模式。Agent 里的 Skills、SOP、可复用操作套路，本质上都属于这一类。它不存储知识，存储的是行动模式。

四层连在一起，真正的问题从来不是"有没有存下来"，而是：经历能否被转化，转化能否回溯，回溯之后又能否重新进入行动。

---

Memory 生命周期：第一道败局不是读错，是写脏

Memory 是一条生命周期管线——写入、整理、读取，每一步都会造成信息损失。

写入是最容易被忽视的环节。过去发生的事很多，未来有用的事很少，而系统在当下根本不知道哪一条会在未来变得关键。越来越多系统开始在写入阶段加入门控机制，目的不是"多记"，而是"别记错"。

一条没有类型、来源、时间、置信度的记忆，只是文本碎片。只有带上这些元信息，它才真正进入了一个可治理的系统。

Memory 的第一道败局，通常不是读错，而是写脏。 把噪声、猜测、过时状态和真正有价值的信息混在一起，后面检索再精准也是在垃圾堆里翻找。

写完之后就是整理——更接近"真正记忆工作"的阶段。合并去重、冲突调解、衰减归档、标记失效。关键在于系统是否把记忆看成有生命周期的状态对象，而不是一堆永远平铺、永不失效的文本条目。

Memory 真正难的地方不是“留下来”，而是让旧版本以正确的方式退场。不会整理的系统，不是在积累智慧，是在积累误解。

读取是最后一个环节。检索出来的东西不是“系统记住的事实”，只是系统判断“可能有用”的过去片段。成熟的读取不是一次向量搜索，而更像一条管线：混合召回、重排序、过滤、预算裁剪。系统不是在“还原过去”，而是在“为当前任务重构一个可行动的过去版本”。写入、整理、读取连在一起，真正揭示的是：Memory 从来不是对过去的保存，而是对过去的持续再解释。

---

"破电话"效应：记错了比记不住更致命

几乎所有 Memory 系统最终都会撞上一个根本问题：系统该更信任原始材料，还是更信任派生材料？

原始材料忠实于事实，但太散太碎，缺乏可操作性。派生材料——摘要、画像、偏好标签——紧凑可用，但已经不是"发生了什么"，而是"系统认为发生了什么"。

更危险的是，派生材料会继续喂养新的派生材料。一段内容被反复改写、反复总结、反复拿来生成新的总结，信息就会系统性漂移——先丢掉语气，再丢掉语境，然后是边界条件和时间限定。最后系统留下来的可能不再是真相，而是一个越来越顺口、越来越不可靠的版本。

对 Memory 系统来说，记不住最多是缺失。记错了还以为自己记得很清楚，才是真正的污染。

所以严肃的 Memory 系统必须同时持有原始材料和派生材料，并在两者之间建立可回溯、可校验的路径。如果没有证据层，系统会漂。如果没有派生层，系统会钝。两者彼此牵制，才是高质量架构。

---

遗忘比记住更重要

删掉原始消息，不等于删掉摘要。删掉摘要，也不等于删掉由它提取的偏好——后者早已悄悄影响过行为策略和决策模式。

所以 Forget 不是 Delete，是一场谱系清算——追溯这条信息去过哪里、变成过什么、影响过哪些派生物。

一个不会忘的系统，会越来越被旧版本困住——用失效的理解解释现在，用过期的偏好指导未来。表面上"记得很多"，实际上在不断积累错误的自我理解。

好的 Memory 从来不是"永不遗忘"，而是拥有高质量的遗忘能力：让重要的留下，让失效的退场，让历史可审计，但不再统治现在。

---

终点不是档案，是能力

Memory 的终极形态是什么？

不是更大的存储，不是更快的检索。是 Skills——程序性记忆的外化。

经验最初只是"发生过"，被反思之后变成"总结过"，被反复验证之后最终变成"会做了"。这条路径已经有清晰的学术脉络：Reflexion（失败经验→自我修正）、ExpeL（成功经验→规则提取）、ReMe（记忆→可复用能力）这一类工作，都在回答同一个问题——经历如何不只是被保存，而是被提炼成下一次行动可直接调用的能力。

Memory 走到这里，才完成了最重要的一次跃迁：从"记得"变成"会了"。

---

长上下文不是记忆，检索增强也不是。真正的 Memory 处理的不是"怎么保存过去"，是过去如何进入现在，并且不毁掉未来。

Memory 不是存档，是时间中的状态治理。