模型与研究国际

斯坦福 Memorilla：把大模型记忆压缩进 16 个 token

斯坦福托管的 Memorilla 把整个文档集合压缩成 16 个记忆 token，供冻结的 LLM 使用，在 FactKG 上达到 84.33%，超过完整上下文。

nullbot 编辑部发布于 2026年11月15日阅读约 4 分钟信息来源 (2)

其他语言繁體中文 العربية Deutsch Nederlands 한국어 日本語 Français Español Português (Brasil)Português (Portugal)English

一名技术人员带着笔记本电脑在数据中心的服务器机架旁工作 — Derrick Coetzee from Berkeley, CA, USA · CC0 · Wikimedia Commons

托管在 memory.stanford.edu 的研究项目发布了 Memorilla，这是一个记忆系统，可把整个文档集合压缩成 16 个“记忆 token”，供冻结的大语言模型使用。根据 2026 年 10 月 15 日发布在 arXiv 上的论文，该方法在八项基准中的五项上优于包括 Mem0 和 MemoRAG 在内的对比基线，同时给模型的 token 远少于完整上下文提示。

Memorilla 是什么，解决什么问题？

冻结的 LLM 指训练结束后权重不再更新的模型。要利用新知识，例如用户过往对话、长文档或智能体先前的操作，它只能让这些信息进入上下文窗口。根据 arXiv 摘要，现有记忆系统要为每次查询收集并整合所需信息，同时又让上下文保持简短，仍然很困难。

如项目页面所述，Memorilla 的做法是把“记住”和“回想”分开。一个冻结的编码器把每份新文档，例如一段对话或一个书籍章节，存为 embedding（数值向量）。每遇到一个问题，经过学习的记忆槽会读取问题和整个存储，并变成记忆 token，由冻结的 LLM 与问题一起读取。只有这个记忆模块接受训练，分阶段进行：先是改写维基百科，再到通用问答和摘要，最后是各基准的训练集，项目页面如是说。

项目页面列出四项设计要求：

访问整个集合：每次查询读取全部内容，而不是预先挑选的几段文字；
随查询而变的回忆：记忆返回的内容取决于问题；
固定的 token 预算：无论集合多大，模型收到的记忆 token 数量都相同；
可复用的 embedding：每份文档只编码一次，存储增长时无需重新编码过去的内容。

与完整上下文和 RAG 相比表现如何？

根据项目页面，所有被比较的方法都通过同一个冻结的 Qwen3-8B 作答。Memorilla 取得最高平均分 49.68，在八项基准中领先五项，同时给模型的文档 token 平均比完整上下文少 394 倍。页面强调，这个平均值混合了不同的指标。

最突出的结果来自事实核查基准 FactKG。根据 arXiv 摘要，Memorilla 的准确率为 84.33%，高于完整上下文推理的 80.43%，而表示源文档所用的 token 少 108 倍。项目页面说明，该成绩涵盖 9,041 条测试断言；当断言组合的事实越来越多时，RAG-50 基线从 78.7% 降到 51.8%，而 Memorilla 始终保持在 80% 以上。

项目页面公布的其他数据：

个性化测试 PersonaMem-v2：简短回答准确率为 44.60%，最强基线 xRAG 为 30.90%；完整上下文为 27.92%，所用文档 token 多 1,974 倍；
LaMP-7：ROUGE-L 从无记忆时的 43.13 升至 48.37；
TriviaQA：精确匹配得分最高，为 57.0，文档 token 比完整上下文少 743 倍；
NarrativeQA：token 比完整上下文最多少 4,212 倍；
延迟：在 512 份文档下比完整上下文低 27 倍，在单张 H100-80GB 上以 Qwen3-8B、批大小 1 端到端测得。

页面本身提到两点保留。PersonaMem-v2 和 PersonalizationV4 还接受了针对各基准的额外微调，而 RAG 基线的延迟没有被测量。

Memorilla 与 RAG 有何不同？

检索增强生成（RAG）会挑选几段文字，并把原文贴进提示。根据项目页面，RAG 与 Memorilla 可以共用同样的文档 embedding 和同一个冻结 LLM，但 Memorilla 会读取整个集合，因此能把与问题只有微弱相似的信息联系起来。同一页面称，在八项基准的几何平均下，它使用的文档 token 比 RAG-50 少 113 倍。

其中的取舍被坦率说明。RAG 把它选中的原文交给模型，适合答案是可在原文中直接找到的名称的问题。在 NarrativeQA 上，Memorilla 相对 RAG-50 的优势主要出现在“为什么”和“怎么”类问题，而 RAG-50 在“谁”和“哪一个”类问题上更好；项目页面指出，固定数量的记忆 token 可能丢失精确名称等细节。

它能帮助 AI 智能体记住事情吗？

arXiv 摘要还测试了智能体的持续学习，其文档数量随每一回合增加。在 TextWorld 环境中，一个冻结的 Qwen3-4B 智能体最多探索 65 个房间，要在 50 回合内完成任务；根据项目页面，Memorilla 把它的历史压缩成八个通过强化学习训练的记忆 token。论文称，该智能体在已探索房间之间的徘徊减少，平均成功率从使用完整历史进行上下文学习时的 18.6% 升至 24.2%。

这对企业意味着什么

对于在无法重新训练的开放模型上构建助手的企业，这一结果指出一条路径：以恒定的提示成本，让模型拥有关于客户或文档的长期记忆。目前它仍属研究：结果来自作者自己的基准和 Qwen3 模型，我们能读到的来源也没有说明许可协议或生产工具。中国的团队不妨用自己的数据，把它与简单的 RAG 流水线对比，尤其是在精确名称和数字重要的场景。