模型與研究國際

史丹佛 Memorilla：把大模型記憶壓縮進 16 個 token

史丹佛託管的 Memorilla 把整個文件集合壓縮成 16 個記憶 token，供凍結的 LLM 使用，在 FactKG 上達到 84.33%，超越完整上下文。

nullbot 編輯部發布於 2026年11月15日閱讀約 4 分鐘資料來源 (2)

其他語言简体中文 العربية Deutsch Nederlands 한국어 日本語 Français Español Português (Brasil)Português (Portugal)English

一名技術人員帶著筆記型電腦在資料中心的伺服器機架旁工作 — Derrick Coetzee from Berkeley, CA, USA · CC0 · Wikimedia Commons

託管在 memory.stanford.edu 的研究專案發表了 Memorilla，這是一套記憶系統，可把整個文件集合壓縮成 16 個「記憶 token」，供凍結的大型語言模型使用。根據 2026 年 10 月 15 日發表在 arXiv 上的論文，該方法在八項基準中的五項上優於包括 Mem0 與 MemoRAG 在內的比較基線，同時給模型的 token 遠少於完整上下文提示。

Memorilla 是什麼，解決什麼問題？

凍結的 LLM 指訓練結束後權重不再更新的模型。要運用新知識，例如使用者過往對話、長文件或智慧代理先前的操作，它只能讓這些資訊進入上下文視窗。根據 arXiv 摘要，現有記憶系統要為每次查詢蒐集並整合所需資訊，同時又讓上下文保持簡短，仍然很困難。

如專案頁面所述，Memorilla 的做法是把「記住」和「回想」分開。一個凍結的編碼器把每份新文件，例如一段對話或一個書籍章節，存成 embedding（數值向量）。每遇到一個問題，經過學習的記憶槽會讀取問題與整個儲存庫，並變成記憶 token，由凍結的 LLM 與問題一起讀取。只有這個記憶模組接受訓練，分階段進行：先是改寫維基百科，再到通用問答與摘要，最後是各基準的訓練集，專案頁面如是說。

專案頁面列出四項設計要求：

存取整個集合：每次查詢讀取全部內容，而不是預先挑選的幾段文字；
隨查詢而變的回想：記憶回傳的內容取決於問題；
固定的 token 預算：無論集合多大，模型收到的記憶 token 數量都相同；
可重複使用的 embedding：每份文件只編碼一次，儲存庫成長時無須重新編碼過去的內容。

與完整上下文和 RAG 相比表現如何？

根據專案頁面，所有被比較的方法都透過同一個凍結的 Qwen3-8B 作答。Memorilla 取得最高平均分 49.68，在八項基準中領先五項，同時給模型的文件 token 平均比完整上下文少 394 倍。頁面強調，這個平均值混合了不同的指標。

最突出的結果來自事實查核基準 FactKG。根據 arXiv 摘要，Memorilla 的準確率為 84.33%，高於完整上下文推論的 80.43%，而表示來源文件所用的 token 少 108 倍。專案頁面說明，該成績涵蓋 9,041 條測試主張；當主張組合的事實越來越多時，RAG-50 基線從 78.7% 降到 51.8%，而 Memorilla 始終維持在 80% 以上。

專案頁面公布的其他數據：

個人化測試 PersonaMem-v2：簡短回答準確率為 44.60%，最強基線 xRAG 為 30.90%；完整上下文為 27.92%，所用文件 token 多 1,974 倍；
LaMP-7：ROUGE-L 從無記憶時的 43.13 升至 48.37；
TriviaQA：精確比對得分最高，為 57.0，文件 token 比完整上下文少 743 倍；
NarrativeQA：token 比完整上下文最多少 4,212 倍；
延遲：在 512 份文件下比完整上下文低 27 倍，在單張 H100-80GB 上以 Qwen3-8B、批次大小 1 端到端量測。

頁面本身提到兩點保留。PersonaMem-v2 與 PersonalizationV4 還接受了針對各基準的額外微調，而 RAG 基線的延遲並未量測。

Memorilla 與 RAG 有何不同？

檢索增強生成（RAG）會挑選幾段文字，並把原文貼進提示。根據專案頁面，RAG 與 Memorilla 可以共用同樣的文件 embedding 和同一個凍結 LLM，但 Memorilla 會讀取整個集合，因此能把與問題只有微弱相似的資訊連結起來。同一頁面稱，在八項基準的幾何平均下，它使用的文件 token 比 RAG-50 少 113 倍。

其中的取捨被坦率說明。RAG 把它選中的原文交給模型，適合答案是可在原文中直接找到的名稱的問題。在 NarrativeQA 上，Memorilla 相對 RAG-50 的優勢主要出現在「為什麼」和「怎麼」類問題，而 RAG-50 在「誰」和「哪一個」類問題上更好；專案頁面指出，固定數量的記憶 token 可能遺失精確名稱等細節。

它能幫助 AI 智慧代理記住事情嗎？

arXiv 摘要還測試了智慧代理的持續學習，其文件數量隨每一回合增加。在 TextWorld 環境中，一個凍結的 Qwen3-4B 代理最多探索 65 個房間，要在 50 回合內完成任務；根據專案頁面，Memorilla 把它的歷史壓縮成八個透過強化學習訓練的記憶 token。論文稱，該代理在已探索房間之間的徘徊減少，平均成功率從使用完整歷史進行上下文學習時的 18.6% 升至 24.2%。

這對企業意味著什麼

對於在無法重新訓練的開放模型上建構助理的企業，這項結果指出一條路徑：以固定的提示成本，讓模型擁有關於客戶或文件的長期記憶。目前它仍屬研究：結果來自作者自己的基準與 Qwen3 模型，我們能讀到的來源也沒有說明授權條款或正式上線的工具。臺灣的團隊不妨用自己的資料，把它與簡單的 RAG 流程比較，尤其是在精確名稱與數字重要的場景。