スタンフォードの Memorilla、LLM の記憶を 16 トークンに圧縮

memory.stanford.edu でホストされる研究プロジェクトが、文書コレクション全体を 16 個の「メモリトークン」に圧縮し、凍結された大規模言語モデルに渡す記憶システム Memorilla を公開した。2026 年 10 月 15 日に arXiv へ投稿された論文によると、この手法は Mem0 や MemoRAG を含む比較手法を 8 つのベンチマークのうち 5 つで上回り、フルコンテキストのプロンプトよりはるかに少ないトークンしかモデルに渡さない。

Memorilla とは何で、どんな問題を解くのか

凍結された LLM とは、学習後に重みが更新されないモデルを指す。ユーザーの過去の会話、長い文書、エージェントの過去の行動といった新しい知識を使うには、その情報をコンテキストウィンドウに入れるしかない。arXiv の要旨によれば、各クエリに必要な情報を集めて組み合わせつつコンテキストを短く保つことは、既存の記憶システムにとって依然として難しい。

プロジェクトのページが説明するとおり、Memorilla は「覚えること」と「思い出すこと」を分ける。凍結されたエンコーダが、会話や書籍の章といった新しい文書を、数値ベクトルである埋め込み（embedding）として保存する。質問ごとに、学習済みのメモリスロットが質問と保存領域全体を読み、メモリトークンとなって、凍結された LLM が質問と一緒に読み込む。学習されるのはこのメモリモジュールだけで、Wikipedia の言い換えから、一般的な質問応答と要約を経て、各ベンチマークの学習データへ進む段階式だと、プロジェクトのページは述べている。

プロジェクトのページは 4 つの設計要件を挙げている。

• コレクション全体へのアクセス：各クエリは、事前に選んだ数節ではなく全体を読む。
• クエリに依存する想起：メモリが返す内容は質問によって変わる。
• 固定のトークン予算：コレクションがどれだけ大きくなっても、モデルが受け取るメモリトークンは同じ少数。
• 再利用できる埋め込み：各文書は一度だけエンコードされ、過去を再エンコードせずに保存領域を拡張できる。

フルコンテキストや RAG と比べて性能はどうか

プロジェクトのページによると、比較したすべての手法は同じ凍結済み Qwen3-8B を通して回答する。Memorilla は平均スコア 49.68 で最高となり、8 つのベンチマークのうち 5 つで首位に立ちつつ、モデルに渡す文書トークンはフルコンテキストより平均 394 倍少ない。同ページは、この平均が異なる指標を混ぜたものだと強調している。

目玉の結果は事実検証ベンチマークの FactKG だ。arXiv の要旨によれば、Memorilla の正解率は 84.33% で、フルコンテキスト推論の 80.43% を上回り、元文書を表すトークンは 108 倍少ない。プロジェクトのページは、この数値が 9,041 件のテスト用主張を対象とし、主張が組み合わせる事実が増えるにつれ RAG-50 は 78.7% から 51.8% に低下する一方、Memorilla は 80% 超を保つと明記している。

プロジェクトのページに載る、そのほかの数値は次のとおり。

• 個人化テストの PersonaMem-v2：短答の正解率は 44.60% で、最強の比較手法 xRAG は 30.90%。フルコンテキストは 27.92% で、文書トークンは 1,974 倍多い。
• LaMP-7：ROUGE-L は、記憶なしの 43.13 から 48.37 に上昇。
• TriviaQA：完全一致で最高の 57.0 を記録し、文書トークンはフルコンテキストより 743 倍少ない。
• NarrativeQA：トークンはフルコンテキストより最大 4,212 倍少ない。
• レイテンシ：512 件の文書でフルコンテキストより 27 倍低く、H100-80GB 1 基、Qwen3-8B、バッチサイズ 1 でエンドツーエンドに計測。

同ページ自体に 2 つの留保がある。PersonaMem-v2 と PersonalizationV4 にはベンチマーク固有の追加ファインチューニングが施されており、RAG の比較手法のレイテンシは計測されていない。

Memorilla は RAG とどう違うのか

検索拡張生成（RAG）は数節を選び、その原文をそのままプロンプトに貼り付ける。プロジェクトのページによれば、RAG と Memorilla は同じ文書埋め込みと同じ凍結 LLM を共有できるが、Memorilla はコレクション全体を読むため、質問とわずかにしか似ていない情報同士も結び付けられる。同ページによると、8 つのベンチマークの幾何平均で、文書トークンは RAG-50 より 113 倍少ない。

トレードオフははっきり示されている。RAG は選んだ原文そのものをモデルに渡すため、答えが原文にそのまま現れる名前である質問に向く。NarrativeQA では、Memorilla が RAG-50 に対して最も優るのは「なぜ」「どのように」の質問で、RAG-50 は「誰が」「どれが」の質問で勝つ。プロジェクトのページは、固定数のメモリトークンでは正確な名前のような細部が失われうると指摘している。

AI エージェントの記憶にも役立つのか

arXiv の要旨は、ターンごとに文書数が増えるエージェントの継続学習も検証している。TextWorld 環境で、凍結された Qwen3-4B エージェントは最大 65 の部屋を探索して 50 ターン以内にクエストを達成する。プロジェクトのページによれば、Memorilla はその履歴を、強化学習で訓練した 8 個のメモリトークンに圧縮する。論文は、エージェントが探索済みの部屋の間をさまよう傾向が減り、平均成功率が、履歴全体を使う文脈内学習の 18.6% から 24.2% に上がったと報告している。

企業にとって何が変わるのか

再学習できないオープンなモデルの上でアシスタントを作る企業にとって、この結果は、顧客や文書に関する長い記憶を一定のプロンプトコストでモデルに持たせる道筋を示す。ただし現時点では研究段階だ。結果は著者自身のベンチマークと Qwen3 モデルによるもので、読めた情報源はライセンスや本番向けツールを詳しく述べていない。日本のチームは、自社データで単純な RAG パイプラインと比較してみるとよい。特に、正確な名前や数字が重要な場面ではなおさらだ。