Memorilla van Stanford perst LLM-geheugen in slechts 16 tokens

Onderzoekers achter een project op memory.stanford.edu hebben Memorilla gepresenteerd, een geheugensysteem dat een hele documentverzameling samenperst tot 16 "geheugentokens" voor een bevroren groot taalmodel. Volgens het op 15 oktober 2026 op arXiv geplaatste artikel verslaat de aanpak de vergelijkingsmethoden, waaronder Mem0 en MemoRAG, op vijf van de acht tests en geeft het het model veel minder tokens dan een prompt met volledige context.

Wat is Memorilla en welk probleem lost het op?

Een bevroren LLM is een model waarvan de gewichten na de training niet meer worden bijgewerkt. Nieuwe kennis, zoals eerdere gesprekken van gebruikers, lange documenten of eerdere acties van een agent, kan het alleen gebruiken als die informatie in het contextvenster terechtkomt. Volgens de samenvatting op arXiv blijft het voor bestaande geheugensystemen lastig om de informatie die elke vraag nodig heeft te verzamelen en te combineren zonder die context lang te maken.

Memorilla pakt dit aan door onthouden en terughalen te scheiden, zoals de projectpagina uitlegt. Een bevroren encoder slaat elk binnenkomend document, bijvoorbeeld een gesprek of een boekhoofdstuk, op als embedding, een numerieke vector. Voor elke vraag lezen aangeleerde geheugenslots de vraag en de hele opslag en worden ze geheugentokens die het bevroren LLM samen met de vraag leest. Alleen deze geheugenmodule wordt getraind, in stappen van het parafraseren van Wikipedia via algemene vraagbeantwoording en samenvatten naar de trainingssets van de benchmarks, aldus de projectpagina.

De projectpagina noemt vier ontwerpeisen:

• toegang tot de hele verzameling: elke vraag leest alles, niet enkele vooraf gekozen passages;
• vraagafhankelijke terugroep: wat het geheugen teruggeeft hangt van de vraag af;
• een vast tokenbudget: het model krijgt altijd dezelfde paar geheugentokens, hoe groot de verzameling ook wordt;
• herbruikbare embeddings: elk document wordt één keer gecodeerd, zodat de opslag groeit zonder het verleden opnieuw te coderen.

Hoe presteert het tegenover volledige context en RAG?

Alle vergeleken methoden antwoorden volgens de projectpagina via hetzelfde bevroren Qwen3-8B. Memorilla haalt de hoogste gemiddelde score, 49,68, en leidt op vijf van de acht benchmarks, terwijl het het model gemiddeld 394 keer minder documenttokens geeft dan volledige context. De pagina benadrukt dat dit gemiddelde verschillende metrieken combineert.

Het kopresultaat betreft FactKG, een benchmark voor feitencontrole. Memorilla haalt volgens de arXiv-samenvatting 84,33 % nauwkeurigheid tegenover 80,43 % bij inferentie met volledige context, met 108 keer minder tokens om de brondocumenten weer te geven. De projectpagina specificeert dat de score 9.041 testbeweringen omvat en dat de RAG-50-basislijn bij beweringen met meer samengestelde feiten daalt van 78,7 % naar 51,8 %, terwijl Memorilla boven 80 % blijft.

Andere cijfers van de projectpagina:

• PersonaMem-v2, een personalisatietest: 44,60 % nauwkeurigheid bij korte antwoorden tegenover 30,90 % voor de sterkste basislijn, xRAG; volledige context haalt 27,92 % met 1.974 keer meer documenttokens;
• LaMP-7: de ROUGE-L stijgt van 43,13 zonder geheugen naar 48,37;
• TriviaQA: beste exacte overeenkomst met 57,0, met 743 keer minder documenttokens dan volledige context;
• NarrativeQA: tot 4.212 keer minder tokens dan volledige context;
• latentie: 27 keer lager dan bij volledige context met 512 documenten, end-to-end gemeten op één H100-80GB met Qwen3-8B bij batchgrootte 1.

Twee kanttekeningen staan op de pagina zelf. PersonaMem-v2 en PersonalizationV4 krijgen extra, benchmarkspecifieke fine-tuning, en de latentie van de RAG-basislijn is niet gemeten.

Waarin verschilt Memorilla van RAG?

Retrieval-augmented generation (RAG) kiest een paar passages en plakt hun exacte tekst in de prompt. Volgens de projectpagina kunnen RAG en Memorilla dezelfde document-embeddings en hetzelfde bevroren LLM delen, maar Memorilla leest de hele verzameling en kan daardoor informatie koppelen die slechts zwak op de vraag lijkt. In het meetkundig gemiddelde over de acht benchmarks gebruikt het volgens dezelfde pagina 113 keer minder documenttokens dan RAG-50.

De afweging wordt openlijk benoemd. RAG geeft het model de exacte tekst die het kiest, wat past bij vragen waarvan het antwoord een letterlijk te vinden naam is. Bij NarrativeQA wint Memorilla vooral van RAG-50 bij "waarom"- en "hoe"-vragen, terwijl RAG-50 wint bij "wie" en "welke", en de projectpagina merkt op dat een vast aantal geheugentokens fijne details zoals exacte namen kan verliezen.

Kan het AI-agenten helpen onthouden?

De arXiv-samenvatting test ook continu leren bij agenten, waarvan het aantal documenten bij elke beurt groeit. In een TextWorld-omgeving verkent een bevroren Qwen3-4B-agent tot 65 kamers om een opdracht in 50 beurten te volbrengen, waarbij Memorilla zijn geschiedenis volgens de projectpagina samenperst tot acht geheugentokens die met reinforcement learning zijn getraind. Het artikel meldt dat de agent minder ronddoolt tussen reeds verkende kamers en dat zijn gemiddelde slagingspercentage stijgt van 18,6 % met in-context leren over de volledige geschiedenis naar 24,2 %.

Wat dit verandert voor een bedrijf

Voor een bedrijf dat assistenten bouwt op een open model dat het niet kan bijtrainen, wijst het resultaat op een manier om het model een lang geheugen over klanten of documenten te geven tegen constante promptkosten. Voorlopig is het onderzoek: de resultaten komen uit de benchmarks van de auteurs en van Qwen3-modellen, en de bronnen die we konden lezen vermelden geen licentie of productietools. Een team in Nederland of België doet er goed aan het met eigen data te vergelijken met een eenvoudige RAG-pijplijn, vooral waar exacte namen en cijfers tellen.