Memorilla von Stanford: LLM-Gedächtnis in nur 16 Tokens

Forschende hinter einem auf memory.stanford.edu gehosteten Projekt haben Memorilla vorgestellt, ein Gedächtnissystem, das eine ganze Dokumentensammlung auf 16 „Memory-Tokens“ für ein eingefrorenes großes Sprachmodell verdichtet. Laut dem am 15. Oktober 2026 auf arXiv veröffentlichten Paper schlägt der Ansatz die Vergleichsverfahren, darunter Mem0 und MemoRAG, in fünf von acht Tests und gibt dem Modell deutlich weniger Tokens als ein Prompt mit vollem Kontext.

Was ist Memorilla und welches Problem löst es?

Ein eingefrorenes LLM ist ein Modell, dessen Gewichte nach dem Training nicht mehr aktualisiert werden. Neues Wissen, etwa frühere Nutzergespräche, lange Dokumente oder frühere Aktionen eines Agenten, kann es nur nutzen, indem es diese Informationen in seinem Kontextfenster erhält. Laut der arXiv-Zusammenfassung bleibt es für bestehende Gedächtnissysteme schwierig, die für jede Anfrage nötigen Informationen zu sammeln und zu kombinieren und dabei den Kontext kurz zu halten.

Memorilla geht das an, indem es Merken und Abrufen trennt, wie die Projektseite erklärt. Ein eingefrorener Encoder speichert jedes eingehende Dokument, etwa ein Gespräch oder ein Buchkapitel, als Embedding, einen numerischen Vektor. Für jede Frage lesen gelernte Gedächtnis-Slots die Frage und den gesamten Speicher und werden zu Memory-Tokens, die das eingefrorene LLM zusammen mit der Frage liest. Nur dieses Gedächtnismodul wird trainiert, in Stufen vom Paraphrasieren von Wikipedia über allgemeine Fragebeantwortung und Zusammenfassung bis zu den Trainingsdaten der Benchmarks, so die Projektseite.

Die Projektseite nennt vier Entwurfsanforderungen:

• Zugriff auf die ganze Sammlung: Jede Anfrage liest alles, nicht nur ein paar vorab gewählte Passagen;
• anfrageabhängiger Abruf: Was das Gedächtnis liefert, hängt von der Frage ab;
• ein festes Token-Budget: Das Modell erhält stets dieselben wenigen Memory-Tokens, egal wie groß die Sammlung wird;
• wiederverwendbare Embeddings: Jedes Dokument wird nur einmal kodiert, der Speicher wächst also ohne Neukodierung der Vergangenheit.

Wie schneidet es gegenüber vollem Kontext und RAG ab?

Alle verglichenen Methoden antworten laut Projektseite über dasselbe eingefrorene Qwen3-8B. Memorilla erzielt den höchsten Durchschnittswert, 49,68, und führt in fünf von acht Benchmarks, während es dem Modell im Mittel 394-mal weniger Dokument-Tokens gibt als der volle Kontext. Die Seite betont, dass dieser Mittelwert unterschiedliche Metriken zusammenfasst.

Das Spitzenergebnis betrifft FactKG, einen Benchmark zur Faktenprüfung. Memorilla erreicht laut arXiv-Zusammenfassung 84,33 % Genauigkeit gegenüber 80,43 % bei Inferenz mit vollem Kontext und braucht dafür 108-mal weniger Tokens zur Darstellung der Quelldokumente. Die Projektseite präzisiert, dass der Wert 9.041 Testbehauptungen umfasst und dass die Basislinie RAG-50 bei Behauptungen mit mehr verknüpften Fakten von 78,7 % auf 51,8 % fällt, während Memorilla über 80 % bleibt.

Weitere Zahlen von der Projektseite:

• PersonaMem-v2, ein Personalisierungstest: 44,60 % Genauigkeit bei Kurzantworten gegenüber 30,90 % für die stärkste Basislinie xRAG; der volle Kontext erreicht 27,92 % mit 1.974-mal mehr Dokument-Tokens;
• LaMP-7: Der ROUGE-L-Wert steigt von 43,13 ohne Gedächtnis auf 48,37;
• TriviaQA: bester Exact-Match-Wert mit 57,0, bei 743-mal weniger Dokument-Tokens als der volle Kontext;
• NarrativeQA: bis zu 4.212-mal weniger Tokens als der volle Kontext;
• Latenz: 27-mal niedriger als beim vollen Kontext mit 512 Dokumenten, durchgängig gemessen auf einer H100-80GB mit Qwen3-8B bei Batch-Größe 1.

Zwei Einschränkungen nennt die Seite selbst. PersonaMem-v2 und PersonalizationV4 erhalten ein zusätzliches, benchmarkspezifisches Feintuning, und die Latenz der RAG-Basislinie wurde nicht gemessen.

Worin unterscheidet sich Memorilla von RAG?

Retrieval-Augmented Generation (RAG) wählt einige Passagen aus und fügt deren genauen Text in den Prompt ein. Laut Projektseite können RAG und Memorilla dieselben Dokument-Embeddings und dasselbe eingefrorene LLM nutzen, doch Memorilla liest die ganze Sammlung und kann so Informationen verbinden, die der Frage nur schwach ähneln. Im geometrischen Mittel über die acht Benchmarks nutzt es laut derselben Seite 113-mal weniger Dokument-Tokens als RAG-50.

Der Kompromiss wird offen benannt. RAG gibt dem Modell den genauen Text, den es auswählt, was zu Fragen passt, deren Antwort ein wörtlich auffindbarer Name ist. Bei NarrativeQA gewinnt Memorilla gegenüber RAG-50 vor allem bei „Warum“- und „Wie“-Fragen, während RAG-50 bei „Wer“ und „Welche“ vorn liegt; die Projektseite merkt an, dass eine feste Zahl von Memory-Tokens feine Details wie exakte Namen verlieren kann.

Kann es KI-Agenten beim Erinnern helfen?

Die arXiv-Zusammenfassung testet auch kontinuierliches Lernen bei Agenten, deren Dokumentenzahl mit jedem Zug wächst. In einer TextWorld-Umgebung erkundet ein eingefrorener Qwen3-4B-Agent bis zu 65 Räume, um eine Aufgabe in 50 Zügen zu lösen; Memorilla verdichtet seinen Verlauf laut Projektseite in acht per Reinforcement Learning trainierte Memory-Tokens. Das Paper berichtet, der Agent irre weniger zwischen bereits erkundeten Räumen umher und seine durchschnittliche Erfolgsquote steige von 18,6 % mit In-Context-Lernen über den gesamten Verlauf auf 24,2 %.

Was das für ein Unternehmen ändert

Für ein Unternehmen, das Assistenten auf einem offenen Modell baut, das es nicht nachtrainieren kann, deutet das Ergebnis einen Weg an, dem Modell ein langes Gedächtnis über Kunden oder Dokumente bei konstanten Prompt-Kosten zu geben. Vorerst ist es Forschung: Die Ergebnisse stammen aus den Benchmarks der Autoren und von Qwen3-Modellen, und die lesbaren Quellen nennen weder Lizenz noch Produktionswerkzeuge. Ein Team in Deutschland sollte es mit den eigenen Daten gegen eine einfache RAG-Pipeline testen, besonders dort, wo exakte Namen und Zahlen zählen.