Memorilla de Stanford : une mémoire de LLM en 16 jetons seulement

Des chercheurs à l'origine d'un projet hébergé sur memory.stanford.edu ont dévoilé Memorilla, un système de mémoire qui condense toute une collection de documents en 16 « jetons de mémoire » pour un grand modèle de langage gelé. Selon l'article déposé sur arXiv le 15 octobre 2026, l'approche devance les références de comparaison, dont Mem0 et MemoRAG, sur cinq des huit tests, tout en fournissant au modèle bien moins de jetons qu'un prompt en contexte complet.

Qu'est-ce que Memorilla et quel problème résout-il ?

Un LLM gelé est un modèle dont les poids ne sont plus mis à jour après l'entraînement. Pour exploiter une connaissance nouvelle, comme d'anciennes conversations d'utilisateurs, de longs documents ou les actions passées d'un agent, il n'a qu'un moyen : recevoir ces informations dans sa fenêtre de contexte. Selon le résumé arXiv, réunir et combiner les informations utiles à chaque requête tout en gardant ce contexte court reste difficile pour les systèmes de mémoire existants.

Memorilla s'y attaque en séparant mémoriser et se rappeler, comme l'explique la page du projet. Un encodeur gelé stocke chaque document entrant, par exemple une conversation ou un chapitre de livre, sous forme d'embedding, un vecteur numérique. Pour chaque question, des emplacements de mémoire appris lisent la question et tout le stock, puis deviennent des jetons de mémoire que le LLM gelé lit avec la question. Seul ce module de mémoire est entraîné, par étapes allant de la paraphrase de Wikipédia à la réponse aux questions générales et au résumé, puis aux jeux d'entraînement des tests, selon la page du projet.

La page du projet énumère quatre exigences de conception :

• un accès à toute la collection : chaque requête lit l'ensemble, pas quelques passages présélectionnés ;
• un rappel dépendant de la requête : ce que la mémoire renvoie varie selon la question ;
• un budget de jetons fixe : le modèle reçoit le même petit nombre de jetons de mémoire, quelle que soit la taille de la collection ;
• des embeddings réutilisables : chaque document est encodé une seule fois, le stock grandit donc sans ré-encoder le passé.

Quelles performances face au contexte complet et au RAG ?

Toutes les méthodes comparées répondent via le même Qwen3-8B gelé, selon la page du projet. Memorilla obtient le meilleur score moyen, 49,68, et mène sur cinq des huit tests, tout en donnant au modèle en moyenne 394 fois moins de jetons de documents que le contexte complet. La page souligne que cette moyenne mêle des métriques différentes.

Le résultat phare concerne FactKG, un test de vérification de faits. Memorilla atteint 84,33 % de précision contre 80,43 % pour l'inférence en contexte complet, avec 108 fois moins de jetons pour représenter les documents sources, selon le résumé arXiv. La page du projet précise que ce score porte sur 9 041 affirmations de test et que, lorsque les affirmations combinent plus de faits, la référence RAG-50 passe de 78,7 % à 51,8 % tandis que Memorilla reste au-dessus de 80 %.

Autres chiffres publiés sur la page du projet :

• PersonaMem-v2, un test de personnalisation : 44,60 % de précision en réponse courte contre 30,90 % pour la meilleure référence, xRAG ; le contexte complet atteint 27,92 % avec 1 974 fois plus de jetons de documents ;
• LaMP-7 : le ROUGE-L passe de 43,13 sans mémoire à 48,37 ;
• TriviaQA : meilleure correspondance exacte, à 57,0, avec 743 fois moins de jetons de documents que le contexte complet ;
• NarrativeQA : jusqu'à 4 212 fois moins de jetons que le contexte complet ;
• latence : 27 fois inférieure au contexte complet avec 512 documents, mesurée de bout en bout sur un H100-80GB avec Qwen3-8B en taille de lot 1.

Deux réserves figurent sur la page elle-même. PersonaMem-v2 et PersonalizationV4 reçoivent un réglage fin supplémentaire propre à chaque test, et la latence de la référence RAG n'a pas été mesurée.

En quoi Memorilla diffère-t-il du RAG ?

La génération augmentée par récupération (RAG) sélectionne quelques passages et colle leur texte exact dans le prompt. Selon la page du projet, RAG et Memorilla peuvent partager les mêmes embeddings de documents et le même LLM gelé, mais Memorilla lit toute la collection et peut donc relier des informations qui ne ressemblent que faiblement à la question. En moyenne géométrique sur les huit tests, il utilise 113 fois moins de jetons de documents que RAG-50, d'après la même page.

Le compromis est annoncé franchement. Le RAG donne au modèle le texte exact qu'il sélectionne, ce qui convient aux questions dont la réponse est un nom trouvé tel quel. Sur NarrativeQA, Memorilla gagne surtout sur RAG-50 pour les questions « pourquoi » et « comment », tandis que RAG-50 l'emporte sur « qui » et « lequel », et la page du projet note qu'un nombre fixe de jetons de mémoire peut perdre des détails fins comme les noms exacts.

Peut-il aider les agents IA à se souvenir ?

Le résumé arXiv teste aussi l'apprentissage continu d'agents, dont le nombre de documents augmente à chaque tour. Dans un environnement TextWorld, un agent Qwen3-4B gelé explore jusqu'à 65 pièces pour mener une quête en 50 tours, Memorilla condensant son historique en huit jetons de mémoire entraînés par apprentissage par renforcement, selon la page du projet. L'article rapporte que l'agent erre moins entre des pièces déjà explorées et que son taux de réussite moyen passe de 18,6 % avec un apprentissage en contexte sur tout l'historique à 24,2 %.

Ce que ça change pour une entreprise

Pour une entreprise qui bâtit des assistants sur un modèle ouvert qu'elle ne peut pas réentraîner, ce résultat suggère un moyen de donner au modèle une longue mémoire de clients ou de documents à coût de prompt constant. À ce stade, il s'agit de recherche : les résultats viennent des tests des auteurs et de modèles Qwen3, et les sources que nous avons pu lire ne détaillent ni la licence ni l'outillage de production. Une équipe en France ou en Europe gagnerait à le comparer, sur ses propres données, à un simple pipeline RAG, surtout là où les noms et les chiffres exacts comptent.