Memorilla de Stanford: memoria de LLM en solo 16 tokens

Investigadores de un proyecto alojado en memory.stanford.edu han presentado Memorilla, un sistema de memoria que condensa toda una colección de documentos en 16 «tokens de memoria» para un gran modelo de lenguaje congelado. Según el artículo publicado en arXiv el 15 de octubre de 2026, el enfoque supera a las referencias de comparación, entre ellas Mem0 y MemoRAG, en cinco de ocho pruebas, y entrega al modelo muchos menos tokens que un prompt de contexto completo.

¿Qué es Memorilla y qué problema resuelve?

Un LLM congelado es un modelo cuyos pesos ya no se actualizan tras el entrenamiento. Para usar conocimiento nuevo, como conversaciones pasadas de usuarios, documentos largos o acciones previas de un agente, solo puede recibir esa información en su ventana de contexto. Según el resumen de arXiv, reunir y combinar la información que necesita cada consulta sin alargar ese contexto sigue siendo difícil para los sistemas de memoria actuales.

Memorilla lo aborda separando recordar de recuperar, según explica la página del proyecto. Un codificador congelado guarda cada documento entrante, por ejemplo una conversación o un capítulo de un libro, como un embedding, un vector numérico. Para cada pregunta, unas ranuras de memoria aprendidas leen la pregunta y todo el almacén, y se convierten en tokens de memoria que el LLM congelado lee junto con la pregunta. Solo se entrena este módulo de memoria, en etapas que van de parafrasear Wikipedia a responder preguntas generales y resumir, y luego a los conjuntos de entrenamiento de las pruebas, según la página del proyecto.

La página del proyecto enumera cuatro requisitos de diseño:

• acceso a toda la colección: cada consulta lee el conjunto, no unos pocos pasajes preseleccionados;
• recuerdo dependiente de la consulta: lo que devuelve la memoria varía según la pregunta;
• un presupuesto fijo de tokens: el modelo recibe los mismos pocos tokens de memoria por grande que sea la colección;
• embeddings reutilizables: cada documento se codifica una sola vez, de modo que el almacén crece sin recodificar el pasado.

¿Qué rendimiento tiene frente al contexto completo y el RAG?

Todos los métodos comparados responden mediante el mismo Qwen3-8B congelado, según la página del proyecto. Memorilla obtiene la puntuación media más alta, 49,68, y lidera en cinco de ocho pruebas, mientras da al modelo en promedio 394 veces menos tokens de documentos que el contexto completo. La página subraya que esa media combina métricas distintas.

El resultado principal es el de FactKG, una prueba de verificación de hechos. Memorilla alcanza un 84,33 % de precisión frente al 80,43 % de la inferencia con contexto completo, con 108 veces menos tokens para representar los documentos de origen, según el resumen de arXiv. La página del proyecto precisa que la cifra abarca 9041 afirmaciones de prueba y que, cuando las afirmaciones combinan más hechos, la referencia RAG-50 baja del 78,7 % al 51,8 % mientras Memorilla se mantiene por encima del 80 %.

Otras cifras publicadas en la página del proyecto:

• PersonaMem-v2, una prueba de personalización: 44,60 % de precisión en respuesta corta frente al 30,90 % de la mejor referencia, xRAG; el contexto completo llega al 27,92 % con 1974 veces más tokens de documentos;
• LaMP-7: el ROUGE-L sube de 43,13 sin memoria a 48,37;
• TriviaQA: mejor coincidencia exacta, 57,0, con 743 veces menos tokens de documentos que el contexto completo;
• NarrativeQA: hasta 4212 veces menos tokens que el contexto completo;
• latencia: 27 veces menor que con contexto completo y 512 documentos, medida de extremo a extremo en una H100-80GB con Qwen3-8B y tamaño de lote 1.

Hay dos salvedades en la propia página. PersonaMem-v2 y PersonalizationV4 reciben un ajuste fino adicional específico de cada prueba, y la latencia de la referencia RAG no se midió.

¿En qué se diferencia Memorilla del RAG?

La generación aumentada por recuperación (RAG) selecciona unos pasajes y pega su texto exacto en el prompt. Según la página del proyecto, RAG y Memorilla pueden compartir los mismos embeddings de documentos y el mismo LLM congelado, pero Memorilla lee toda la colección y puede conectar información que solo se parece débilmente a la pregunta. En media geométrica de las ocho pruebas, usa 113 veces menos tokens de documentos que RAG-50, según la misma página.

La contrapartida se declara abiertamente. El RAG entrega al modelo el texto exacto que selecciona, lo que conviene a preguntas cuya respuesta es un nombre hallado literalmente. En NarrativeQA, Memorilla gana más frente a RAG-50 en las preguntas «por qué» y «cómo», mientras que RAG-50 gana en «quién» y «cuál», y la página del proyecto señala que un número fijo de tokens de memoria puede perder detalles finos como los nombres exactos.

¿Puede ayudar a los agentes de IA a recordar?

El resumen de arXiv también prueba el aprendizaje continuo en agentes, cuyo número de documentos crece con cada turno. En un entorno TextWorld, un agente Qwen3-4B congelado explora hasta 65 habitaciones para completar una misión en 50 turnos, y Memorilla condensa su historial en ocho tokens de memoria entrenados con aprendizaje por refuerzo, según la página del proyecto. El artículo indica que el agente deambula menos entre habitaciones ya exploradas y que su tasa media de éxito sube del 18,6 % con aprendizaje en contexto sobre todo el historial al 24,2 %.

Qué cambia para una empresa

Para una empresa que construye asistentes sobre un modelo abierto que no puede reentrenar, el resultado apunta a una forma de dar al modelo una memoria larga de clientes o documentos con un coste de prompt constante. Por ahora es investigación: los resultados proceden de las pruebas de los autores y de modelos Qwen3, y las fuentes que pudimos leer no detallan la licencia ni las herramientas de producción. Un equipo en España o en América Latina haría bien en compararlo, con sus propios datos, con un simple flujo RAG, sobre todo donde importan los nombres y las cifras exactas.