Memorilla, de Stanford, põe a memória de um LLM em 16 tokens

Pesquisadores de um projeto hospedado em memory.stanford.edu apresentaram o Memorilla, um sistema de memória que condensa uma coleção inteira de documentos em 16 "tokens de memória" para um grande modelo de linguagem congelado. Segundo o artigo publicado no arXiv em 15 de outubro de 2026, a abordagem supera as referências de comparação, entre elas Mem0 e MemoRAG, em cinco de oito testes, e entrega ao modelo muito menos tokens do que um prompt de contexto completo.

O que é o Memorilla e que problema ele resolve?

Um LLM congelado é um modelo cujos pesos não são mais atualizados após o treinamento. Para usar conhecimento novo, como conversas passadas de usuários, documentos longos ou ações anteriores de um agente, ele só pode receber essa informação na janela de contexto. Segundo o resumo do arXiv, reunir e combinar a informação de que cada consulta precisa sem alongar esse contexto continua difícil para os sistemas de memória existentes.

O Memorilla enfrenta isso separando lembrar de recuperar, como explica a página do projeto. Um codificador congelado guarda cada documento recebido, por exemplo uma conversa ou um capítulo de livro, como um embedding, um vetor numérico. Para cada pergunta, slots de memória aprendidos leem a pergunta e todo o repositório e viram tokens de memória que o LLM congelado lê junto com a pergunta. Apenas esse módulo de memória é treinado, em etapas que vão da paráfrase da Wikipédia a perguntas e respostas gerais e resumos, e depois aos conjuntos de treinamento dos testes, segundo a página do projeto.

A página do projeto lista quatro requisitos de projeto:

• acesso a toda a coleção: cada consulta lê o conjunto, não alguns trechos pré-selecionados;
• recuperação dependente da consulta: o que a memória devolve varia conforme a pergunta;
• orçamento fixo de tokens: o modelo recebe os mesmos poucos tokens de memória, por maior que seja a coleção;
• embeddings reutilizáveis: cada documento é codificado uma só vez, e o repositório cresce sem recodificar o passado.

Qual o desempenho frente ao contexto completo e ao RAG?

Todos os métodos comparados respondem pelo mesmo Qwen3-8B congelado, segundo a página do projeto. O Memorilla obtém a maior pontuação média, 49,68, e lidera em cinco de oito testes, entregando ao modelo em média 394 vezes menos tokens de documentos do que o contexto completo. A página ressalta que essa média combina métricas diferentes.

O resultado principal é o do FactKG, um teste de verificação de fatos. O Memorilla chega a 84,33% de acurácia contra 80,43% da inferência com contexto completo, usando 108 vezes menos tokens para representar os documentos de origem, segundo o resumo do arXiv. A página do projeto especifica que a nota cobre 9.041 afirmações de teste e que, quando as afirmações combinam mais fatos, a referência RAG-50 cai de 78,7% para 51,8%, enquanto o Memorilla permanece acima de 80%.

Outros números publicados na página do projeto:

• PersonaMem-v2, um teste de personalização: 44,60% de acurácia em resposta curta contra 30,90% da melhor referência, xRAG; o contexto completo chega a 27,92% com 1.974 vezes mais tokens de documentos;
• LaMP-7: o ROUGE-L sobe de 43,13 sem memória para 48,37;
• TriviaQA: melhor correspondência exata, 57,0, com 743 vezes menos tokens de documentos que o contexto completo;
• NarrativeQA: até 4.212 vezes menos tokens que o contexto completo;
• latência: 27 vezes menor que com contexto completo e 512 documentos, medida de ponta a ponta em uma H100-80GB com Qwen3-8B e tamanho de lote 1.

Duas ressalvas constam na própria página. PersonaMem-v2 e PersonalizationV4 recebem um ajuste fino adicional específico de cada teste, e a latência da referência RAG não foi medida.

Em que o Memorilla difere do RAG?

A geração aumentada por recuperação (RAG) seleciona alguns trechos e cola o texto exato no prompt. Segundo a página do projeto, RAG e Memorilla podem compartilhar os mesmos embeddings de documentos e o mesmo LLM congelado, mas o Memorilla lê toda a coleção e consegue ligar informações que só lembram vagamente a pergunta. Na média geométrica dos oito testes, usa 113 vezes menos tokens de documentos que o RAG-50, segundo a mesma página.

A contrapartida é declarada abertamente. O RAG entrega ao modelo o texto exato que seleciona, o que serve a perguntas cuja resposta é um nome encontrado literalmente. No NarrativeQA, o Memorilla ganha mais do RAG-50 nas perguntas "por quê" e "como", enquanto o RAG-50 vence em "quem" e "qual", e a página do projeto observa que um número fixo de tokens de memória pode perder detalhes finos, como nomes exatos.

Ele pode ajudar agentes de IA a lembrar?

O resumo do arXiv também testa o aprendizado contínuo em agentes, cujo número de documentos cresce a cada turno. Em um ambiente TextWorld, um agente Qwen3-4B congelado explora até 65 salas para cumprir uma missão em 50 turnos, e o Memorilla condensa seu histórico em oito tokens de memória treinados por aprendizado por reforço, segundo a página do projeto. O artigo relata que o agente vaga menos entre salas já exploradas e que sua taxa média de sucesso sobe de 18,6%, com aprendizado em contexto sobre todo o histórico, para 24,2%.

O que muda para uma empresa

Para uma empresa que constrói assistentes sobre um modelo aberto que não pode retreinar, o resultado aponta uma forma de dar ao modelo uma memória longa de clientes ou documentos com custo de prompt constante. Por ora é pesquisa: os resultados vêm dos testes dos autores e de modelos Qwen3, e as fontes que conseguimos ler não detalham licença nem ferramentas de produção. Uma equipe no Brasil faria bem em compará-lo, com seus próprios dados, a um pipeline RAG simples, sobretudo onde nomes e números exatos importam.