Memorilla, de Stanford, reduz a memória de um LLM a 16 tokens

Investigadores de um projeto alojado em memory.stanford.edu apresentaram o Memorilla, um sistema de memória que condensa uma coleção inteira de documentos em 16 «tokens de memória» para um grande modelo de linguagem congelado. Segundo o artigo publicado no arXiv a 15 de outubro de 2026, a abordagem supera as referências de comparação, entre elas Mem0 e MemoRAG, em cinco de oito testes, e entrega ao modelo muito menos tokens do que um prompt de contexto completo.

O que é o Memorilla e que problema resolve?

Um LLM congelado é um modelo cujos pesos já não são atualizados depois do treino. Para usar conhecimento novo, como conversas passadas de utilizadores, documentos longos ou ações anteriores de um agente, só pode receber essa informação na janela de contexto. Segundo o resumo do arXiv, reunir e combinar a informação de que cada pedido precisa sem alongar esse contexto continua a ser difícil para os sistemas de memória existentes.

O Memorilla aborda isto separando lembrar de recuperar, como explica a página do projeto. Um codificador congelado guarda cada documento recebido, por exemplo uma conversa ou um capítulo de livro, como um embedding, um vetor numérico. Para cada pergunta, ranhuras de memória aprendidas leem a pergunta e todo o repositório e tornam-se tokens de memória que o LLM congelado lê juntamente com a pergunta. Só este módulo de memória é treinado, em etapas que vão da paráfrase da Wikipédia a perguntas e respostas gerais e resumos, e depois aos conjuntos de treino dos testes, segundo a página do projeto.

A página do projeto enumera quatro requisitos de conceção:

• acesso a toda a coleção: cada pedido lê o conjunto, não alguns excertos pré-selecionados;
• recuperação dependente do pedido: o que a memória devolve varia conforme a pergunta;
• orçamento fixo de tokens: o modelo recebe os mesmos poucos tokens de memória, por maior que seja a coleção;
• embeddings reutilizáveis: cada documento é codificado uma só vez, e o repositório cresce sem recodificar o passado.

Que desempenho tem face ao contexto completo e ao RAG?

Todos os métodos comparados respondem através do mesmo Qwen3-8B congelado, segundo a página do projeto. O Memorilla obtém a pontuação média mais alta, 49,68, e lidera em cinco de oito testes, entregando ao modelo em média 394 vezes menos tokens de documentos do que o contexto completo. A página sublinha que esta média combina métricas diferentes.

O resultado principal é o do FactKG, um teste de verificação de factos. O Memorilla chega a 84,33% de exatidão contra 80,43% da inferência com contexto completo, usando 108 vezes menos tokens para representar os documentos de origem, segundo o resumo do arXiv. A página do projeto especifica que a nota abrange 9041 afirmações de teste e que, quando as afirmações combinam mais factos, a referência RAG-50 desce de 78,7% para 51,8%, enquanto o Memorilla se mantém acima de 80%.

Outros números publicados na página do projeto:

• PersonaMem-v2, um teste de personalização: 44,60% de exatidão em resposta curta contra 30,90% da melhor referência, xRAG; o contexto completo chega a 27,92% com 1974 vezes mais tokens de documentos;
• LaMP-7: o ROUGE-L sobe de 43,13 sem memória para 48,37;
• TriviaQA: melhor correspondência exata, 57,0, com 743 vezes menos tokens de documentos do que o contexto completo;
• NarrativeQA: até 4212 vezes menos tokens do que o contexto completo;
• latência: 27 vezes inferior à do contexto completo com 512 documentos, medida de ponta a ponta numa H100-80GB com Qwen3-8B e tamanho de lote 1.

Há duas ressalvas na própria página. O PersonaMem-v2 e o PersonalizationV4 recebem um ajuste fino adicional específico de cada teste, e a latência da referência RAG não foi medida.

Em que difere o Memorilla do RAG?

A geração aumentada por recuperação (RAG) seleciona alguns excertos e cola o texto exato no prompt. Segundo a página do projeto, RAG e Memorilla podem partilhar os mesmos embeddings de documentos e o mesmo LLM congelado, mas o Memorilla lê toda a coleção e consegue ligar informação que só vagamente se assemelha à pergunta. Na média geométrica dos oito testes, usa 113 vezes menos tokens de documentos do que o RAG-50, segundo a mesma página.

A contrapartida é declarada abertamente. O RAG entrega ao modelo o texto exato que seleciona, o que serve perguntas cuja resposta é um nome encontrado literalmente. No NarrativeQA, o Memorilla ganha mais ao RAG-50 nas perguntas «porquê» e «como», enquanto o RAG-50 vence em «quem» e «qual», e a página do projeto observa que um número fixo de tokens de memória pode perder detalhes finos, como nomes exatos.

Pode ajudar os agentes de IA a lembrar-se?

O resumo do arXiv testa também a aprendizagem contínua em agentes, cujo número de documentos cresce a cada turno. Num ambiente TextWorld, um agente Qwen3-4B congelado explora até 65 salas para cumprir uma missão em 50 turnos, e o Memorilla condensa o seu histórico em oito tokens de memória treinados por aprendizagem por reforço, segundo a página do projeto. O artigo relata que o agente vagueia menos entre salas já exploradas e que a sua taxa média de sucesso sobe de 18,6%, com aprendizagem em contexto sobre todo o histórico, para 24,2%.

O que muda para uma empresa

Para uma empresa que constrói assistentes sobre um modelo aberto que não pode retreinar, o resultado aponta uma forma de dar ao modelo uma memória longa de clientes ou documentos com custo de prompt constante. Por ora é investigação: os resultados vêm dos testes dos autores e de modelos Qwen3, e as fontes que conseguimos ler não detalham a licença nem as ferramentas de produção. Uma equipa em Portugal faria bem em compará-lo, com os seus próprios dados, com um pipeline RAG simples, sobretudo onde nomes e números exatos contam.