스탠퍼드 Memorilla, LLM 기억을 16개 토큰으로 압축

memory.stanford.edu에서 호스팅되는 연구 프로젝트가 문서 컬렉션 전체를 16개의 '메모리 토큰'으로 압축해 동결된 대규모 언어 모델에 전달하는 기억 시스템 Memorilla를 공개했다. 2026년 10월 15일 arXiv에 게시된 논문에 따르면 이 방식은 Mem0와 MemoRAG를 포함한 비교 기법을 8개 벤치마크 중 5개에서 앞서며, 전체 컨텍스트 프롬프트보다 훨씬 적은 토큰만 모델에 제공한다.

Memorilla는 무엇이며 어떤 문제를 푸는가

동결된 LLM은 학습이 끝난 뒤 가중치가 더는 갱신되지 않는 모델을 말한다. 사용자의 지난 대화, 긴 문서, 에이전트의 이전 행동 같은 새 지식을 쓰려면 그 정보를 컨텍스트 창에 넣어 줄 수밖에 없다. arXiv 초록에 따르면 각 질의에 필요한 정보를 모으고 결합하면서 컨텍스트를 짧게 유지하는 일은 기존 기억 시스템에 여전히 어렵다.

프로젝트 페이지가 설명하듯 Memorilla는 '기억하기'와 '떠올리기'를 분리한다. 동결된 인코더가 대화나 책의 한 장 같은 새 문서를 수치 벡터인 임베딩(embedding)으로 저장한다. 질문마다 학습된 메모리 슬롯이 질문과 저장소 전체를 읽고 메모리 토큰이 되어, 동결된 LLM이 질문과 함께 읽는다. 학습되는 것은 이 메모리 모듈뿐이며, 위키백과 바꿔 쓰기에서 일반 질의응답과 요약을 거쳐 각 벤치마크의 학습 데이터로 나아가는 단계로 진행된다고 프로젝트 페이지는 밝힌다.

프로젝트 페이지는 네 가지 설계 요건을 든다.

• 컬렉션 전체 접근: 각 질의는 미리 고른 몇 개 구절이 아니라 전체를 읽는다.
• 질의에 따른 회상: 기억이 돌려주는 내용은 질문에 따라 달라진다.
• 고정된 토큰 예산: 컬렉션이 아무리 커져도 모델은 같은 소수의 메모리 토큰을 받는다.
• 재사용 가능한 임베딩: 각 문서는 한 번만 인코딩되므로 과거를 다시 인코딩하지 않고 저장소를 키울 수 있다.

전체 컨텍스트나 RAG와 비교한 성능은 어떤가

프로젝트 페이지에 따르면 비교된 모든 방법은 동일한 동결 Qwen3-8B를 통해 답한다. Memorilla는 평균 점수 49.68로 가장 높고, 8개 벤치마크 중 5개에서 선두이면서 모델에 주는 문서 토큰은 전체 컨텍스트보다 평균 394배 적다. 이 페이지는 이 평균이 서로 다른 지표를 합친 것이라고 강조한다.

대표 결과는 사실 검증 벤치마크 FactKG다. arXiv 초록에 따르면 Memorilla의 정확도는 84.33%로, 전체 컨텍스트 추론의 80.43%를 웃돌며 원문서를 나타내는 토큰은 108배 적다. 프로젝트 페이지는 이 점수가 9,041개 테스트 주장에 대한 것이며, 주장이 결합하는 사실이 늘어날수록 RAG-50은 78.7%에서 51.8%로 떨어지는 반면 Memorilla는 80% 이상을 유지한다고 명시한다.

프로젝트 페이지에 실린 다른 수치는 다음과 같다.

• 개인화 테스트 PersonaMem-v2: 단답 정확도 44.60%로, 가장 강한 비교 기법 xRAG의 30.90%를 앞선다. 전체 컨텍스트는 27.92%이며 문서 토큰은 1,974배 많다.
• LaMP-7: ROUGE-L이 기억 없을 때 43.13에서 48.37로 오른다.
• TriviaQA: 정확 일치 57.0으로 최고이며, 문서 토큰은 전체 컨텍스트보다 743배 적다.
• NarrativeQA: 토큰이 전체 컨텍스트보다 최대 4,212배 적다.
• 지연 시간: 문서 512개에서 전체 컨텍스트보다 27배 낮으며, H100-80GB 한 장, Qwen3-8B, 배치 크기 1에서 종단 간으로 측정했다.

페이지 자체에 두 가지 단서가 있다. PersonaMem-v2와 PersonalizationV4에는 벤치마크별 추가 파인튜닝이 적용되었고, RAG 비교 기법의 지연 시간은 측정되지 않았다.

Memorilla는 RAG와 무엇이 다른가

검색 증강 생성(RAG)은 몇 개 구절을 골라 그 원문을 프롬프트에 그대로 붙여 넣는다. 프로젝트 페이지에 따르면 RAG와 Memorilla는 같은 문서 임베딩과 같은 동결 LLM을 공유할 수 있지만, Memorilla는 컬렉션 전체를 읽으므로 질문과 약하게만 닮은 정보도 연결할 수 있다. 같은 페이지에 따르면 8개 벤치마크의 기하평균에서 문서 토큰이 RAG-50보다 113배 적다.

이 맞바꿈은 솔직하게 밝혀져 있다. RAG는 고른 원문을 그대로 모델에 주므로, 답이 원문에 그대로 나오는 이름인 질문에 알맞다. NarrativeQA에서 Memorilla가 RAG-50보다 가장 크게 앞서는 것은 '왜'와 '어떻게' 질문이고, '누가'와 '어느 것' 질문에서는 RAG-50이 이긴다. 프로젝트 페이지는 고정된 수의 메모리 토큰이 정확한 이름 같은 세부 정보를 잃을 수 있다고 지적한다.

AI 에이전트가 기억하는 데도 도움이 되는가

arXiv 초록은 턴마다 문서 수가 늘어나는 에이전트의 지속 학습도 시험한다. TextWorld 환경에서 동결된 Qwen3-4B 에이전트는 최대 65개 방을 탐색해 50턴 안에 퀘스트를 완수해야 하며, 프로젝트 페이지에 따르면 Memorilla는 그 기록을 강화학습으로 훈련한 8개의 메모리 토큰으로 압축한다. 논문은 에이전트가 이미 탐색한 방들 사이를 헤매는 경향이 줄고, 평균 성공률이 전체 기록을 쓰는 인컨텍스트 학습의 18.6%에서 24.2%로 오른다고 보고한다.

기업에는 무엇이 달라지는가

재학습할 수 없는 오픈 모델 위에 어시스턴트를 만드는 기업에게 이 결과는, 고객이나 문서에 대한 긴 기억을 일정한 프롬프트 비용으로 모델에 주는 길을 시사한다. 다만 현재로서는 연구 단계다. 결과는 저자들의 자체 벤치마크와 Qwen3 모델에서 나온 것이고, 우리가 읽을 수 있었던 출처는 라이선스나 상용 도구를 자세히 밝히지 않는다. 한국의 팀이라면 자체 데이터로 단순한 RAG 파이프라인과 비교해 보는 것이 좋으며, 정확한 이름과 숫자가 중요한 곳에서는 특히 그렇다.