The sleep framework: A new way for LLMs to retain knowledge in continual learning

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Research의 sleep framework는 LLM이 활성 단계와 오프라인 수면 단계를 번갈아 수행하며 단기 기억을 장기 파라미터로 통합하고, 파국적 망각을 완화하면서 새 지식과 추론 능력을 축적하도록 하는 지속 학습 방식이다.

📌 핵심 요약

• Google Research의 Ali Behrouz와 Vahab Mirrokni는 2026년 10월 27일, 배포 후 지식이 대체로 고정되는 LLM과 문맥 창에만 정보를 보존하는 인컨텍스트 학습(ICL)의 한계를 다루는 sleep framework를 소개했다. 활성 단계에서는 입력을 처리하고 단기 기억을 저장하며, 수면 단계에서는 새 입력 처리를 멈추고 기억 통합과 자기 개선을 수행한다.
• 기억 통합은 고정된 모델 아키텍처와 사람이 정한 학습 규칙 안에서 사전 할당된 Mixture-of-Experts(MoE) 메모리 블록을 개방하는 방식으로 진행된다. MoE·Hope 아키텍처의 저랭크 전문가 확장, Generalized Knowledge Distillation(GKD)과 강화학습(RL) 기반 모방 학습으로 단기 기억을 장기 파라미터로 옮긴 뒤 고빈도 임시 파라미터를 초기화한다.
• 꿈꾸기 단계는 MoE 전문가를 무작위로 활성화해 합성 학습 예제를 생성하고, 그래디언트 기반 데이터 선택으로 유용한 예제를 추린 뒤 학습과 평가를 수행한다. 연구진은 이 과정이 지식 영역을 연결하고 학습 방향을 다양화해 더 안정적인 능력 개선을 지원한다고 설명한다.
• 연구진은 지속 번역의 Manchu·Kalamang 다단계 평가에서 성능 하락이 거의 0이었으며, ICL·Cartridges·지도 미세조정(SFT)은 심각한 파국적 망각을 보였다고 보고했다. BABILong에서는 최대 10M 토큰까지 거의 완벽한 확장 성능을 보여 GPT-4·Titans보다 우수했다고 밝혔다.
• 사실 지식 통합에서는 SQuAD 단일 과제 평가 48.9%, 지속 사전학습(CPT) 평가 46.2%를 기록해 기본 모델·SFT·Self-Adapting Language Models(SEAL)를 앞섰다고 보고했다. 수학 추론에서는 AIME 24, AIME 25, HMMT 25 정확도가 각각 79.2%, 69.0%, 46.1%로, SFT·GRPO·OPSD 기준선을 상회했다고 밝혔다.

🧩 주요 포인트

1. 활성 단계와 수면 단계의 주기적 전환 → 문맥 창의 일시적 정보를 장기 파라미터에 축적하는 지속 학습 경로를 제시한다.
2. MoE·Hope 기반 용량 확장과 지식 증류·모방 학습의 결합 → 새 기억을 저장할 공간과 보존할 내용을 함께 조정해 기존 지식의 덮어쓰기를 완화한다.
3. 무작위 전문가 활성화와 그래디언트 기반 예제 선택, 번역·장문·사실·수학 평가 결과 → 기억 보존과 능력 개선을 함께 추구하는 접근의 근거로 제시되지만, 성과는 원문에 보고된 평가 범위에서 해석해야 한다.

🧠 상세 정리

1. 고정된 지식과 파국적 망각이라는 출발점

Google Research의 Ali Behrouz와 Vahab Mirrokni는 2026년 10월 27일 공개한 글에서, 현대 LLM이 사전학습과 인컨텍스트 학습(ICL)으로 높은 성능을 내지만 배포 후에는 대체로 고정된 지식 기준일에 묶여 있다고 지적한다. 새 데이터로 파라미터를 계속 갱신하는 방법은 직관적이지만, 새 과제를 학습하면서 이전 과제의 성능이 크게 떨어지는 파국적 망각을 일으킬 수 있다. 반대로 ICL에만 의존하면 새 정보의 보존 범위가 당장의 문맥 창으로 제한되며, 문맥 세션이 끝나면 획득한 단기 정보도 사라진다. 연구진은 인간이 휴식 중 기억을 처리하고 안정화하는 방식에서 영감을 얻어, 활성 상호작용과 오프라인 기억 통합을 주기적으로 교대하는 sleep framework를 제안한다. 이 접근의 목표는 취약한 단기 문맥을 안정적인 장기 파라미터로 전환해, 새 사실의 습득과 기존 지식의 보존, 복잡한 추론의 개선을 함께 지원하는 것이다.

2. 활성 단계와 수면 단계로 구성된 학습 주기

전통적인 머신러닝은 훈련과 추론을 엄격히 구분하지만, 연구진은 지속적으로 배우고 적응해야 하는 에이전트에서는 이러한 구분이 인위적이라고 설명한다. 활성 단계에서 모델은 입력을 받아 처리하고 상호작용하면서 빠른 단기 기억 구성요소에 임시 정보를 저장하며, 수면 단계에서는 새 입력 처리를 중단하고 내부 계산을 기억 통합과 자기 개선에 집중한다. 여기서 수면·꿈꾸기·자기 개선은 신경과학에서 빌린 표현이며, 실제 동작은 고정된 모델 아키텍처와 사람이 정의한 학습 규칙 안에서 이루어진다. 오프라인 수면 중에는 사전 할당된 MoE 메모리 블록을 개방하고 자체 생성한 연습 예제로 수치 가중치를 갱신하므로, 핵심 코드나 설계를 바꾸는 과정으로 제시되지는 않는다. 연구진은 이 자동화된 사후학습 주기를 통해 배포된 모델이 새로운 사실을 흡수하고 추론 정확도를 높일 수 있다고 설명한다.

3. 기억 통합: 용량 확장과 지식 이전

기억 통합 단계는 인간의 비렘(NREM) 서파 수면이 취약한 기억을 추상화하고 증류해 장기 구조로 옮긴다는 현상에 대응하도록 설계된다. 모델은 MoE와 Hope 아키텍처를 활용해 새 저랭크 전문가를 개방하고 안정적인 저빈도 메모리 블록에 통합함으로써, 기존 파라미터를 교란하지 않고 유입 지식을 저장할 용량을 확보한다. 이어 상향 증류인 지식 시딩을 통해 인컨텍스트 기억 같은 고빈도 계층의 단기 기억을 새로 확장된 장기 파라미터로 옮기며, 이때 GKD와 RL 기반 모방 학습을 결합한다. 온폴리시 증류에서는 확장된 학생 모델이 자체 샘플링한 시퀀스에 대해 교사 분포가 제공하는 토큰별 피드백으로 학습한다. Learning to imitate(LTI)는 교사가 생성한 텍스트의 접두부를 완성할 때 의미적 유사성과 Levenshtein 거리로 측정하는 절대적 유사성에 따라 학생 모델에 보상을 준다. 저빈도 모듈로의 통합이 끝나면 시냅스 가지치기에 해당하는 절차로 고빈도 임시 파라미터를 초기화해, 다음 활성 세션에서 사용할 공간을 확보한다.

4. 꿈꾸기: 합성 경험을 통한 자기 개선

꿈꾸기 단계는 인간의 렘(REM) 수면이 시나리오를 모의하고 의미적 연결과 새로운 신경 경로를 탐색한다는 설명에 대응하는 자율적 자기 개선 과정이다. 합성 데이터 생성 중 MoE 라우터가 평소와 다른 전문가를 무작위로 활성화해, 모델이 서로 다른 지식 영역을 섞고 잠재된 패턴을 찾도록 유도한다. 이렇게 생성한 합성 학습 예제인 꿈은 모두 그대로 학습에 쓰이지 않으며, 그래디언트 기반 데이터 선택을 통해 전체 모델 능력을 높일 잠재력이 큰 예제를 우선적으로 추린다. 원문이 RL 정련으로 소개하는 후속 단계에서는 높은 평가를 받은 꿈 예제로 지도 미세조정을 수행하고, 그 생성 결과가 후속 과제의 성능을 개선하는지 평가한다. 따라서 이 단계의 핵심은 자체 생성 자체에 그치지 않고, 전문가 조합으로 경험을 넓힌 뒤 유용한 예제를 선택해 능력 개선으로 연결하는 데 있다.

5. 기억 통합의 이론: 무엇을 압축해 보존하는가

연구진은 기억 통합과 꿈꾸기가 새 지식을 얻는 대가로 기존 능력을 잃는 단순한 교환을 피할 수 있는 이유를 이론적으로 설명한다. 기억 통합에서 지식 시딩은 구조화된 저랭크 압축 문제로 해석되며, 단기 기억의 모든 세부를 파라미터에 그대로 복사하는 대신 모델 자신의 온폴리시 행동과 학습 목표가 보상하는 의미적 특성을 함께 보존하는 소수의 방향을 찾는다. 온폴리시 증류는 실제 추론에서 모델이 생성할 경로에 통합 과정을 맞춰, 교사 생성 분포만으로 학습할 때 생길 수 있는 불일치를 줄이는 역할을 한다. 의미적 보상은 단순한 토큰 확률 일치보다 의미와 과제 관련 행동을 유지하는 방향을 우선하도록, 보존할 정보의 기준을 바꾼다. 파라미터 확장은 이렇게 선택된 기억을 이미 통합된 지식 위에 덮어쓰지 않고 기록할 수 있는 용량을 제공한다는 것이 연구진의 설명이다.

6. 꿈꾸기의 이론: 학습 방향의 다양화와 선택

꿈꾸기에 관한 이론은 무작위 전문가 활성화와 보상 기반 예제 선택을 학습의 기하학적 구조를 개선하는 장치로 해석한다. 서로 다른 MoE 전문가를 활성화하면 합성 생성 과정에서 탐색하는 그래디언트 방향이 넓어져, 일반적인 활성 단계 데이터만으로 얻는 것보다 풍부한 갱신 후보에 노출될 수 있다. 이후 그래디언트 기반 필터링은 유용한 학습 신호가 큰 합성 경험을 강조하면서, 기반 그래디언트 공간의 구조를 유지하고 정보가 풍부한 방향을 강화한다. 연구진은 이 조합이 소수 방향에 대한 학습의 편중을 줄이고 그래디언트의 조건을 개선해, 능력 정련 과정에서 더 안정적으로 진전할 수 있는 최적화 환경을 만든다고 설명한다. 이 관점에서 꿈꾸기는 단순한 자체 생성 데이터 증강을 넘어, 모델을 개선하는 갱신을 다양화하고 선택하며 통합하는 의도적인 과정으로 제시된다.

7. 지속 번역과 최대 10M 토큰의 장문 평가

원문은 클래스 증분 학습, 지속 번역, 장문 확장, 사실 지식 통합, 수학 추론을 주요 비교 평가 축으로 제시하고, 이어 번역과 장문 처리의 결과를 설명한다. 지속 번역에서는 Manchu와 Kalamang처럼 모델에 생소한 언어를 대상으로 한 다단계 평가에서 sleep framework의 성능 하락이 거의 0이었다고 보고한다. 반면 ICL, Cartridges, 지도 미세조정(SFT)은 순차 학습 중 심각한 파국적 망각을 겪었다는 것이 연구진의 비교 결과다. 장문 이해를 평가하는 BABILong에서는 최대 10M 토큰까지 거의 완벽한 확장 성능을 보였고, GPT-4와 Titans 같은 강력한 기준선보다 우수했다고 밝혔다. 연구진은 이 결과를 수면 중 기억 통합이 긴 문맥의 정보를 파라미터 기억으로 직접 압축하기 때문이라고 설명하며, 이를 단기 입력의 장기 보존 가능성을 보여주는 근거로 제시한다.

8. 사실 지식·수학 추론 성과와 결론

사실 지식 통합에서는 SQuAD와 지속 사전학습(CPT)을 활용한 평가를 소개하며, 단일 과제 평가 48.9%와 CPT 평가 46.2%를 보고한다. 연구진은 새 사실을 통합하면서 기존 모델 표현을 저하시키지 않아 기본 모델, SFT, Self-Adapting Language Models(SEAL)보다 높은 성과를 냈다고 설명한다. 수학 추론에서는 수면 과정을 적용한 기본 모델이 AIME 24에서 79.2%, AIME 25에서 69.0%, HMMT 25에서 46.1%의 정확도를 기록했다고 밝혔다. 이는 SFT, 그룹 상대 정책 최적화(GRPO), 온폴리시 자기 증류(OPSD) 기준선을 상회한 결과로, 연구진은 기억 통합과 모방 학습의 결합이 추론 성능 개선에 기여한다고 해석한다. 결론에서는 활성 학습과 오프라인 휴식의 교대가 단기 기억과 새 기술을 장기 파라미터 구조에 통합하는 경로를 제공하며, 파국적 망각을 피하는 자율적 지속 학습 시스템으로 나아갈 가능성을 제시한다고 주장한다.

🧾 핵심 주장 / 시사점

• sleep framework는 정보의 수용과 장기 저장을 서로 다른 단계로 배치한다. 이에 따라 지속 학습의 핵심 문제를 새 데이터를 접하는 능력뿐 아니라, 언제 어떤 기억을 파라미터에 정착시킬 것인가의 문제로 다룬다.
• 기억 통합에서는 용량 확장과 보존 기준이 상호 보완적이다. 저랭크 전문가가 저장 공간을 제공하고, 온폴리시 증류와 의미적 보상이 그 공간에 남길 행동과 의미를 선택한다.
• 꿈꾸기는 합성 예제의 생성량보다 학습 방향의 다양성과 예제 선택의 유용성에 초점을 둔다. 원문은 이를 번역·장문에서의 기억 보존과 수학 추론에서의 능력 개선을 함께 설명하는 이론적 근거로 제시한다.

✅ 액션 아이템

• 활성 단계와 수면 단계의 역할을 기준으로, ICL의 일시적 정보가 장기 파라미터에 축적되는 과정 검토.
• MoE·Hope 기반 용량 확장과 지식 증류·모방 학습이 기존 지식의 덮어쓰기를 완화하는 방식 검토.
• Manchu·Kalamang, BABILong의 10M 토큰, SQuAD·CPT, AIME 24·AIME 25·HMMT 25 결과를 각 평가 범위에 맞춰 해석.

❓ 열린 질문

• 활성 단계와 수면 단계의 전환 주기는 장기 파라미터의 지식 축적과 파국적 망각 완화에 어떤 영향을 미치는가?
• 사전 할당된 MoE 메모리 블록의 용량은 새 지식을 지속적으로 통합할 수 있는 범위를 어떻게 제한하는가?
• BABILong의 10M 토큰 성과와 AIME 24·AIME 25·HMMT 25의 정확도에서 기억 통합과 꿈꾸기는 각각 얼마나 기여하는가?