🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Titans와 MIRAS는 실행 중 장기 기억을 선택적으로 갱신하는 방식으로, 매우 긴 문맥을 더 빠르고 정확하게 다루려는 새로운 시퀀스 모델링 접근이다.

📌 핵심 요약

• 글은 Transformer가 attention으로 시퀀스 모델링을 혁신했지만, 문맥 길이가 길어질수록 계산 비용이 급격히 커져 전체 문서 이해나 유전체 분석 같은 초장문 작업에 한계가 있다고 설명한다.
• 기존의 선형 RNN이나 Mamba-2 같은 상태공간모델은 빠른 선형 확장을 제공하지만, 고정 크기 상태에 문맥을 압축하기 때문에 매우 긴 시퀀스의 풍부한 정보를 충분히 담기 어렵다는 문제가 제기된다.
• Titans는 attention 기반 단기 기억과 심층 신경망 형태의 장기 기억 모듈을 결합해, 모델이 실행 중 새 정보를 받아들이며 중요한 내용만 장기 기억에 반영하도록 설계된 구체적 아키텍처다.
• MIRAS는 다양한 시퀀스 모델을 연관 기억 문제로 통합해 보는 이론적 틀이며, 기억 구조, attentional bias, retention gate, 기억 갱신 알고리즘이라는 네 가지 설계 선택으로 모델을 정의한다.
• 실험에서 Titans와 MIRAS 변형 모델들은 언어 모델링, 상식 추론, 유전체 모델링, 시계열 예측, 초장문 회상 벤치마크에서 여러 기준 모델보다 나은 성능과 효율성을 보였고, 200만 토큰을 넘는 문맥 확장 가능성도 제시했다.

🧩 주요 포인트

1. 글은 Transformer가 attention으로 시퀀스 모델링을 혁신했지만, 문맥 길이가 길어질수록 계산 비용이 급격히 커져 전체 문서 이해나 유전체 분석 같은 초장문 작업에 한계가 있다고 설명한다.
2. 기존의 선형 RNN이나 Mamba-2 같은 상태공간모델은 빠른 선형 확장을 제공하지만, 고정 크기 상태에 문맥을 압축하기 때문에 매우 긴 시퀀스의 풍부한 정보를 충분히 담기 어렵다는 문제가 제기된다.
3. Titans는 attention 기반 단기 기억과 심층 신경망 형태의 장기 기억 모듈을 결합해, 모델이 실행 중 새 정보를 받아들이며 중요한 내용만 장기 기억에 반영하도록 설계된 구체적 아키텍처다.
4. MIRAS는 다양한 시퀀스 모델을 연관 기억 문제로 통합해 보는 이론적 틀이며, 기억 구조, attentional bias, retention gate, 기억 갱신 알고리즘이라는 네 가지 설계 선택으로 모델을 정의한다.
5. 실험에서 Titans와 MIRAS 변형 모델들은 언어 모델링, 상식 추론, 유전체 모델링, 시계열 예측, 초장문 회상 벤치마크에서 여러 기준 모델보다 나은 성능과 효율성을 보였고, 200만 토큰을 넘는 문맥 확장 가능성도 제시했다.

🧠 상세 정리

1. Transformer의 장점과 초장문 문맥의 한계

원문은 먼저 Transformer 아키텍처가 attention 메커니즘을 통해 시퀀스 모델링을 크게 바꾸었다고 설명한다. Attention은 모델이 앞선 입력을 다시 살펴보며 관련성이 높은 정보를 우선순위에 두도록 해, 문맥 처리 능력을 크게 높였다. 그러나 시퀀스 길이가 길어질수록 계산 비용이 급격히 증가하기 때문에, 전체 문서 이해나 유전체 분석처럼 매우 긴 문맥을 요구하는 작업에서는 확장성이 제한된다. 이 문제의식이 Titans와 MIRAS가 등장하는 출발점이다.

2. 고정 크기 압축 방식의 문제

연구 커뮤니티는 긴 시퀀스를 더 효율적으로 처리하기 위해 선형 recurrent neural network와 Mamba-2 같은 state space model을 탐구해 왔다. 이러한 모델들은 문맥을 고정 크기 상태로 압축함으로써 빠르고 선형적인 확장을 가능하게 한다. 하지만 원문은 이 고정 크기 압축이 매우 긴 시퀀스 안의 풍부한 정보를 충분히 보존하지 못한다고 지적한다. 즉 속도는 얻을 수 있지만, 긴 문맥 속 중요한 세부 사항과 관계를 잃을 위험이 남아 있다.

3. Titans와 MIRAS의 기본 구상

두 논문에서 제시된 Titans와 MIRAS는 RNN의 속도와 Transformer의 정확성을 함께 얻으려는 접근으로 소개된다. Titans는 구체적인 아키텍처, 즉 실제 도구에 해당하고, MIRAS는 이러한 접근을 일반화하는 이론적 청사진에 해당한다. 두 접근의 핵심은 모델이 실행되는 동안 장기 기억을 유지하고 갱신하는 test-time memorization이다. 특히 예상과 다른 정보, 즉 surprise를 더 강력하게 측정해 별도의 오프라인 재학습 없이 실행 중 새 정보를 핵심 기억에 통합하려 한다.

4. Titans의 장기 기억 모듈

Titans는 인간 두뇌의 단기 기억과 장기 기억 분리에서 착안해, 서로 다르지만 연결된 기억 모듈이 필요하다고 본다. Attention은 정밀한 단기 기억에 강점을 가지는 반면, Titans는 장기 기억을 고정 크기 벡터나 행렬이 아니라 multi-layer perceptron 형태의 심층 신경망으로 둔다. 이 장기 기억 모듈은 더 높은 표현력을 제공해 많은 정보를 요약하면서도 중요한 문맥을 잃지 않도록 설계된다. 원문은 이를 단순히 메모하는 것이 아니라 전체 이야기를 이해하고 종합하는 과정으로 설명한다.

5. surprise metric을 통한 선택적 기억

Titans의 중요한 특징은 모든 입력을 무차별적으로 저장하지 않고, 새 입력이 현재 기억과 얼마나 다른지를 기준으로 장기 기억을 선택적으로 갱신한다는 점이다. 원문은 이를 surprise metric이라고 부르며, 사람이 일상적이고 예상 가능한 사건은 쉽게 잊지만 패턴을 깨는 사건은 더 잘 기억한다는 심리학적 비유를 든다. 모델이 이미 동물 단어를 예상하는 상태에서 'cat'이 들어오면 surprise가 낮아 장기 저장이 덜 필요하다. 반대로 금융 보고서를 요약하던 중 바나나 껍질 이미지처럼 예상 밖 입력이 들어오면 gradient가 커지고, 모델은 이를 중요하거나 비정상적인 정보로 판단해 장기 기억에 우선 반영한다.

6. momentum과 forgetting의 역할

Titans는 surprise 기반 기억 갱신을 더 정교하게 만들기 위해 momentum과 forgetting이라는 두 요소를 추가한다. Momentum은 현재 입력에서 발생한 순간적 surprise뿐 아니라 최근 문맥 흐름에서 이어진 과거 surprise도 함께 고려한다. 이를 통해 어떤 토큰 자체는 강하게 놀랍지 않더라도, 앞서 나타난 중요한 변화와 관련된 후속 정보라면 함께 포착할 수 있다. Forgetting은 adaptive weight decay로 구현되며, 극도로 긴 시퀀스를 다룰 때 장기 기억의 유한한 용량을 관리하는 역할을 한다. 이 메커니즘은 더 이상 필요하지 않은 정보를 버리는 일종의 망각 게이트로 설명된다.

7. MIRAS가 제시하는 통합적 관점

MIRAS는 현대 Transformer부터 빠른 선형 RNN에 이르는 주요 시퀀스 모델의 돌파구를 모두 복잡한 associative memory 모듈로 바라본다. 원문에 따르면 MIRAS의 실용성은 서로 다른 아키텍처를 별개의 것으로 보지 않고, 새 정보와 오래된 기억을 효율적으로 결합하면서 핵심 개념을 잊지 않도록 하는 같은 문제의 해법으로 본다는 데 있다. MIRAS는 모델을 네 가지 설계 선택으로 정의한다. 정보 저장 구조인 memory architecture, 무엇을 우선할지 정하는 attentional bias, 과거 지식을 보존하도록 조절하는 retention gate, 그리고 기억을 갱신하는 memory algorithm이 그것이다.

8. MSE 중심 패러다임을 넘는 변형 모델들

원문은 기존의 성공적인 시퀀스 모델 대부분이 bias와 retention 모두에서 mean squared error 또는 dot-product similarity에 의존해 왔다고 지적한다. 이러한 의존은 모델을 이상치에 민감하게 만들고 표현력을 제한할 수 있다. MIRAS는 최적화와 통계 문헌에서 얻은 더 넓은 설계 공간을 활용해 non-Euclidean objective와 regularization을 탐구할 수 있게 한다. 이 틀에서 YAAD는 Huber loss를 사용해 오타 같은 큰 오류에 덜 민감하도록 설계되었고, MONETA는 generalized norms로 더 엄격한 기억 규칙을 탐구하며, MEMORA는 기억을 확률 지도처럼 제약해 안정적인 갱신을 목표로 한다.

9. 실험 결과와 초장문 문맥 성능

연구진은 Titans와 MIRAS 변형 모델인 YAAD, MONETA, MEMORA를 Transformer++, Mamba-2, Gated DeltaNet 같은 주요 기준 모델과 비교했다. C4와 WikiText 같은 언어 모델링 데이터셋, HellaSwag와 PIQA 같은 zero-shot reasoning 과제에서 더 높은 정확도와 더 나은 perplexity를 일관되게 보였다고 설명한다. 또한 Titans는 DNA 기반 유전체 모델링과 시계열 예측에서도 검증되어 텍스트를 넘어 일반화 가능성을 보였다. 특히 BABILong 벤치마크에서는 매우 긴 문서에 흩어진 사실을 reasoning해야 하는 상황에서 모든 기준 모델을 앞섰고, 더 적은 파라미터로 GPT-4 같은 매우 큰 모델보다 나은 결과를 보였으며 200만 토큰을 넘는 context window로 확장될 수 있음을 보여 주었다.

10. 결론: 실행 중 학습하는 장기 기억

결론에서 원문은 Titans와 MIRAS가 시퀀스 모델링의 중요한 진전이라고 정리한다. Titans는 심층 신경망을 기억 모듈로 사용해 데이터가 들어오는 동안 무엇을 기억할지 학습하게 함으로써, 고정 크기 recurrent state의 한계를 넘어서려 한다. MIRAS는 온라인 최적화, associative memory, 아키텍처 설계 사이의 연결을 드러내는 이론적 통합을 제공한다. 또한 표준적인 Euclidean 패러다임을 넘어서는 설계 공간을 열어, RNN의 효율성과 긴 문맥 시대에 필요한 표현력을 함께 갖춘 새로운 세대의 시퀀스 모델로 이어질 수 있음을 강조한다.

🧾 핵심 주장 / 시사점

• 핵심 변화는 긴 문맥을 단순히 더 크게 저장하는 것이 아니라, 실행 중 어떤 정보가 정말 새롭고 중요한지를 판단해 장기 기억 자체를 갱신하는 방향으로 이동했다는 점이다.
• Titans의 surprise metric, momentum, forgetting 조합은 장기 기억을 무작정 누적하지 않고 선택·연결·폐기하는 과정을 모델 내부의 최적화 문제로 다룬다는 점에서 의미가 있다.
• MIRAS는 개별 모델 성능 개선을 넘어, 기존 시퀀스 모델들을 associative memory 관점에서 재해석하고 새로운 목적함수와 정규화 방식을 탐구할 수 있는 설계 언어를 제공한다.

✅ 액션 아이템

• 초장문 작업에서 attention 처리의 비용 한계를 줄이기 위해 Titans의 단기·장기 기억 결합 구조를 성능-비용 관점에서 우선 적용한다.
• 기존 RNN이나 Mamba-2의 고정 상태 압축 한계를 보완하려고 Titans/MIRAS 장기 갱신 방식을 유사 설정으로 비교한다.
• 언어모델링, 상식추론, 유전체 모델링, 시계열 예측, 초장문 회상 벤치마크에서 Titans와 MIRAS 변형의 성능·효율 우위를 재현해 200만 토큰 구간까지 정량 점검한다.

❓ 열린 질문

• 어떤 문맥 길이 구간에서 Titans의 장기 기억 갱신이 단기 attention만 사용할 때보다 실제 정확도 개선으로 이어지는지 판단할 수 있는가?
• MIRAS의 기억 구조, attentional bias, retention gate, 갱신 알고리즘 각각이 문맥 압축 한계를 줄이는 데 어떤 기여도를 갖는가?
• 200만 토큰 이상 확장 구간에서 Titans와 MIRAS의 성능·효율 우위가 어떤 벤치마크에서 가장 안정적으로 유지되는가?