🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

장시간 실행되는 AI 에이전트의 기억 상실을 막으려면, 메모리를 많이 저장하는 것보다 중요한 결정을 순위화해 필요한 순간에 회수하는 구조적 리콜 정책을 설계해야 한다.

📌 핵심 요점

1. 장기 과제에서는 컨텍스트가 누적될수록 에이전트가 이전 판단과 모순되거나 완료한 작업을 반복하고, 최초 목표에서 이탈하는 컨텍스트 부패가 발생한다.
2. 효과적인 메모리는 단순 저장소가 아니라 핵심 추적 정보, 복수의 리콜 방식, 세션 간 아카이브를 모델 주변의 하네스에서 관리하는 제어 루프다.
3. 동일한 모델을 유지하고 리콜 방식만 비교한 실험에서는 중요도에 따라 결정을 정렬하는 랭크 기반 의사결정 원장이 벡터 유사도 검색보다 높은 성능을 보였다.
4. 관련 정보가 현재 컨텍스트 안에 모두 들어 있으면 메모리는 성능 향상 없이 처리 비용만 늘릴 수 있지만, 오래된 정보가 컨텍스트 창 밖으로 밀려난 장기 과제에서는 정확한 리콜이 중요해진다.
5. 구조적 리콜은 Qwen 27B와 DeepSeek V4 Flash, X-Bench와 Spider V2에서 성능과 비용을 함께 개선했지만, 로컬 평가에는 메모리 용량·배치 지원·실행 시간이라는 현실적 제약이 남는다.

🧩 배경과 문제 정의

장기 과제를 수행하는 AI 에이전트는 컨텍스트가 누적될수록 과거 작업을 잊고 반복하거나 앞선 판단과 모순되며, 최초 질문에서 벗어날 수 있다.

과제의 수행 시간은 길어지는 반면 모델 출시 빈도는 줄어드는 추세이므로, 모델 교체에만 의존하기보다 장기 실행 중 발생하는 컨텍스트 부패를 제어할 메모리 구조가 중요해지고 있다.

로컬 모델은 에이전트 작업과 도구 사용이 가능한 수준에 접근해 비용·데이터·실행 추적을 직접 통제할 수 있지만, 메모리 용량과 느린 평가 속도는 여전히 제약으로 남는다.

🕒 시간순 섹션별 상세정리

1. 장기 작업에서 드러나는 컨텍스트 부패

• 장기 과제의 에이전트는 이전 판단과 모순되거나 이미 끝낸 작업을 반복하고, 최초 질문을 잊어 목표에서 이탈할 수 있다. [00:08]
• 과제의 시간 범위가 길어지고 모델 출시가 줄어드는 상황에서는 장기 실행 중 컨텍스트 부패를 제어하는 일이 우선 과제가 된다. [00:28]
• Coinbase는 로컬 모델 확대와 작업별 라우팅, 캐싱, 컨텍스트 정리, 사용 현황 추적을 병행해 AI 사용량을 늘리면서 비용을 낮췄다. [01:12]

2. 로컬 실험과 메모리 제어 루프

• M3 Ultra의 96GB 메모리와 28코어 CPU에서 4비트 양자화 Qwen 27B와 DeepSeek V4 Flash를 실행했으며, 며칠간의 연속 평가로 계산 부담과 발열이 컸다. [02:39]
• 메모리는 데이터를 쌓아 두는 저장소가 아니라 정보를 쓰고 관리한 뒤 다시 읽는 순환 구조이자 모델 주변의 제어 루프로 정의된다. [03:09]
• 에이전트 자체의 영속 메모리를 없애고, 항상 노출할 핵심 추적 정보와 복수의 리콜 방식, 세션 간 아카이브를 하네스에 배치했다. [03:21]

3. 리콜 정책 사다리와 오라클 기준선

• 무메모리 기준선부터 의미적 유사성으로 정보를 검색하는 벡터 RAG까지 리콜 정책을 단계적으로 비교했다. [04:00]
• 의사결정 원장은 매 턴의 결정을 기록하고 중요도 순위를 부여해 일반적인 유사도 검색보다 구조적인 리콜을 수행한다. [04:16]
• 매 루프에서 정답 메모리를 제공하는 오라클을 기준선으로 두고, 모델은 고정한 채 리콜 블록만 변경해 정책의 효과를 분리했다. [04:26]

4. 컨텍스트 범위에 따라 달라진 메모리 효과

• 문헌 검토 과제에는 74만 2,000개의 유망 물질을 발견했다는 주장과 이후의 철회 자료를 함께 넣어, 많은 헤드라인과 인용 사이의 작은 반증을 찾게 했다. [04:53]
• 논문과 관련 정보가 모두 현재 컨텍스트 안에 있을 때는 메모리가 성능을 높이지 못하고 추가 처리 비용만 발생했다. [05:39]
• X-Bench에서는 124번째 단계의 정답을 500번째 단계에서 다시 요구해 정보가 컨텍스트 창 밖으로 밀려나도록 했고, 이 조건에서는 하네스의 정확한 과거 메모리 회수가 필요했다. [06:20]

5. 랭크 기반 리콜의 우위와 활용 실패

• 68개 질문과 여러 평가 조건·시드를 비교한 결과, 랭크 기반 의사결정 원장이 가장 높은 성능을 보였고 메모리 사용 여부만 판단하는 게이트 방식도 앞섰다. [07:31]
• 오라클이 정답 메모리를 전달해도 모델은 이를 무시하거나 잘못 해석할 수 있어 이론적인 최대 성능에 도달하지 못했다. [08:05]
• 임의 사례, 잘못된 단계, 가장 최근 단계의 메모리를 제공하는 절제 실험에서도 랭크 기반 리콜이 가장 안정적으로 높은 성능을 유지했다. [08:25]

6. 비용 효율과 주권적 메모리 시스템

• 랭크 기반 리콜의 효과는 Qwen 27B와 DeepSeek V4 Flash, X-Bench와 Spider V2에서 이어졌으며, 구조적인 리콜은 잘못된 메모리로 인한 토큰 낭비와 방향 이탈을 줄여 성능과 비용을 함께 개선했다. [08:49]
• 저장할 메모리의 종류, 순위 기준, 검색 함수, 여러 세션 뒤에도 보존할 정보를 설계하고 리콜 정책을 핵심 평가 지표로 삼아야 한다. [09:28]
• 로컬 파이프라인 전체를 통제하면 데이터와 평가의 주권성을 확보할 수 있지만, DeepSeek V4 Flash의 배치 질의 미지원으로 직렬 실행과 장시간 평가가 필요했다. [11:11]

🧾 결론

• 장기 에이전트의 성능은 저장된 정보의 양보다 어떤 정보를 남기고 언제 다시 불러올지를 결정하는 정책에 더 크게 좌우된다.
• 모든 상황에서 메모리를 호출하기보다 현재 컨텍스트의 충분성을 먼저 판단하고, 필요할 때만 중요도 높은 기록을 제공하는 게이트와 랭킹의 조합이 합리적이다.
• 정답 메모리를 제공하는 오라클도 모델의 올바른 해석과 사용을 보장하지 못하므로, 검색 정확도뿐 아니라 회수된 정보를 실제 판단에 반영하는 능력도 평가해야 한다.
• 장기 실행을 안정화하려면 의사결정 기록, 중요도 순위, 검색 함수, 세션 간 보존 기준을 하나의 메모리 시스템으로 함께 설계해야 한다.

📈 투자·시사 포인트

• 에이전트 플랫폼의 경쟁력을 평가할 때 기본 모델의 성능뿐 아니라 장기 과제의 리콜 정확도, 토큰 비용, 목표 이탈률을 핵심 지표로 볼 필요가 있다.
• 작업별 라우팅·캐싱·컨텍스트 정리와 구조적 리콜은 모델 교체 없이도 비용 효율을 높일 수 있어, 모델 주변의 오케스트레이션과 메모리 계층이 중요한 차별화 요소가 될 수 있다.
• 로컬 모델은 데이터와 평가 과정을 직접 통제할 수 있다는 장점이 있지만, 대용량 메모리와 긴 평가 시간, 배치 질의 지원 여부가 실제 도입 비용을 좌우한다.
• 잘못된 메모리는 토큰을 낭비하는 데 그치지 않고 에이전트를 잘못된 방향으로 유도하므로, 메모리 기능의 존재보다 리콜 품질과 실패 통제가 더 중요한 운영 기준이다.

⚠️ 불확실하거나 확인이 필요한 부분

• 68개 질문과 여러 조건·시드를 사용했다는 설명은 있지만, 정책별 정확도·비용·지연 시간의 구체적인 수치가 제시되지 않아 성능 차이의 절대 크기는 확인하기 어렵다.
• 결과가 Qwen 27B, DeepSeek V4 Flash, X-Bench, Spider V2에서도 이어졌지만, 더 다양한 모델·도구·실제 업무 환경에서도 같은 우위가 유지되는지는 추가 검증이 필요하다.
• 오라클이 정답 메모리를 제공해도 모델이 무시하거나 잘못 해석했으므로, 검색 실패와 모델의 활용 실패를 분리해 측정할 방법이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 에이전트의 매 턴에서 결정, 근거, 완료 상태를 기록하고 업무 영향도에 따라 중요도 순위를 부여하는 의사결정 원장을 만든다.
• 현재 컨텍스트만으로 답할 수 있는지를 먼저 판정하고, 부족한 경우에만 메모리를 호출하는 리콜 게이트를 도입한다.
• 동일한 모델과 과제를 고정한 뒤 무메모리, 벡터 RAG, 랭크 기반 원장, 오라클 조건을 비교해 리콜 정책 자체의 효과를 측정한다.
• 초기 단계의 정보를 장시간 뒤 다시 요구하는 평가를 추가해 컨텍스트 창 밖의 기록을 정확히 회수하는지 확인한다.

❓ 열린 질문

• 의사결정의 중요도는 규칙, 모델 판단, 사용자 피드백 가운데 어떤 방식으로 산정해야 장기 과제에서도 안정적인가?
• 정확한 메모리를 회수한 뒤 모델이 이를 무시하거나 오해하는 문제는 프롬프트, 하네스, 별도의 학습형 메모리 모델 중 어디에서 해결해야 하는가?
• 여러 세션이 지난 뒤에도 보존할 정보와 삭제하거나 압축할 정보를 구분하는 기준은 무엇이어야 하는가?