How AI Agent Memory Works: MemGPT & Memory Types
Quick Summary
AI 에이전트 메모리는 기억의 유형에 맞춰 정보를 저장·검색·갱신하는 구조이며, MemGPT는 LLM이 도구로 컨텍스트와 외부 기억을 관리하는 대표 사례다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
AI 에이전트 메모리는 기억의 유형에 맞춰 정보를 저장·검색·갱신하는 구조이며, MemGPT는 LLM이 도구로 컨텍스트와 외부 기억을 관리하는 대표 사례다.
📌 핵심 요점
- 기억은 기능과 저장 위치를 구분해서 이해해야 한다. 작업 기억은 현재 컨텍스트, 일화 기억은 과거 대화·행동 기록, 의미 기억은 사실·선호, 절차 기억은 수행 방법이다. 단기·장기 구분과 모델 가중치·외부 컨텍스트 구분은 여기에 추가되는 별도의 관점이다.
- MemGPT의 핵심은 계층화와 관리 도구다. 컨텍스트에는 시스템 지시, 수정 가능한 working context, 대화 FIFO 큐가 들어간다. 큐에서 밀려난 대화는 recall storage에서 문자열로 검색하고, 장기 사실과 문서는 벡터 기반 archival storage에서 찾는다. LLM이 기억 수정과 검색을 주로 결정하지만, 대화 이동은 큐 관리자가 담당한다. MemoryOS는 별도 워크플로와 접근 빈도 등을 활용해 기억을 선별·이동한다.
- 경험을 재사용 가능한 절차와 성찰로 바꾸면 효율을 높일 수 있다. Voyager는 성공한 코드를 스킬로 저장하고, Agent Workflow Memory는 성공한 행동 궤적에서 공통 절차를 추출한다. 스킬 파일은 필요한 순간에 읽고 수정할 수 있는 절차 기억이다. 다만 환경 변화에 따른 갱신과 중복 관리가 필요하며, 추상화 과정의 정보 손실에 대비해 원본 기록을 보존할 가치도 있다.
- 검색 성공이 답변이나 행동의 성공을 보장하지 않는다. LoCoMo에서는 더 많은 기억을 회수해도 과도한 문맥 때문에 답변 정확도가 낮아지는 조건이 나타났다. Memory Arena에서는 메모리 에이전트가 비교 대상보다 낮은 성적을 보였지만, 실패 원인을 모두 메모리에 돌릴 수는 없다. 평가는 정확도뿐 아니라 지연 시간, 비용, 실제 제약 준수까지 함께 봐야 한다.
- 메모리의 품질은 최신성·관련성·신뢰성·공개 범위에 달려 있다. 오래된 선호와 절차를 수정하고, 승인 조건이 압축 과정에서 사라지지 않도록 해야 한다. 오염된 기억은 행동을 바꿀 수 있으며, 개인 정보를 부적절한 상대에게 공개하거나 관련 없는 질문에 억지로 적용하는 문제도 있다.
🧩 배경과 문제 정의
- 장기간 실행되거나 여러 세션에 걸쳐 작동하는 에이전트는 이전 지침과 목표를 유지해야 한다. 기억을 저장했더라도 필요한 순간에 검색하거나 적용하지 못하면 잘못된 행동으로 이어질 수 있다.
- 메모리가 없으면 작업 절차를 반복해서 설명해야 하고, 사용자 선호와 승인 조건이 사라지며, 진행 중인 프로젝트의 목표와 상태도 잃을 수 있다.
- 메모리 설계에는 무엇을 저장할지, 언제 저장·검색할지, 어떤 저장소와 검색 방식을 사용할지에 대한 선택이 필요하다. 긴 컨텍스트와 RAG도 이 문제와 연결된다.
🕒 시간순 섹션별 상세정리
1. 저장된 규칙의 미적용과 압축 중 지시 유실은 행동 오류로 계속된다
- 회사를 운영하던 Luna 에이전트는 직원 지각에 대응하는 규정을 직접 작성했지만, 실제 지각 통보에는 문제없다고 답했다. 이런 일이 여러 번 반복됐다는 사례는 기억의 저장만으로 규칙 적용이 보장되지 않음을 보여준다 [00:19]
- 받은편지함을 확인하고 보관·삭제할 대상을 제안하라는 요청은 긴 입력의 압축 과정에서 핵심 지시가 사라지면서 실제 이메일 삭제로 바뀌었다. 장기 실행 에이전트에는 작업 내용뿐 아니라 행동의 제한 조건을 유지하는 메모리가 필요하다 [01:09]
2. 메모리 부재는 절차·지식·진행 상태를 잃게 한다
- GPU 실험 실행 절차를 기억하지 못하면 매번 실행 방법을 다시 설명하거나 코드베이스에서 관련 스크립트를 찾아야 한다. 절차를 보존하면 이후에는 실험을 실행하라는 요청만으로 기존 방법을 재사용할 수 있다 [02:53]
- 이메일 삭제나 실험 비용 지출 전에 확인을 받으라는 조건은 세션을 넘어 유지해야 하는 사용자 지침이다. 이런 선호와 규칙을 지속적으로 저장할 수단이 필요하다 [03:33]
3. 개인화에는 선호 갱신이, 경험 학습에는 하위 작업 재사용이 필요하다
- 이탈리아 음식을 좋아하던 사용자가 이후 글루텐 알레르기와 지중해 음식에 대한 관심을 알렸다면, 추천은 최신 정보를 반영해야 한다. 예전 선호만 기억하면 파스타를 추천할 수 있지만, 변경 사항을 반영하면 해산물 요리 같은 대안을 제시할 수 있다 [04:46]
- Agent Workflow Memory의 예시에서는 장소 이름으로 위치를 찾는 방법을 기억해 두고, 이후 장소 간 경로를 계획하는 작업의 하위 절차로 재사용한다 [05:21]
4. 작업 기억은 현재 컨텍스트이고, 일화 기억은 과거 행동 기록이다
- Cognitive Architectures for Language Agents의 인지 구조는 기억을 절차 기억, 의미 기억, 일화 기억, 작업 기억으로 구분한다. 이는 인간 인지에 대한 유추를 바탕으로 에이전트 내부를 나누는 틀이다 [06:52]
- 작업 기억은 일반적으로 컨텍스트 윈도에 해당한다. 관찰, 목표, 사용자 입력, 내부 추론처럼 에이전트가 현재 보고 판단하며 행동하는 정보가 여기에 들어간다 [08:00]
5. 의미 기억은 사실을, 절차 기억은 수행 방법을 저장한다
- 의미 기억은 세계에 관한 사실, 사용자 선호, 일반 지식을 포함한다. 사용자의 자녀와 그 관심사를 기억하는 사례뿐 아니라 Wikipedia에서 사실을 검색하는 것도 의미 기억으로 볼 수 있다 [09:44]
- 절차 기억은 작업을 수행하는 방법과 에이전트의 스킬에 해당한다. 브랜드 색상을 PowerPoint에 적용하는 스킬 파일처럼 필요한 행동과 적용 방법을 설명하는 자료가 예시다 [10:41]
6. 원본 일화 기록은 추상화 과정에서 빠진 정보를 복구하는 근거다
- 과거 상호작용에서 사실이나 절차를 추출하는 과정에는 정보 손실이 생길 수 있다. 무엇을 기억할지 잘못 선택했더라도 원본 로그를 보존하면 나중에 다시 검색할 수 있다 [12:08]
- 수행 방법을 설명한 절차보다 실제 수행 사례가 더 유용할 때도 있다. 다만 절차 기억이 항상 설명 형태인 것은 아니며, 기억 유형 사이의 경계도 명확하게 고정돼 있지는 않다 [12:43]
7. RAG와 긴 컨텍스트도 메모리 관리의 필요성을 없애지는 않는다
- RAG는 메모리와 대립하는 개념이 아니다. 메모리 시스템의 기반으로 RAG를 사용하는 경우가 많으며, 저장된 정보를 검색해 컨텍스트에 넣는 방식으로 연결된다 [13:27]
- 장기 실행 작업은 수천만·수억 토큰 규모에 이를 수 있다. 수십억 토큰 이상을 사용하는 경우도 가능성으로 언급되지만, 프런티어 연구소의 실제 사용량을 확인한 사실로 제시되지는 않는다 [13:51]
8. 도메인별 설계와 단기·장기 구분은 기억 유형에 추가되는 관점이다
- 특정 분야에서 중요한 개체와 관계를 정하고 그에 맞는 지식 그래프와 검색 방식을 설계하면 도메인에 특화된 메모리를 만들 수 있다. 일반적인 기억 유형만으로 모든 응용의 저장 구조가 결정되지는 않는다 [15:00]
- 일화·의미·절차라는 분류는 단기·장기 기억 구분과 별개의 관점이다. 일화 기억을 반드시 단기 기억으로 볼 필요는 없으며, 이어진 보충 설명에서는 작업 기억이 기능적으로 단기 기억에 해당한다고 정리한다 [16:09]
9. 파라미터 기억과 컨텍스트 기억은 정보가 저장되는 위치로 구분된다
- 파라미터 기억은 모델 가중치에 내장된 정보다. 사전학습으로 습득한 사실은 의미 지식에, 지시를 따르는 능력은 절차 지식에 해당하며, 파인튜닝으로 지식과 스킬을 추가할 수 있다 [17:03]
- 일화 기억이 가중치에 들어갈 수 있는지는 논쟁의 여지가 있다. 이 구분에서는 일화 기억을 일반적으로 가중치에 내장되는 기억으로 취급하지 않지만, 엄밀하게는 반론이 가능하다 [17:43]
10. 기억 충돌과 학습 방식의 선택에는 확정적인 단일 규칙이 없다
- 컨텍스트와 가중치의 정보가 충돌하면 일반적으로 컨텍스트가 우선할 수 있지만, 보장되지는 않는다. 특정 내용이 강하게 파인튜닝돼 있다면 컨텍스트로 덮어쓰지 못할 수도 있다 [18:42]
- 소량의 사실을 보존하려면 컨텍스트 방식이 대체로 유용하다. 사실을 가중치에 기억시키려면 수천 개 이상의 문서가 필요할 수 있고, 환각 등으로 정보가 손실될 가능성도 있다 [19:33]
11. 메모리 아키텍처는 무엇을·언제·어떻게 저장하고 검색할지 결정한다
- 저장 대상에는 사실, 절차, 대화가 포함된다. 경험·지식·스킬 중 무엇을 보존하고 다시 가져올지가 아키텍처의 첫 번째 선택이다 [21:20]
- 저장과 검색은 에이전트의 도구 호출, 대화를 관찰하는 백그라운드 메모리 작업자, 특정 이벤트로 실행할 수 있다. MemGPT는 컨텍스트가 차오르거나 사용자 요청이 들어오는 상황을 메모리 동작의 계기로 삼는다 [21:50]
12. 파일 시스템은 폴더 계층과 기존 명령으로 기억을 관리한다
- 기억을 파일로 저장하면 폴더와 하위 디렉터리가 기본적인 계층을 제공한다. 에이전트는
grep,ls같은 기존 명령으로 기억을 탐색하고 읽고 쓸 수 있다 [23:12] - 지침·스킬 파일은 절차 기억을, 지식 파일은 의미 기억을, 과거 대화 원문을 모은 디렉터리는 일화 기억을 담을 수 있다. 하나의 스킬 파일에 브랜드 색상이라는 사실과 적용 방법이 함께 들어가듯 유형이 겹치기도 한다 [23:48]
13. 데이터베이스는 유사도·메타데이터·용어에 따라 기억을 검색한다
- 벡터 데이터베이스는 찾는 내용과 기억 사이의 유사도로 검색할 수 있다. SQLite 같은 데이터베이스에서는 SQL 질의와 저장된 메타데이터를 활용해 기억을 찾을 수 있다 [24:20]
- 특정 용어가 포함된 문서를 찾는 데에는 BM25를 사용할 수 있다. 임베딩 기반 검색을 비롯해 RAG에서 사용하는 검색 기법들이 메모리 저장과 검색에도 적용된다 [24:51]
14. Zep은 대화에서 개체와 관계를 추출하고 커뮤니티로 묶는다
- Zep의 기억 계층은 에피소드, 개체, 커뮤니티로 구성된다. 언어 모델이 대화에서 개체와 관계를 추출해 지식 그래프를 만든다 [25:09]
- 사촌이 사용자의 개를 좋아한다는 대화에서는 사촌과 개를 개체로 만들고 둘 사이의 관계를 기록할 수 있다. 그래프가 커지면 연결이 많은 개체를 묶고 요약을 작성해, 검색 시 관련 개체를 찾는 데 활용한다 [25:46]
15. 저장 방식의 선택은 응용과 검색 지연의 요구에 달려 있다
- 어떤 저장 방식이 가장 효과적이거나 빠른지는 응용에 따라 달라진다. 파일 시스템을 주고 모델이 직접 기억을 관리하게 하는 단순한 구성이 유용하다는 견해가 제시되지만, 보편적인 우위로 확정되지는 않는다 [27:25]
- 파일 시스템에서는 에이전트가 여러 명령을 실행하고 결과를 해석하며 다음 행동을 결정하므로 지연이 생길 수 있다. 기억 검색 속도에 대한 요구가 커지면 다른 저장·검색 시스템과의 절충을 검토하게 된다 [27:49]
16. MemGPT는 문서와 대화에 서로 다른 검색 방식을 적용한다
- MemGPT에서는 문서를 임베딩해 검색하는 반면, 대화는 전체 텍스트로 유지하고 정확한 문자열을 찾아볼 수 있게 한다 [28:55]
- 전체 텍스트 검색과 임베딩 검색의 선택은 만들려는 응용과 사용 목적에 따라 달라진다. 모든 경우에 적용할 답이 정해져 있지는 않으며, 일부는 여전히 열린 설계 문제다 [29:18]
17. 지식 그래프는 관계 탐색으로 검색 단계의 역할을 넓힌다
- 지식 그래프는 엔터티 사이의 관계를 이용해 그래프 탐색 알고리즘이나 Graph RAG로 연결된 정보를 찾을 수 있다. 단순 조회보다 검색 과정에 더 많은 처리를 넣을 수 있다 [30:18]
- 에이전트의 기반 모델에 계산을 모두 맡기는 대신 검색 과정으로 일부 부담을 옮기려는 경우, 지식 그래프가 유용한 선택이 될 수 있다 [30:41]
18. Voyager는 실행에 성공한 코드를 절차적 기억으로 축적한다
- Voyager는 마인크래프트에서 탐험을 촉진하는 과제를 정하고, 자바스크립트 기반 라이브러리로 실행할 코드를 작성한다. 나무 채집이나 좀비 전투가 이러한 과제의 사례다 [31:50]
- 코드를 실행한 뒤 게임의 관찰과 성공 여부를 피드백으로 사용한다. 실패하면 프로그램을 수정하고, 성공하면 스킬 라이브러리에 저장한 뒤 다음 과제를 정한다 [32:48]
19. Voyager의 스킬 재사용은 성능을 높이지만 의미상 중복을 막지는 못한다
- 검색은 질의와 키의 정확한 일치가 아니라 임베딩 유사도에 의존한다. 동일한 스킬 이름은 중복 저장을 막지만, 이름이 조금 다르면 같은 기능을 수행하는 스킬이 여러 개 남을 수 있다 [34:58]
- 스킬 라이브러리를 사용한 Voyager는 프롬프트 반복 102회 만에 다이아몬드 도구 제작에 도달했다. 라이브러리가 없는 경우에는 철 도구까지만 도달했으며, 스킬을 재사용하는 경우 각 과제를 해결하는 반복과 시도도 줄었다 [35:47]
20. Agent Workflow Memory는 성공한 행동 궤적에서 공통 절차를 추출한다
- 컴퓨터 사용 에이전트는 클릭과 스크롤 등의 행동으로 작업을 수행하고, 성공 여부를 평가한다. 성공한 행동 궤적들에서 재사용할 수 있는 공통 패턴을 워크플로로 추출하며, 이 논문에서는 임베딩 검색 없이 컨텍스트에 저장한다 [36:52]
- 하위 상품 분류를 탐색하기 전에 상위 분류에 마우스를 올리는 순서처럼, 경험에서 얻은 절차를 시스템 프롬프트에 추가한다. 쇼핑·Reddit·지도 등의 평가에서는 사람이 설계한 워크플로와 비슷하거나 일부 경우 더 나은 성능을 보였고, 초기 사례를 거치며 정확도가 높아졌다 [38:39]
21. 스킬 파일은 필요할 때 읽는 절차적 기억이며 갱신이 필요하다
- 사람이나 에이전트가 작성한
skill.md를 파일 시스템에 저장하고, 필요할 때 컨텍스트로 읽어 들일 수 있다. 초기 컨텍스트에는 각 스킬의 이름과 설명을 넣고, 에이전트가 작업에 맞는 파일을 선택해 읽는다 [41:21] - 이 방식은 파일을 만들고 그 존재를 알려주는 것만으로 절차를 관리할 수 있다. 모델은 파일을 읽은 뒤 그 내용을 어떻게 행동에 적용할지 판단한다 [42:49]
22. MemGPT는 컨텍스트와 외부 저장소를 계층으로 나눈다
- MemGPT의 핵심은 LLM에 자신의 기억을 관리하는 도구를 제공하는 것이다. 컨텍스트는 시스템 지시, 수정 가능한 working context, 대화 이력을 담는 FIFO 큐로 구성된다. 여기서 working context는 모델이 보는 전체 컨텍스트를 뜻하는 working memory의 일부다 [44:16]
- 대화가 추가되어 컨텍스트가 길어지면 가장 오래된 메시지부터 제거된다. 제거한 메시지는 recall storage로 보내며, 이 저장소에서는 정확한 문자열 검색을 사용할 수 있다 [44:58]
23. MemGPT는 도구로 사실을 수정하고 외부 기억을 검색한다
- 사용자의 생일과 연인 이름을 working context에 추가하고, 이후 결별 사실이 나오면 기존 내용을 교체할 수 있다. Archival storage에 저장하는 도구도 있지만, 대화 메시지를 recall storage로 옮기는 작업은 큐 관리자가 담당한다 [46:05]
- 과거 대화가 필요하면 관련 문자열로 recall storage를 검색한다. Six Flags를 검색해 그곳에서 James를 만났다는 대화를 찾아내는 사례처럼, 현재 대화와 과거 경험을 연결할 수 있다 [47:09]
24. 검색어 선택은 LLM이 맡고 문맥 수정은 캐시 비용을 만든다
- 별도의 개체명 인식 시스템이 숨어 있는 것은 아닌 것으로 이해되며, 검색할 엔터티는 LLM이 선택한다. Six Flags 사례에서는 모델이 검색어를 정한 뒤 recall storage에 정확한 텍스트 일치 검색을 수행하며, BM25 같은 방식도 사용할 수 있다 [48:23]
- 컨텍스트 일부를 다시 쓰면 KV 캐시가 무효화되어 갱신이 필요하다. 따라서 이러한 기억 수정 방식은 KV 캐시 활용에 그다지 유리하지 않을 수 있다 [48:56]
25. MemGPT의 검색 성능은 모델이 가져올 기억을 선택하는 데서 나온다
- 여러 모델을 대상으로 한 deep memory retrieval 평가에서 기억 기능을 추가한 경우 성능이 개선됐다. 일반적인 RAG에서는 가져오는 문서가 많아질수록 컨텍스트 품질이 떨어질 수 있지만, MemGPT는 도구를 통해 모델이 검색을 결정한다 [50:10]
- 제시된 결과에서 MemGPT는 소수의 문서만 가져오는 방식보다도 높은 정확도를 보였다. 다만 검색 문서 수를 고정한 비교가 아니므로 도표 해석에는 주의가 필요하며, 문서 수 증가에도 성능이 영향을 받지 않는다는 것은 이상적인 목표로 드러난다 [50:24]
26. MemoryOS는 유용성과 접근 빈도에 따라 기억을 계층 사이로 옮긴다
- MemoryOS는 단기 기억, 중기 기억, 장기 페르소나 기억을 구분한다. 오래된 메시지는 단기 기억의 FIFO 큐로 이동하고, 분석과 편집을 거쳐 중기 기억에 넣을지 결정한다 [51:21]
- 유용한 기억을 선별해 저장하고, 접근 빈도가 일정 수준을 넘으면 장기 페르소나 기억에도 보관한다. 기억을 얼마나 자주 사용하는지가 계층 이동의 기준이 된다 [51:45]
27. 기억 시스템 평가는 정확도·지연 시간·비용을 함께 다룰 표준이 부족하다
- 일부 공통 벤치마크와 지연 시간을 보고하는 논문은 있지만, 기억 시스템 전반에 통용되는 표준 평가 지표는 아직 정착하지 않았다. 현재는 벤치마크별 과제 정확도를 보고하는 경우가 많다 [52:30]
- 지연 시간과 비용 등 여러 관심 지표를 같은 기준으로 측정하는 폭넓은 비교가 필요하다. 관련 연구가 빠르게 등장하는 상황에서 이러한 비교 체계는 아직 충분히 마련되지 않았다 [53:04]
28. MemoryOS와 MemGPT는 기억 관리의 결정 주체가 다르다
- 두 구조의 차이는 기억 계층의 개수에만 있지 않다. MemoryOS에서는 별도의 워크플로가 여러 실행 궤적의 사용 양상 등을 분석해 기억 관리 결정을 내린다 [53:43]
- MemGPT에서는 장기 저장할 내용과 자신의 컨텍스트를 수정하는 방법을 주로 LLM이 결정한다. 다만 recall storage로 대화를 옮기는 작업은 FIFO 큐에 따라 이루어진다 [54:02]
29. 성찰한 경험은 원본 행동 기록보다 유용한 기억이 될 수 있다
- 성찰 기반 기억은 환경에서 행동한 궤적을 평가하고, 그 경험을 되돌아본 결과를 저장해 이후 기억을 갱신한다 [54:33]
- 과거 행동 기록을 그대로 컨텍스트에 넣는 것보다, 그 기록이 왜 유용했는지 성찰한 내용을 넣는 편이 더 나은 결과를 보였다. 기억의 가치는 기록 보존뿐 아니라 경험에서 의미를 추출하는 과정에도 달려 있다 [54:54]
30. Generative Agents는 관찰·계획·성찰을 하나의 기억 흐름에 축적한다
- Generative Agents는 다른 에이전트와의 상호작용 이력을 유지하며 목표를 세우고 행동하는 가상 에이전트를 구성한다. 관찰을 기억 스트림에 추가하고, 검색한 기억으로 계획과 성찰을 만든 뒤 그 결과도 다시 저장해 행동에 활용한다 [55:18]
- 기억 검색은 최근성·중요도·관련성을 함께 고려한다. Isabella가 무엇을 가장 기대하는지 묻는 사례에서는 밸런타인데이 파티를 준비하며 기대하고 있다는 기억이 높은 점수를 받아 응답에 사용된다 [56:31]
31. Sleep-time compute는 유휴 시간에 과거 문맥을 미리 분석한다
- Sleep-time compute는 에이전트가 요청을 처리하지 않는 시간에 기존 대화를 성찰하고 미리 추론하는 접근이다. 이를 ‘수면’이라고 부르는 것이 적절한지에는 논쟁이 있다 [58:17]
- 예시의 조건은 공 800개 중 4분의 1이 테니스공이고, 그중 절반이 남색이며, 다시 그중 10분의 1에 표시가 있다는 것이다. 일반적인 처리에서는 질문을 받은 뒤 계산하며, 표시된 남색 테니스공의 답은 10개다 [58:40]
32. 슬립 타임 추론으로 메모리를 미리 통합하기
- 사용자의 질문을 미리 알 수 없으므로, 슬립 타임 계산의 핵심은 무엇을 사전에 추론할지 선택하는 데 있다. 가능한 주제를 폭넓게 계산하면 실제로 필요하지 않을 내용에도 비용이 발생한다. [1:00:04]
- 서로 연결된 의미 메모리는 미리 추론해 활용하기 쉬운 형태로 통합할 수 있다. Chad의 색상 선호를 개별 문장으로 유지하는 대신 ‘회색, 빨강, 파랑 순으로 선호하며 초록은 싫어한다’고 정리하면, 검색할 때마다 선호 관계를 다시 계산할 필요가 줄어든다. [1:00:40]
33. 사전 추론의 정확도 이점과 도구 확장의 한계
- 슬립 타임 계산의 주된 목적은 응답을 빠르게 만드는 데 있다. 질문을 받은 뒤 동일한 총계산량을 투입하는 방식보다 이론적으로 더 정확할지는 회의적이지만, 응답 시 추론을 약 1,000토큰으로 제한하는 실용적 조건에서는 정확도도 높아질 수 있다. [1:02:25]
- 해당 논문은 도구 없이 추론만 수행한 것으로 이해되지만, 이 설명에는 확신의 한계가 있다. 도구를 사용하는 슬립 타임 에이전트로 확장할 가능성은 있으며, 그 경우 사용자가 지켜보지 않는 동안 어떤 행동을 수행하는지가 안전 문제로 계속된다. [1:03:36]
34. 메모리 단위의 정의와 전담 관리 에이전트
- 메모리의 단위와 저장 형식은 시스템에 따라 정해야 한다. 이 사례의 의미 메모리는 MemGPT의 작업 메모리에 기록하는 문장과 유사하지만, 절차 메모리 등 다른 유형까지 모두 같은 형식으로 취급할 수는 없다. [1:04:23]
- A-MEM은 에이전트가 자신의 메모리를 읽고 쓰는 구조에서 더 나아가, 메모리 관리 자체를 전담하는 에이전트를 둔다. 메모리 사이에 연결을 만들고 내용을 반복적으로 발전시키며 무엇을 저장할지 결정해 이후 질문에 필요한 정보를 제공한다. [1:05:09]
35. 메모리 평가의 조건과 LoCoMo의 검색·활용 간 격차
- 좋은 메모리 벤치마크는 메모리 원천과 질문이 실제 사용을 반영하고, 메모리가 필요할 만큼 문맥이 길어야 한다. 충분한 난도와 정답 여부를 검증할 수 있는 구조도 필요하다. [1:07:12]
- LoCoMo는 생성형 에이전트로 여러 날에 걸친 약 16,000토큰의 대화를 만들고, 그 대화에 관한 질문으로 장기 기억을 평가한다. 사람이 대화를 수정해 인물 설정과의 일관성을 확인하고 잘못 생성된 내용을 점검한다. [1:07:44]
36. PersonaMem으로 변화하는 사용자 선호 평가하기
- PersonaMem은 사용자와 어시스턴트의 여러 세션에 걸친 대화를 구성하고 선호 변화를 평가한다. 이탈리아 음식을 좋아하던 사용자가 글루텐 알레르기가 생긴 뒤 지중해 음식을 원하는 사례처럼, 과거 정보와 현재 조건을 함께 반영해야 한다. [1:09:47]
- 객관식 응답에서는 관련 메모리를 활용한 개인화가 요구된다. 음악 소프트웨어로 작곡하는 사용자의 공연 경험에 대해 그 관심사를 연결해야 하며, 미술 전시를 언급하거나 음악 제작을 싫어한다고 답하거나 일반적인 반응만 하는 선택지는 구분해야 한다. [1:10:28]
37. 에이전트의 행동과 환경 피드백까지 평가하는 Memory Arena
- LongMemEval은 웹 에이전트가 수행한 행동에 관한 질문으로 궤적 메모리를 평가한다. Memory Arena는 실제 문제 해결 과정에서 에이전트가 행동하고, 환경 피드백을 받아 메모리를 갱신한 뒤 다시 행동하는 순환을 평가한다. [1:11:41]
- Memory Arena의 네 환경 중 단체 여행 계획에서는 참가자가 차례로 합류하며 제약을 추가한다. Tracy의 일정과 예산으로 시작한 계획에 Chelsea의 고급 호텔 선호 등이 더해지면 계획을 수정하고, 최종적으로 모든 참가자의 제약 충족 여부를 검증한다. [1:12:20]
38. 무엇을 기억하고 잊을지 결정하는 문제
- 메모리를 만들 때는 정보가 미래에 얼마나 유용할지 알 수 없다. 모든 것을 보존하면 검색·문맥·유지 비용이 증가하지만, 잊어버리면 나중에 필요한 근거를 잃을 수 있다. [1:14:54]
- “페이스트리가 없으면 오전 10시 이전 회의는 법적 효력이 없다”는 농담을 실제 일정 선호로 저장해야 하는지는 모호하다. 이런 발언에서 지속적인 선호와 일시적인 농담을 구분하는 일이 메모리 선택의 어려움이다. [1:15:15]
39. 오염된 메모리가 에이전트 행동에 미치는 영향
- 메모리 저장소에 위험한 운전 절차를 주입하고 겉보기에는 무해한 트리거를 최적화하면, 안전 운전을 요청해도 위험한 메모리가 검색되어 예상 밖의 행동으로 이어질 수 있다. 자동차를 운전하는 에이전트라는 예시는 다소 단순화되어 있지만, 신뢰할 수 없는 메모리가 행동을 바꿀 수 있다는 문제를 보여준다. [1:15:42]
40. 개인정보 공개 범위를 이해하지 못하는 메모리 활용
- 에이전트는 사용자가 무엇을 비공개로 유지하려는지 충분히 이해하지 못한 채 외부와 상호작용할 수 있다. 메모리에 개인적인 정보가 있으면 이를 부적절한 상대에게 노출할 위험이 있다. [1:16:42]
- PrivacyLens의 사례에서는 상사에게 최근 업무의 주간 보고를 보내라는 요청에 경쟁사 채용 담당자와 점심을 먹었다는 내용까지 포함한다. 메모리에 있는 사실이라는 이유만으로 보고에 넣으면, 상대와 상황에 따른 공개 범위를 어기게 된다. [1:17:00]
41. 관련 없는 기억을 끌어오는 과도한 개인화
- LLM은 문맥에 들어온 정보를 지나치게 활용하려는 경향이 있다. 검색을 개선하거나 중요하지 않은 문맥을 무시하도록 훈련하는 것이 대응 방향이며, 사용자마다 개인화를 원하는 정도도 다르다. [1:17:24]
- 실제 과도한 개인화 사례에서는 젊은 유권자의 선거 영향력을 묻는 질문에, 사용자가 ‘작은 성취’에 집중한다는 메모리를 연결했다. 답변은 사용자의 생활 속 작은 변화와 한 표의 의미를 억지로 엮었으며, 개인 메모리를 관련 없는 질문에 적용하는 것 자체가 문제가 될 수 있다. [1:17:51]
🧾 결론
- 기억을 저장하는 것과 필요한 순간에 검색해 올바르게 적용하는 것은 서로 다른 과제다. 메모리 설계는 저장부터 최종 행동까지 연결해서 검증해야 한다.
- RAG와 긴 컨텍스트는 메모리 관리에 활용할 수 있다. 파일 시스템·데이터베이스·지식 그래프 중 무엇이 적합한지는 응용과 검색 지연 요구에 따라 달라진다.
- 메모리는 누적만 하는 저장소가 아니다. 사실과 선호를 갱신하고, 경험에서 절차와 성찰을 추출하며, 무엇을 남기고 잊을지 결정하는 과정이 포함된다.
- MemGPT를 비롯한 개별 구조의 성능 결과를 모든 에이전트 작업으로 일반화하기는 어렵다. 실제 사용 환경에서 검색·활용·행동을 함께 평가해야 한다.
📈 투자·시사 포인트
- 에이전트 제품이나 메모리 인프라를 검토할 때는 메모리 기능의 유무보다 여러 세션에 걸친 목표 유지, 선호 변경 반영, 승인 조건 준수 성능을 확인필요가 있다.
- 비용 비교에는 검색 호출, 컨텍스트 길이, 기억 수정에 따른 KV 캐시 갱신, 유휴 시간의 사전 추론을 함께 반영해야 한다. 응답 시점의 토큰 절감만으로 전체 비용 절감을 판단하기 어렵다.
- 특정 저장 기술의 보편적 우위를 전제하기보다, 실제 과제의 정확도·지연 시간·비용을 같은 조건에서 비교중요하다. 강의에서도 기억 시스템 전반의 표준 비교 체계가 부족하다고 지적한다.
- 장기 운영에서는 절차 갱신, 메모리 오염 대응, 개인정보 공개 범위가 실용성을 좌우하는 검토 항목이다. 강의에는 개별 기업의 매출·밸류에이션이나 투자 수익률을 판단할 근거는 제시되지 않는다.
⚠️ 불확실하거나 확인이 필요한 부분
- MemGPT의 검색 성능 비교는 가져오는 문서 수를 고정한 실험이 아니다. 제시된 정확도 차이를 아키텍처 자체의 보편적 우위로 해석하려면 비교 조건을 확인해야 한다.
- 슬립 타임 추론의 토큰 효율 그림에는 사전 계산 토큰이 포함되지 않았다. 전체 계산비용과 응답 지연을 분리해 확인해야 하며, 해당 논문의 도구 사용 여부에 관한 설명에도 확신의 한계가 있다.
- 컨텍스트와 모델 가중치의 정보가 충돌할 때 컨텍스트가 항상 우선하는 것은 아니다. 일화 기억을 가중치에 저장할 수 있는지와 기억 유형 사이의 경계도 확정적인 분류로 제시되지 않는다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 현재 에이전트가 유지해야 할 목표·승인 조건·사용자 선호·작업 절차·원본 대화를 목록화하고, 각 정보의 저장 위치와 검색 시점을 정한다.
- 대화 압축과 세션 전환 뒤에도 삭제·비용 지출 전 확인 조건이 유지되는지, 변경된 선호가 과거 정보보다 적절히 반영되는지 점검한다.
- 파일 검색, 문자열 검색, 임베딩 검색, 그래프 검색을 실제 과제에서 비교하고, 회수 정확도와 최종 답변·행동 성공률을 구분해 기록한다.
- 성공한 작업을 재사용 가능한 스킬이나 워크플로로 정리하고, 환경이 바뀌었을 때 낡은 절차를 수정할 수 있는지 확인한다.
❓ 열린 질문
- 미래의 유용성을 알 수 없는 상황에서 무엇을 저장·요약·삭제해야 검색 비용과 근거 보존을 함께 관리할 수 있을까?
- 기억 관리를 LLM의 도구 선택에 맡기는 방식과 별도 워크플로·전담 에이전트에 맡기는 방식은 어떤 과제에서 각각 유리할까?
- 검색한 기억을 실제 제약 준수와 올바른 행동으로 연결하는 능력을 정확도·지연 시간·비용과 함께 어떻게 평가할 수 있을까?