MEMORY.md에 다 적고 계신 분, 앤트로픽 실험 결과 보셨어요?
Quick Summary
영상이 소개한 앤트로픽 실험에 따르면, 클로드 코드의 MEMORY.md에는 매번 읽을 짧은 색인을 두고 검증된 규칙과 근거는 필요할 때 열 수 있는 파일에 두는 편이 유용하다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
영상이 소개한 앤트로픽 실험에 따르면, 클로드 코드의 MEMORY.md에는 매번 읽을 짧은 색인을 두고 검증된 규칙과 근거는 필요할 때 열 수 있는 파일에 두는 편이 유용하다.
📌 핵심 요점
- 에이전트 메모리는 작업에서 얻은 경험을 다음 세션에서도 읽을 수 있게 남긴 기록이다. 데이터베이스 과제에서 모델들은 오답의 원인을 추측으로 남기거나, 정답과 대조해 규칙과 근거까지 남기는 등 서로 다른 기록 습관을 보였다.
- 포켓몬스터 레드에서 소넷 3.7은 파일 413개를 쓰고 배지 1개를 얻었다. 화면에서 다시 확인하기 어려운 전략과 계획을 남긴 모델은 파일 9개로 배지 4개를 얻었고, 오퍼스 5.5는 작은 메모 폴더를 유지하며 게임을 끝냈다.
- ‘드리밍’은 작업 사이에 원래 대화 기록을 다시 읽고 메모를 고치는 과정이다. 달맞이산 사례에서는 포켓몬센터의 위치를 잘못 적은 메모 때문에 길을 되짚었다. 원래 기록과 대조해 위치를 바로잡은 뒤에는 다음 도시에 도착했다.
- 스테인리스 내부 문서에 관한 질문 25개에서 검색만 쓴 점수는 53%, 검색과 위키를 함께 쓴 점수는 61%였다. 반면 답이 문서 하나에 모여 있는 과제에서는 위키의 이점이 나타나지 않았다.
- 클로드 코드가 세션 시작 때 자동으로 읽는 메모는 매번 토큰을 쓰고, 오류가 있으면 다음 작업도 잘못된 전제에서 시작하게 한다. 발표자는 자신의 83줄짜리 MEMORY.md에서 한 줄이 상세 파일 하나를 가리키도록 관리한다고 설명한다.
🧩 배경과 문제 정의
클로드 코드를 오래 쓰면 이전 대화와 프로젝트 문서가 쌓인다. 컨텍스트 창이 100만 토큰이라면 이 기록을 전부 넣어도 되겠다는 생각이 출발점이다. 영상이 소개하는 앤트로픽 연구는 기록을 남기는 일을 미래의 필요에 대한 예측으로 본다. 예측이 맞으면 다음 세션은 알아낸 일을 되풀이할 필요가 없고, 틀리면 오래된 메모를 사실로 믿은 채 출발한다. 데이터베이스 문제, 포켓몬 게임, 사내 문서 질의는 이 차이가 실제 작업에서 어떻게 드러나는지 보여 주는 사례다.
🕒 시간순 섹션별 상세정리
1. 세션이 끝난 뒤에도 필요한 기억
- 발표자는 대화와 문서를 모두 넣자는 생각에 포켓몬 실험 결과를 나란히 놓는다. 같은 게임에서 가장 많은 파일을 만든 모델은 배지 하나를 얻었다. [00:36]
- 영상에서 에이전트 메모리는 작업 경험을 파일·폴더·데이터베이스에 남겨 다음 세션이 다시 읽을 수 있게 한 기록을 뜻한다. 학습으로 바뀐 모델 가중치, 한 대화 안에서 얻은 정보, 긴 대화를 줄이는 컴팩션과 구분한다. [01:41]
- 작업 중에는 어떤 경험이 다시 필요할지 알기 어렵다. 규칙을 기록한다는 것은 그 패턴이 반복될 것으로 예상한다는 뜻이며, 예상이 빗나가면 다음 세션이 잘못된 판단을 이어받는다. [02:40]
2. 데이터베이스 문제에서 추측이 규칙이 되는 과정
- CL벤치 1.0에서는 매 질문을 새 세션에서 시작했다. 모델은 답을 낸 뒤 정답을 확인하고 메모를 남길 수 있었으며, 다음 문제에는 메모 폴더만 넘어갔다. [02:58]
- 소넷 4.6은 검증하지 않은 추측을 여러 파일에 남겼고, 오퍼스 4.7은 확인한 사실과 모르는 부분을 한 문서에서 구분했다. 오퍼스 5는 오답의 이유를 검증한 뒤 규칙과 근거, 다시 피해야 할 함정까지 남겼다. [03:34]
3. 포켓몬 실험에서 파일 수와 진행도가 엇갈린 이유
- 약 1만 스텝 무렵 소넷 3.7의 메모는 폴더 225개, 파일 413개였다. 배지는 1개였고, 한 구간에서는 17스텝 동안 파일을 만들고 지우며 게임을 한 번도 조작하지 않았다. [04:33]
- 파일 9개로 배지 4개를 얻은 모델은 소지금이나 현재 위치처럼 매 턴 화면에 보이는 정보를 생략했다. 대신 상위 문서에 목표를 두고 별도 파일에 길 찾기 계획과 직접 확인한 게임 규칙을 담았다. [05:15]
- 오퍼스 5.5도 작은 폴더에 목표와 다음 단계를 관리하며 게임을 끝냈다. [05:40]
4. 모델에 따라 달라진 메모 지침의 효과
- CL벤치에서 오퍼스 4.7과 오퍼스 5는 메모 폴더가 주어지자 점수가 올랐지만, 기록할 내용을 좁게 제한하면 그 이득의 상당 부분을 잃었다. [06:09]
- 평소 메모를 잘 읽지 않고 가설도 검증하지 않던 이전 모델은 두 행동을 명시적으로 요구했을 때 점수가 거의 두 배로 올랐다. 소넷 5는 별도 요구가 없어도 열 번 중 아홉 번꼴로 답하기 전에 메모를 읽었다. [06:30]
5. 드리밍으로 달맞이산의 잘못된 위치 기록을 고치다
- 드리밍에서는 작업 사이에 에이전트가 원래 대화 기록을 읽고 메모와 대조한다. 이때 오류를 고치고 새 메모를 추가하거나 기존 구조를 정리한다. [07:17]
- 달맞이산에서는 입구 근처 포켓몬센터의 위치를 잘못 적은 탓에 모델이 이미 산을 넘었다고 판단했다. 같은 언덕에서 세 번 떨어진 뒤 결국 다음 도시에 도착하지 못했다. [08:04]
- 원래 세션 기록에서 위치를 확인해 메모를 고친 뒤 다시 실행하자 모델은 동굴로 들어가 블루시티에 도착했다. 영상이 비교한 세 경우 중 메모가 없거나 틀렸을 때는 산을 넘지 못했다. [08:43]
6. 사내 위키가 도움이 된 질문과 실패한 과제
- 스테인리스의 약 35만 개 파일을 바탕으로 위키를 만들었다. 질문 25개에서 위키 단독 점수는 구축 2세션 뒤 13%에서 128세션 뒤 48%로 올랐다. 검색 단독은 53%, 검색과 위키를 함께 썼을 때는 61%였다. [09:30]
- 여러 문서를 엮는 합병 질문에서는 위키를 활용했을 때 점수가 높았다. 한편 법률 문서 과제에서는 위키가 원문보다 커졌고, 답이 한 문서에 있는 질문에서는 위키가 검색보다 나은 결과를 내지 못했다. [10:01]
- 계약 조건을 한 표에 동시에 기록하자 서로의 내용을 덮어 평가 대상 사실 57개 중 41개만 남았다. 계약서마다 담당 에이전트와 페이지를 하나씩 두고 조건 문구를 그대로 인용하자 57개가 모두 남았다. [10:45]
7. MEMORY.md를 색인으로 쓰는 법과 검토 비용
- 자동으로 읽히는 내용에는 세션마다 토큰이 들고 같은 오류도 반복해서 전달된다. 발표자는 자신의 83줄짜리 MEMORY.md에는 각 파일을 가리키는 링크를 두고 필요한 순간에 상세 파일을 연다고 보여준다. [11:59]
- 작업 중에 메모하면 바로 쓸 수 있지만 본업에 쓸 주의가 줄고, 나중에 정리하면 반영이 늦어진다. 드리밍과 위키 유지에도 연산이 들기 때문에 원래 대화 기록을 검색하는 방식도 선택지로 남는다. [12:41]
- 영상은 각자 쓰는 MEMORY.md의 첫 200줄을 열어 보라는 제안으로 끝난다. 다음 세션이 필요한 파일을 찾을 수 있는지, 상세 내용이 첫 부분을 채우고 있는지 점검하는 것이다. [13:33]
🧾 결론
- 메모를 남길 때는 다음 세션에서 무엇을 다시 알아내야 할지 생각해 볼 만하다. 포켓몬 실험에서는 현재 소지금처럼 화면에 늘 보이는 정보보다 직접 시험해 얻은 규칙을 기록한 쪽이 더 멀리 진행했다.
- 원래 기록을 보존하면 메모를 바로잡을 근거가 생긴다. 특히 다음 세션의 판단을 바꾸는 규칙에는 무엇을 관찰해 그런 결론을 냈는지 함께 남길 가치가 있다.
- MEMORY.md의 첫 부분은 다음 작업의 출발점이다. 여기에 무엇을 알고 있고 어디에서 자세히 읽을 수 있는지 적어 두면, 세션마다 모든 상세 기록을 읽을 필요가 줄어든다.
📈 투자·시사 포인트
- 에이전트 도입 효과를 평가할 때는 컨텍스트 창의 크기와 함께 목표 달성률, 기록을 찾고 정리하는 데 쓴 시간도 살펴볼 만하다. 포켓몬 실험에서는 한 모델이 17스텝을 파일 관리에 쓰는 동안 게임을 한 번도 조작하지 않았다.
- 사내 지식 검색에 위키를 도입할 때는 여러 문서를 연결해야 하는 질문을 따로 평가할 필요가 있다. 영상의 합병 관련 질문에서 위키를 활용한 점수는 87%, 검색만 쓴 점수는 73%였다.
- 위키의 경제성은 구축·검수에 든 연산과 반복 질의에서 절약한 토큰을 함께 봐야 판단할 수 있다. 영상은 사내 문서 실험에서 질문당 약 2만 토큰을 아꼈다고 전하지만, 법률 문서 과제에서는 위키가 원문보다 커진 사례도 소개한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 포켓몬 실험은 서로 다른 모델의 행동과 성과를 비교한다. 파일 수와 배지 수만으로는 같은 모델의 메모 수를 줄였을 때도 성과가 좋아질지 판단하기 어렵다.
- 위키 점수는 한 회사의 내부 문서와 질문 25개에서 나온 결과다. 영상에는 위키를 만든 128개 세션의 총연산 비용이 제시되지 않아, 질문당 토큰 절감으로 구축 비용을 회수하는 시점은 알 수 없다.
- 영상은 MEMORY.md의 앞 200줄과 용량 제한을 언급한다. 자막에서 용량 단위가 불분명하므로 정확한 로딩 한도를 적용하려면 사용하는 버전의 문서를 확인해야 한다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- MEMORY.md의 첫 200줄을 읽고, 긴 설명은 주제별 파일로 옮긴 뒤 해당 내용을 언제 찾아볼지 알 수 있는 링크를 남긴다.
- 다음 세션이 그대로 믿고 쓸 규칙 하나를 골라 원래 대화나 작업 기록과 대조한다. 확인한 사실, 그 근거, 아직 검증하지 못한 추측을 구분해 적는다.
- 자주 읽히거나 자주 바뀌는 메모부터 다시 검토한다. 잘못된 내용은 고치고, 매번 자동으로 읽을 필요가 사라진 내용은 상세 파일로 옮긴다.
- 사내 문서 질문을 단일 문서형과 여러 문서 종합형으로 나누고, 검색만 쓸 때와 위키를 함께 쓸 때의 점수와 질문당 토큰을 비교한다.
❓ 열린 질문
- 다음 턴에 바로 쓸 기록은 작업 중에 남기고 나머지는 나중에 정리한다면, 두 경우를 어떤 기준으로 구분할 수 있을까?
- 읽는 빈도와 정보가 바뀔 가능성을 고려할 때, 어느 메모를 얼마나 자주 원래 기록과 대조해야 검토 비용을 감당할 수 있을까?
- 우리 팀의 질문 중 여러 문서를 연결해야 하는 질문은 얼마나 되며, 그 빈도에서 위키를 유지하는 편이 대화 기록과 원문을 검색하는 것보다 유리할까?