컨텍스트가 전부다 — 토큰 87% 줄인 방법 총정리

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

컨텍스트가 전부이며, 출력은 짧게 압축하고 입력은 필요한 순간에만 찾으며 독립 작업은 별도 책상으로 분리하면 토큰과 품질을 함께 개선할 수 있다.

📌 핵심 요점

1. 컨텍스트 윈도우가 커져도 자료를 전부 넣으면 중간 정보가 묻히고, 대화 자동 요약 이후에는 원본 맥락이 사라져 성능이 급격히 떨어질 수 있다.
2. 출력 비용은 짧고 정확한 말투로 줄일 수 있다. 영상이 소개한 케이브맨 방식은 평균 출력 토큰을 65%, 최대 87% 줄였으며 10개 개발 질문 벤치마크에서 평균 1,214토큰을 294토큰으로 낮췄다.
3. 입력 비용은 문서 전체를 상시 주입하지 않고 필요한 부분만 찾아 읽게 해야 줄어든다. 단순한 RAG보다 맥락 설명을 붙인 조각이나 요약 검색 후 원문 전달 방식이 유용하다고 설명한다.
4. 서브에이전트는 역할별 조직도를 만드는 수단이 아니라 독립적인 조사·비교·수집 작업을 깨끗한 별도 컨텍스트에서 처리하는 수단으로 써야 한다.
5. 실전 세팅의 핵심은 짧고 계층화된 매뉴얼, 작업 전후 알림, 파일 기반 기억, 잦은 대화 초기화, 그리고 컨텍스트 사용량·절감 토큰·세션 수명·반복 설명 횟수의 측정이다.

🧩 배경과 문제 정의

• 같은 리액트 질문에도 답변이 1,214토큰과 294토큰으로 갈린 사례를 통해 비용 차이의 원인이 모델이나 요금제가 아니라 질문에 넣고 뺀 컨텍스트라고 제시한다.
• 발표자는 장황한 답변, 긴 대화의 붕괴, 작성해 둔 매뉴얼을 AI가 읽지 않는 현상을 서로 다른 문제가 아니라 컨텍스트 구성의 문제로 묶는다.
• 영상의 목표는 출력 압축, 선택적 자료 검색, 독립 작업의 컨텍스트 분리라는 세 원리를 하나의 운영 체계로 설명하는 것이다.

🕒 시간순 섹션별 상세정리

1. 같은 질문의 토큰 격차와 핵심 명제

• 같은 리액트 질문에서 1,214토큰과 294토큰이라는 차이가 발생했으며, 모델이나 요금제가 아니라 무엇을 넣고 뺐는지가 원인이라고 보여준다. [00:20]
• 장황한 답변, 대화 붕괴, 매뉴얼 미참조의 공통 뿌리를 컨텍스트 구성으로 규정하고 출력 축소·선택적 검색·분산 처리라는 세 목표를 제시한다. [01:59]

2. 큰 컨텍스트 윈도우의 함정

• 컨텍스트 윈도우를 AI의 작업 책상으로 비유하고, 최근 3년간 약 250배 커졌어도 긴 입력의 가운데 정보에서는 성능이 30% 이상 떨어질 수 있다고 보여준다. [02:51]
• 100줄짜리 매뉴얼을 목차와 상세 파일로 나누자 자원 사용량이 40~60% 줄었고, 자동 요약 이후 원본 대신 요약만 남는 지점을 성능의 절벽으로 부른다. [03:59]

3. 출력·입력·재설명의 비용 구조

• 비용은 출력 토큰, 매뉴얼·대화·파일이 쌓이는 입력 토큰, 세션이 망가진 뒤 같은 설명을 반복하는 시간이라는 세 경로에서 발생한다고 정리한다. [05:17]
• 필요한 창을 재사용하고 연결 도구를 프로젝트에 필요한 만큼만 남기며, 계획과 구현에 서로 다른 모델을 배치하고 중요한 최종 검토에는 비싼 모델을 쓰는 선택적 운영을 제안한다. [06:43]

4. 케이브맨 출력 압축 실험

• 케이브맨은 군더기를 빼고 짧게 말하되 기술 용어는 정확히 쓰라는 세 줄의 안내로, 출력 토큰을 평균 65%, 최대 87% 줄였다고 묶인다. [07:39]
• 개발 질문 10개에서 평균 1,214토큰이 294토큰으로 줄었고, 이미 짧게 답하도록 지시한 비교군보다도 짧았으며 발표자는 짧은 답변이 모델의 자기 흔들림도 줄일 수 있다고 보여준다. [09:49]

5. 단순 RAG의 맥락 손실과 대안

• 문서를 잘게 자르는 RAG는 회사·분기 같은 앞뒤 맥락을 잃기 쉬운 반면, 클로드 코드는 검색 후 필요한 부분만 점진적으로 읽는 방식으로 동작한다고 보여준다. [11:28]
• 문서가 적으면 원문 전체를 쓰고, 조각 앞에 전체 문서 내 위치를 설명하거나, 요약문으로 검색한 뒤 실제 전달은 원문 단락으로 하는 세 가지 절충안을 제시한다. [12:59]

6. 서브에이전트는 깨끗한 별도 책상

• 서브에이전트는 기존 대화를 물려받지 않는 빈 책상에서 시작하므로, 공유 맥락이 필요한 역할별 에이전트보다 조사·문서 탐색·예제 수집·후보 비교 같은 독립 작업에 적합하다고 주장한다. [14:30]
• 계획 후 작업을 분할하고 별도 에이전트와 다른 회사 모델로 결과를 검토하며, 발견·수정·판단 이유를 보고하게 하고 워크트리로 물리적 작업 공간도 분리한다. [15:42]

7. 짧고 계층화된 프로젝트 매뉴얼

• 프로젝트 초기화로 목적, 사용 도구, 결과 검증 체크리스트를 담은 매뉴얼을 만들고, 검수 절차가 AI의 자가 실행과 자가 수정을 가능하게 한다고 보여준다. [16:37]
• 매뉴얼은 약 50줄 안팎의 목차와 상세 챕터로 나누고, 전체 규칙과 프로젝트 규칙을 계층화하며 절대 규칙을 맨 위에 배치하라고 권한다. [17:22]

8. 매뉴얼을 실제로 읽히는 자동 알림

• 지시 실행 전에는 관련 매뉴얼을 먼저 확인하게 하고, 작업 후에는 오류 처리와 보안 등 빠뜨린 항목이 없는지 되묻는 전후 알림 장치를 보여준다. [17:55]
• 불러올 매뉴얼은 키워드, 의도, 작업 위치, 파일 내용이라는 네 조건으로 판단하게 해 현재 작업과 관련된 규칙만 따라오게 한다. [18:07]

9. 기억의 파일화와 컨텍스트 초기화

• 큰 작업 전에 계획서, 맥락 노트, 할 일 체크리스트를 만들고 승인된 계획도 파일로 저장한 뒤 새 대화에서 이어가며, 한 번에 한두 단계만 맡기라고 조언한다. [18:51]
• 일이 끝나면 자동 요약을 기다리지 말고 대화를 비우며 관련 노트만 불러오고, 도구를 한꺼번에 설치하지 말고 별점 조작 가능성까지 고려해 하나씩 늘리라고 권한다. [19:24]

10. 일주일 동안 확인할 네 가지 지표

• 컨텍스트 사용량과 절감 토큰을 화면과 통계로 관찰해 책상이 차기 전에 비우고 더 짧은 출력을 유도하라고 보여준다. [20:03]
• 세션이 흐려질 때까지의 시간과 같은 설명을 반복한 횟수를 기록해 분리 효과와 설정의 구멍을 찾고, 가장 작은 시작점으로 매뉴얼 분할을 추천한다. [20:54]

11. 세 원칙으로 압축한 최종 결론

• 출력은 원시인처럼 짧게 하고, 자료는 미리 전부 넣지 말고 필요할 때 찾으며, 독립적인 작업은 다른 책상으로 보내라고 정리한다. [21:09]
• 컨텍스트는 신선하고 압축돼 있으며 현재 작업과 관련된 상태여야 하고, 도구의 성능을 의심하기 전에 환경과 정보 배치를 먼저 점검하라는 메시지로 마무리한다. [21:32]

🧾 결론

• 좋은 AI 결과는 더 비싼 모델이나 더 큰 컨텍스트 윈도우보다 현재 작업에 맞는 정보 선별과 배치에서 갈린다.
• 출력 압축은 군더기를 제거하되 기술 용어의 정확성을 유지해야 하며, 짧은 답이 반드시 낮은 품질을 뜻하지는 않는다.
• 문서는 미리 전부 넣기보다 필요할 때 검색하고, 검색 단계에는 가벼운 표현을 쓰되 실제 답변에는 원문 맥락을 제공하는 편이 낫다.
• 독립 작업을 별도 에이전트와 워크트리로 분리하면 메인 대화의 오염을 줄일 수 있지만, 공유 맥락이 필요한 작업까지 분리해서는 안 된다.

📈 투자·시사 포인트

• AI 도구의 경쟁력은 모델 성능뿐 아니라 컨텍스트 압축, 선택적 검색, 매뉴얼 라우팅, 작업 격리 같은 운영 계층에서 크게 달라질 수 있다.
• 긴 답변과 대규모 입력을 기본값으로 삼는 제품보다 사용자가 토큰 비용과 컨텍스트 점유율을 관찰하고 제어할 수 있는 제품의 실용 가치가 높아질 가능성이 있다.
• 단순 벡터 검색만 제공하는 RAG보다 맥락 보강, 하이브리드 검색, 재검토, 원문 전달을 결합한 검색 시스템이 실제 업무에서 더 중요한 차별점이 될 수 있다.
• 멀티에이전트의 가치는 에이전트 수 자체보다 작업 독립성, 깨끗한 컨텍스트, 상세한 위임 명세, 교차 모델 검토와 격리된 작업 공간에서 나온다는 시사점이 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 영상에서 언급한 스탠퍼드 연구, 정확도 26점 상승 논문, 문서 전체 입력의 최대 82배 비용, 검색 실패율 67% 감소 수치는 논문명·실험 조건·비교 기준이 제시되지 않아 원문 확인이 필요하다.
• 케이브맨의 평균 65%·최대 87% 절감 결과는 개발 질문 10개를 사용한 제작자 벤치마크로 설명되므로 다른 모델, 언어, 복잡한 추론 작업에서도 같은 비율이 재현되는지는 확인되지 않았다.
• 매뉴얼 분할로 자원 사용량이 40~60% 감소하고 세션 수명이 약 30분에서 2시간으로 늘었다는 결과는 발표자의 작업 환경에서 나온 경험치이므로 일반화에 주의해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 프로젝트 매뉴얼에 프로젝트 목적, 사용 도구, 완료 후 검증 체크리스트를 명시하고 가장 중요한 절대 규칙을 맨 위에 배치한다.
• 매뉴얼 한 파일을 약 50줄 안팎으로 유지하고, 얇은 목차와 작업별 상세 챕터로 분리해 필요한 문서만 읽히게 한다.
• AI 응답 규칙에 군더기 제거, 짧은 답변, 정확한 기술 용어라는 세 조건을 추가한 뒤 기존 방식과 토큰 수·정확도를 비교한다.
• 큰 작업을 시작하기 전에 계획서, 맥락 노트, 할 일 체크리스트를 파일로 저장하고 한 번에 한두 단계씩 실행한다.

❓ 열린 질문

• 짧은 답변이 정확도를 높인다는 효과는 코딩 외의 분석, 창작, 법률·의료처럼 설명 책임이 큰 과제에서도 유지되는가?
• 단순 파일 검색, 맥락 보강 RAG, 요약 검색 후 원문 전달 방식의 품질과 비용이 문서 규모별로 어떻게 달라지는가?
• 서브에이전트에 전달해야 하는 지시문이 길어질 때 얻는 컨텍스트 절감 효과와 위임 비용의 손익분기점은 어디인가?