🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

DeepSeek-V4는 최고 벤치마크 점수보다 100만 토큰 문맥을 실제 에이전트 작업에서 감당하게 만드는 긴 문맥 효율, 도구 호출 지속성, 샌드박스 기반 학습 인프라에 초점을 둔 모델이다.

📌 핵심 요약

• DeepSeek는 V4-Pro와 V4-Flash 두 MoE 체크포인트를 공개했으며, 두 모델 모두 100만 토큰 문맥 창을 제공한다. 저자는 벤치마크가 최첨단 1위는 아니지만, 장시간 도구 사용과 터미널·브라우징·코딩 작업에서 흔히 발생하는 문맥 초과, KV 캐시 부담, 중간 성능 저하를 줄이도록 설계된 점이 핵심이라고 본다.
• 긴 문맥을 실제로 쓰기 위해서는 단순한 수용량보다 매 토큰 추론 비용과 KV 캐시 크기가 중요하다. DeepSeek-V4-Pro는 100만 토큰에서 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs가 27%, KV 캐시 메모리가 10% 수준이며, V4-Flash는 각각 10%와 7%까지 낮춘다.
• 이 효율은 Compressed Sparse Attention과 Heavily Compressed Attention을 층별로 교차 배치한 하이브리드 어텐션에서 나온다. CSA는 4배 압축된 블록에서 top-k를 고르고, HCA는 128배 압축된 짧은 스트림 전체에 조밀하게 어텐션을 적용해 긴 문맥 비용을 낮춘다.
• 에이전트 사용을 위해 V4는 도구 호출이 포함된 대화에서 사용자 메시지 경계를 넘어 추론 내용을 보존하고, |DSML| 특수 토큰과 XML 기반 도구 호출 형식을 도입했다. 이는 긴 작업 중 상태를 누적하고, JSON 문자열 기반 도구 호출에서 흔한 이스케이프·타입 파싱 오류를 줄이려는 결정이다.
• V4-Pro-Max는 Terminal Bench 2.0, SWE Verified, MCPAtlas Public, Toolathlon 등 에이전트 벤치마크에서 강한 성능을 보였고, 일부 과제에서는 폐쇄형 프런티어 모델과 비슷한 수준에 도달했다. 다만 글의 결론은 커뮤니티 도구 하네스가 새 DSML 스키마에 얼마나 적응할지, 그리고 interleaved thinking 효과가 다른 에이전트 프레임워크에도 전이될지가 남은 질문이라는 데 있다.

🧩 주요 포인트

1. DeepSeek는 V4-Pro와 V4-Flash 두 MoE 체크포인트를 공개했으며, 두 모델 모두 100만 토큰 문맥 창을 제공한다. 저자는 벤치마크가 최첨단 1위는 아니지만, 장시간 도구 사용과 터미널·브라우징·코딩 작업에서 흔히 발생하는 문맥 초과, KV 캐시 부담, 중간 성능 저하를 줄이도록 설계된 점이 핵심이라고 본다.
2. 긴 문맥을 실제로 쓰기 위해서는 단순한 수용량보다 매 토큰 추론 비용과 KV 캐시 크기가 중요하다. DeepSeek-V4-Pro는 100만 토큰에서 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs가 27%, KV 캐시 메모리가 10% 수준이며, V4-Flash는 각각 10%와 7%까지 낮춘다.
3. 이 효율은 Compressed Sparse Attention과 Heavily Compressed Attention을 층별로 교차 배치한 하이브리드 어텐션에서 나온다. CSA는 4배 압축된 블록에서 top-k를 고르고, HCA는 128배 압축된 짧은 스트림 전체에 조밀하게 어텐션을 적용해 긴 문맥 비용을 낮춘다.
4. 에이전트 사용을 위해 V4는 도구 호출이 포함된 대화에서 사용자 메시지 경계를 넘어 추론 내용을 보존하고, |DSML| 특수 토큰과 XML 기반 도구 호출 형식을 도입했다. 이는 긴 작업 중 상태를 누적하고, JSON 문자열 기반 도구 호출에서 흔한 이스케이프·타입 파싱 오류를 줄이려는 결정이다.
5. V4-Pro-Max는 Terminal Bench 2.0, SWE Verified, MCPAtlas Public, Toolathlon 등 에이전트 벤치마크에서 강한 성능을 보였고, 일부 과제에서는 폐쇄형 프런티어 모델과 비슷한 수준에 도달했다. 다만 글의 결론은 커뮤니티 도구 하네스가 새 DSML 스키마에 얼마나 적응할지, 그리고 interleaved thinking 효과가 다른 에이전트 프레임워크에도 전이될지가 남은 질문이라는 데 있다.

🧠 상세 정리

1. 공개된 모델과 글의 핵심 관점

글은 DeepSeek가 V4-Pro와 V4-Flash라는 두 MoE 체크포인트를 공개했다는 사실에서 출발한다. V4-Pro는 전체 1.6T 파라미터 중 49B가 활성화되고, V4-Flash는 전체 284B 중 13B가 활성화되며, 두 모델 모두 100만 토큰 문맥 창을 갖는다. 저자는 지식·추론 벤치마크 수치가 경쟁력은 있지만 최고 수준이라고 보지는 않으며, 이 글의 초점도 순위 경쟁이 아니라 긴 문맥을 실제 에이전트 작업에 쓸 수 있게 만든 설계에 있다. 특히 장시간 도구 호출, 브라우징, 터미널 세션, 코딩 작업처럼 문맥이 계속 누적되는 환경에서 V4가 어떤 문제를 겨냥했는지를 설명한다.

2. 에이전트 작업에서 긴 문맥이 실패하는 방식

저자는 프런티어급 오픈 모델을 에이전트로 운용할 때 실패가 반복적으로 나타난다고 설명한다. 작업이 길어지면 모델이 중단되고 다시 프롬프트를 넣어야 하며, 도구 결과와 중간 로그가 계속 붙으면서 추적 기록이 문맥 예산을 넘어선다. 문맥이 길어질수록 KV 캐시가 GPU 메모리를 압박하고, 여러 차례의 도구 호출 왕복이 이어지는 중간 이후부터 성능이 떨어질 수 있다. 따라서 100만 토큰이라는 숫자 자체보다, 그 깊이에서 매번 다음 토큰을 계산하고 이전 내용을 참조하는 비용을 얼마나 낮췄는지가 더 중요한 문제로 제시된다.

3. KV 캐시와 단일 토큰 추론 비용의 절감

글은 긴 문맥의 실사용 가능성을 판단하는 핵심 지표로 단일 토큰 추론 FLOPs와 KV 캐시 크기를 든다. 에이전트가 SWE-bench 유형의 작업, 다단계 탐색, 수백 개 명령이 포함된 터미널 세션을 수행하면 모든 도구 결과가 문맥에 추가되고 이후 생성되는 토큰은 앞선 전체 기록에 대해 비용을 지불한다. DeepSeek-V4-Pro는 100만 토큰에서 DeepSeek-V3.2 대비 단일 토큰 FLOPs가 27%, KV 캐시 메모리가 10% 수준이라고 설명된다. V4-Flash는 더 낮아져 각각 10%와 7%이며, 일반적인 bfloat16 저장 방식의 grouped query attention 8헤드 구조와 비교하면 V4의 KV 캐시는 대략 2% 수준으로 제시된다.

4. CSA와 HCA를 결합한 하이브리드 어텐션

V4의 효율은 어텐션을 두 방식으로 나누고 층 사이에 교차 배치하는 구조에서 나온다. Compressed Sparse Attention은 시퀀스 방향으로 KV 항목을 4배 압축하고, 학습된 위치 편향이 포함된 softmax-gated pooling을 사용한다. 그 뒤 FP4 기반 lightning indexer가 각 쿼리에 대해 상위 k개의 압축 블록을 고르며, 최근 토큰을 처리하기 위한 sliding-window 분기도 함께 둔다. Heavily Compressed Attention은 KV를 128배 압축한 뒤 sparse selection 없이 모든 압축 블록에 조밀하게 어텐션을 적용한다. 압축된 시퀀스가 충분히 짧기 때문에 dense attention을 사용해도 비용이 낮다는 점이 이 방식의 핵심이다.

5. 층 배치와 저정밀 저장이 만드는 누적 효과

글은 하나의 어텐션 메커니즘을 모든 층에 강제하면 용량을 낭비한다고 보고, 서로 다른 층이 서로 다른 어텐션 패턴을 담당하도록 설계했다고 설명한다. V4-Pro의 61층 스택에서는 0번과 1번 층이 HCA를 사용하고, 2번부터 60번까지는 CSA와 HCA가 교대로 배치된다. 마지막 MTP 블록은 sliding-window만 사용한다고 제시된다. 여기에 대부분의 KV 항목은 FP8로 저장하고 RoPE 차원만 BF16을 쓰며, CSA 내부 lightning indexer는 FP4로 동작한다. 압축 비율과 저장 정밀도 선택이 함께 누적되면서 앞서 언급한 약 2% KV 캐시 수치로 이어진다는 것이 글의 설명이다.

6. 도구 호출을 포함한 대화에서의 추론 보존

저자는 긴 문맥 어텐션만으로 에이전트 성능이 완성되지는 않는다고 보고, 후학습과 인프라 결정도 함께 설명한다. V3.2는 도구 결과가 오가는 동안에는 reasoning trace를 유지했지만, 새 사용자 메시지가 들어오면 이를 버리는 방식이었다. 단일 사용자 턴 안에서 도구를 호출하는 작업에는 충분했지만, 사용자가 후속 메시지를 보내는 다중 턴 에이전트 흐름에서는 이전 도구 호출을 통해 쌓은 상태를 다시 복원해야 했다. V4는 도구 호출이 포함된 대화에서 사용자 메시지 경계를 넘어 전체 reasoning history를 유지한다. 반면 도구가 없는 일반 대화에서는 문맥을 간결하게 유지하기 위해 기존처럼 새 턴마다 추론 내용을 비운다.

7. DSML 도구 호출 형식과 DSec 학습 샌드박스

V4는 |DSML| 특수 토큰과 XML 기반 도구 호출 형식을 도입했다고 설명된다. 이 XML 형식은 중첩된 따옴표가 들어가는 JSON-in-string 도구 호출보다 이스케이프 실패를 줄이기 위한 선택이다. 또한 문자열 파라미터는 string="true"로 그대로 전달하고, 구조화된 파라미터는 string="false"로 JSON 형태로 전달해 숫자와 불리언 처리에서 생기는 파싱 오류를 줄인다. 에이전트 행동 학습에는 실제 도구 환경을 대상으로 한 RL이 사용되며, 이를 위해 DeepSeek Elastic Compute라는 Rust 기반 샌드박스 플랫폼이 설명된다. DSec은 함수 호출, 컨테이너, Firecracker microVM, QEMU VM을 하나의 Python SDK 뒤에 제공하고, 빠른 이미지 로딩·중단 안전 trajectory replay·균일한 API를 통해 대규모 rollout을 지원한다.

8. 에이전트 벤치마크와 사용 가능한 체크포인트

글은 지식과 추론 수치보다 에이전트 벤치마크에서 V4-Pro-Max가 두드러진다고 평가한다. Terminal Bench 2.0에서는 67.9점으로 GLM-5.1과 K2.6보다 앞서고 GPT-5.4-xHigh와 Gemini-3.1-Pro에는 뒤진다. SWE Verified는 80.6 resolved로 Opus-4.6-Max와 Gemini-3.1-Pro에 매우 근접하거나 같은 수치로 제시되며, MCPAtlas Public은 73.6으로 Opus-4.6-Max 다음이다. Toolathlon은 51.8로 K2.6, GLM-5.1, Gemini-3.1-Pro보다 높게 제시된다. Hub에는 Pro, Flash, Pro-Base, Flash-Base 네 체크포인트가 있고, instruct 모델은 Non-think, Think High, Think Max 세 reasoning 모드를 지원하며 Think Max는 최소 384K 토큰 문맥 창을 요구한다.

🧾 핵심 주장 / 시사점

• 이 글의 핵심은 100만 토큰이라는 명목상 문맥 길이가 아니라, 그 길이에서 추론 비용과 KV 캐시를 낮춰 에이전트가 실제로 오래 작업할 수 있게 만드는 구조적 설계다.
• V4의 에이전트 지향성은 어텐션 최적화만이 아니라, 도구 호출 중 reasoning history 보존, 도구 호출 스키마 개선, 실제 샌드박스 기반 RL 인프라까지 함께 맞물린 결과로 설명된다.
• 남은 관전점은 커뮤니티의 도구 하네스가 |DSML|과 XML 기반 호출 형식에 적응할 수 있는지, 그리고 논문·블로그에서 보인 interleaved thinking 이점이 다른 에이전트 프레임워크에서도 재현되는지다.

✅ 액션 아이템

• 긴 문맥 실무 지표는 단순 최대 컨텍스트 크기보다 토큰당 FLOPs와 KV 캐시 크기 개선률을 함께 반영해 정비한다.
• 도구 호출이 연속되는 에이전트 대화에서 DSML 특수 토큰·XML 형식이 상태 누수를 줄이는지 실제 사용 로그로 점검한다.
• V4-Pro와 V4-Flash의 CSA/HCA 하이브리드 구조를 터미널·브라우징·코딩 시나리오에 적용해 중간 성능 저하 완화 정도를 수치화한다.

❓ 열린 질문

• 커뮤니티 도구 하네스가 DSML 스키마를 바로 받아들이지 못할 경우 어떤 호출 패턴이 가장 취약한가?
• interleaved thinking의 효과가 다른 에이전트 프레임워크로 확장되기 위해 필요한 상호작용 조건은 무엇인가?
• 100만 토큰 구간에서 FLOPs·KV 캐시 절감률이 유지되며 성능이 안정하는 임계 작업 길이와 토큰 분포 기준은 무엇인가?