DeepSeek V4.1 Flash is a beautiful model..

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

DeepSeek V4.1 Flash는 반복 패턴 저장, 입력 처리 분리, KV 캐시 재사용, 메모리 이동 최적화를 결합한 정교한 모델로 소개되지만, 토큰 효율과 지능의 개선은 과제로 남는다.

📌 핵심 요점

1. Engram은 짧고 반복적인 토큰 패턴을 별도 학습 파라미터에 저장하는 경로다. 다만 해당 지식이 반드시 이 모듈에만 저장되도록 강제하는 구조는 아니다.
2. CED는 프리필에서 모델 전반부로 공통 표현을 만들고, 디코딩에서는 전체 층을 사용한다. 영상은 활성 파라미터를 각각 80억 개와 160억 개로 설명하며 입력 처리 연산 절감을 강조한다.
3. CSA 2는 KV 상태를 새로 만드는 full, 기존 KV에서 대상을 다시 고르는 reindex, KV와 선택 결과를 함께 재사용하는 reuse 모드로 층별 캐시 부담을 조절한다.
4. 계층형 희소 인덱서는 검색 후보를 좁히고, single-pass MHC는 연산 의존성을 바꿔 GPU 메모리와 레지스터 사이의 반복적인 데이터 이동을 줄이는 접근이다.
5. 발표자는 비용·메모리 효율과 초당 100토큰 이상의 속도를 장점으로 평가하지만, 토큰 효율은 약점이라고 지적한다. 일부 구조 수치는 전사 내부에서 서로 맞지 않아 확인이 필요하다.

🧩 배경과 문제 정의

영상은 DeepSeek V4.1 Flash가 작은 버전 변화처럼 보이지만 실질적으로 큰 구조 변화를 담았다고 소개한다. 설명의 중심에는 반복 패턴을 어디에 저장할지, 긴 입력을 얼마나 적은 연산으로 처리할지, KV 캐시와 GPU 내부 데이터 이동을 어떻게 줄일지라는 문제가 있다.

발표자는 신경망 설계를 기능별 역할을 고정하는 프로그래밍과 구분한다. 설계자는 정보가 흐를 경로와 학습의 편향을 제공하고, 실제 전문화는 경사하강법에 따른 파라미터 업데이트로 형성된다는 관점이다. 이후 Engram, CED, CSA 2, single-pass MHC를 이 관점에서 연결하며, 마지막에는 설계 효율과 실제 토큰 효율을 별도로 평가한다.

🕒 시간순 섹션별 상세정리

1. 작은 버전 변화에 담긴 구조적 변화

• 발표자는 약 한 달 반 만에 공개된 DeepSeek V4.1 Flash를 소개하며, 0.1 버전 차이에도 이전 모델과 사실상 다른 모델처럼 보인다고 평가한다. [00:08]
• 반복적인 언어 패턴을 별도 저장소에 두고 추론 중 조회하게 만드는 Engram의 발상을 제시한다. [00:26]

2. Engram의 목적과 학습의 한계

• Engram은 반복되는 국소 패턴의 암기를 주 언어 백본과 분리하는 학습 경로로 드러난다. 그러나 백본이 같은 패턴을 배우지 못하게 막는 장치는 아니다. [01:06]
• 각 구성요소의 역할은 경사하강법으로 형성된다. ‘반복 패턴을 기억한다’는 설명은 지식의 위치를 강제하는 규칙보다 아키텍처의 귀납적 편향에 가깝다. [01:51]

3. 짧은 토큰 패턴과 저장 공간의 폭증

• 2·3·4-gram에 해당하는 토큰 패턴을 식별자로 사용하고, 반복해서 등장할 때 256차원 벡터를 조회하는 방식을 보여준다. [02:29]
• 어휘가 129,280개라면 가능한 조합을 모두 저장하기 어렵다. 영상은 모든 4-gram을 개별 저장하는 방식의 비현실성을 강조한다. [03:27]

4. 해싱과 학습 가능한 Engram 테이블

• 유사 토큰을 통합하고 여러 해시 헤드를 사용해 테이블 크기를 제한하는 접근을 보여준다. 다만 헤드별 행 수와 전체 행 수는 전사 내부에서 산술적으로 일치하지 않는다. [04:22]
• 테이블의 벡터는 학습 중 업데이트되고 추론에서 사용되는 모델 파라미터다. 영상은 3억 8,400만 행과 256차원을 기준으로 모듈당 약 983억 개 파라미터를 제시한다. [05:34]
• Engram을 1층과 15층에 넣어 두 모듈을 사용하며, 총량을 약 1,960억 개의 추가 파라미터로 보여준다. [06:05]

5. CED가 겨냥하는 연산과 KV 캐시

• 발표자는 디코더 중심의 언어모델 흐름을 배경으로, causal encoder-decoder인 CED가 인코더와 디코더를 나누는 이유를 연산 효율과 KV 캐시 절감에서 찾는다. [06:55]
• 토큰당 전역 KV 캐시가 389킬로바이트에서 890바이트로 줄었다고 소개하며, 최근 감소의 주요 요인 중 하나로 CED를 제시한다. [07:25]

6. 후원 구간의 외부 정보 검색 사례

• Firecrawl 후원 구간에서는 코딩 에이전트에 외부 검색을 연결해 연구 논문과 개발 문서를 찾는 사례를 보여준다. [08:03]
• 모델의 지식 기준일 이후 정보를 수집하고 관련 발췌만 전달하는 용도를 강조한다. 비용 90% 절감이라는 수치도 이 광고 구간에서 드러난다. [08:31]

7. 긴 문맥이 만드는 메모리 부담

• 100만 토큰 문맥은 연산과 KV 캐시에 큰 부담을 준다. 영상은 일반적인 트랜스포머 구조를 적용한 가정에서 약 819GB의 KV 캐시가 필요하다는 예시를 든다. [09:18]
• KV 크기 축소, 양자화, 슬라이딩 윈도, 희소 어텐션, 층간 재사용 등 여러 절감 접근을 보여준다. [10:07]
• 발표자가 보여주는 사용 현황에서는 입력 토큰 비중이 높다며, 프리필에 절반의 층만 사용하는 전략의 실용적 의미를 보여준다. [10:45]

8. 공통 캐시에서 층별 표현으로

• ‘You Only Cache Once’ 접근은 40층 예시에서 전반부가 만든 전역 KV 캐시를 후반부 층들이 공유하는 방식으로 묶인다. [11:19]
• CED는 중간층의 은닉 상태를 공통 원천으로 유지하면서 후속 층에 각각 학습 가능한 KV 투영을 허용해 표현력을 확보하려는 설계다. [11:45]
• 각 투영이 무엇을 담당할지는 미리 지정하지 않으며, 손실을 줄이는 학습 과정에서 전문화된다고 보여준다. [12:08]

9. 프리필과 디코딩의 서로 다른 계산량

• 프리필은 전반부로 공통 은닉 표현을 만들고, 디코딩의 각 토큰은 전체 40개 층을 통과한다고 보여준다. [12:39]
• 영상은 활성 파라미터를 프리필 80억 개, 디코딩 160억 개로 제시한다. 핵심 이점은 입력 처리 연산을 거의 절반으로 줄이는 데 있다. [13:08]
• 후반부에 층별 KV 상태를 허용하면 완전히 공유하는 방식보다 캐시 부담이 늘어나므로, 이를 보완할 수단으로 CSA 2를 도입한다. [13:43]

10. CSA 2의 세 가지 재사용 방식

• Full 모드는 새로운 KV 상태를 만들고 인덱싱해 어텐션에 사용할 top-k 항목을 선택한다. [14:48]
• Reindex 모드는 이전 full 층의 KV를 재사용하면서 현재 층의 쿼리로 인덱서를 다시 실행해 새로운 top-k를 고른다. [15:07]
• Reuse 모드는 KV와 기존 선택 결과를 모두 유지하고 현재 층의 어텐션만 계산한다. 층마다 모드를 배치해 캐시 재구축 부담을 조절한다. [15:53]

11. 계층형 희소 인덱서로 검색 범위 축소

• 영상은 이번 구조의 CSA 비율을 1 또는 2로, 이전 V4의 기본 비율을 4:1로 보여준다. [16:04]
• 계층형 희소 인덱서는 위치를 블록으로 묶고 점수가 높은 블록을 후보로 남겨 전체 문맥을 다시 검색하는 부담을 줄인다. 블록 수와 후보 위치 수의 구체적 관계는 전사에서 불명확하다. [16:29]

12. MHC의 표현력과 GPU 메모리 이동

• MHC는 잔차 연결을 네 개 채널로 나누어 정보가 다음 블록으로 전달되고 혼합되는 방식을 더 유연하게 학습하도록 하는 구조로 묶인다. [17:00]
• GPU의 HBM, 캐시, 레지스터는 용량이 다르며, 연산 의존성 때문에 데이터를 반복해서 읽고 쓰면 비효율이 커진다는 설명이 계속된다. [18:21]
• 기존 MHC는 혼합 계수를 구하고 입력과 출력을 계산하는 과정이 세 커널로 나뉘어 메모리 왕복이 발생한다고 보여준다. [20:13]

13. Single-pass MHC의 의존성 변경

• Single-pass MHC의 핵심은 단순히 기존 커널을 합치는 것이 아니라, 필요한 변수를 한 번에 사용할 수 있도록 연산의 시간적 의존성을 바꾸는 데 있다고 보여준다. [20:47]
• A 계수의 사용 관계를 한 블록 뒤로 이동시켜 단일 커널에서 필요한 변수를 가져와 처리할 수 있게 한다는 설명으로 최적화를 마무리한다. [21:03]
• 발표자는 Engram, CED, CSA 2, 계층형 인덱서, single-pass MHC가 각각 저장·연산·캐시·메모리 이동을 개선하는 조합이라고 정리한다. [21:46]

14. 설계에 대한 호평과 토큰 효율의 과제

• 발표자는 모델 설계를 높이 평가하면서도 실제 서비스에서 토큰 효율이 낮다는 점을 개선 과제로 지적한다. 이 평가의 구체적인 측정 조건은 전사에 제시되지 않는다. [22:04]
• 비용·메모리 효율과 초당 100토큰 이상의 속도는 선택 이유가 될 수 있지만, 앞으로 토큰 효율과 지능을 더 개선하기를 기대한다고 드러낸다. [22:26]
• 마지막에는 자신의 조사 과정을 더 자세히 설명한 Substack 글을 안내하며 영상을 마친다. [22:33]

🧾 결론

• 영상이 높이 평가하는 부분은 하나의 기능보다 저장·연산·캐시·데이터 이동을 함께 다루는 설계의 조합이다.
• 구조가 제공하는 정보 경로와 실제 학습 결과는 구분해야 한다. 각 경로의 전문화는 학습 과정에서 결정된다는 설명이 반복된다.
• 프리필 연산 절감은 입력 토큰 비중이 높은 사용 환경에서 특히 의미가 있다. 디코딩까지 모든 연산이 절반으로 줄어든다는 뜻은 아니다.
• 설계의 정교함만으로 실제 작업 품질이 입증되지는 않는다. 영상의 마지막 평가도 비용 경쟁력과 토큰 효율·지능을 구분한다.

📈 투자·시사 포인트

• AI 서비스 비용을 판단할 때 모델 크기뿐 아니라 입력 처리량, KV 캐시, 메모리 이동까지 살펴볼 필요가 있다는 시사점을 준다.
• 입력이 긴 서비스는 프리필 절감의 수혜를 기대할 수 있지만, 실제 절감 폭은 입력·출력 비중과 실행 환경에 따라 검증해야 한다.
• 저렴한 토큰 단가와 빠른 생성 속도가 작업 완료 비용의 우위를 보장하지는 않는다. 토큰 효율을 함께 비교해야 한다는 것이 영상 말미의 문제의식이다.
• 영상에는 매출·수익성·기업가치 자료가 없다. 기술적 효율 개선을 특정 기업이나 반도체의 투자 수익으로 직접 연결할 근거는 제공되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 해시 테이블 계산이 서로 맞지 않는다. 전사의 ‘3종 n-gram × 8개 해시 헤드 × 6,000만 행’은 14억 4,000만 행으로, 함께 제시된 최대 3억 8,400만 행과 다르다.
• 축소된 어휘 수는 ‘99,92’로 불완전하게 전사되어 있다. 정확한 수치를 확정할 수 없다.
• 계층형 인덱서의 후보 수는 본문에서 상위 48개 블록, 결말에서 248개 블록으로 다르게 등장한다. 블록당 8개 위치라는 설명과 16,384개 후보 위치 사이의 관계도 전사만으로 명확하지 않다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상이 언급한 모델 자료와 대조해 해시 헤드별 행 수, 전체 테이블 크기, 축소 어휘 수를 확인한다.
• 계층형 인덱서의 블록 크기·선택 블록 수·최종 후보 수가 어떻게 연결되는지 확인한다.
• 실제 사용 작업에서 입력 토큰과 출력 토큰의 비중을 측정해 프리필 절감의 중요도를 판단한다.
• 동일한 작업과 품질 기준으로 완료까지 사용한 총토큰, 비용, 처리 시간을 비교한다.

❓ 열린 질문

• Engram을 추가했을 때 실제로 어떤 반복 패턴이 별도 메모리에 학습되며, 백본의 학습 내용과 얼마나 중복되는가?
• CED의 층별 표현력과 CSA 2의 캐시 재사용 사이에서 작업별 품질·속도 차이는 얼마나 발생하는가?
• 낮은 토큰 효율이 비용과 속도의 장점을 어느 정도 상쇄하며, 어떤 작업에서 그 영향이 커지는가?