🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Kimi K3는 초희소 MoE, Kimi Delta Attention, Attention Residual을 결합해 GPU 통신량과 장문 추론 비용을 줄이는 효율 중심의 거대 AI 모델 아키텍처다.

📌 핵심 요점

1. Kimi K3는 896개 전문가 중 토큰마다 16개만 활성화해 활성화 비율을 1.8%까지 낮추면서도 모델 규모를 확장했다.
2. Stable Latent MoE는 토큰을 저차원 잠재 표현으로 압축해 전문가에게 전달함으로써 대규모 GPU 배치의 통신량과 연산량을 줄인다.
3. Quantile Balancing은 절대적인 라우터 점수나 과사용 벌점 대신 점수 분포의 백분위를 활용해 초희소 환경의 전문가 선택을 안정화한다.
4. Kimi Delta Attention은 순환 상태 메모리와 3:1 KDA·Gated MLA 하이브리드를 이용해 100만 토큰 문맥의 비용 증가를 관리하고 디코딩 처리량을 약 6배 높인다.
5. Attention Residual은 깊은 계층이 여러 이전 Residual 상태에서 필요한 정보를 선택하게 해 원본 정보의 희석과 GPU 인터커넥트 부담을 함께 억제한다.

🧩 배경과 문제 정의

• DeepSeek 이후 중국 AI 모델은 미국 선도 모델과의 성능 격차를 좁히면서도 훈련·추론 비용을 낮춰, AI 혁신의 주도권이 어디로 이동할지에 대한 논쟁을 키웠다.
• Kimi K3의 핵심은 벤치마크 점수만이 아니라 거대한 모델에서 일부 전문가만 활성화하고, GPU 간 통신량과 장문 추론 비용을 함께 줄이는 아키텍처에 있다.
• 희소성이 높아질수록 전문가 선택은 불안정해지고, 긴 문맥에서는 어텐션 비용이 급증하며, 깊은 계층에서는 원본 정보가 희석되는 문제가 발생한다.

🕒 시간순 섹션별 상세정리

1. 비용 충격에서 초희소 MoE 경쟁으로

• DeepSeek는 OpenAI에 근접한 벤치마크 성능을 훨씬 적은 GPU 임대비로 달성하며 모델 계층의 혁신 주도권과 애플리케이션 계층의 지능 수요를 동시에 흔들었다. [02:44]
• Mixture of Experts는 토큰마다 전체 모델이 아니라 일부 전문가만 활성화해 연산량을 줄이는 주요 확장 방식으로 자리 잡았다. [02:49]
• Kimi K3는 896개 전문가 중 16개만 사용해 활성화 비율을 1.8%로 낮추고, 이전 세대보다 전문가 수를 두 배 이상 늘리면서 효율성을 유지했다. [02:54]

2. 대규모 GPU 배치가 만드는 통신 병목

• 낮은 정밀도에서도 가중치는 DGX B300 기준 약 6개 GPU에 걸쳐 저장되며, 실제 배치에서는 64개 또는 72개 칩으로 전문가를 분산해야 한다. [02:59]
• Stable Latent MoE는 토큰 임베딩을 저차원 잠재 표현으로 압축해 전달한 뒤 다시 확장함으로써 GPU 간 데이터 전송량과 연산량을 줄인다. [03:54]

3. 896개 전문가를 안정적으로 선택하는 방법

• 896개 후보 중 16개만 고르는 라우터는 작은 점수 변화에도 선택이 크게 흔들리며, ‘Stable’은 이 고희소 라우팅을 안정화하는 장치를 가리키는 것으로 추정된다. [04:55]
• Quantile Balancing은 과사용 전문가에 벌점을 주는 대신 라우터 점수 분포의 백분위를 비교해 상대적으로 적합한 전문가를 배정한다. [05:43]

4. 장문 추론을 위한 선형 어텐션 전환

• Kimi Delta Attention은 기존 기술을 더 큰 규모에 적용하면서 높은 성능을 유지하고 디코딩 처리량을 약 6배 높이는 핵심 구성요소다. [06:17]
• 100만 토큰 문맥에서는 기존 어텐션의 이차 복잡도가 막대한 부담을 만들기 때문에 비용 증가를 준이차 또는 선형 수준으로 낮춰야 한다. [06:49]
• Mamba 2 계열의 순환 상태 메모리는 새 정보로 상태를 갱신하고 오래된 정보를 학습된 비율로 감쇠해 문맥 길이에 따른 메모리·연산 증가를 관리한다. [07:27]

5. 오차 기반 메모리 갱신과 KDA 하이브리드

• Gated Delta Net은 메모리를 새 값으로 덮어쓰지 않고 예측값과 실제 값의 오차만 반영하지만, 효율적인 하드웨어 구현은 과제로 남는다. [08:26]
• KDA는 채널별로 보존량과 망각량을 조절하고, 세 개의 KDA 계층과 하나의 전역 Gated MLA 계층을 결합한 3:1 구조를 사용한다. [08:51]
• 순환 구조의 시간 의존성으로 병렬 훈련이 어려워지는 문제는 여러 단계를 청크로 묶어 동시에 처리하는 방식으로 완화한다. [09:41]

6. 깊은 계층의 정보 손실을 막는 Attention Residual

• Residual 연결은 모델이 깊어질수록 입력 정보가 왜곡되고 역방향 학습이 어려워지는 문제를 줄이기 위해 원본 상태가 통과할 별도 경로를 만든다. [10:17]
• Attention Residual은 현재 계층이 여러 이전 Residual 상태 가운데 필요한 정보를 선택적으로 가져오게 한다. [11:43]
• 이전 계층을 논리적 블록으로 묶으면 연결 수와 GPU 인터커넥트 부담을 억제하면서 다양한 이전 상태를 활용할 수 있다. [12:01]

7. 미국 인프라에서 달라질 추론 경제성

• 미국 내 모델 금지는 고성능 칩과 인프라로 더 빠르고 저렴한 추론을 구현할 기회를 차단해 기술적·산업적 손실로 이어질 수 있다. [12:32]
• 현재 가격은 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러이며, 미국 클라우드 서비스가 이 비용을 얼마나 낮출지는 검증 대상이다. [12:46]
• 효율성을 우선한 중국 모델이 미국의 칩·클라우드·네트워크 스택에서 본국보다 더 효율적으로 실행될 가능성은 규제와 산업 경쟁 사이의 새로운 딜레마를 만든다. [13:10]

🧾 결론

• Kimi K3의 차별점은 단일 벤치마크 점수보다 희소 전문가, 압축 통신, 장문 메모리, 선택적 잔차 경로를 하나의 효율화 체계로 결합한 데 있다.
• 활성 연산을 1.8%까지 줄이면 계산량은 감소하지만, 전문가 라우팅의 안정성과 GPU 간 데이터 이동이 새로운 핵심 병목으로 부상한다.
• KDA와 Gated MLA의 3:1 구조는 장문 처리의 효율성과 전역 어텐션의 표현력을 함께 확보하려는 하이브리드 설계다.
• 최종적인 경제성은 모델 구조만이 아니라 실제 배치에 사용되는 칩, 클라우드, 네트워크 스택에 따라 달라진다.

📈 투자·시사 포인트

• AI 모델 경쟁의 평가축은 총 파라미터와 벤치마크에서 활성 연산량, 디코딩 처리량, GPU 통신량, 토큰당 서비스 비용으로 확장되고 있다.
• 효율적인 오픈 모델과 고성능 미국 인프라가 결합되면 모델 개발사뿐 아니라 GPU·클라우드·네트워크 스택의 상호 보완성이 중요해질 수 있다.
• 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러라는 현재 가격은 추론 경제성을 비교할 기준이지만, 미국 클라우드에서의 추가 절감 폭은 아직 검증 대상이다.
• 중국 모델에 대한 일률적인 금지는 자국 인프라에서 더 빠르고 저렴한 추론을 시험할 기회까지 차단할 수 있어 규제와 산업 경쟁 사이의 비용을 키울 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• ‘Stable’이 대규모·고희소 라우팅을 훈련 과정에서 안정화하는 구체적인 장치를 뜻한다는 설명은 소스에서도 추정으로 제시됐다.
• Kimi Delta Attention의 디코딩 처리량 약 6배 향상이 어떤 하드웨어, 문맥 길이, 배치 크기, 비교 기준에서 측정됐는지는 제시되지 않았다.
• Gated Delta Net의 오차 기반 메모리 갱신을 실제 하드웨어에서 효율적으로 구현하는 문제는 아직 남아 있다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 공식 아키텍처 자료에서 Stable Latent MoE와 Quantile Balancing의 라우팅 안정화 방식 및 학습 절차를 확인한다.
• 동일한 하드웨어와 문맥 길이에서 Kimi Delta Attention의 처리량, 메모리 사용량, 출력 품질을 기존 어텐션과 비교한다.
• 입력 100만 토큰당 3달러와 출력 100만 토큰당 15달러를 기준으로 예상 사용 패턴별 추론 비용을 계산한다.
• KDA·Gated MLA 3:1 구조와 Attention Residual의 계층별 효과를 확인할 수 있는 제거 실험 또는 비교 자료를 찾는다.

❓ 열린 질문

• 활성화 비율 1.8%의 초희소 구조에서 Quantile Balancing은 문맥과 도메인이 바뀌어도 전문가 쏠림을 안정적으로 막을 수 있는가?
• KDA 세 계층과 전역 Gated MLA 한 계층의 3:1 비율은 처리량과 장문 품질 사이에서 어떤 절충을 만드는가?
• Kimi K3가 미국의 고성능 칩·클라우드·네트워크에서 실행될 경우 실제 토큰당 비용과 지연시간은 얼마나 달라지는가?