Reproducing Next-Concept Modeling (NCM): Same Quality, 31x Faster?!

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

NCM 재현 실험은 스도쿠 완전 해결률 58.1%와 중앙 추론 시간 58.7ms를 기록했으며, 제목의 ‘동일 품질·31배 가속’은 원 연구의 특정 과제 성과와 구분해서 읽어야 한다.

📌 핵심 요점

1. NCM은 토큰을 하나씩 생성하는 대신, 학습한 내부 코드를 거친 단계에서 세밀한 단계로 생성한 뒤 최종 답으로 복원한다. 내부 코드는 사람이 의미를 붙인 개념이 아니다.
2. 학습은 두 단계다. 먼저 완성된 정답을 코드로 압축하고 복원하는 표현 체계를 배우고, 다음으로 입력 문제에서 정답의 코드를 예측하는 생성기를 학습한다.
3. 같은 층의 코드는 병렬로 예측하지만 층 사이는 순차적으로 진행된다. 짧은 초기 표현과 적은 순차 단계가 속도 개선의 핵심이다.
4. 앞선 층의 코드에 일부 오류를 넣는 conditioning corruption을 적용하자, 동일한 1,000개 테스트에서 완전 해결률이 추가 학습만 한 경우의 52.6%에서 최종 58.1%로 개선됐다.
5. 최종 비교에서 NCM은 58.1%·58.7ms, 128단계 확산 모델은 60.7%·468.1ms를 기록했다. 확산 모델의 해결률이 조금 더 높았지만 추론 시간은 약 8배 길었다.

🧩 배경과 문제 정의

일반적인 자기회귀 언어 모델은 출력 토큰을 순서대로 생성한다. 영상은 이 순차 생성 구조와, 여러 위치를 반복적으로 정제하는 확산 모델을 비교 대상으로 삼아 NCM의 생성 방식을 설명한다. 핵심 질문은 학습한 내부 표현을 층별로 생성하면 유용한 해결 성능을 유지하면서 추론 시간을 줄일 수 있느냐는 것이다.

발표자는 원 연구의 속도 주장을 소개한 뒤 DGX Spark에서 작은 스도쿠 모델을 직접 학습한다. 실험에서는 완성된 답의 표현을 배우는 단계와 미완성 퍼즐에서 그 표현을 예측하는 단계를 구분하고, 최종적으로 완전 해결률과 추론 시간을 비교한다. 제목의 최대 31배 가속은 원 연구에서 소개된 수치이며, 자체 스도쿠 재현의 측정값은 별도로 제시된다.

🕒 시간순 섹션별 상세정리

1. 세 가지 생성 방식과 재현 목표

• 같은 스도쿠 데이터로 학습한 자기회귀·마스크 확산·NCM 모델의 풀이 모습을 보여주고, NCM의 원리와 자체 실험 결과를 설명하겠다고 예고한다. [01:08]
• Stanford의 Hazy Research 연구진이 발표한 NCM을 보여준다. 원 연구는 병렬적인 coarse-to-fine 텍스트 생성과 요약·번역 등의 속도 개선을 다룬다고 보여준다. [02:43]
• 중간에는 발표자의 지식베이스 서비스와 유료 구독을 소개하는 홍보 구간이 들어간다. [03:22]

2. 자기회귀·확산·NCM의 차이

• 자기회귀 생성은 왼쪽에서 오른쪽으로 토큰을 이어 붙이고, 확산 생성은 여러 위치의 불완전한 출력을 반복적으로 정제한다. [04:20]
• NCM은 작은 내부 표현을 만든 뒤 더 세밀한 정보를 추가하고, 마지막에 이를 답으로 디코딩하는 방식으로 작업을 구성한다. [04:38]

3. 내부 코드를 학습하는 첫 번째 단계

• NCM의 층은 점점 세밀해지는 학습된 내부 코드로 구성된다. 이 코드는 사람이 읽을 수 있는 생각이나 의미를 직접 표시한 것이 아니다. [05:07]
• 완성된 정답을 층별 코드로 인코딩한 뒤 다시 복원해, 정답 정보를 보존하는 표현 체계를 학습한다. 정답을 보고 복원하는 능력은 새로운 퍼즐을 푸는 능력과 구분된다. [06:02]

4. 입력에서 코드를 생성하는 두 번째 단계

• 두 번째 모델은 미완성 퍼즐을 입력받아 정답의 코드를 예측한다. 새로운 문제를 풀 때는 정답을 받지 않으며, 최종 디코더가 예측 코드를 숫자로 바꾼다. [06:56]
• 같은 층 안에서는 코드를 동시에 예측하지만 다음 층은 앞선 층에 의존한다. 따라서 층 내부는 병렬이고 층 사이는 순차적이다. [07:24]
• 생성되는 코드는 실제 스도쿠 칸 자체가 아니다. 이 구조는 단순히 여러 칸을 한꺼번에 채우는 방식보다 내부 작업의 구성과 순차 단계 수를 바꾼다. [07:44]

5. 속도 개선의 구조적 이유와 원 연구 사례

• 원 연구 소개에서는 특정 다운스트림 과제의 최대 31배, 무조건 생성의 10~21배 가속이 나온다. 발표자는 짧은 초기 표현과 적은 순차 생성 단계를 주요 이유로 보여준다. [08:23]
• 이야기 생성의 12회 패스와 번역의 11단계 예시를 통해, 거친 표현에서 세밀한 출력으로 발전하는 과정을 보여준다. [09:16]

6. DGX Spark에서 진행한 소규모 스도쿠 실험

• 발표자는 DGX Spark에서 미니 NCM을 학습했으며, Hazy Research의 공개 코드와 공개 가중치를 안내한다. 표현 학습과 생성 학습을 거쳐 보지 못한 퍼즐로 평가하는 절차를 따른다. [09:56]
• 이 구간에서는 학습 퍼즐 20,000개, 퍼즐당 단서 40개, 답 생성에 12개 층을 사용하는 설정을 제시한다. 정답 보드 복원보다 미완성 퍼즐에서 올바른 해답을 생성하는 일이 더 어려웠다고 보여준다. [10:15]
• Hermes Agent를 활용해 작은 토크나이저와 생성기를 처음부터 학습했다. 토크나이저는 완성 보드의 코드화를, 생성기는 입력 퍼즐에서 그 코드를 예측하는 역할을 맡는다. [10:55]

7. 초기 실패와 오류 복구 학습

• 시각화에서는 12개 층을 거쳐 정답에 도달하는 사례와 일부 칸을 틀리는 사례를 함께 보여준다. 초기 실험의 완전 해결률은 약 39%로 묶인다. [11:58]
• 실제 생성에서는 모델이 자신의 틀린 이전 예측을 입력으로 받을 수 있다. 이를 대비해 앞선 층의 코드 일부를 의도적으로 바꾸고도 올바른 다음 층을 예측하도록 하는 conditioning corruption을 적용한다. [12:46]

8. 추가 학습과 conditioning corruption의 효과

• 같은 1,000개 테스트 퍼즐에서 초기 모델은 38.5%, 추가 학습 모델은 52.6%, 오류 복구 학습까지 더한 모델은 약 58%의 완전 해결률을 기록한다. 발표자는 마지막 개선 폭을 약 5.5%포인트로 보여준다. [13:28]
• 이때 학습 데이터를 20,000개로 늘렸다고 설명해 앞선 데이터 규모 설명과 불일치가 남는다. 이어 같은 데이터셋으로 자기회귀 모델과 확산 모델을 학습해 비교했다고 드러낸다. [13:48]

9. 최종 해결률과 추론 시간 비교

• 최종 완전 해결률은 NCM 58.1%, 자기회귀 모델 9.5%, 확산 모델 16단계 49.7%·128단계 60.7%로 드러난다. 발표자는 모두 소규모 모델이라는 점을 강조한다. [14:52]
• NCM의 중앙 추론 시간은 58.7ms, 해결률이 조금 더 높은 128단계 확산 모델은 468.1ms다. 해당 비교에서 확산 모델의 추론 시간은 약 8배 길다. [15:17]
• 발표자는 이 결과가 특정 과제에서 나온 것이며 모든 작업에 같은 이점이 나타난다고 주장하는 것은 아니라고 보여준다. [15:35]

10. 풀이 시각화와 최종 평가

• 스도쿠 풀이 샘플을 다시 보여주며 NCM의 빠른 생성 모습을 확인한다. 동시에 완전 해결률은 약 58%이며, 제시된 NCM 구성은 89개 코드와 12개 층을 사용한다고 덧붙인다. [16:40]
• 발표자는 작은 모델에서 관찰한 빠른 추론과 해결 성능을 의미 있게 평가하면서도, 최첨단 대형 모델 수준의 능력과는 거리가 있음을 보여준다. [17:11]
• 마무리에서는 이번 미니 실험이 예상했던 빠른 생성과 일정 수준의 정확성을 보여줬다고 평가하고 시청자의 의견을 요청한다. [17:38]

🧾 결론

• 이번 재현은 작은 스도쿠 모델에서도 NCM의 속도와 해결 성능 사이의 절충을 관찰했다는 데 의미가 있다.
• 정답을 압축해 복원하는 능력과 처음 보는 문제를 푸는 능력은 별도로 평가해야 한다.
• 불완전한 이전 코드에서 다음 층을 예측하도록 훈련하는 방식이 최종 해결률 개선에 기여했다.
• 이 실험이 직접 보여준 수치는 특정 확산 모델 대비 약 8배의 추론 시간 차이다. 동일 품질에서 31배 빠르다는 주장을 직접 재현한 결과로 확대할 수는 없다.

📈 투자·시사 포인트

• AI 모델의 경쟁력을 볼 때 해결률과 함께 추론 지연 시간을 비교필요가 있다. 이번 실험에서는 해결률이 가장 높은 모델과 가장 빠른 모델이 달랐다.
• 생성 구조와 학습 방식도 효율성의 중요한 관찰 대상이다. 영상은 층별 병렬 생성과 작은 초기 표현을 속도 개선의 이유로 설명한다.
• NCM의 활용 가능성은 과제별로 확인해야 한다. 영상에서 언급한 요약·번역 등의 원 연구 성과와 이번 스도쿠 재현 결과를 구분해 추적필요가 있다.
• 영상에는 기업 실적, 서비스 원가, 매출에 관한 근거가 없다. 투자 관점에서는 기술 효율성의 검증 사례로 활용하는 범위가 적절하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제목의 ‘동일 품질·31배’와 이번 재현의 비교 조건은 다르다. 영상에서 최대 31배는 원 연구의 특정 다운스트림 과제 주장으로 소개되며, 자체 실험은 해결률이 서로 다른 두 모델의 추론 시간을 비교한다.
• 학습 데이터 수 설명에 불일치가 있다. 앞에서는 학습 퍼즐 20,000개를 제시하지만, 뒤에서는 추가 학습으로 데이터셋을 20,000개까지 늘렸다고 설명한다. 초기·추가 실험의 정확한 데이터 규모를 확인해야 한다.
• 같은 데이터셋으로 학습했다는 설명만으로 모델 간 학습 조건이 모두 같다고 판단하기는 어렵다. 모델 크기, 학습량, 튜닝 범위, 시간 측정 조건의 상세 비교는 제공되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 영상이 안내한 Hazy Research의 NCM 코드와 논문에서 최대 31배 가속의 과제, 비교 모델, 품질 기준을 확인한다.
• 초기 실험과 추가 학습 실험의 데이터 수, 학습량, conditioning corruption 적용 여부를 표로 정리해 설명의 불일치를 해소한다.
• 재현 시 동일한 테스트 퍼즐에서 완전 해결률과 중앙 추론 시간을 함께 기록하고, 정답 복원 성능과 신규 퍼즐 해결 성능을 따로 측정한다.
• 추가 학습만 한 조건과 conditioning corruption을 더한 조건을 같은 설정에서 비교해 약 5.5%포인트 개선이 반복되는지 확인한다.

❓ 열린 질문

• 모델 크기와 학습 예산을 맞추고 비교 모델도 충분히 조정하면 NCM의 속도·해결률 우위는 얼마나 유지될까?
• 층 수와 코드 수를 바꾸면 해결률과 추론 시간 사이의 관계는 어떻게 달라질까?
• 스도쿠에서 관찰한 오류 복구 학습의 효과가 영상에서 언급한 요약·번역 과제에서도 비슷하게 나타날까?