Open-R1: a fully open reproduction of DeepSeek-R1

🖼️ 인포그래픽

Open-R1: a fully open reproduction of DeepSeek-R1 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Open-R1은 DeepSeek-R1에서 공개되지 않은 데이터셋과 학습 코드를 재구성해, 추론 모델의 증류·순수 강화학습·다단계 학습 과정을 누구나 검증하고 재현할 수 있도록 만들려는 오픈 프로젝트다.

📌 핵심 요약

DeepSeek-R1은 강력한 기반 모델인 DeepSeek-V3 위에서 구축됐으며, 상세 기술 보고서를 통해 지도학습 없이 순수 강화학습으로 추론 능력을 형성하는 방법을 포함한 핵심 학습 절차를 공개했다.
DeepSeek-R1-Zero는 지도 미세조정 없이 GRPO와 정답 정확성·응답 구조에 관한 단순한 보상만으로 단계적 추론과 자기 검증 능력을 익혔지만, 출력의 명료성과 가독성이 떨어지는 한계를 보였다.
DeepSeek-R1은 소량의 정제된 예시를 활용한 콜드 스타트와 추가 강화학습·정제 단계를 거쳐, 추론 성능뿐 아니라 읽기 쉽고 일관된 답변 품질까지 개선했다.
모델 가중치와 기술 보고서는 공개됐지만 추론 데이터셋, 학습 코드, 하이퍼파라미터와 규모별 계산량·데이터 절충 관계는 공개되지 않아 완전한 재현에는 핵심 공백이 남아 있다.
Open-R1은 R1-Distill 재현, R1-Zero의 순수 강화학습 파이프라인 재구축, 기반 모델에서 SFT와 RL로 이어지는 다단계 학습 입증을 순차적으로 추진하며 코드·데이터·성공 및 실패 경험을 공개하려 한다.

🧩 주요 포인트

DeepSeek-R1은 강력한 기반 모델인 DeepSeek-V3 위에서 구축됐으며, 상세 기술 보고서를 통해 지도학습 없이 순수 강화학습으로 추론 능력을 형성하는 방법을 포함한 핵심 학습 절차를 공개했다.
DeepSeek-R1-Zero는 지도 미세조정 없이 GRPO와 정답 정확성·응답 구조에 관한 단순한 보상만으로 단계적 추론과 자기 검증 능력을 익혔지만, 출력의 명료성과 가독성이 떨어지는 한계를 보였다.
DeepSeek-R1은 소량의 정제된 예시를 활용한 콜드 스타트와 추가 강화학습·정제 단계를 거쳐, 추론 성능뿐 아니라 읽기 쉽고 일관된 답변 품질까지 개선했다.
모델 가중치와 기술 보고서는 공개됐지만 추론 데이터셋, 학습 코드, 하이퍼파라미터와 규모별 계산량·데이터 절충 관계는 공개되지 않아 완전한 재현에는 핵심 공백이 남아 있다.
Open-R1은 R1-Distill 재현, R1-Zero의 순수 강화학습 파이프라인 재구축, 기반 모델에서 SFT와 RL로 이어지는 다단계 학습 입증을 순차적으로 추진하며 코드·데이터·성공 및 실패 경험을 공개하려 한다.

🧠 상세 정리

1. 추론 모델이 주목받게 된 배경

어려운 수학 문제를 풀 때 더 오래 생각하고 풀이 과정을 차근차근 검토하면 정답에 도달할 가능성이 높아지듯, 언어 모델도 추론 시점에 더 많은 계산을 사용하도록 학습하면 수학·코딩·논리 과제의 성능이 크게 향상될 수 있다. OpenAI의 o1은 이러한 접근의 효과를 보여줬지만, 실제 추론 모델을 만드는 학습 방법은 자세히 공개되지 않았다. DeepSeek-R1은 o1과 대등하거나 더 나은 성능을 보였다고 소개됐을 뿐 아니라, 핵심 학습 절차를 설명하는 상세 기술 보고서까지 함께 내놓았다는 점에서 큰 관심을 받았다. 특히 인간의 직접적인 지도 없이 순수 강화학습을 적용해 기반 언어 모델에 추론 행동을 형성할 수 있다는 결과는, 강력한 기반 모델과 품질 높은 데이터 조합을 확보하면 추론 모델 개발 절차를 더 체계적으로 연구할 수 있음을 보여줬다.

2. 공개 이후에도 남은 재현의 핵심 질문

DeepSeek-R1의 공개는 추론 모델 연구에 중요한 정보를 제공했지만, 동일한 결과를 독립적으로 재현하는 데 필요한 요소가 모두 공개된 것은 아니다. 먼저 어떤 원천에서 문제를 모으고 어떻게 선별·정제해 추론 전용 데이터셋을 구성했는지 알 수 없으며, 이 차이는 학습 결과와 평가 성능에 직접 영향을 줄 수 있다. 또한 실제 학습 코드와 세부 하이퍼파라미터가 공개되지 않아 어떤 설정이 효과적이었는지, 모델 계열이나 규모가 달라질 때 설정을 어떻게 조정해야 하는지도 확인하기 어렵다. 계산량과 데이터량 사이의 절충 관계를 설명하는 스케일링 법칙 역시 남은 질문으로 제시됐으며, Open-R1은 바로 이러한 데이터 수집·모델 학습·규모 확장 문제를 체계적으로 검증하기 위해 시작됐다.

3. DeepSeek-V3가 제공한 강력한 기반

DeepSeek-R1은 처음부터 별도의 모델로 만들어진 것이 아니라 강력한 기반 언어 모델인 DeepSeek-V3 위에서 구축됐다. DeepSeek-V3는 6710억 개 매개변수 규모의 전문가 혼합 모델로, 기사에서는 Sonnet 3.5와 GPT-4o 같은 주요 모델에 견줄 만한 성능을 보인다고 설명한다. 기사에 제시된 550만 달러의 학습 비용은 DeepSeek-R1 자체가 아니라 이 기반 모델인 DeepSeek-V3에 관한 수치이며, Multi Token Prediction과 Multi-Head Latent Attention 같은 구조적 변화 및 광범위한 하드웨어 최적화가 비용 효율성의 배경으로 언급된다. 이 사례는 강화학습 기법만으로 모든 것이 해결되는 것이 아니라, 추론 학습을 시작하기 전에 충분한 언어·지식·문제 해결 역량을 갖춘 기반 모델이 필요하다는 점을 Open-R1의 출발 조건으로 제시한다.

4. DeepSeek-R1-Zero의 순수 강화학습 실험

DeepSeek-R1-Zero는 지도 미세조정 단계를 완전히 생략하고 강화학습만으로 추론 능력을 형성했다는 점에서 핵심적인 실험이다. 학습에는 정책 업데이트를 효율화하기 위한 Group Relative Policy Optimization, 즉 GRPO가 사용됐고, 답변의 정확성과 구조에 따라 피드백을 주는 비교적 단순한 보상 체계가 적용됐다. 그 결과 모델은 문제를 여러 단계로 나누어 풀고, 자신의 중간 결과나 최종 출력을 점검하는 등 유용한 추론 행동을 스스로 발전시켰다. 이는 사람이 작성한 추론 예시를 먼저 대량으로 주입하지 않아도 검증 가능한 보상을 통해 추론 패턴이 나타날 수 있음을 보여주는 결과였다. 다만 생성된 답변은 명료성과 가독성이 부족하고 읽기 어려운 경우가 많았으므로, 높은 추론 능력이 곧바로 사용하기 좋은 응답 품질을 보장하지는 않았다.

5. DeepSeek-R1의 콜드 스타트와 품질 정제

DeepSeek-R1은 R1-Zero에서 확인된 가독성 문제를 보완하기 위해 소량의 신중하게 작성된 예시로 미세조정하는 콜드 스타트 단계부터 시작했다. 이 초기 단계는 모델이 단순히 정답을 찾는 데 그치지 않고, 사람이 읽기 쉬운 방식으로 추론 과정과 답변을 표현하도록 방향을 잡는 역할을 했다. 이후 추가 강화학습과 여러 정제 단계를 적용했으며, 인간 선호에 기반한 보상과 정답 여부처럼 검증 가능한 보상을 함께 활용해 품질이 낮은 출력을 걸러냈다. 그 결과 DeepSeek-R1은 R1-Zero가 보여준 단계적 추론 능력을 유지하면서도 더 명료하고 일관되며 정돈된 답변을 생성하도록 개선됐다. 두 모델의 대비는 순수 강화학습이 추론 능력의 출현을 이끌 수 있지만, 실제 활용 가능한 모델을 만들려면 초기 지도 데이터와 후속 품질 관리가 함께 필요하다는 학습 절차를 보여준다.

6. Open-R1이 채우려는 공개성의 공백

DeepSeek-R1의 모델 가중치가 공개됐다는 사실만으로 전체 학습 과정을 그대로 재현할 수 있는 것은 아니다. 모델을 만드는 데 사용된 데이터셋과 학습 코드가 제공되지 않았기 때문에, 연구자는 보고서에 적힌 개념적 절차를 바탕으로 데이터 구성과 세부 설정을 다시 추정하고 실험해야 한다. Open-R1의 목표는 이 마지막 공백을 채워 연구자와 산업계가 같은 학습법과 데이터 자원을 이용해 유사하거나 더 나은 추론 모델을 구축할 수 있게 하는 것이다. 프로젝트는 강화학습이 추론 성능을 어떤 방식으로 높이는지 투명하게 설명하고, 재현 가능한 결과와 구현 경험을 오픈소스 커뮤니티에 공유하려 한다. 다만 글의 저자는 커뮤니티 답변에서 이 게시물이 이미 재현에 성공했다는 발표가 아니라 프로젝트를 소개하는 글이라고 명확히 밝혔으며, 향후 완성되는 모델·데이터셋·코드를 각각 공개 저장소에 올리겠다고 설명했다.

7. 세 단계로 구성된 재현 계획

Open-R1의 첫 단계는 DeepSeek-R1에서 고품질 추론 데이터셋을 증류해 R1-Distill 계열 모델을 재현하는 것이다. 이렇게 만든 합성 데이터셋은 기존 또는 새 언어 모델을 미세조정해 추론 모델로 전환할 수 있는 공개 자원으로 활용될 예정이다. 두 번째 단계에서는 수학·추론·코드 분야의 새로운 대규모 데이터셋을 구성하고, DeepSeek가 R1-Zero에 적용한 순수 강화학습 파이프라인을 독립적으로 재구축한다. 세 번째 단계에서는 기반 모델에서 출발해 지도 미세조정인 SFT를 거친 뒤 강화학습으로 이어지는 전체 다단계 학습 과정을 실제로 구현하고 검증하는 것을 목표로 한다. 이 세 단계는 결과 모델 하나를 복제하는 데 그치지 않고, 데이터 증류부터 순수 강화학습과 품질 정제까지 이어지는 재사용 가능한 학습 기반을 만드는 데 초점이 있다.

8. 수학을 넘어선 확장과 공동 연구

Open-R1은 수학 데이터셋만 재현하는 데 머무르지 않고 코드와 의학을 포함한 과학 분야까지 추론 학습의 적용 범위를 넓힐 가능성을 제시한다. 공개된 합성 데이터와 강화학습 절차는 다른 연구자가 기존 방법을 반복하는 데 쓰일 뿐 아니라, 그 위에서 더 발전된 학습법을 개발하기 위한 출발점으로 활용될 수 있다. 프로젝트는 성공한 설정만 공개하는 것이 아니라 무엇이 작동하지 않았는지와 그 이유까지 문서화해, 다른 연구자가 효과 없는 경로에 시간과 계산 자원을 낭비하지 않도록 하는 것을 중요한 목표로 삼는다. 커뮤니티에서는 평가 수치가 없는 상태에서 재현이라는 표현을 사용할 수 있는지, 원본 데이터와 하이퍼파라미터 없이 얼마나 충실하게 복제할 수 있는지, 데이터 품질과 저작권을 어떻게 다뤄야 하는지 등의 질문도 제기됐다. 저자들은 현재 단계가 완성된 재현 결과가 아니라 공개 협업의 시작임을 강조하며, 코드 기여와 Hugging Face 토론 참여를 통해 재현 과정 자체를 공동으로 구축하자고 제안했다.

🧾 핵심 주장 / 시사점

Open-R1의 핵심 가치는 특정 모델의 가중치를 다시 만드는 것보다, 공개되지 않은 데이터 구성·학습 코드·하이퍼파라미터를 실험 가능한 형태로 재구성하고 성공과 실패의 근거까지 공유하는 데 있다.
R1-Zero와 R1의 차이는 추론 정확도와 응답 품질이 별개의 최적화 대상임을 보여준다. 순수 강화학습은 단계적 추론을 형성할 수 있지만, 명료하고 일관된 출력에는 콜드 스타트 데이터와 후속 정제가 필요했다.
이 글은 재현 완료 보고서가 아니라 재현 프로젝트의 출범 선언이다. 따라서 프로젝트의 최종 성패는 향후 공개될 데이터·코드·모델과 원 모델에 준하는 평가 절차를 통해 판단해야 한다.