🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

3B 규모의 큐원 모델을 카운트다운 산술 과제와 그룹 상대 정책 최적화로 훈련해, 별도의 인간 피드백 없이 풀이를 검토하고 탐색하는 딥시크 R1의 작은 ‘아하 순간’을 재현한 강화학습 실험이다.

📌 핵심 요약

• 이 글은 딥시크 R1 제로가 순수 강화학습 과정에서 최초 접근을 재평가하고 사고 시간을 늘리는 행동을 학습한 현상을, 숫자와 사칙연산으로 목표값을 만드는 카운트다운 게임에서 소규모로 재현한다.
• 그룹 상대 정책 최적화는 가치 함수 모델 대신 한 프롬프트에서 생성한 여러 답변의 보상 평균을 기준선으로 삼아 각 답변의 상대적 이점을 계산하므로, 전통적인 근접 정책 최적화보다 메모리와 계산 부담을 줄인다.
• 실험은 큐원 2.5 3B 인스트럭트 모델과 3~4개 숫자로 구성된 카운트다운 데이터셋을 사용하며, 출력 형식 준수 여부와 정답 수식의 정확성을 검사하는 두 개의 규칙 기반 보상 함수를 적용한다.
• 4대의 엔비디아 H100 환경에서 딥스피드와 브이엘엘엠을 결합해 450단계를 약 6시간 동안 훈련했으며, 모델은 약 50단계에서 출력 형식을 익히고 100단계에서 약 25%, 200단계에서 약 40%, 450단계에서 약 50%의 성공률에 도달했다.
• 훈련이 진행되면서 모델의 풀이 방식은 문장으로 설명하는 추론에서 다양한 조합을 체계적으로 시험하고 결과를 검토하는 프로그램 실행형 탐색으로 바뀌었지만, 저자는 이를 강한 일반 추론의 확정적 재현으로 단정하지 않고 모델 규모·보상 설계·과제 편중·훈련 길이의 영향을 함께 제시한다.

🧩 주요 포인트

1. 이 글은 딥시크 R1 제로가 순수 강화학습 과정에서 최초 접근을 재평가하고 사고 시간을 늘리는 행동을 학습한 현상을, 숫자와 사칙연산으로 목표값을 만드는 카운트다운 게임에서 소규모로 재현한다.
2. 그룹 상대 정책 최적화는 가치 함수 모델 대신 한 프롬프트에서 생성한 여러 답변의 보상 평균을 기준선으로 삼아 각 답변의 상대적 이점을 계산하므로, 전통적인 근접 정책 최적화보다 메모리와 계산 부담을 줄인다.
3. 실험은 큐원 2.5 3B 인스트럭트 모델과 3~4개 숫자로 구성된 카운트다운 데이터셋을 사용하며, 출력 형식 준수 여부와 정답 수식의 정확성을 검사하는 두 개의 규칙 기반 보상 함수를 적용한다.
4. 4대의 엔비디아 H100 환경에서 딥스피드와 브이엘엘엠을 결합해 450단계를 약 6시간 동안 훈련했으며, 모델은 약 50단계에서 출력 형식을 익히고 100단계에서 약 25%, 200단계에서 약 40%, 450단계에서 약 50%의 성공률에 도달했다.
5. 훈련이 진행되면서 모델의 풀이 방식은 문장으로 설명하는 추론에서 다양한 조합을 체계적으로 시험하고 결과를 검토하는 프로그램 실행형 탐색으로 바뀌었지만, 저자는 이를 강한 일반 추론의 확정적 재현으로 단정하지 않고 모델 규모·보상 설계·과제 편중·훈련 길이의 영향을 함께 제시한다.

🧠 상세 정리

1. 딥시크 R1의 ‘아하 순간’을 재현하려는 목표

딥시크 R1은 복잡한 추론 과제에서 높은 성능을 보인 공개 모델이며, 그룹 상대 정책 최적화와 강화학습 중심의 다단계 훈련으로 개발되었다. 논문에서 특히 주목받은 현상은 딥시크 R1 제로가 인간 피드백이나 올바른 풀이 절차를 설명하는 데이터 없이도 자신의 첫 접근을 다시 검토하고, 문제에 더 많은 사고 시간을 배분하기 시작했다는 점이다. 저자는 강화학습이 예상하지 못한 정교한 행동을 낳을 수 있다는 이 현상을 작은 규모로 재현하고자 한다. 이를 위해 공개 모델에 카운트다운 게임을 풀도록 학습시키고, 정답만 맞히는 것을 넘어 스스로 탐색하고 검산하는 행동이 나타나는지 관찰한다. 이 실험은 원래의 대규모 R1 훈련 전체를 복제하기보다, 규칙 기반 보상만으로 유사한 행동 변화가 나타나는지를 확인하는 강화학습 튜토리얼에 가깝다.

2. 카운트다운 게임과 학습 과제의 성격

카운트다운 게임은 주어진 숫자와 덧셈·뺄셈·곱셈·나눗셈을 조합해 지정된 목표 숫자에 도달하거나 가능한 한 가까운 값을 만드는 산술 퍼즐이다. 글은 목표값 952와 여러 가용 숫자를 예시로 제시하며, 단순한 정답 암기보다 다양한 연산 조합을 탐색해야 하는 과제임을 보여준다. 실제 훈련에는 세 개 또는 네 개의 숫자와 해답을 포함한 카운트다운 데이터셋이 사용되며, 모델은 답변 태그 안에 목표값을 만족하는 수식을 출력해야 한다. 정확도 보상은 수식을 추출해 실제로 목표값이 되는지 계산하고, 주어진 숫자를 각각 한 번씩 사용했는지도 확인한다. 따라서 모델은 자연어로 그럴듯하게 설명하는 것만으로는 보상을 얻을 수 없고, 형식과 산술 조건을 모두 충족하는 검증 가능한 결과를 생성해야 한다.

3. 그룹 상대 정책 최적화의 작동 방식

그룹 상대 정책 최적화는 대규모 언어 모델의 추론 능력을 개선하기 위해 딥시크매스 논문에서 소개된 강화학습 알고리즘이다. 전통적인 근접 정책 최적화와 달리 별도의 가치 함수 모델을 두지 않고, 하나의 프롬프트에서 생성한 여러 답변의 보상 점수를 이용해 기준선을 추정하므로 메모리 사용량과 계산 부담을 낮춘다. 먼저 현재 정책으로 프롬프트마다 여러 출력을 생성하고, 규칙 기반 또는 결과 기반 보상 함수로 각 출력을 평가한다. 이어 그룹의 평균 보상을 기준선으로 삼아 개별 답변의 상대적 이점을 계산하고, 그룹 안에서 보상을 정규화한다. 마지막으로 계산된 이점과 쿨백-라이블러 발산 항이 포함된 목적함수를 최대화하도록 정책을 갱신하며, 이 발산 항의 적용 방식은 근접 정책 최적화가 보상 안에 포함하는 방식과 차이가 있다.

4. 개발 환경과 사용한 모델·데이터

실험 환경에는 파이토치 2.5.1을 비롯해 플래시 어텐션, 트랜스포머스 4.48.1, 데이터셋 3.1.0, 액셀러레이트 1.3.0, 딥스피드 0.15.4, 강화학습 라이브러리 0.14.0, 브이엘엘엠 0.7.0이 설치된다. 모델과 훈련 기록을 원격으로 버전 관리하기 위해 허깅페이스 허브에 로그인하고, 훈련 중 모델·로그·관련 정보를 자동으로 올리도록 구성한다. 데이터는 세 개 또는 네 개의 숫자와 풀이를 담은 카운트다운 과제를 사용하며, 기반 모델은 30억 개 매개변수의 큐원 2.5 3B 인스트럭트다. 지시 조정이 이미 적용된 모델을 선택한 이유는 요구된 답변 구조를 따를 수 있어 행동 변화인 ‘아하 순간’을 관찰하기 더 쉽기 때문이다. 원문이 인용한 선행 실험에서는 추론 과정을 학습하려면 일정 수준 이상의 기반 모델 품질이 필요하며, 출발점으로 15억 개를 넘는 매개변수가 언급된다.

5. 훈련기와 두 가지 규칙 기반 보상

훈련에는 트랜스포머스의 범용 훈련기를 확장한 전용 그룹 상대 정책 최적화 훈련기가 사용되며, 로깅·체크포인트·분산 훈련·매개변수 효율 미세조정 같은 기존 기능을 그대로 지원한다. 첫 번째 형식 보상은 모델 출력이 사고 태그와 답변 태그로 구성된 지정 형식을 정확히 따르는지 검사한다. 두 번째 정확도 보상은 답변 태그에서 수식을 추출한 뒤 연산 결과가 목표값과 일치하는지, 그리고 모든 입력 숫자를 한 번씩 사용했는지를 평가한다. 이는 생성 결과의 정확성을 규칙으로 검증한 딥시크 R1의 규칙 기반 보상 접근과 유사하게 구성한 것이다. 정답에는 결과 숫자만 쓰는 것이 아니라 실제 계산식이 포함되어야 하므로, 모델은 보상을 받기 위해 출력 구조와 수학적 유효성을 동시에 만족해야 한다.

6. 딥스피드와 브이엘엘엠을 이용한 분산 훈련

훈련은 80기가바이트 메모리를 갖춘 엔비디아 H100 네 대에서 검증되었으며, 딥스피드는 분산 학습을, 브이엘엘엠은 빠른 답변 생성을 담당한다. 네 대 가운데 세 대는 학습 프로세스에 사용하고 마지막 한 대는 생성 전용 브이엘엘엠 장치로 배정하므로, 학습 프로세스 수는 전체 그래픽 처리 장치 수보다 하나 적게 설정해야 한다. 예를 들어 여덟 대를 사용할 경우에는 생성 장치를 일곱 번째 색인의 그래픽 처리 장치로 지정하고 학습 프로세스 수를 일곱 개로 맞춰야 한다. 샘플마다 여덟 개의 출력을 생성하는 구성에서 한 단계는 약 45~60초가 걸렸으며, 총 450단계의 전체 훈련은 약 6시간이 소요되었다. 훈련 스크립트와 별도 설정 파일에는 모델·보상·생성·분산 실행에 필요한 구체적인 매개변수가 담겨 있다.

7. 하이퍼파라미터 조정과 단계별 성능 변화

초기 실험은 딥시크매스 논문의 설정을 따라 학습률 0.000001과 쿨백-라이블러 계수 0.04로 시작했지만, 약 150단계 이후 훈련이 불안정해졌다. 저자는 소규모 제거 실험과 오픈 강화학습 프레임워크의 시험 결과를 참고해 학습률을 0.0000005로, 해당 계수를 0.001로 낮췄다. 모델은 약 50단계에서 사고 태그와 답변 태그 형식을 익혔고, 100단계에서는 수식 풀이 성공률이 약 25%에 도달하면서 단어를 이용한 추론을 보이기 시작했다. 200단계에서는 성공률이 약 40%로 높아졌지만 개선 속도는 느려졌으며, 여러 조합을 시험하고 결과를 검토하는 프로그램 실행형 풀이 형식이 나타났다. 450단계에는 성공률이 약 50%에 이르렀고 성능은 계속 완만하게 향상되었으며, 200단계부터 등장한 새로운 풀이 형식도 유지되었다.

8. 행동 변화의 해석과 실험의 한계

훈련 초반의 성공 사례는 모델이 가능한 연산을 자연어로 검토하고, 잘못된 계산을 스스로 수정한 뒤 올바른 수식에 도달하는 모습을 보여준다. 이후에는 사람이 서술하듯 설명하기보다 여러 조합을 체계적으로 실행하고 결과를 확인하는 방식으로 이동했는데, 저자는 이 변화를 하나의 원인으로 확정하지 않는다. 가능한 설명으로는 30억 개 매개변수 모델의 역량 부족, 보상 함수가 충분히 정교하지 않아 특정 풀이 방식을 유도했을 가능성, 카운트다운 과제만 반복한 결과 가장 효율적인 형식으로 수렴했을 가능성이 제시된다. 또한 원래 R1 논문은 8천 단계를 넘는 훈련 시각화를 제시한 반면 이 실험은 450단계에 그쳤으므로, 훈련 시간이 충분하지 않았을 가능성도 언급된다. 저자는 생성 수를 여덟 개에서 딥시크매스가 사용한 예순네 개로 늘렸을 때의 영향도 시험하지 못했기 때문에, 관찰된 변화는 흥미로운 결과이지만 제한된 조건 안에서 해석해야 한다.

🧾 핵심 주장 / 시사점

• 학습은 정답률 상승보다 출력 규격 습득이 먼저 나타나는 순서를 보였다. 약 50단계에서 형식을 익힌 뒤 100단계부터 의미 있는 풀이 성공과 언어적 추론이 관찰되었다.
• 성공률은 100단계의 약 25%에서 200단계의 약 40%, 450단계의 약 50%로 상승했지만 후반으로 갈수록 개선 속도가 느려져, 450단계만으로 행동 변화의 최종 형태를 판단하기는 어렵다.
• 자연어 추론에서 프로그램 실행형 탐색으로의 이동은 자기검증 능력의 징후일 수 있지만, 원문은 이를 기반 모델의 한계·보상 해킹·단일 과제 편중·짧은 훈련 기간과 구분하지 못한 상태로 제시한다.

✅ 액션 아이템

• 카운트다운 3~4개 숫자 데이터셋에서 큐원 2.5 3B 인스트럭트 모델로 동일 보상 규칙을 적용해 출력 형식·정답 수식 성능을 재현한다.
• 그룹 상대 정책 최적화를 적용해 한 프롬프트 다중 응답의 보상 평균을 기준선으로 두고 상대적 이득 기반 학습 신호를 정의한다.
• 4대 H100 환경에서 50/100/200/450단계 로그를 남겨 25/40/50% 성공률과 추론 방식 전환 시점을 함께 점검한다.

❓ 열린 질문

• 출력 형식이 50단계 전후에 급속히 정착한 원인을 보상 설계와 어떻게 분해해 판별할 것인가?
• 훈련 길이를 늘릴수록 모델 탐색 방식이 문장 추론에서 실행형 탐색으로 바뀌는 구간은 어디서 어떻게 정의되어야 하는가?
• 모델 규모·과제 편중·훈련 길이의 영향이 섞인 상태에서 동일 실험 패턴이 다른 과제에도 일반화되는가?