Exploring self-distilled reasoning for supervised fine-tuning with Amazon Nova

🖼️ 인포그래픽

Exploring self-distilled reasoning for supervised fine-tuning with Amazon Nova 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

자기 증류 추론은 추론 흔적이 없는 지도 미세조정 데이터에 기반 모델의 자체 사고 과정을 추가해, 목표 과제 성능을 유지하거나 높이면서 일반 추론 능력의 치명적 망각을 완화하는 방법이다.

📌 핵심 요약

고품질 사고 과정 추론 흔적은 생성·검증·정제 비용이 크지만, 이를 생략한 채 지도 미세조정을 수행하면 모델이 추론 모드를 켜도 사고 과정을 생성하지 못하는 추론 억제 현상이 발생할 수 있다.
저자들은 출력만 있는 학습 데이터에서는 중간 추론 토큰에 대한 감독 신호가 없기 때문에 손실 함수가 최종 출력에 직접 기여하지 않는 토큰을 사실상 억제하고, 모델이 견고한 추론 대신 지름길을 학습한다고 가정한다.
추론 사용 여부를 학습과 추론 단계에서 일치시킨 비교에서 병합 가중치 0.5, 0.7, 1.0일 때 추론을 사용한 설정의 목표 성능이 각각 11.7, 12.6, 17.3퍼센트포인트 높았다.
자기 증류 추론은 기반 추론 모델로 각 학습 예제의 사고 과정을 생성하고, 이를 기존 정답 앞에 추가한 뒤 추론 모드를 켜서 추론 토큰과 출력 토큰을 함께 감독하는 3단계 방식이다.
일반 지도 미세조정 후 수학 성능은 기반 모델의 70%에서 평균 6%까지 하락했지만 자기 증류 추론은 이를 거의 회복했으며, 모델 병합과 유사한 수학 성능을 보이면서 평균 목표 성능은 6.5% 이상 높였다.

🧩 주요 포인트

추론 흔적이 없는 학습은 사고 과정에 대한 감독을 제거한다 → 추론 모드를 사용할 수 있어도 실제 추론 능력과 수학·코딩 같은 일반 역량이 약화될 수 있다.
기반 모델이 생성한 사고 과정을 다시 학습 표적으로 사용한다 → 별도 교사 모델이나 사람의 주석 없이 모델의 기존 정책과 가까운 학습 신호를 제공할 수 있다.
사후 모델 병합은 목표 성능과 일반 성능 사이의 가중치 조정이 필요하다 → 학습 중 정규화를 수행하는 자기 증류 추론이 치명적 망각을 더 직접적으로 완화한다.

🧠 상세 정리

1. 고품질 추론 데이터의 비용과 문제의식

지도 미세조정에서 강한 교사 모델이 생성하고 추가 검증과 정제까지 거친 고품질 사고 과정 흔적을 확보하는 일은 현실적으로 어렵고 비용도 많이 든다. 이 때문에 입력과 최종 출력만으로 학습하는 방식을 선택하기 쉽지만, 노바 2 계열에서 추론은 특히 코딩과 수학 같은 어려운 문제의 예측 성능을 높이는 핵심 능력으로 제시된다. 본문은 추론 흔적이 없는 데이터로 미세조정할 때 목표 과제만 학습되는 것이 아니라 기존의 일반 추론 능력까지 손상될 수 있다는 점에 주목한다. 이에 따라 별도의 고품질 교사 데이터 구축 없이 기반 모델의 자체 사고 과정을 활용하는 자기 증류 추론을 대안으로 제안하고, 목표 성능과 기존 능력 보존이라는 두 목적을 함께 다룬다.

2. 추론 흔적 부재가 일으키는 추론 억제

추론 모드를 활성화한 상태에서 중간 사고 과정이 없는 입력·출력 쌍만 학습하면, 미세조정된 모델은 추론 시점에 모드를 명시적으로 켜도 추론 능력을 제대로 사용하지 못할 수 있다. 저자들은 학습 손실이 추론 토큰과 출력 토큰에 함께 적용되는데 데이터에는 일관된 중간 추론을 생성하도록 지도하는 신호가 없기 때문에 이런 현상이 나타난다고 가정한다. 그 결과 최종 답에 직접 연결되지 않는 토큰은 손실 관점에서 불리하게 취급되고, 모델은 기존의 사고 메커니즘을 거치지 않고 바로 출력으로 이동하도록 학습될 수 있다. 본문은 이를 견고한 추론 규칙 대신 표면적 상관관계에 의존하는 지름길 학습의 한 형태로 설명하며, 학습과 추론에서 추론 모드를 일관되게 설정하는 것이 중요하다고 강조한다.

3. 추론 사용에 따른 목표 성능 변화

본문은 공정한 비교를 위해 학습과 추론에서 모두 추론을 켠 설정과 두 단계에서 모두 끈 설정을 비교한다. LLaVA 사고 과정 데이터에서 기반 모델에 해당하는 병합 가중치 0.0의 목표 성능은 양쪽 모두 12.30%였고, 가중치 0.3에서는 추론 사용 설정이 34.38%, 미사용 설정이 35.28%로 오히려 0.9퍼센트포인트 낮았다. 그러나 가중치 0.5에서는 60.51% 대 48.80%, 0.7에서는 66.67% 대 54.05%, 1.0에서는 65.17% 대 47.90%로 추론 사용 설정이 각각 11.7, 12.6, 17.3퍼센트포인트 높았다. 이는 모든 가중치에서 일률적인 우위가 나타난 것은 아니지만, 미세조정 영향이 커지는 주요 구간에서는 추론을 학습과 실행에 함께 사용하는 것이 목표 과제 성능에 상당한 이점을 제공했음을 보여준다.

4. 치명적 망각과 모델 병합의 한계

특정 데이터로 지도 미세조정하면 목표 도메인에 적응하는 동안 기반 모델이 이미 보유하던 지식과 일반 능력이 크게 손실되는 치명적 망각이 발생할 수 있다. 본문에 제시된 사례에서는 기반 모델의 수학 성능이 70%였지만 일반 지도 미세조정 후 평균 6%까지 떨어져, 기존 능력이 거의 사라질 수 있음을 보여준다. 기존 대응법인 모델 병합은 미세조정 체크포인트와 미세조정 이전 기반 모델을 가중 보간하여 수학·코딩·추론 능력을 복구하지만, 기반 모델 쪽 비중을 높이면 미세조정으로 얻은 목표 성능 향상을 일부 포기해야 한다. 또한 적절한 병합 가중치를 별도로 찾아야 하므로 목표 과제와 일반 능력 사이에 사후 조정 문제가 남는다. 자기 증류 추론은 이러한 사후 보간 대신 학습 중에 기반 모델의 사고 과정을 정규화 신호로 제공하여, 목표 성능을 희생하지 않으면서 기존 능력을 보존하려는 접근이다.

5. 평가 과제가 포괄하는 능력 범위

본문의 실험 배경에는 서로 다른 능력을 측정하는 다섯 종류의 평가 과제가 열거된다. ToolACE는 1만 개 표본에서 함수 이름과 모든 인수의 정확한 일치를 평가하며, 약 2천 토큰의 짧은 문맥에서 올바른 도구 호출과 인수 값 추론 능력을 측정한다. CoCoHD는 미국 의회 청문회 기록의 긴 문맥에서 제목·위원회·구성원·날짜 등 10개 메타데이터 필드를 JSON으로 추출하고, 730개 표본의 예측값과 정답 간 키·값 중첩을 평가한다. GovReport는 1만7천 개 정부 보고서를 250~450단어로 요약하여 ROUGE-L로 평가하고, Invoice-OCR은 약 500개의 스캔 송장 이미지에서 구조화된 필드를 추출해 평균 정규화 레벤슈타인 유사도로 채점한다. CaptionGen은 1천800개 동영상에서 시간에 따른 장면을 이해해 설명문을 생성하는 과제이며, 본문은 자동 평가를 사용한다고 설명하지만 구체적인 채점 지표는 확정적으로 제시하지 않는다.

6. 사고 과정이 수행하는 세 가지 학습 기능

본문은 지도 미세조정의 추론 흔적이 단순히 답을 길게 만드는 부가 정보가 아니라 세 가지 학습 기능을 수행한다고 설명한다. 첫째, 기반 모델의 사고 방식을 학습 표적으로 제공해 미세조정된 모델이 원래 정책에서 과도하게 멀어지지 않도록 하며, 이는 인간 피드백 기반 강화학습의 쿨백-라이블러 정규화와 유사한 암묵적 정책 정규화 역할을 한다. 둘째, 최종 정답만 감독하는 결과 중심 학습과 달리 문제 해결의 중간 단계를 감독하므로, 강화 미세조정의 단계별 보상 형성과 비슷한 과정 감독을 제공하고 더 견고한 일반화를 돕는다. 셋째, 모델 자신의 예측으로 다시 학습하는 자기 증류 가운데서도 사고 과정은 최종 출력뿐 아니라 문제 해결 절차 전체를 담기 때문에 밀도 높은 토큰 단위 자기 감독 신호가 된다. 기반 모델의 추론을 그대로 표적으로 삼는 방식은 효과적인 미세조정 모델이 매개변수 공간에서 기반 모델과 가까움을 유지한다는 연구 관찰과도 연결된다.

7. 자기 증류 추론의 3단계 절차

자기 증류 추론은 추론 흔적이 없는 기존 지도 미세조정 데이터에 기반 모델의 자체 사고 과정을 추가하는 방식으로 수행된다. 첫 단계에서는 노바 2 라이트와 같은 기반 추론 모델이 데이터셋의 각 예제에 대해 추론 흔적을 생성하며, 별도의 외부 교사 모델이나 사람의 사고 과정 작성 작업을 요구하지 않는다. 두 번째 단계에서는 생성한 추론 흔적을 원래 정답 출력의 앞부분에 붙여, 하나의 학습 예제가 중간 사고 과정과 최종 답을 모두 포함하도록 확장한다. 마지막 단계에서는 추론 모드를 켠 상태로 모델을 미세조정하여 추론 토큰과 출력 토큰 모두에 감독 신호를 제공한다. 이 절차는 기반 모델 자체의 문제 해결 방식과 일치하는 학습 표적을 사용하고 기존 데이터셋에 적용할 수 있어, 사람의 주석 비용과 미세조정 이후의 별도 보간 절차를 피한다.

8. 실험 결과와 맞춤화 시사점

자기 증류 추론은 학습 중 정규화로 작동하여 일반 지도 미세조정과 비슷하거나 더 나은 목표 성능을 유지하면서 기반 모델의 일반 능력 대부분을 보존한 것으로 보고된다. 일반 지도 미세조정으로 평균 6%까지 떨어진 수학 성능은 이 방식으로 거의 기반 수준까지 회복되었으며, 모델 병합과 비교한 수학 성능도 70%와 68%로 거의 같았다. 동시에 자기 증류 추론의 평균 목표 성능은 모델 병합보다 6.5% 이상 높아, 기존 능력을 복원하기 위해 목표 성능을 양보해야 하는 병합의 절충을 줄였다. 맞춤형 모델을 운용할 때에는 학습과 추론의 추론 모드를 일치시키는 것이 우선이며, 개입 없이 도메인 미세조정만 수행하면 일반 추론 능력이 크게 저하될 수 있다. 모델 병합도 복구 수단으로 사용할 수 있지만 가중치 조정이 필요하고, 본문은 별도 교사·사람 주석·사후 보간 없이 학습 단계에서 보존 효과를 제공하는 자기 증류 추론을 더 효과적인 대안으로 제시한다.

🧾 핵심 주장 / 시사점

사고 과정은 최종 답을 만들기 위한 중간 기록인 동시에, 미세조정된 모델을 기반 모델의 기존 정책과 능력 가까이에 유지하는 정규화 데이터로 기능한다.
목표 성능과 일반 능력 사이의 충돌을 미세조정 후 모델 병합으로 조정하는 것보다, 기반 모델의 자체 추론을 학습 데이터에 포함해 망각을 학습 중에 억제하는 편이 실험상 더 효과적이었다.
추론 능력의 보존은 데이터 구성만의 문제가 아니라 학습과 실제 추론 단계의 모드 일관성에도 좌우되므로, 맞춤형 모델 평가에서는 두 단계의 설정을 맞춘 비교가 필요하다.