Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon SageMaker HyperPod에서 GPT-OSS-20B에 SFT를 적용해 추론 언어 일치율을 22%에서 100%로 높였고, GRPO를 추가해 최종 답변 언어 일치율을 62%에서 70%로 개선했다.

📌 핵심 요약

• GPT-OSS-20B는 5개 언어로 구성된 50개 평가 사례에서 기본 모델의 추론 언어 일치율이 22%였다. 언어별로 영어 100%, 프랑스어 0%, 독일어 10%, 스페인어 0%, 이탈리아어 0%로, 영어 추론 편향이 강했다.
• 학습에는 약 949개 학습 예제와 50개 검증 예제를 포함한 HuggingFaceH4/Multilingual-Thinking을 사용했다. 추론과 최종 답변이 각각 지정 언어로 작성되는지를 별도로 측정했으며, 이 지표는 수학·논리 문제의 정답률과 구분된다.
• Amazon SageMaker HyperPod에서 LoRA 기반 SFT를 1,000단계 수행한 결과, 추론 언어 일치율은 100%, 최종 답변 언어 일치율은 62%였다. 추론 언어는 약 200단계에서 먼저 개선됐고, 최종 답변 언어는 더 늦게 학습됐다.
• SFT 체크포인트에 GRPO를 추가하자 추론 언어 일치율 100%를 유지하면서 최종 답변 언어 일치율이 70%로 8%포인트 상승했다. 언어별 최종 답변 언어 일치율은 프랑스어 60%→70%, 독일어 60%→80%, 스페인어 30%→60%, 이탈리아어 60%→40%, 영어 100%→100%로 차이가 있었다.
• 글은 SFT가 부족한 행동을 가르치고 GRPO가 이미 간헐적으로 나타나는 행동을 강화한다고 설명한다. 학습 환경은 Amazon EKS, Amazon FSx for Lustre, EFA 등을 사용했으며, 제공된 본문은 추론 비교 실행 명령 중간에서 끝나 Qwen2.5-7B 대조 실험의 결과는 확인할 수 없다.

🧩 주요 포인트

1. 강한 영어 추론 편향 → GPT-OSS-20B에는 SFT로 지정 언어 추론 행동을 먼저 형성하고, 남은 최종 답변 언어 문제에 GRPO를 적용하는 순서가 실험 결과와 부합한다.
2. 추론 언어 100%와 최종 답변 언어 62%의 격차 → 두 행동의 학습 속도와 완성도가 다르므로, 추론과 최종 답변의 언어 일치율을 분리해 해석할 필요가 있다.
3. 개 평가 사례에서 전체 지표 상승과 이탈리아어 성능 하락이 동시 발생 → GRPO의 평균 개선만으로 모든 언어의 개선을 판단할 수 없으며, 제공되지 않은 Qwen2.5-7B 결과까지 일반화할 근거도 부족하다.

🧠 상세 정리

1. 영어 추론 편향과 다국어 요구의 간극

GPT-OSS-20B는 공개 가중치 추론 모델이지만, 프랑스어·독일어·스페인어·이탈리아어로 추론하라는 지시를 받아들인 뒤에도 실제 추론 과정은 영어로 작성하는 경향을 보였다. 50개 사례로 평가한 기본 모델의 추론 언어 일치율은 22%, 즉 11/50이었으며, 그 대부분은 영어 사례에서 나왔다. 언어별 수치는 영어 100%, 프랑스어 0%, 독일어 10%, 스페인어 0%, 이탈리아어 0%로, 언어 지시를 따르는 능력의 격차가 뚜렷했다. 글은 프랑스어 사용자가 질문했을 때 추론과 답변도 프랑스어로 이어져야 한다는 요구를 제시하며, 이 간극을 미세 조정으로 해결할 문제로 설정한다. 핵심 비교는 지도 미세 조정인 SFT만으로 충분한지, Group Relative Policy Optimization인 GRPO가 추가 가치를 제공하는지, 두 방법을 함께 써야 하는지에 있다.

2. 데이터 구성과 두 학습 방법의 역할

학습 데이터는 HuggingFaceH4/Multilingual-Thinking으로, 영어와 함께 프랑스어·스페인어·독일어·이탈리아어로 번역된 추론 과정을 포함하며 약 949개 학습 예제와 50개 검증 예제로 구성된다. 모델은 시스템 프롬프트의 reasoning language 지시에 따라 추론 과정과 최종 답변을 모두 지정 언어로 작성해야 하며, 평가는 수학·논리 문제 10개를 5개 언어로 구성한 총 50개 사례로 수행한다. 주요 지표는 추론 과정의 언어 일치 여부와 최종 답변의 언어 일치 여부이며, 문제를 맞혔는지를 직접 나타내는 지표는 아니다. 글은 SFT를 모델에 없는 행동을 가르치는 방법으로, GRPO를 모델이 이미 가끔 생성할 수 있는 행동을 최적화하는 방법으로 설명한다. GRPO는 프롬프트마다 여러 응답을 생성하고 평균보다 좋은 응답 쪽으로 정책을 조정하므로, 원하는 행동의 생성 확률이 0이라면 강화할 신호가 매우 적다는 것이 설명의 중심이다.

3. HyperPod 학습 환경과 데이터 흐름

실험은 Amazon EKS로 오케스트레이션하는 Amazon SageMaker HyperPod에서 수행했으며, GPT-OSS-20B의 초기 SFT와 GRPO에는 PyTorch TRL 라이브러리를 사용했다. 별도로 소개한 Qwen 대조 실험에는 veRL 학습기, Ray와 KubeRay 기반 분산 실행, vLLM 기반의 빠른 응답 생성을 사용했고, 모든 미세 조정에는 LoRA를 적용했다. 데이터와 체크포인트는 Amazon FSx for Lustre에 저장했으며, 노드 간 통신에는 Elastic Fabric Adapter인 EFA를 사용했다. Qwen 대조 실험의 구성도에서는 Amazon SageMaker Studio 또는 AWS CLI에서 제출한 작업이 EKS 제어 영역을 거쳐 Ray 헤드와 학습·응답 생성 워커 파드로 배치된다. 이 파드들은 공유 스토리지에서 모델과 데이터를 읽고, vLLM의 생성 결과를 veRL 학습기로 전달하며, 학습 완료 후 LoRA 어댑터를 다시 Amazon FSx for Lustre에 저장한다.

4. 실행 전제와 환경 준비

실행에는 Amazon EKS 기반 HyperPod 클러스터가 필요하며, GPT-OSS SFT는 ml.g6e.12xlarge 4대에 탑재된 48GB L40S GPU 16개를 사용했고 Qwen 대조 실험은 g6e.48xlarge 2대의 L40S GPU 16개를 사용했다. 공유 파일 시스템은 fsx-claim이라는 PersistentVolumeClaim을 통해 /fsx에 마운트하며, 다중 노드 SFT를 위해 EFA 지원 인스턴스와 동작하는 NCCL 및 aws-ofi-nccl 구성이 요구된다. 추가로 학습 이미지를 저장할 Amazon ECR 등의 레지스트리, 모델과 데이터셋에 접근할 HuggingFace 토큰, AWS CLI·kubectl·docker·envsubst가 필요하다. 관련 명령과 매니페스트는 awsome-distributed-ai 저장소의 3.test_cases/pytorch/trl/gpt-oss-lora-grpo/ 경로에 있으며, 환경 파일에 레지스트리와 이미지 정보 및 토큰을 설정한 뒤 학습 이미지를 빌드하고 업로드한다. 이후 kubectl을 클러스터에 연결하고 FSx 스토리지 관리 파드를 배포해 체크포인트 변환과 평가 로그 확인에 사용할 공유 파일 시스템 접근 환경을 마련한다.

5. SFT 설정과 체크포인트 변환

GPT-OSS-20B의 SFT는 LoRA r=8, α=16으로 설정하고 1,000단계 동안 학습했으며, 실행 자원은 ml.g6e.12xlarge 4대의 L40S 48GB GPU 16개였다. 학습에는 Fully Sharded Data Parallel의 full-shard 방식, bf16 정밀도, 그래디언트 체크포인팅을 사용해 모델을 분산 처리했다. 작업은 Kueue가 관리하는 탄력적 HyperPodPyTorchJob으로 구성하고 hyperpodrun으로 실행하며, 제공된 매니페스트를 적용한 뒤 파드 상태와 로그로 진행 상황을 확인한다. 로그에는 단계별 손실과 그래디언트 노름 등이 출력되며, 본문은 손실이 1.035에서 0.976으로 낮아지는 예시를 제시한다. 학습이 끝나면 FSDP 체크포인트를 TRL의 GRPO 학습기와 추론 스크립트가 요구하는 PEFT 형식으로 변환해 후속 학습 및 평가에 연결한다.

6. SFT의 단계적 학습과 남은 답변 언어 문제

SFT 후 GPT-OSS-20B는 5개 언어의 50개 평가 사례 모두에서 지정 언어로 추론해 추론 언어 일치율 100%를 기록했다. 학습은 두 단계로 나타났는데, 약 200단계에서 추론 언어 지표가 100%에 도달했고 약 1,000단계에서는 최종 답변을 지정 언어로 작성하는 행동도 추가로 학습했다. 다만 최종 1,000단계 평가에서 최종 답변 언어 일치율은 62%, 즉 31/50이었고 추론과 답변 언어가 모두 맞는 비율도 62%였다. 언어별 최종 답변 언어 일치율은 프랑스어 60%, 독일어 60%, 스페인어 30%, 이탈리아어 60%, 영어 100%로, 추론 언어의 완전한 일치가 답변 언어의 완전한 일치로 이어지지는 않았다. 글은 SFT가 추론 언어의 핵심 격차를 해소했다고 평가하면서, 짧은 최종 답변에는 영어 편향이 더 강하게 작용하기 때문에 답변 언어 문제가 더 어려운 부분으로 남았다고 해석한다.

7. SFT 이후 GRPO의 설정과 보상 설계

GRPO의 목표는 SFT 이후에도 62%에 머문 최종 답변 언어 일치율을 높이는 것이었으며, 모델이 이미 일부 사례에서는 올바른 언어로 답변하므로 강화할 신호가 있다는 판단에서 출발했다. TRL의 GRPOTrainer로 SFT 체크포인트를 불러오고 기존 LoRA를 merge_and_unload로 병합한 뒤, r=8과 α=16의 새 LoRA를 추가했다. 이때 학습 가능한 파라미터는 20B 중 약 13.6M으로 전체의 약 0.068%였고, 프롬프트당 생성 수 K=8, device_map=auto, 학습률 1e-6, 10에포크를 사용했다. 보상은 최종 답변 언어에 ±5.0, 추론 언어에 ±1.5, 간결성에 +0.5 또는 −1.0을 부여해 총 −7.5부터 +7.0까지 구성했다. 체크포인트는 /fsx/checkpoints/grpo-singlenode/에 저장하며, 이 실행에서는 답변 언어 지표가 초기에 최고점에 도달했기 때문에 별도 평가 결과를 기준으로 가장 좋은 체크포인트를 선택하고 PEFT 형식으로 변환하도록 설명한다.

8. GRPO의 개선 폭과 언어별 차이

SFT 체크포인트에서 시작한 GRPO는 추론 언어 일치율 100%를 유지하면서 최종 답변 언어 일치율을 62%에서 70%, 즉 35/50으로 높였고 두 언어 지표가 모두 맞는 비율도 70%였다. 언어별 최종 답변 언어 일치율은 프랑스어 70%, 독일어 80%, 스페인어 60%, 이탈리아어 40%, 영어 100%로, 전체 개선에도 이탈리아어는 SFT의 60%보다 낮아졌다. 글은 전체 8%포인트 상승을 SFT가 완전히 학습하지 못한 간헐적 성공 행동을 GRPO가 강화한 결과로 해석한다. 정성적 비교를 위해서는 같은 기본 모델에 서로 다른 어댑터를 적용한 기본 모델·SFT·GRPO 추론 파드 3개를 배포하고 동일한 프랑스어 추론 프롬프트를 실행하는 절차를 제시한다. 다만 제공된 본문은 이 비교를 실행하는 명령 중간에서 끝나 실제 응답 비교 결과는 담겨 있지 않으며, 앞서 예고한 Qwen2.5-7B의 두 과제 대조 실험 결과도 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 이 실험에서 방법 선택의 기준은 모델 크기보다 목표 행동의 현재 생성 가능성이었다. SFT가 지정 언어 추론을 먼저 형성한 뒤, GRPO가 부분적으로 성공하던 최종 답변 언어를 개선하는 순서가 효과를 보였다.
• 추론 언어 일치율이 100%여도 최종 답변 언어 일치율은 62%에 그칠 수 있다. 추론 과정의 언어 준수만으로 사용자가 받는 최종 답변의 언어까지 보장할 수 없다는 점이 드러난다.
• GRPO 이후 전체 답변 언어 지표는 상승했지만 이탈리아어는 하락했다. 50개 사례에서 관측한 평균 개선을 해석할 때 언어별 변화도 함께 고려해야 하며, 제공된 자료만으로 다른 과제에 대한 효과까지 확정할 수는 없다.

✅ 액션 아이템

• GPT-OSS-20B의 영어 추론 편향을 줄이기 위해 SFT를 우선 적용하는 방안 검토.
• SFT 이후 남은 최종 답변 언어 일치율 62%의 개선 수단으로 GRPO의 추가 효과 평가.
• 50개 평가 사례의 전체 지표와 언어별 지표를 함께 비교하고, GRPO 이후 이탈리아어 60%→40% 하락 원인 확인.

❓ 열린 질문

• 50개 평가 사례에서 확인된 GPT-OSS-20B의 개선은 다른 다국어 추론 사례에서도 유지되는가?
• SFT 이후 추론 언어 일치율 100%와 최종 답변 언어 일치율 62% 사이의 격차를 더 줄일 수 있는가?
• GRPO 이후 전체 최종 답변 언어 일치율은 70%로 높아졌지만 이탈리아어가 60%에서 40%로 하락한 원인은 무엇인가?