🐯 Liger GRPO meets TRL

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

라이거의 청크 단위 손실 계산을 TRL의 그룹 상대 정책 최적화에 통합해 모델 품질을 유지하면서 최대 GPU 메모리를 40% 줄이고, 분산 학습과 매개변수 효율적 미세 조정 및 고속 생성 서버 연계까지 지원한 결과를 소개한다.

📌 핵심 요약

그룹 상대 정책 최적화는 별도의 가치 모델과 사전 학습된 보상 모델 대신 정답을 직접 판별할 수 있는 검증 가능한 보상 함수를 활용해, 수학·코딩·추론처럼 평가 기준이 명확한 영역의 강화학습을 단순화한다.
라이거는 언어 모델 출력층의 입력을 배치 차원에서 여러 청크로 나누고, 각 청크의 순전파 과정에서 손실과 기울기를 계산·누적함으로써 역전파를 위해 전체 로짓을 GPU 메모리에 보관해야 하는 문제를 줄였다.
Qwen3-0.6B와 gsm8k를 사용한 비교 실험에서는 배치 크기가 커질수록 메모리 절감 효과가 증가해 최대 40%에 도달했으며, 학습 단계별 보상 추이는 기존 TRL 구현과 사실상 동일하게 유지됐다.
FSDP와 PEFT 지원을 결합하면 여러 GPU와 노드로 학습을 확장할 수 있고, 실험에서 라이거 손실을 적용했을 때 가능한 최대 학습 배치 크기가 모델 크기에 따라 약 1.5배에서 1.8배까지 증가했다.
TRL 설정에서 라이거 손실을 활성화하고 필요하면 vLLM 서버를 별도 GPU에서 구동해 롤아웃 생성을 가속할 수 있지만, 작성 시점에는 최신 배포판이 아닌 소스 설치가 필요했고 공식 지원 정밀도에도 제한이 있었다.

🧩 주요 포인트

그룹 상대 정책 최적화는 별도의 가치 모델과 사전 학습된 보상 모델 대신 정답을 직접 판별할 수 있는 검증 가능한 보상 함수를 활용해, 수학·코딩·추론처럼 평가 기준이 명확한 영역의 강화학습을 단순화한다.
라이거는 언어 모델 출력층의 입력을 배치 차원에서 여러 청크로 나누고, 각 청크의 순전파 과정에서 손실과 기울기를 계산·누적함으로써 역전파를 위해 전체 로짓을 GPU 메모리에 보관해야 하는 문제를 줄였다.
Qwen3-0.6B와 gsm8k를 사용한 비교 실험에서는 배치 크기가 커질수록 메모리 절감 효과가 증가해 최대 40%에 도달했으며, 학습 단계별 보상 추이는 기존 TRL 구현과 사실상 동일하게 유지됐다.
FSDP와 PEFT 지원을 결합하면 여러 GPU와 노드로 학습을 확장할 수 있고, 실험에서 라이거 손실을 적용했을 때 가능한 최대 학습 배치 크기가 모델 크기에 따라 약 1.5배에서 1.8배까지 증가했다.
TRL 설정에서 라이거 손실을 활성화하고 필요하면 vLLM 서버를 별도 GPU에서 구동해 롤아웃 생성을 가속할 수 있지만, 작성 시점에는 최신 배포판이 아닌 소스 설치가 필요했고 공식 지원 정밀도에도 제한이 있었다.

🧠 상세 정리

1. 강화학습 미세 조정의 필요성과 PPO의 부담

언어 모델 강화학습은 일반적인 지도 미세 조정만으로 구현하기 어려운 복합적인 바람직한 행동을 유도하는 데 중요한 단계로 설명된다. 전통적인 인간 피드백 기반 강화학습은 근접 정책 최적화를 사용하며, 별도로 학습한 보상 모델을 통해 주 모델의 정책을 조정해 왔다. 그러나 이 방식은 정책 모델뿐 아니라 가치 모델, 보상 모델, 참조 모델까지 동시에 메모리에 올려야 하므로 자원 소모가 매우 크다. 원하는 결과를 얻기 위해 보상 모델과 기반 모델을 여러 차례 미세 조정해야 하는 부담도 있으며, 전체 성능은 보상 모델이 바람직한 출력과 그렇지 않은 출력을 얼마나 잘 구별하는지에 크게 좌우된다. 글은 이러한 계산량과 메모리 요구를 줄이면서도 효과적인 강화학습을 수행할 대안으로 그룹 상대 정책 최적화를 제시한다.

2. GRPO가 PPO와 다른 핵심 원리

그룹 상대 정책 최적화는 별도로 사전 학습된 보상 모델과 가치 모델을 사용하지 않고, 모델 출력의 정답 여부를 폐쇄형 방식으로 확인할 수 있는 검증 가능한 보상 함수에 의존한다. 이 구조는 외부 보상 모델이 없어도 결과의 정확성을 직접 검사할 수 있는 문제에서 특히 유리하다. 글은 수학, 코딩, 추론처럼 답을 명확히 검증할 수 있는 영역에서 GRPO가 PPO 기반 미세 조정보다 큰 개선을 보였다고 설명한다. 다만 알고리즘 구조가 간소화되더라도 강화학습 자체가 사용하는 GPU 메모리는 여전히 많기 때문에 추가 최적화가 필요하다. 이에 따라 글의 중심은 GRPO의 장점을 설명하는 데서 나아가, 실제 학습 중 발생하는 최대 메모리 사용량을 낮추고 여러 GPU와 노드로 안전하게 확장하는 방법으로 이동한다.

3. 전체 로짓 저장이 만드는 메모리 병목

GRPO 학습의 주요 메모리 병목 가운데 하나는 모델의 언어 모델 출력층에서 계산되는 전체 로짓이다. 어휘 집합이 크거나 입력과 출력 시퀀스가 길고 배치 크기까지 커지면, 모든 토큰에 대한 로짓을 한꺼번에 생성하고 저장하는 비용이 최대 메모리 사용량의 큰 부분을 차지한다. 라이거는 기존 청크 단위 손실 계산 방식을 GRPO 손실로 확장해, 출력층으로 전달되는 입력을 배치 차원에서 나누고 청크별로 순전파를 수행한다. 이 방식은 전체 배치의 로짓을 동시에 만들지 않으므로 순간적인 메모리 압력을 낮출 기반을 제공한다. 특히 최적화가 배치 차원 청킹에 의존하기 때문에 배치 크기가 커질수록 기존 방식과의 메모리 사용량 차이가 더 커질 수 있다.

4. 순전파 중 기울기를 계산하는 청크 손실 방식

입력을 단순히 여러 청크로 나누는 것만으로는 충분하지 않다고 글은 강조한다. 일반적인 역전파를 그대로 적용하면 각 청크에서 생성한 로짓을 나중의 기울기 계산을 위해 계속 GPU 메모리에 보관해야 하므로, 최대 메모리 사용량이 기대만큼 줄지 않기 때문이다. 라이거의 구현은 각 손실 청크를 순전파하는 동안 해당 입력 청크와 언어 모델 출력층 가중치에 대한 기울기를 즉시 계산한다. 계산된 기울기는 청크를 순회하면서 누적되므로 전체 로짓을 한꺼번에 유지할 필요가 없다. 결과적으로 손실 계산의 정확성을 보존하면서도 대규모 어휘, 긴 시퀀스, 큰 배치에서 두드러지는 로짓 저장 비용을 줄이는 것이 이 최적화의 핵심이다.

5. TRL에서의 활성화 방법과 당시 설치 조건

라이거 GRPO 손실은 TRL에 통합되어 GRPO 설정에서 라이거 손실 사용 옵션을 참으로 지정하는 방식으로 활성화할 수 있다. 예시에서는 TLDR 학습 데이터와 Qwen3-0.6B 지시 모델을 사용하고, 완성문의 길이가 목표 길이 20에 가까울수록 높은 값을 주는 간단한 보상 함수를 GRPO 훈련기에 전달한다. 이후 데이터, 모델, 보상 함수, 학습 설정을 훈련기에 연결하고 일반적인 훈련 호출을 실행하면 청크 손실 최적화가 적용된다. 다만 글이 작성된 시점에는 이 기능이 TRL의 최신 정식 배포판에 아직 포함되지 않아, 라이거 추가 기능을 지정한 채 깃허브 소스에서 직접 설치해야 했다. 따라서 글의 사용 예시는 즉시 적용 가능한 설정을 보여 주는 동시에 당시 기능의 배포 상태라는 현실적인 전제도 명시한다.

6. 메모리 절감과 모델 품질 비교 실험

성능 검증에는 정책 모델로 Qwen3-0.6B를 사용했고, gsm8k 데이터와 해당 보상 함수를 바탕으로 여러 배치 크기에서 라이거 손실 적용 여부를 비교했다. FP32와 BF16 조건의 최대 메모리 사용량을 측정한 결과, 배치 크기가 증가할수록 청크 방식의 이점이 커졌으며 일반 구현보다 최대 40% 적은 메모리를 사용했다. 품질 측면에서는 학습 단계별 보상 변화가 표준 TRL 구현과 거의 같은 흐름을 보여, 메모리 절감이 관찰 가능한 모델 품질 저하로 이어지지 않았다고 설명한다. 다만 공개된 TRL 통합 기능은 당시 FP32만 공식 지원했고, 글에 제시된 BF16 결과는 내부에서 시험 중인 패치를 사용해 얻은 것이었다. 작성자들은 커뮤니티 질의에 대해 학습 속도 효과는 환경에 따라 달라질 수 있으며, 자신들의 실험에서는 라이거 적용 전후에 유의미한 속도 차이를 관찰하지 못했다고 답했다.

7. FSDP와 PEFT를 이용한 다중 GPU 확장

라이거 GRPO 손실에는 FSDP와 PEFT 지원도 추가되어 여러 GPU 또는 여러 노드에서 더 큰 규모의 실험을 수행할 수 있게 됐다. LoRA와 QLoRA 같은 PEFT 기법은 원본 모델 전체가 아니라 그 위에 추가된 작은 어댑터 가중치만 학습하므로, 전체 모델의 기울기와 활성값 및 옵티마이저 상태를 모두 유지할 때보다 메모리 부담이 낮다. GRPO에서 PEFT를 사용하면 학습 중 LoRA 어댑터를 비활성화해 수정되지 않은 원본 모델의 동작을 얻을 수 있으므로, 별도의 참조 모델을 메모리에 적재하지 않아도 된다는 이점도 있다. Qwen3의 여러 모델 크기를 대상으로 FSDP와 PEFT를 함께 사용한 다중 GPU 실험에서는 라이거 손실 적용 시 가능한 최대 학습 배치 크기가 약 1.5배에서 1.8배까지 증가했다. 이는 라이거의 청크 손실이 단일 장치의 최대 메모리만 줄이는 데 그치지 않고, 분산 학습에서 처리량을 키울 수 있는 여유로도 이어졌음을 보여 준다.

8. vLLM 연계와 최종 의미 및 제약

학습 과정에서 필요한 텍스트 생성을 가속하기 위해 라이거 손실은 TRL에 통합된 vLLM 서버와 함께 사용할 수 있다. 예시 구성은 한 GPU에서 학습 대상과 같은 Qwen 모델을 제공하는 vLLM 서버를 실행하고, 다른 GPU에서 라이거 손실과 vLLM 사용 옵션을 모두 활성화한 GRPO 학습을 실행하는 방식이다. 생성 요청을 전담 서버가 처리하면 롤아웃 데이터 수집 속도를 높이면서 학습 측의 추가 부담을 최소화할 수 있으며, 다중 GPU 환경에서는 서버와 훈련 프로세스가 서로 다른 장치를 사용하도록 지정해야 한다. 글은 라이거와 TRL의 결합, FSDP 및 PEFT 지원, vLLM 연계를 통해 GRPO 미세 조정이 더 메모리 효율적이고 확장 가능한 형태가 됐다고 결론짓는다. 동시에 당시 BF16 공식 지원이 준비 중이었고, 커뮤니티에서는 BF16과 DeepSpeed ZeRO-3 조합에서 형상 불일치 오류가 보고된 만큼 모든 분산·정밀도 조합이 검증됐다고 볼 수는 없다.

🧾 핵심 주장 / 시사점

라이거의 핵심 가치는 연산 자체를 생략하는 것이 아니라, 전체 로짓의 생존 기간을 줄이고 청크별 기울기를 즉시 누적해 최대 메모리 사용 시점을 재구성한 데 있다.
최대 40%라는 절감 수치는 모든 설정에 고정된 값이 아니라 배치 크기가 커질수록 효과가 증가한 실험 결과이며, 품질은 보상 추이가 기존 구현과 거의 동일하다는 방식으로 검증됐다.
라이거 손실, PEFT, FSDP, vLLM은 각각 로짓 메모리 절감, 학습 매개변수 축소, 분산 확장, 롤아웃 생성 가속을 담당하므로 서로 다른 병목을 보완하지만, 당시 정밀도와 일부 분산 조합의 지원 상태는 별도로 확인해야 한다.

✅ 액션 아이템

라이거 손실을 TRL 그룹 상대 정책 최적화에 통합해 정답 판별형 보상 함수 기반 학습을 적용하고, 성능 저하 없이 기존 대비 보상 추이를 유지하는지 검증한다.
출력층 로짓 전체 저장을 피하는 청크 단위 순전파 손실·기울기 누적 방식을 적용해 GPU 메모리 사용량을 측정하고, 배치 확대 시 40% 절감 구간을 모델별로 비교한다.
FSDP와 PEFT를 결합한 다중 GPU·노드 구성에서 라이거 손실 적용 시 허용 배치 크기(약 1.5배~1.8배)와 vLLM 별도 GPU 롤아웃 가속 효과를 함께 점검한다.