Vision Language Model Alignment in TRL ⚡️

🖼️ 인포그래픽

Vision Language Model Alignment in TRL ⚡️ 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TRL은 비전 언어 모델 정렬을 기존 SFT·DPO에서 MPO·GRPO·GSPO와 RLOO·Online DPO까지 확장해, 멀티모달 선호 학습과 강화학습을 더 유연하게 적용할 수 있도록 지원한다.

📌 핵심 요약

기존 비전 언어 모델 정렬은 기본 모델에 지도 미세조정을 적용한 뒤, 선택 답변과 거부 답변의 쌍을 이용하는 DPO로 인간 선호를 학습시키는 방식이 중심이었다.
MPO는 DPO의 선호 손실, BCO의 품질 손실, SFT의 생성 손실을 결합해 분포 이동과 불완전한 추론 근거, 반복 응답 문제를 함께 다루며, 논문에서는 MathVista 점수가 6.2점 향상됐다고 보고한다.
멀티모달 GRPO는 여러 생성 궤적을 그룹 단위로 비교해 보상 잡음의 영향을 줄이며, 출력 형식과 정답 정확도처럼 목적이 다른 보상 함수를 함께 구성할 수 있다.
GSPO는 GRPO의 중요도 샘플링 가중치를 토큰별이 아니라 시퀀스 단위로 계산해 학습 안정성을 높이는 변형이며, 특히 MoE 계열 모델에서 이점이 더 관련 있다고 설명된다.
TRL은 RLOO와 Online DPO의 비전 언어 모델 지원, 네이티브 SFT, 학습 스크립트와 데모 노트북도 발표했지만, 제시된 모델 비교는 데이터셋과 실행 조건이 달라 정량적 우열이 아닌 제한적인 감각 점검으로 봐야 한다.

🧩 주요 포인트

기존 비전 언어 모델 정렬은 기본 모델에 지도 미세조정을 적용한 뒤, 선택 답변과 거부 답변의 쌍을 이용하는 DPO로 인간 선호를 학습시키는 방식이 중심이었다.
MPO는 DPO의 선호 손실, BCO의 품질 손실, SFT의 생성 손실을 결합해 분포 이동과 불완전한 추론 근거, 반복 응답 문제를 함께 다루며, 논문에서는 MathVista 점수가 6.2점 향상됐다고 보고한다.
멀티모달 GRPO는 여러 생성 궤적을 그룹 단위로 비교해 보상 잡음의 영향을 줄이며, 출력 형식과 정답 정확도처럼 목적이 다른 보상 함수를 함께 구성할 수 있다.
GSPO는 GRPO의 중요도 샘플링 가중치를 토큰별이 아니라 시퀀스 단위로 계산해 학습 안정성을 높이는 변형이며, 특히 MoE 계열 모델에서 이점이 더 관련 있다고 설명된다.
TRL은 RLOO와 Online DPO의 비전 언어 모델 지원, 네이티브 SFT, 학습 스크립트와 데모 노트북도 발표했지만, 제시된 모델 비교는 데이터셋과 실행 조건이 달라 정량적 우열이 아닌 제한적인 감각 점검으로 봐야 한다.

🧠 상세 정리

1. TRL의 비전 언어 모델 정렬 확장

이 글은 비전 언어 모델의 성능이 향상되고 있더라도 사람의 선호와 기대에 맞추는 정렬 과정은 여전히 중요하다는 문제의식에서 출발한다. TRL은 이전에 지도 미세조정과 직접 선호 최적화를 비전 언어 모델에 적용하는 방법을 제시했고, IDEFICS2에서 응답이 개선되는 것을 확인한 바 있다. 이번 업데이트의 중심은 쌍별 선호만 사용하는 DPO를 넘어 MPO, GRPO, GSPO처럼 더 풍부한 학습 신호를 이용하는 방법을 멀티모달 모델에 제공하는 것이다. 기존 RLOO와 Online DPO도 비전 언어 모델을 지원하도록 확장됐으며, 네이티브 SFT 지원과 학습 스크립트, 데모 노트북도 함께 소개된다. 따라서 이번 변화는 단일 알고리즘 추가가 아니라 지도 학습부터 선호 학습과 강화학습까지 이어지는 비전 언어 모델 후속 학습 수단을 TRL 안에서 넓힌 업데이트로 정리할 수 있다.

2. 기존 SFT와 DPO 정렬 방식의 역할과 한계

전통적인 정렬 절차에서는 먼저 기본 모델을 SFT로 학습해 지시를 따르게 만들고, 이어서 선호 데이터에 DPO를 적용해 응답 성향을 조정한다. DPO는 하나의 선택된 답변과 하나의 거부된 답변을 대조하는 손실을 사용하며, 모델이 원하는 응답의 가능성은 높이고 원하지 않는 응답의 가능성은 낮추도록 최적화한다. 이 방식은 구현과 데이터 구성이 비교적 명확하지만, 학습 신호가 답변 쌍에 제한된다는 구조적 특성이 있다. 글에서는 멀티모달 추론 과제에서 SFT만 사용하면 분포 이동 때문에 충분한 성과를 내지 못할 수 있고, DPO로 정렬한 모델은 일관된 추론 근거를 만들지 못하거나 반복적인 답변을 생성할 수 있다고 지적한다. 이러한 한계가 여러 종류의 손실이나 다수의 생성 결과를 함께 활용하는 MPO와 GRPO를 도입하는 직접적인 배경이다.

3. MPO의 혼합 손실 설계

Mixed Preference Optimization은 멀티모달 모델을 위해 고안된 방법으로, DPO를 단순히 대체하기보다 여러 학습 목표를 하나의 손실 구성에 결합한다. 구체적으로 DPO의 시그모이드 선호 손실, Binary Classifier Optimization의 품질 손실, SFT의 생성 손실을 동시에 사용한다. 선호되는 답변과 거부되는 답변을 구별하는 것뿐 아니라 응답 자체의 품질과 생성 능력도 함께 보존하려는 설계다. 원문이 인용한 MPO 논문에 따르면 이 결합 손실로 전환하는 것만으로 MathVista에서 6.2점의 향상이 보고됐다. 다만 이 수치는 원문이 논문 결과로 제시한 것이며, 뒤에서 소개되는 TRL의 제한적인 모델 출력 비교와 동일한 조건에서 산출된 결과로 설명되지는 않는다.

4. DPOTrainer를 이용한 MPO 적용

MPO는 모델 구조나 별도의 전용 트레이너를 새로 만드는 방식이 아니라 손실 계산을 확장하는 방법이므로, TRL은 기존 DPOTrainer에 복합 손실 지원을 추가했다. 사용자는 DPOConfig의 loss_type에 시그모이드, bco_pair, sft를 지정하고, 각각에 대응하는 loss_weights를 설정할 수 있다. 글의 예시는 세 손실의 가중치를 각각 0.8, 0.2, 1.0으로 두며, 이는 MPO 논문에서 사용한 값이라고 설명한다. 이후 모델, 설정, 토크나이저 역할의 processing_class, 학습 데이터셋을 DPOTrainer에 전달하고 train을 호출하면 된다. 즉 기존 DPO 학습 흐름을 유지하면서 설정만으로 혼합 손실을 구성할 수 있다는 점이 TRL 구현의 핵심이며, 전체 실행 과정은 별도의 노트북 예제로 제공된다.

5. 멀티모달 GRPO의 그룹 기반 정책 최적화

Group Relative Policy Optimization은 DeepSeek Math 논문에서 처음 소개되고 이후 DeepSeek R1에도 통합된 정렬 방법으로 설명된다. PPO에 추가된 방식으로서, 하나의 응답만을 기준으로 정책을 갱신하지 않고 대화의 전개를 나타내는 여러 궤적을 그룹 단위로 다룬다. 그룹 내부에서 여러 결과를 상대적으로 평가하면 개별 보상에 포함된 잡음이 평균화되므로, 특정 고득점 표본 하나에 과도하게 의존하는 문제를 줄일 수 있다. 원문은 이를 통해 모델이 단일한 고보상 사례보다 좋은 응답의 더 넓은 특성을 학습할 수 있다고 설명한다. TRL은 이 GRPO를 비전 언어 모델에서도 사용할 수 있도록 확장했으며, 전체 학습 스크립트 대신 핵심 보상 함수와 트레이너 구성 방법을 중심으로 제시한다.

6. GRPO의 형식 보상과 정확도 보상

제시된 GRPO 예제는 출력 형식이 올바른지 검사하는 보상과 실제 풀이가 정답에 가까운지 확인하는 보상을 분리해 정의한다. 형식 보상은 응답이 think 태그와 answer 태그를 정해진 순서로 포함하는지를 정규식으로 검사하고, 일치하면 1.0, 그렇지 않으면 0.0을 반환한다. 정확도 보상은 데이터셋의 정답과 생성 답변을 수학 표현으로 파싱한 뒤 검증하며, 검증 실패나 예외가 발생하면 0.0을 부여한다. 이렇게 서로 다른 기준의 보상 함수를 GRPOTrainer의 reward_funcs에 함께 전달한 뒤 학습을 시작할 수 있다. 원문은 정확도 보상의 뚜렷한 개선을 관찰하려면 더 큰 모델, 많은 생성 수, 품질과 다양성이 높은 데이터셋을 갖춘 비교적 대규모 설정이 필요하다고 명시해, 간단한 예제 실행만으로 동일한 성과를 기대해서는 안 된다는 조건도 덧붙인다.

7. GSPO의 시퀀스 단위 중요도 샘플링

Group Sequence Policy Optimization은 Qwen이 공개한 강화학습 정렬 알고리즘으로, GRPO의 일부 한계를 보완하는 변형으로 소개된다. 가장 중요한 차이는 정책 업데이트에 사용되는 중요도 샘플링 가중치를 토큰마다 계산하지 않고 전체 시퀀스 수준에서 계산한다는 점이다. 원문은 이러한 변경이 학습을 더 안정적으로 만들며, 그 이점은 특히 전문가 혼합 방식의 모델에서 더 관련성이 크다고 설명한다. TRL에서는 GSPO가 GRPO 손실의 변형으로 구현되기 때문에 멀티모달 지원도 함께 제공된다. 사용 방식은 GRPOConfig를 그대로 활용하되 importance_sampling_level을 sequence로 설정하고, epsilon과 epsilon_high, beta, loss_type, 생성 단계 관련 값 등 논문에서 가져온 추가 매개변수를 지정하는 형태다.

8. 모델 출력 비교의 범위와 해석상 주의점

글은 앞서 설명한 방법으로 미세조정한 Qwen2.5VL-3B의 출력을 기하 문제 예시로 비교하지만, 실험의 한계를 먼저 분명히 밝힌다. 각 실행은 데이터셋 일부만 사용한 최소 규모의 실험이고 모델별 학습 데이터셋도 서로 달라, 공정한 정량 벤치마크가 아니라 감각적인 확인을 위한 비교라는 설명이다. 제공된 예시에서 데이터셋 답변은 사각형의 내각 합과 두 직각을 이용해 130도를 도출하지만, 기본 모델과 MPO 출력은 중심각 관계를 잘못 적용해 50도를 계산한 뒤 선택지와 맞지 않자 여러 해석을 반복한다. 이는 특정 학습법의 우열을 확정하는 증거라기보다, 추론의 일관성과 정답 도달 여부를 실제 응답 수준에서 살펴보려는 사례다. 또한 제공된 source_body는 GRPO 출력이 시작된 직후 중단되어 있으므로, GRPO를 포함한 전체 비교 결과나 이후 방법의 세부 성과까지 이 텍스트만으로 판단할 수는 없다.

🧾 핵심 주장 / 시사점

TRL의 확장 방향은 하나의 선택·거부 답변 쌍만 학습하는 방식에서 벗어나, 복합 손실과 다중 생성 궤적을 통해 형식·품질·정확도·선호를 동시에 반영하는 쪽으로 이동하고 있다.
MPO는 기존 DPOTrainer의 설정 확장으로 적용할 수 있지만, GRPO 계열은 보상 함수의 정의와 생성 규모, 모델 크기, 데이터 품질이 학습 효과를 좌우하므로 알고리즘 선택만큼 보상 설계와 실험 조건이 중요하다.
원문 자체가 모델별 데이터셋과 실행 조건이 다르다고 밝히므로 예시 출력은 정량적 순위로 해석할 수 없으며, 방법 간 성능 비교에는 동일한 모델·데이터·학습 예산·평가 기준을 사용한 별도 검증이 필요하다.

✅ 액션 아이템

MPO·GRPO·GSPO·RLOO·Online DPO를 기존 SFT·DPO와 병행 적용해 멀티모달 정렬 과제별 적용 범위를 재정의한다.
MPO의 선호·품질·생성 손실 결합이 분포 이동, 근거 불완전성, 반복 응답 완화에 미치는 효과를 MathVista 개선 정량 기준으로 점검한다.
GSPO의 시퀀스 단위 중요도 샘플링 이점을 MoE 계열 중심으로 실험해 학습 안정성의 증감 방향을 결정한다.