Preparing data for supervised fine-tuning Part 2: Advanced data strategies

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

지도 미세조정(SFT)은 학습 곡선으로 데이터 필요량을 진단하고, 부분집합 선별·검증된 증강·데이터 혼합을 통해 전문화와 일반 능력 보존을 조율해야 한다.

📌 핵심 요약

• SFT 데이터 규모는 일반적으로 고품질 샘플 약 2,000개를 출발점으로 삼지만, 단순한 형식 변경은 500개, 복잡한 다단계 추론은 10,000개 이상이 필요할 수 있으며 실제 운영을 대표하는 평가 기준으로 검증해야 한다.
• 전체 데이터로 한 번 학습하면서 중간 체크포인트를 평가하면 학습 곡선을 근사할 수 있다. 데이터가 두 배 늘어도 주 지표 개선이 약 1~2%포인트 미만이면 같은 유형의 추가 데이터보다 실패 사례를 겨냥한 데이터가 필요하다.
• 품질과 다양성을 기준으로 부분집합을 선별하면 전체 데이터보다 적은 샘플로 성능을 유지하거나 높일 수 있다. AlpaGasus는 품질 상위 20%를 사용해 전체 데이터보다 빠른 학습과 높은 평가 점수를 보였다.
• 데이터 증강에는 강한 모델의 응답을 활용하는 증류, 기본 모델의 자체 생성과 필터링, 전문가 작성 사례의 표현 확장이 있다. 합성 데이터에도 정답 검증, 중복 제거, 품질 필터링이 필요하다.
• 데이터 혼합의 주목적은 전문화 과정에서 일반 능력을 보존하는 것이다. 일반 데이터가 샘플 수로 5%여도 긴 시퀀스 때문에 토큰 기준 기울기 신호의 80% 이상을 차지할 수 있어 토큰 수준 비율을 확인해야 하며, 보편적인 최적 혼합비는 없다.

🧩 주요 포인트

1. 학습 곡선의 포화 여부 → 데이터 규모를 일률적으로 늘리지 않고 조기 종료, 부분집합 선별, 실패 사례 보강 중 필요한 대응을 선택하는 근거가 된다.
2. 부분집합 선별과 검증된 증강 → 중복·저품질 신호를 줄이고 부족한 과제 범위를 확장해 데이터의 양보다 학습 신호의 질과 범위를 개선한다.
3. 일반 능력 보존과 전문화의 상충 → 데이터 혼합은 목표 과제 성능을 낮출 수도 있으므로 토큰 수준 비율과 두 능력의 평가 결과를 함께 살펴야 한다.

🧠 상세 정리

1. 고급 데이터 전략의 출발점

이 글은 지도 미세조정에 사용할 데이터의 정제와 형식 검증을 마친 뒤, 학습 효과를 높이기 위해 어떤 결정을 내려야 하는지 다룬다. 앞선 글에서 설명한 Amazon Nova의 대화 형식, 잘못되거나 학습 신호가 약한 사례의 품질 검사, 정보 누출을 막는 학습·평가 데이터 분리가 준비되어 있다는 전제다. 이후의 핵심 질문은 데이터가 충분한지, 전체 데이터보다 좋은 부분집합이 있는지, 사람의 주석 작업을 비례해서 늘리지 않고 사례를 확장할 수 있는지, 전문화하면서 일반 능력을 보존할 수 있는지다. 이에 따라 학습 곡선을 통한 준비도 평가, 부분집합 선별과 필터링, 데이터 증강, 데이터 혼합이라는 네 가지 전략을 제시한다. Amazon Nova 맞춤화 사례를 참조하지만, 설명하는 지침의 적용 범위는 특정 모델에 한정하지 않는다.

2. 데이터 규모보다 먼저 정할 평가 기준

일반적인 SFT 과제에서는 고품질 학습 샘플 약 2,000개를 초기 기준으로 고려할 수 있지만, 이는 고정된 요구량이 아니라 대략적인 출발점이다. 필요한 규모는 과제의 난도와 현재 모델의 행동이 목표에서 얼마나 떨어져 있는지에 따라 달라지며, 간단한 형식이나 문체 변경은 500개로도 가능하고 복잡한 다단계 추론은 10,000개 이상을 요구할 수 있다. 이러한 규모를 실험하기 전에 실제 운영 트래픽을 대표하는 평가 데이터와 용도에 맞는 성능 지표를 명확히 정의해야 한다. 원문은 많은 팀이 이 평가 기준을 만드는 일을 학습 데이터 준비보다 어렵게 느낀다고 설명하며, 기준이 없다면 먼저 마련하도록 권한다. Amazon Bedrock evaluations는 자체 데이터와 지표를 사용한 모델 평가를 지원하는 수단으로 소개된다.

3. 학습 곡선으로 포화와 데이터 부족 구분

평가 기준을 마련했다면 전체 데이터로 학습 작업을 한 번 실행하고, 예를 들어 진행률 10~20%마다 중간 체크포인트를 저장해 별도로 보류한 평가 데이터에서 측정한다. 첫 번째 에포크에서는 학습 진행에 따라 고유 데이터의 노출량이 늘어나므로, 이 방식으로 여러 차례 전체 학습을 반복하지 않고 데이터 규모에 따른 성능 곡선을 근사할 수 있다. 소비한 학습 토큰에 대한 주 지표를 그린 뒤, 데이터를 두 배로 늘렸을 때 개선 폭이 약 1~2%포인트 미만으로 줄어드는 포화 구간을 찾는다. 곡선이 평탄해지면 조기에 학습을 끝내거나 모델이 여전히 틀리는 실패 사례를 겨냥해 질적으로 다른 데이터를 보강하는 방향을 제시한다. 반대로 전체 데이터를 사용한 시점에도 성능이 계속 오른다면 데이터 규모가 병목이며, 표적 데이터 확보 비용이 크면 프로그램으로 검증 가능한 강화 미세조정을 대안으로 고려할 수 있다.

4. 데이터 반복과 부분집합 선별의 근거

원문은 SFT가 사전학습과 같은 단조로운 멱법칙 확장을 따르지 않으며, 단순한 데이터량보다 지시문의 범위와 깊이가 중요하다고 설명한다. 인용한 연구에서는 고정된 연산 예산 아래 추론 사례 400개를 128에포크 학습한 결과가 51,200개를 한 에포크 학습한 결과보다 AIME와 GPQA에서 12~26%포인트 높았고, 학습 토큰 정확도가 거의 완벽해진 뒤에는 개선이 정체됐다. DEITA, DELIFT, 코어셋 선별은 품질·다양성·사례별 학습 기여도를 활용해 과제 범위를 포괄하는 작은 부분집합을 찾는 방법으로 제시된다. AlpaGasus에서는 품질 상위 20%를 선별했을 때 전체 데이터보다 학습이 빠르고 평가 점수가 높았으며, 이는 중복되거나 품질이 낮은 사례를 제거해 기울기 신호를 개선할 수 있다는 근거다. 학습 곡선이 일찍 포화된다면 가치가 높은 부분집합을 이후 재학습에 활용할 수 있고, 더 적고 집중된 업데이트는 사전학습 능력의 손실을 줄여 데이터 혼합의 필요성도 낮출 수 있다.

5. 추론 사례와 합성 시연을 확보하는 방법

데이터가 부족하거나 다루는 범위가 좁을 때는 증강을 통해 사람의 주석 비용을 같은 비율로 늘리지 않고 학습 사례를 확장할 수 있으며, 원문은 추론 과정과 합성 시연 생성을 특히 중요한 방식으로 꼽는다. 첫 번째 경로는 DeepSeek-R1 같은 강한 교사 모델로 추론 과정이나 응답을 생성한 뒤, 최종 정답을 검증하고 정답에 해당하는 출력만 보존하는 증류다. 두 번째는 미세조정 대상 기본 모델이 높은 온도 설정으로 문제마다 여러 후보 응답을 만들게 하고, 최종 답이 맞거나 여러 응답의 추론이 일관된 사례를 남기는 방식이며 STaR의 핵심 아이디어로 소개된다. 세 번째는 의료·법률·안전 관련 분야처럼 정확성이 특히 중요한 상황에서 전문가가 작성한 사례를 바탕으로 논리 단계를 유지하면서 표현과 문체를 다양하게 바꾸는 방식이다. 이 경로들은 생성의 출발점은 다르지만, 생성량만 늘리는 데 그치지 않고 보존할 사례의 정확성과 품질을 판단하는 절차를 포함한다.

6. 지시문 확장과 증강 데이터의 품질 관리

추론 과정 생성 외에도 Self-Instruct는 소규모 초기 사례에서 새로운 지시문·응답 쌍을 만들고, Evol-Instruct는 제약 추가나 더 깊은 추론 요구처럼 통제된 차원을 따라 기존 지시문을 발전시킨다. 프롬프트를 다른 말로 표현해 언어적 변이를 늘리거나, 응답 형식을 목표 출력 스타일에 맞추는 단순한 변환도 지시문 데이터의 범위와 깊이를 확장하는 데 도움이 된다. 증강 데이터에서는 내용뿐 아니라 풀이의 구성과 표현 방식도 다양해야 하며, 원문은 같은 풀이를 복제한 두 사례보다 구조가 다른 올바른 풀이 두 개가 더 유용하다는 점을 MAmmoTH와 연결한다. 동시에 모든 증강 사례는 사람이 선별한 데이터와 동일한 품질 기준을 통과해야 한다고 강조한다. 합성 생성은 중복과 미묘한 오류를 낳는 흔한 원인이므로, 학습 데이터에 편입하기 전에 앞선 글의 중복 제거와 필터링 절차를 적용해야 한다.

7. 데이터 혼합의 목적과 토큰 비율의 함정

특정 과제에 맞춰 모델을 미세조정하면 다른 능력이 저하되는 파국적 망각이 발생할 수 있으며, 데이터 혼합은 목표 과제 데이터에 기존 강점을 보존할 사례를 섞어 이를 완화한다. Amazon Nova Forge는 맞춤화의 각 단계에서 독점 데이터와 Amazon이 선별한 학습 데이터를 혼합하는 방식을 지원한다고 소개된다. 다만 일반 데이터 토큰이 도메인 데이터 토큰을 대체하므로 혼합은 목표 과제 지표에 직접적인 비용을 줄 수 있고, 주목적은 전문화와 함께 일반 능력을 유지하는 데 있다. 공통 추론 패턴이 있으면 긍정적 전이가 가능하며, Qwen2.5-Coder에서는 코드·텍스트·수학을 70:20:10으로 섞은 구성이 코드만 사용한 학습보다 코딩 평가에서도 좋은 성능을 보였다. 반대로 일반 데이터의 시퀀스가 훨씬 길면 샘플 수로 5%만 섞어도 토큰 기준 기울기 신호의 80% 이상을 차지할 수 있으므로, 샘플 비율만으로 혼합의 실제 영향을 판단해서는 안 된다.

8. 혼합의 실행 방식과 최적화 근거

데이터 혼합은 각 학습 배치를 여러 출처의 데이터로 구성해 학습 내내 통제된 분포를 유지하는 방식이며, 원문은 목표 과제 70%, 일반 지시 수행 20%, 안전 데이터 10%를 예시로 든다. Dong 등의 연구는 범주 간 정밀한 비율보다 능력별 데이터의 절대량이 성능에 더 큰 영향을 준다고 보고하므로, 약한 능력이 있다면 먼저 해당 데이터를 늘리는 접근을 제시한다. Dual-stage Mixed Fine-Tuning은 전문 데이터를 먼저 학습한 뒤 일반 데이터에 소량의 전문 데이터를 섞어 학습하는 방식이, 망각을 일으키는 순차 학습과 간섭을 일으키는 단일 혼합보다 좋은 결과를 보였다고 설명한다. Cao 등의 연구에서는 최적 혼합이 모델 크기와 데이터 예산에 따라 달라져 보편적인 비율이 없으며 실험이 필요하다는 점을 강조한다. 후보 출처가 많을 때는 자동 가중치 최적화를 고려할 수 있고, 제공된 본문은 DoReMi가 작은 대리 모델을 학습해 초과 손실이 큰 도메인의 가중치를 높인다고 설명하는 도중에 끝나므로 이후 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 데이터 수집과 선별은 학습 곡선의 결과에 따라 갈리는 선택이다. 조기 포화는 기존 데이터의 가치와 다양성을 재검토할 근거이고, 전체 사용 후에도 이어지는 개선은 실패 사례 중심의 추가 확보를 뒷받침한다.
• 부분집합 선별과 데이터 혼합은 일반 능력 보존이라는 목적에서 연결된다. 집중된 데이터로 불필요한 업데이트를 줄이면 혼합으로 보완해야 할 망각 부담도 줄어들 수 있다.
• 혼합비는 샘플 수만으로 해석하기 어렵다. 시퀀스 길이가 실제 학습 신호를 바꾸므로, 전문화와 일반 능력 보존의 균형은 토큰 수준 구성과 평가 결과를 함께 보며 판단해야 한다.

✅ 액션 아이템

• 실제 운영을 대표하는 평가 기준을 마련하고 학습 곡선으로 데이터 규모와 포화 여부를 확인.
• 부분집합 선별에 품질과 다양성을 적용하고, 합성 데이터에 정답 검증·중복 제거·품질 필터링을 적용.
• 데이터 혼합의 토큰 수준 비율을 확인하고 전문화 성능과 일반 능력 보존 결과를 함께 평가.

❓ 열린 질문

• 현재 학습 곡선은 데이터를 두 배 늘렸을 때 주 지표 개선이 약 1~2%포인트 미만인 포화 구간에 도달했는가?
• 품질과 다양성을 기준으로 한 부분집합 선별이 전체 데이터의 성능을 유지하거나 높이는가?
• 데이터 혼합의 토큰 수준 비율을 바꾸면 전문화 성능과 일반 능력 보존 결과는 어떻게 달라지는가?