Articlehuggingface.co·2026년 11월 18일·0

Why your fine-tuning job takes longer than the FLOPs say

Quick Summary

Dharma AI가 공유 NVIDIA H200 클러스터의 지도 미세조정(SFT) 작업 272건을 분석한 결과, 실행 전 설정만 사용하는 CatBoost는 GPU 할당부터 작업 완료까지의 평균 절대 오차를 최선의 FLOP 추정식의 12.41시간에서 1.71시간으로 줄였다.

Why your fine-tuning job takes longer than the FLOPs say 관련 대표 이미지

🖼️ 인포그래픽

Why your fine-tuning job takes longer than the FLOPs say 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Why your fine-tuning job takes longer than the FLOPs say의 핵심 내용을 4단계로 요약한 인포그래픽
Why your fine-tuning job takes longer than the FLOPs say 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Dharma-AI가 공유 NVIDIA H200 클러스터의 지도 미세조정(SFT) 작업 272건을 분석한 결과, 실행 전 설정만 사용하는 CatBoost는 GPU 할당부터 작업 완료까지의 평균 절대 오차를 최선의 FLOP 추정식의 12.41시간에서 1.71시간으로 줄였다.

📌 핵심 요약

  • 분석 대상은 약 7,382 GPU·시간에 해당하는 SFT 작업 272건이다. 대기열 시간을 제외한 실행 시간은 1.6~172.4시간이었고, 평균은 23.43시간, 중앙값은 15.29시간이었다.
  • FLOP 추정식에 예정된 평가 토큰까지 포함하고 GPU 최대 연산 성능의 실현 비율인 MFU를 25~65%로 바꿔도, 가장 잘 맞은 MFU 30%에서 결정계수(R²)는 0.31, 평균 절대 오차(MAE)는 12.41시간이었다.
  • 층화 5겹 교차검증에서 실행 전 특성 24개를 사용한 CatBoost의 R²는 0.98, MAE는 1.71시간이었다. XGBoost의 MAE는 1.95시간이었고, 두 모델의 성능 차이는 모든 평가 지표에서 표준편차 하나 이내였다.
  • CatBoost에서 가장 중요한 특성은 작업 전체의 평가 샘플 처리량인 num_eval_data였다. 학습 가능한 파라미터 수와 체크포인트 저장량도 예측에 기여했으며, 특성 중요도만으로 인과관계를 판단할 수는 없다.
  • 전체 절대 오차의 중앙값은 0.51시간이었고 예측의 90%는 오차가 4.31시간 이내였다. 반면 60시간 초과 작업은 13건뿐이었고 절대 오차 중앙값은 5.19시간이었다. 검증 범위는 H200에서 수행한 SFT로 한정된다.

🧩 주요 포인트

  1. 연산량이 같은 작업도 평가·체크포인트 저장과 공유 자원 경합에 드는 시간이 달라, FLOP 추정식만으로는 GPU가 다시 비는 시점을 잡기 어렵다.
  2. CatBoost는 평가 샘플 처리량, GPU당 부하, 미세조정 방식의 비선형 관계를 과거 실행에서 학습하므로, 작업이 시작되기 전에 스케줄링에 쓸 시간 추정치를 낼 수 있다.
  3. 시간 초과 작업의 큰 오차와 H200에 한정된 표본은 적용 범위를 정하는 근거다. 장시간 작업에는 추가 관측이, 다른 GPU 세대에는 재학습과 검증이 필요하다.

🧠 상세 정리

1. 스케줄러에 필요한 것은 GPU가 다시 비는 시점이다

공유 클러스터 운영자는 어떤 작업을 어느 GPU에서 어떤 순서로 실행할지 정해야 한다. 작업이 예상보다 몇 시간 일찍 끝나면 다음 작업을 배정할 때까지 GPU가 놀 수 있고, 예상보다 늦게 끝나면 뒤에 대기하는 실험과 납기가 함께 밀린다. Dharma-AI 연구진은 현장에서 흔히 쓰는 연산량 추정식이 실제 종료 시각을 얼마나 잘 설명하는지, 작업을 배정하기 전에도 더 정확한 예측이 가능한지 살폈다. 이를 위해 기업 운영 환경에서 수집한 SFT 작업 272건, 약 7,382 GPU·시간의 기록을 분석했다. 예측 대상은 작업에 GPU가 할당된 순간부터 완료될 때까지의 경과 시간으로, 할당을 기다린 시간은 제외했다. 이 글은 2026년 11월 18일 공개된 연구 예고편이며, 연구진은 전체 논문을 arXiv에 공개할 예정이라고 밝혔다.

2. FLOP 추정식이 설명하는 시간과 빠뜨리는 시간

밀집 Transformer의 학습 연산량은 파라미터 수 P와 학습 토큰 수 D를 이용해 약 6×P×D로 추산한다. 이를 GPU 수, GPU 한 대의 최대 연산 처리량, 실제로 달성하는 성능 비율인 MFU의 곱으로 나누면 학습 루프에 걸리는 시간이 나온다. 메모리 접근과 장치 간 통신, 커널 비효율 때문에 MFU는 보통 30~60% 수준이며 개별 작업의 값은 실행 전에 알기 어렵다. 실제 작업은 첫 학습 단계 전부터 환경 준비, 모델 다운로드와 적재, 토큰화에 시간을 쓰고, 학습 중에는 평가와 체크포인트 업로드를 거치며 마지막에는 모델을 객체 저장소에 기록한다. 여러 작업이 네트워크와 저장소를 공유하면 이 시간은 연산량이나 GPU 수에 비례해 변하지 않는다. 연구진은 비교의 공정성을 높이기 위해 FLOP 추정식에도 예정된 평가 토큰을 포함하고 MFU를 25~65% 범위에서 바꿔 보았다.

3. 제출 시점의 설정으로 전체 실행 시간을 예측하는 방법

연구진은 과거 작업의 실제 실행 시간을 정답으로 삼고, 새 작업이 제출될 때 알 수 있는 설정과 모델 메타데이터로 그 시간을 예측하는 회귀 문제를 구성했다. 입력에는 하이퍼파라미터, 데이터셋 크기, 모델 식별자, GPU 할당량을 사용했으며 실행 중 로그나 진행률은 사용하지 않았다. 같은 평가 데이터를 여러 번 처리하는 비용이 드러나도록 모든 평가 주기에 걸친 샘플 처리량을 계산했고, 체크포인트 저장 횟수와 저장되는 파라미터 수, GPU당 토큰량도 구했다. MFU를 45%로 고정한 FLOP 추정 시간 자체도 입력에 넣어, 모델이 기본 연산량으로 설명되는 시간에 어떤 보정이 필요한지 학습하게 했다. 연구진은 후보 특성 집합 18개를 대상으로 상관관계 필터링, 상호정보량, 순열 중요도를 활용하고 MAE를 기준으로 격자 탐색을 수행했다. 최종 CatBoost 모델에는 특성 24개가 쓰였다.

4. 공유 H200 환경에서 수집한 272건의 구성

운영 기록에는 최대 150억 파라미터에 이르는 여러 모델 계열이 포함됐고, 학습 방식도 LoRA와 전체 미세조정에 걸쳐 있었다. 데이터셋 크기와 하이퍼파라미터가 서로 달랐으며, 각 작업은 1~4개 노드에 걸쳐 구성된 H200 8~32개의 자원 풀에서 GPU 1개, 2개 또는 4개를 할당받았다. 같은 인프라에서 다른 학습 작업과 추론 작업도 실행됐으므로, 측정한 경과 시간에는 운영 중 실제로 발생한 자원 경합이 반영돼 있다. 실행 시간은 1.6~172.4시간으로 폭이 컸고 평균 23.43시간이 중앙값 15.29시간보다 높았다. 소프트웨어 스택으로는 Hugging Face Transformers와 Unsloth를 사용했으며, 연구진은 두 스택 사이에 고정된 속도 차이를 가정하지 않고 어떤 스택을 썼는지를 범주형 특성으로 입력했다.

5. 분석식·선형 회귀·그래디언트 부스팅의 오차 비교

층화 5겹 교차검증에서 FLOP 추정식은 MFU 30%일 때 가장 잘 맞았지만 MAE가 12.41시간이었고, MFU를 45%와 60%로 높이면 각각 13.01시간과 14.62시간으로 커졌다. 연산과 메모리 트래픽, 장치 간 통신을 명시적으로 모델링하는 Calculon도 LoRA 등을 지원하도록 확장해 비교했지만 MAE는 20.36시간이었고, 예측 시간이 실측 시간에서 차지하는 비율의 중앙값은 11%였다. 연구진은 Calculon이 본래 개별 학습 단계의 성능을 분석하도록 설계됐다는 점을 들어, 이 결과를 단계별 성능과 전체 작업 시간의 차이로 해석했다. 선형 회귀와 Ridge는 MAE를 각각 7.52시간과 7.23시간으로 낮췄고, 비선형 관계를 학습하는 XGBoost와 CatBoost는 각각 1.95시간과 1.71시간까지 낮췄다. 두 부스팅 모델의 차이는 모든 지표에서 표준편차 하나 이내였으며, 연구진은 평균 성능이 가장 좋은 CatBoost를 후속 분석에 사용했다.

6. 평가량이 가장 강한 예측 신호였던 이유와 해석의 한계

CatBoost의 특성 중요도에서 1위는 개별 평가 데이터셋의 크기가 아니라 반복 평가를 모두 합쳐 작업 전체에서 처리하는 샘플 수인 num_eval_data였다. 그 뒤를 학습 가능한 파라미터 수, 평가 배치 관련 특성, 전체 파라미터 수, GPU 수와 학습 배치 관련 값의 곱이 이었고, 체크포인트에 저장하는 파라미터 수도 상위권이었다. 각 특성이 예측값에 얼마나 기여했는지 살핀 SHAP 분석에서도 평가 처리량이 많을수록 예측 시간이 일관되게 늘었고, 학습 가능한 파라미터 수의 영향은 가장 큰 모델에서 두드러졌다. 이런 결과는 평가 주기와 평가셋 크기, 체크포인트 저장 정책에도 실행 시간을 예측할 정보가 들어 있다는 뜻이다. 다만 중요도는 인과관계의 증거가 아니며, 특히 GPU 수가 많은 작업의 예측 시간이 길었던 데에는 규모가 큰 작업에 더 많은 GPU를 할당한 운영 관행이 반영됐다.

7. 전체 오차 중앙값은 0.51시간이지만 장시간 작업에서 오차가 커졌다

연구진은 각 작업을 학습에서 제외한 폴드에서 얻은 예측 272개를 모아 실제 시간과 대조했다. 절대 오차 중앙값은 0.51시간이었고, 전체 예측의 80%는 오차가 2.20시간 이내, 90%는 4.31시간 이내였다. 실행 시간대별 절대 오차 중앙값은 1.56~5시간 작업에서 0.30시간, 5~10시간에서 0.18시간, 10~30시간에서 0.73시간, 30~60시간에서 1.06시간이었다. 반면 60시간 초과 작업 13건에서는 중앙값이 5.19시간, 90백분위 오차가 18.51시간으로 커졌으며 연구진은 이 구간의 적은 표본을 한계로 짚었다. 별도로 전체 데이터의 20%를 평가용으로 고정한 실험에서는 나머지 학습용 데이터의 사용 비율을 85%에서 100%로 올리자 MAE가 1.63시간에서 1.50시간으로 줄어, 관측한 범위에서는 성능 개선이 뚜렷하게 정체되지 않았다.

8. 스케줄링 활용 범위와 다른 환경에서 필요한 검증

예측에 필요한 정보가 GPU 배정 전에 갖춰지므로, 스케줄러는 예상 실행 시간을 바탕으로 함께 돌릴 작업, GPU가 비는 시각, 기한 내 완료 가능성을 판단할 수 있다. 다만 이번 연구에서 검증한 것은 H200의 SFT 작업이며 RLHF, DPO, RLVR 등 다른 학습·정렬 방식은 포함되지 않았다. 연구진은 다른 GPU 세대에서 같은 수치 정확도를 기대하려면 재학습이 필요하고, 여러 종류의 GPU가 섞인 환경이라면 연산 처리량, 메모리 용량과 대역폭, 장치 간 연결 구조도 입력으로 고려해야 한다고 설명했다. 다른 환경에 옮길 수 있는 부분으로는 부대 작업을 반영하는 특성 설계, 특성 간 다중공선성을 고려한 선택 절차, 분석식과 학습 모델을 비교하는 평가 방법을 꼽았다. 후속 과제로는 다른 GPU에서의 검증, 관측이 적은 설정을 위한 전이학습, 다른 학습 목표로의 확장, 장시간 작업 데이터 추가 수집을 제시했다.

🧾 핵심 주장 / 시사점

  • 평가 비용을 예측하려면 평가셋 크기와 평가 빈도를 함께 봐야 한다. 두 설정을 합쳐 계산한 전체 평가 샘플 처리량이 모델 크기보다 높은 특성 중요도를 보였다.
  • GPU 수는 실행 자원인 동시에 운영자가 판단한 작업 규모를 반영한다. 작업 간 비교에서 나타난 상관관계만으로 같은 작업에 GPU를 추가했을 때의 속도 변화를 추론하기 어렵다.
  • 기한이 중요한 장시간 작업에는 전체 오차 중앙값 0.51시간보다 해당 시간대의 오차 분포가 더 직접적인 판단 근거다. 60시간 초과 구간에서는 오차가 더 컸고 그 분포를 추정할 관측도 드물었다.

✅ 액션 아이템

  • 공유 H200 클러스터의 SFT 일정에는 CatBoost가 실행 전에 산출한 예상 시간을 GPU 재할당 시점의 판단 근거로 활용한다.
  • 실행 시간 추정에 FLOP 추정값과 함께 평가 샘플 처리량, 체크포인트 저장량, GPU당 부하를 반영한다.
  • 60시간 초과 작업은 관측을 추가해 오차를 다시 평가하고, 다른 GPU 세대에서는 재학습 후 예측 성능을 검증한다.

❓ 열린 질문

  • 60시간 초과 작업의 관측을 13건보다 늘리면 절대 오차 중앙값 5.19시간은 얼마나 달라질까?
  • H200 이외의 GPU 세대에서 재학습한 CatBoost는 SFT 실행 시간을 어느 정도의 MAE로 예측할 수 있을까?
  • CatBoost 예측을 실제 작업 배정에 사용하면 FLOP 추정식을 사용할 때보다 GPU가 다시 비는 시점을 얼마나 더 정확하게 계획할 수 있을까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.