Impactful scheduling for GPU clusters

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Ai2는 공급의 2~3배에 달하는 GPU 수요 속에서 연구 영향력과 GPU 점유율을 함께 높이기 위해 우선순위 기반 스케줄러를 GPU 시간 예산, 계층형 공정 배분, 최소 실행시간 기반 시분할 계약으로 교체했다.

📌 핵심 요약

• Ai2는 NVIDIA H100·B200·B300 GPU 수천 개를 88~1024개 규모의 클러스터로 운영하며 약 150명의 내부 연구자를 지원한다. 제출된 작업을 기준으로 대기 중인 GPU 요청은 가용 공급의 2~3배에 달한다.
• 기존 스케줄러에서는 선점 여부를 사용자가 선택할 수 있었고, GPU를 확보하기 위한 무작업 점유, 실행 작업의 100%가 HIGH 우선순위를 사용하는 우선순위 인플레이션, 유지보수를 위한 장기 작업 종료 협상이 발생했다.
• 새 체계는 특정 GPU를 팀에 독점 배정하는 대신 GPU 시간 예산을 계층적으로 배분한다. 관리자는 예상 연구 영향력에 따라 예산을 정하고, 예산을 사용하는 작업의 점유시간은 해당 배분에 반영되므로 자원 선점 전략에도 비용이 따른다.
• 계층형 공정 배분 스케줄러는 기본 7일의 이동 조회 기간에서 실제 점유시간과 배정 시간을 비교해 상대적으로 덜 사용한 배분의 작업을 우선한다. 예산에 청구되는 점유와 무료지만 언제든 선점될 수 있는 비배정 점유를 구분하며, Chris Clark은 새 방식이 연산 자원이 30% 늘어난 것처럼 느껴진다고 평가했다.
• 스케줄링 계약은 작업에 최소 실행시간과 재개 가능 여부를 선언하도록 한다. 예산을 사용하는 작업은 최소 실행시간 동안 선점에서 보호되고, 이후 자원 재배분과 재개 가능한 작업의 자동 재대기가 가능해진다. 최소 실행시간을 0으로 설정하면 예산에 청구되지 않지만 항상 선점 대상이 된다.

🧩 주요 포인트

1. GPU 시간 예산을 연구 조직의 계층에 연결 → 연구 간 자원 배분을 개별 운영 협상에서 관리자의 전략적 예산 결정으로 전환하고, 무작업 점유의 비용을 해당 팀에 귀속한다.
2. 기본 7일 동안의 점유 이력으로 공정 배분하고 남는 자원을 비배정 점유로 제공 → 수요가 충분한 그룹의 시간 몫을 보장하면서 연구 수요의 변동에 대응한다. Chris Clark의 30% 평가는 체감 효과이며 측정된 성능 향상 수치는 아니다.
3. 최소 실행시간 이후 선점과 재대기를 허용 → 장기 작업에도 재배분 기회를 만들고 유지보수 자동화를 돕는다. 목표인 연구 영향력·GPU 점유율은 작업이 실제 GPU 용량을 사용하는 비율인 활용률과 구분된다.

🧠 상세 정리

1. 연구 영향력을 높이기 위한 GPU 운영 목표

Ai2의 AI Infrastructure 팀은 대규모 분산 학습을 중심으로 연구소의 GPU 연산 자원을 제공하며, 운영 목표를 가용성·점유율·영향력·활용률의 네 단계로 설명한다. 가용성은 하드웨어가 정상적으로 작업을 수행할 준비가 된 빈도이고, 점유율은 가용 시간 중 특정 작업에 배정된 비율이며, 영향력은 가장 가치 있는 작업이 자원을 받도록 선택되는 빈도다. 최상위 지표인 활용률은 작업의 전체 실행 기간에 실제로 사용한 GPU 용량의 비율로, 자원을 배정받았는지와는 다른 문제다. 팀은 NVIDIA H100·B200·B300 GPU 수천 개를 88~1024개 규모의 클러스터에서 운영하며, 약 150명의 연구자가 수행하는 LLM·VLM 학습, 로보틱스 RL 시뮬레이션, 과학적 에이전트 활용을 위한 사후 학습을 지원한다. 제출된 작업의 GPU 요청이 항상 가용 공급의 2~3배에 달하는 상황에서, 이번 변경의 초점은 높은 점유율을 유지하면서 더 중요한 연구에 시간을 배분하는 데 있다.

2. 기존 우선순위 체계가 만든 자원 점유 문제

기존 스케줄러는 우선순위에 따라 작업을 배정하면서 사용자가 선점 대상에서 제외될 수 있도록 했고, 팀별로 선점 보호 작업이 동시에 사용할 수 있는 GPU 수에 제한을 두었다. 선점 가능한 작업은 유휴 GPU를 이용해 이 제한을 넘을 수 있었지만, 연구자가 디버깅 작업을 즉시 실행하기 어려워지자 필요할 때 접속할 수 있는 무작업 작업을 미리 띄워 GPU를 확보하는 현상이 나타났다. 높은 우선순위를 사용하는 데 비용이 없었으므로 결국 실행 작업의 100%가 HIGH를 선택했고, 낮은 우선순위 작업은 GPU 시간을 받지 못했다. 또한 선점이 선택 사항이었기 때문에, 유지보수 문제가 확인된 호스트에서도 엔지니어가 장기 실행 작업의 소유자와 종료를 협상해야 했다. 원문은 당직 엔지니어가 티켓 대응 시간의 대부분을 이런 협상에 사용했다고 설명하며, 문제가 사용자 행동뿐 아니라 자원 배분 규칙에서 비롯되었음을 보여준다.

3. 공유지의 비극과 GPU 독점 배정의 한계

Ai2는 처음에는 우선순위 설정을 더 엄격하게 통제하고 중요한 프로젝트에 GPU 독점권을 명시적으로 부여했지만, 이후 이를 희소한 공유 자원에서 개인의 이익 추구가 전체 성과를 낮추는 공유지의 비극으로 해석했다. 자원 배분에서는 사용자가 자신의 작업 가치를 조직보다 잘 알면서도 그 가치를 숨기거나 자원을 계속 보유할 유인이 있다는 점이 핵심 난점으로 제시된다. 원문은 Ghodsi 등이 Dominant Resource Fairness를 소개한 2011년 논문에서, 높은 활용률을 보장해야 전용 머신을 받을 수 있었던 검색 기업의 사용자들이 무한 루프를 넣어 활용률을 부풀렸다는 사례를 인용한다. 공유 자원에 소유권을 부여하면 소유자가 가치를 높이려는 유인을 만들 수 있지만, GPU 자체를 팀에 독점 배정하는 방식은 연구 수요의 시기적 변동을 충분히 반영하지 못했다. 한 팀에 실행할 작업이 없을 때 다른 팀은 자원을 기다리는 상황이 생겼고, Ai2는 변화하는 연구 수요를 고정 배정에 끼워 맞추는 문제를 수작업으로 해결하면서도 전체 점유율을 유지해야 했다.

4. GPU 소유권을 시간 예산으로 전환

Ai2는 소유권의 유인을 유지하되 유휴 자원을 줄이기 위해, 팀에 특정 GPU를 주는 대신 GPU 시간의 일정 몫을 배분하기로 했다. 새로운 과학 실험의 결과를 미리 알아야 하는 미래 수요 예측은 정밀하게 하기 어렵지만, 연구 간 우선순위는 전략 문제이므로 작업이 제출되기 전에 논의하고 결정할 수 있다는 판단이다. 관리자는 예상 영향력에 따라 연구에 시간을 투자하고, 계층형 배분을 통해 자신이 책임지는 프로젝트와 연구자에게 예산을 나누며, 원문의 예시에서 Project A1은 다른 프로젝트의 대기 규모와 관계없이 전체 용량의 35%에 대한 몫을 갖는다. 예산이 없는 GPU 시간 요청은 선점에서 보호되지 않으며, 예산을 사용하는 무작업 점유도 해당 팀의 시간을 소모하므로 스케줄러를 편법으로 이용하는 비용이 생긴다. 예산 검토 절차는 계속 개선 중이지만, 연구자가 필요한 시간을 요청할 기회를 자주 제공하고 프로젝트 내부는 선임 연구자, 프로그램 내부는 책임 연구자, 프로그램 간 배분은 총괄 프로그램 관리자 또는 CEO처럼 맥락을 가장 잘 아는 사람이 결정한다는 원칙을 제시한다.

5. 계층형 공정 배분과 기본 7일의 사용 이력

시간 예산을 실제 GPU 점유에 연결하기 위해 Ai2는 연구 프로그램의 조직 구조를 반영하는 계층형 공정 배분 스케줄러를 구축했다. 원문은 알고리즘 자체가 새롭지는 않으며, 2009년 Hadoop Fair Scheduler에서 이어져 SLURM의 Fair Tree와 YARN의 Fair Scheduler에서도 사용되는 계보에 속한다고 설명한다. Ai2에서 달라진 점은 계층 구조가 연구 조직을 따르고, 가중치가 고정 할당량 대신 관리자가 정한 예산이라는 것이다. 스케줄러는 기본 7일의 이동 조회 기간에서 실제 점유시간을 추적해 배분 몫에 비해 덜 사용한 그룹의 작업을 더 사용한 그룹보다 우선하며, 그룹이 충분한 수요의 작업을 계속 제출한다면 일주일 범위에서 배정된 시간을 받을 것으로 기대한다. Chris Clark은 기존 동시 사용 제한 아래에서 놓쳤던 시간을 나중에 배분 한도를 넘는 집중 실행으로 되찾을 수 있어 연산 자원이 30% 늘어난 것처럼 느껴진다고 평가했으며, 이는 변동성이 큰 작업에서의 체감 효과를 설명하는 인용이다.

6. 예산에 청구되는 점유와 무료 점유의 구분

새 스케줄러는 GPU 점유를 예산에 청구되는 배정 점유와 어떤 예산에도 청구되지 않는 비배정 점유로 구분한다. 배정 점유는 작업 소유자의 시간 배분을 사용한 것으로 계산되어 이후 공정 배분 우선순위에 영향을 주며, 해당 작업은 최소 실행시간 동안 선점에서 보호된다. 비배정 점유는 처음부터 보호되지 않고 예산이 배정된 요청에 의해 언제든 선점될 수 있지만, 사용자의 시간 예산을 소모하지 않는다. 이 구분은 예산 배분과 실제 수요가 일치하지 않을 때에도 GPU를 계속 채워 사용할 수 있게 하고, 팀이 무료 GPU 시간을 받아들이지 않을 유인을 없애려는 장치다. 따라서 예산은 특정 GPU의 지속적인 독점권이 아니라 일정 기간의 시간 몫을 관리하는 기준이며, 남는 용량은 선점 가능성을 전제로 다른 작업이 활용할 수 있다.

7. 장기 작업에 최소 실행시간 계약을 도입

분산 학습 작업은 수시간이나 수일, 때로는 수주 동안 실행되므로, 한 번 배정된 작업이 일주일 이상 GPU를 계속 차지하면 다른 그룹이 자신의 예산 몫을 받을 기회가 사라질 수 있다. 원문은 이런 장기 점유 특성이 GPU 확보를 위한 무작업 점유를 가능하게 했고, 유지보수 시 작업 소유자와 협상해야 하는 상황도 만들었다고 설명한다. 이를 해결하는 스케줄링 계약에서 작업은 의미 있는 진전을 이루는 데 필요한 가장 짧은 점유시간인 최소 실행시간과 재개 가능 여부를 선언한다. 예산을 사용하는 작업은 이 시간 동안 선점에서 보호받아 진전을 보장받고, 그 이후에는 스케줄러가 자원을 재배분하며 재개 가능한 작업을 자동으로 다시 대기시킬 수 있다. 사용자가 최소 실행시간을 0으로 설정하면 비배정 GPU 시간을 요청하는 것으로 취급되어 예산에 청구되지 않지만, 실행 시작부터 항상 선점 대상이 된다.

8. 시분할 실행 흐름과 유지보수 자동화

계약에 따른 실행은 사용자가 최소 실행시간과 재개 가능 여부를 제출하고, 스케줄러가 조회 기간의 실제 점유시간과 배정 시간의 비율을 바탕으로 공정 배분 순서를 정하는 것으로 시작한다. 배정된 작업은 최소 실행시간 동안 실행되며 그 시간이 예산에 청구되고, 이후에도 해당 배분의 우선순위가 다른 작업보다 높다면 계속 실행하면서 추가 시간 역시 예산을 사용한다. 작업이 완료되면 자원에 대한 점유 권리를 놓고, 완료 전에 재배분이 필요할 때에는 실행 중 작업을 제거하거나 재개 가능한 작업을 다시 대기시키는 시분할이 가능해진다. 원문은 이 구조가 공정 배분을 수렴시키고 무작업 점유의 유인을 줄이며, 비정상 호스트의 작업이 최소 실행시간에 도달할 때 순차적으로 빠져나가도록 해 수리 작업의 완전 자동화를 가능하게 한다고 설명한다. 다만 제공된 본문은 이 설명 직후 문장 중간에서 끊기므로, 이후 시뮬레이션·결과·과제·미래에 관한 구체적인 주장이나 검증 수치는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• GPU 시간 예산은 연구 가치에 대한 판단을 관리자의 배분 결정에 맡기고, 스케줄러는 그 결정을 실행하는 역할을 맡도록 한다. 이에 따라 연구 간 우선순위 논쟁을 개별 작업의 운영 협상에서 예산 논의로 옮긴다.
• 기본 7일의 점유 이력과 비배정 점유를 함께 사용하면, 시간 몫을 보장하려는 공정성과 유휴 GPU를 채우려는 점유율 목표를 연결할 수 있다. 다만 시간 몫에 대한 기대는 그룹이 충분한 수요의 작업을 계속 제출한다는 조건을 갖는다.
• 최소 실행시간은 연구자가 확보해야 할 진전과 스케줄러가 필요한 재배분 기회 사이의 접점이다. 높은 GPU 점유율이나 Chris Clark의 30% 체감 평가만으로 실제 GPU 활용률의 개선까지 입증되는 것은 아니다.

✅ 액션 아이템

• GPU 시간 예산을 연구 영향력과 연결하고, 연구 조직의 계층별 배분 책임을 검토한다.
• 기본 7일의 점유 이력에서 충분한 수요를 제출한 그룹이 배정된 시간 몫을 받는지 확인한다.
• 작업의 최소 실행시간과 재개 가능 여부를 정하고, 최소 실행시간 0에 따른 무료 사용과 상시 선점 조건을 검토한다.

❓ 열린 질문

• GPU 시간 예산을 정할 때 연구 영향력과 연구자별 시간 수요를 어떻게 조정할 것인가?
• 기본 7일의 조회 기간은 연구 수요의 변동 속에서도 충분한 수요를 제출하는 그룹의 시간 몫을 보장하는 데 적절한가?
• 최소 실행시간은 연구 진전의 보장과 장기 작업의 자원 재배분 사이에서 어떻게 정할 것인가?