CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard

🖼️ 인포그래픽

CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Hugging Face Open LLM Leaderboard의 평가 데이터를 통해 모델 추론 시 CO₂ 배출은 대체로 모델 크기와 함께 늘지만, 성능 향상은 그만큼 비례하지 않으며 커뮤니티 파인튜닝 모델이 더 효율적인 경우가 많다는 점을 분석했다.

📌 핵심 요약

글은 2024년 6월 이후 Open LLM Leaderboard에서 3,000개 이상의 오픈 언어 모델을 평가하면서, 모델 추론 평가 자체가 상당한 에너지를 소비한다는 문제의식에서 출발한다.
CO₂ 배출량은 동일한 하드웨어와 동일한 평가 방식에서 산출한 추정치이며, 특정 모델이 일반적으로 항상 그만큼 배출한다는 뜻이 아니라 해당 평가 환경에서의 비교 지표로 해석해야 한다.
분석 대상은 파라미터 수가 확인되는 2,742개 모델이며, Gemma, Llama, Mistral, Mixtral, Phi, Qwen 계열과 GPT, GPT-NeoX, T5 등 여러 모델군이 포함된다.
전체적으로 모델이 커질수록 CO₂ 비용은 증가하지만 리더보드 점수 상승은 비례하지 않아 수익 체감이 나타나며, 일부 MoE 모델은 긴 추론 시간 때문에 점수 대비 배출 효율이 낮게 관찰된다.
작은 모델과 커뮤니티 파인튜닝·머지 모델은 비용 대비 성능이 좋은 경우가 많았고, 특히 명령 추종 능력과 출력 길이, EOS 토큰 처리 여부가 생성형 평가에서 배출량 차이를 크게 만드는 요인으로 제시된다.

🧩 주요 포인트

글은 2024년 6월 이후 Open LLM Leaderboard에서 3,000개 이상의 오픈 언어 모델을 평가하면서, 모델 추론 평가 자체가 상당한 에너지를 소비한다는 문제의식에서 출발한다.
CO₂ 배출량은 동일한 하드웨어와 동일한 평가 방식에서 산출한 추정치이며, 특정 모델이 일반적으로 항상 그만큼 배출한다는 뜻이 아니라 해당 평가 환경에서의 비교 지표로 해석해야 한다.
분석 대상은 파라미터 수가 확인되는 2,742개 모델이며, Gemma, Llama, Mistral, Mixtral, Phi, Qwen 계열과 GPT, GPT-NeoX, T5 등 여러 모델군이 포함된다.
전체적으로 모델이 커질수록 CO₂ 비용은 증가하지만 리더보드 점수 상승은 비례하지 않아 수익 체감이 나타나며, 일부 MoE 모델은 긴 추론 시간 때문에 점수 대비 배출 효율이 낮게 관찰된다.
작은 모델과 커뮤니티 파인튜닝·머지 모델은 비용 대비 성능이 좋은 경우가 많았고, 특히 명령 추종 능력과 출력 길이, EOS 토큰 처리 여부가 생성형 평가에서 배출량 차이를 크게 만드는 요인으로 제시된다.

🧠 상세 정리

1. 문제의식: 추론 평가도 환경 비용을 만든다

글은 Open LLM Leaderboard가 2024년 6월 이후 3,000개 이상의 오픈 언어 모델을 평가해 왔다는 사실에서 출발한다. 평가에는 이미 활성화되어 있지만 작업 사이에 대기 중인 GPU의 여유 자원을 사용해 낭비를 줄이려 했지만, 그럼에도 모델 추론에는 상당한 에너지가 들어간다고 설명한다. 최근에는 LLM의 텍스트 생성이 학습 단계뿐 아니라 추론 단계에서도 중요한 환경 영향을 가진다는 인식이 커졌다. 특히 추론 워크로드는 동적이고 다양하기 때문에 자원을 효율적으로 관리하기 어렵다는 점이 배경으로 제시된다.

2. 리더보드에 CO₂ 추정치를 통합한 목적

저자들은 Open LLM Leaderboard에 탄소 배출 추정치를 통합해 사용자에게 각 모델 평가의 탄소 영향을 더 투명하게 보여주려 한다. 이는 단순히 성능 순위를 제공하는 데서 나아가, 모델 제작자가 성능과 환경 책임 사이의 균형을 고려하도록 유도하려는 시도다. 글은 CO₂ 배출과 모델 추론 성능 사이의 경향을 탐색하면서 예측 가능한 패턴과 예상 밖의 결과를 함께 발견했다고 설명한다. 그중 하나는 커뮤니티 파인튜닝 모델이 전반적으로 더 탄소 효율적인 경향을 보였다는 점이다.

3. CO₂ 비용 계산 방식과 해석상의 한계

CO₂ 배출량은 모든 평가가 같은 하드웨어와 같은 방식으로 수행된다는 전제 아래 비교적 단순한 휴리스틱으로 계산된다. 평가 방식은 Transformers와 Accelerate를 사용해 모델을 로드하고, 8개 GPU 노드를 최대한 활용하기 위해 파이프라인 병렬성과 데이터 병렬성을 조합하는 형태다. 계산에는 클러스터 하드웨어의 전력 소비에 기반한 에너지 사용량과, 해당 전기를 공급하는 에너지원의 탄소 집약도가 반영된다. 다만 저자들은 이 값이 어떤 모델의 일반적인 추론 배출량을 뜻하는 것은 아니며, 오직 자신들의 특정 추론 환경에서 관찰된 배출량이라는 점을 분명히 한다.

4. 분석 대상 모델과 공식 모델의 범위

일반적인 경향을 보기 위해 저자들은 자주 등장하는 모델 아키텍처와 파라미터 수가 확인되는 모델만 분석 대상으로 삼았다. 그 결과 Gemma와 Gemma2, 여러 세대의 Llama, Mistral, Mixtral, Phi와 Phi3, Qwen2 이상 계열, 그리고 GPT, GPT-NeoX, T5 같은 오래된 계열을 포함한 2,742개 모델이 검토됐다. 이 가운데 공식 모델은 341개로, 연구 그룹, 커뮤니티 컨소시엄, 대형 기술기업, 스타트업 등 신뢰도 높은 제작자가 만든 모델을 뜻한다. 글은 이러한 공식 모델이 새로운 고품질 모델을 만들기 위해 시간과 컴퓨팅 자원을 투입한 사례라고 설명한다.

5. 모델 크기, 점수, 배출량 사이의 일반 경향

전체적으로 모델 크기가 커질수록 CO₂ 비용이 높아지는 경향은 예상대로 확인됐다. 그러나 리더보드 점수 상승은 배출 증가에 항상 비례하지 않았고, 따라서 대형 모델에서는 성능 대비 비용의 수익 체감이 나타났다. AbacusAI, Qwen, AllenAI의 약 70B 파라미터 모델들은 여러 평가 벤치마크에서 평균 점수 40 이상을 기록한 사례로 언급된다. 반면 상위 오른쪽 영역에 있으면서도 낮은 순위를 보인 모델로는 오래된 Qwen-1.5-100B 모델들이 지목됐고, Mixtral8x22B도 상대적으로 약한 성능을 보인 사례로 제시된다.

6. MoE, 소형 모델, 명령 튜닝 모델의 효율 차이

MoE 모델은 주어진 작업에서 일부 파라미터만 활성화해 계산 부담을 줄이려는 목적을 갖지만, 분석에서는 전반적으로 리더보드 점수 대비 배출 비율이 좋지 않은 것으로 보인다. 일부 MoE 모델은 추론 시간이 매우 길어 기대보다 높은 CO₂ 배출을 보였다고 설명된다. 반대로 소형 모델은 낮은 비용 영역에 위치해 에너지 효율이 중요한 사용 사례에서 매력적이며, Qwen-2.5-14B와 Phi-3-Medium은 점수 대비 배출 효율이 좋은 사례로 언급된다. 명령 튜닝 모델은 대체로 베이스 모델보다 리더보드 성능이 좋지만, 지나치게 장황한 출력은 MATH와 IFEval 같은 생성형 평가에서 추론 시간과 에너지 소비를 늘릴 수 있다.

7. 커뮤니티 릴리스의 의외의 탄소 효율

커뮤니티는 주로 작은 모델에 집중하며, 10B 미만 모델에서 5kg CO₂ 미만으로 평균 점수 35 수준까지 도달한 사례가 있다고 글은 설명한다. 최고 점수가 약 45 수준이라는 점을 고려하면, 일부 소형 커뮤니티 모델은 비용 대비 성능 면에서 의미 있는 위치를 차지한다. 특히 흥미로운 점은 모델 크기가 커져도 커뮤니티 릴리스와 공식 릴리스 사이의 CO₂ 배출 경향이 같지 않았다는 것이다. 커뮤니티 파인튜닝이나 머지 모델은 자신들이 출발한 공식 모델보다 더 CO₂ 효율적인 경우가 많았고, 이는 벤치마크에 맞춘 적응과 더 짧은 출력이 영향을 주었을 가능성으로 해석된다.

8. 대형 모델과 7B 이상 모델의 세부 비교

저자들은 70B급 모델과 7B 초과 모델을 나누어 베이스 모델, 공식 파인튜닝 모델, 커뮤니티 파인튜닝 모델의 평균 CO₂ 소비를 비교했다. 70B 모델에서는 Qwen2.5와 Llama3.1의 경우 베이스 모델과 커뮤니티 파인튜닝 모델의 배출량이 비슷했지만, 공식 파인튜닝 모델은 두 배가량 더 많은 에너지를 소비하는 경향이 관찰됐다. Qwen2에서는 오히려 베이스 모델이 파인튜닝 모델보다 훨씬 더 에너지 집약적인 특이 사례로 나타났다. 7B 초과 모델에서는 일관된 경향이 없었으며, Llama3.1과 Qwen2.5는 베이스 모델이 파인튜닝 모델보다 두 배가량 소비한 반면 Qwen2와 Mistral v0.3은 커뮤니티 파인튜닝 쪽 소비가 더 높았다.

9. Qwen2-72B 사례와 생성형 평가의 배출 요인

Qwen2-72B에서는 베이스 모델과 커뮤니티 파인튜닝 모델 사이의 배출량 차이가 특히 크게 나타나, 출력의 장황함이나 텍스트 품질 차이가 원인일 수 있다는 질문을 제기한다. 저자들은 CO₂ 비용을 작업별로 확인할 수 없기 때문에 어떤 평가 항목이 배출에 더 큰 영향을 주었는지는 확정할 수 없다고 말한다. 다만 생성형 과제는 객관식 과제보다 더 많은 토큰을 추론해야 하므로 일반적으로 더 비용이 많이 든다고 설명한다. IFEval 사례에서 베이스 모델 Qwen2-72B는 지시를 직접 수행하기보다 프롬프트를 이어 쓰거나 반복적이고 긴 답을 생성하는 모습을 보였고, 파인튜닝 모델은 더 짧고 정확한 응답을 생성해 에너지 효율이 높아질 수 있음을 보여준다.

🧾 핵심 주장 / 시사점

모델 평가에서 CO₂ 배출량은 단순히 파라미터 수만이 아니라 추론 시간, 출력 길이, 지시 추종 형식, 종료 토큰 처리 같은 실행상의 세부 요소에 크게 좌우된다.
리더보드 점수만으로 모델을 고르면 대형 모델의 수익 체감이나 MoE 모델의 긴 추론 시간 같은 비용 요소를 놓칠 수 있으므로, 성능과 배출량을 함께 보는 비교가 필요하다.
커뮤니티 파인튜닝 모델이 더 짧고 벤치마크 친화적인 출력을 내며 비용 대비 성능을 개선하는 사례는, 파인튜닝이 성능뿐 아니라 추론 효율에도 영향을 줄 수 있음을 시사한다.

✅ 액션 아이템

Open LLM Leaderboard의 2024년 6월 이후 2,742개 모델 결과를 기준으로, 모델 크기 대비 CO₂ 증가율과 점수 상승률을 함께 정리해 효율 기준을 세분한다.
동일 하드웨어·동일 평가 방식에서 계산된 CO₂ 추정치임을 전제로, 모델별 절대 배출량보다 비교 지표 해석 범위를 우선 명시한다.
MoE의 긴 추론, 명령 추종 점수, 출력 길이, EOS 토큰 처리 요인을 구분해 커뮤니티 파인튜닝·머지 모델의 비용 대비 성능 우위를 모델군별로 점검한다.