Your Experts Have Partners. There's HOPE for Keeping Them Together

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

HOPE는 MoE 전문가 간 쌍별 상호작용을 고려하는 2차 가지치기 방법으로, 실험에서 특히 전문가 50% 제거 시 기존 1차 방법보다 우수한 성능 보존을 보였다.

📌 핵심 요약

• MoE는 토큰마다 일부 전문가만 사용해도 추론 시 모든 전문가를 메모리에 유지한다. Qwen3.5-122B는 48개 MoE 층마다 전문가 256개를 보유하며, 약 250GB의 매개변수 메모리 중 95%가 전문가 MLP에 쓰이지만 토큰당 층별 활성 전문가는 8개다.
• 기존 1차 가지치기는 전문가별 중요도를 독립적으로 평가하지만, HOPE는 함께 활성화되는 전문가의 협력 관계를 F 행렬에 반영한다. 가지치기 오류의 지배적 성분에 대한 상한 대리 목적함수를 구성하고, 정해진 제거 수를 만족하는 이차계획 문제를 연속 완화와 이진 반올림으로 푼다.
• Qwen3.5-122B, Qwen3.5-35B, GLM-4.5-Air를 대상으로 Evol-CodeAlpaca와 SWE-Bench Verified 궤적을 보정에 사용하고, Tulu3와 SWE-Bench Pro에서 REAP·MAN·EAN·Frequency와 비교했다. HOPE의 전체 평균 순위는 2.07, 1위 비율은 39%, 상위 2위 비율은 67%였다.
• 전문가 50% 제거 시 HOPE의 평균 순위는 1.58로 REAP의 2.42보다 좋았다. Qwen3.5-35B-A3B의 SWE-Bench Pro 점수는 HOPE 42.3, 제거 전 모델 41.8, REAP 36.2였으며, 저자는 다양한 전문가 조합을 활용하는 에이전트 코딩에서 협력 구조 보존이 특히 중요할 가능성을 제시한다.
• HOPE의 보정은 데이터 전체에 대한 한 번의 순전파를 사용하며, 추가 이차계획 풀이에는 층당 1~2초가 걸린다고 보고한다. 코드 중심 보정은 실험에서 비코딩 벤치마크를 심각하게 저하시키지 않았지만, 제거 후 성능이 원본과 같거나 높아지는 현상의 원인은 관련성이 낮은 전문가 제거에 따른 잡음 감소라는 추정이다.

🧩 주요 포인트

1. 전문가 MLP에 집중된 메모리와 적은 토큰별 활성 수 → 영구 제거는 재학습 없이 양자화와 병용할 수 있는 압축 수단이며, 핵심은 제거 대상의 선택이다.
2. F 행렬 대각선의 전문가 순위는 REAP와 Spearman ρ=0.988로 거의 일치 → 저자는 HOPE의 개선을 비대각선에 담긴 쌍별 상호작용의 효과로 해석한다.
3. 제거율이 높을수록 협력 관계가 훼손될 가능성 증가 → 50% 제거에서의 성능 보존은 메모리 절감의 활용 가능성을 뒷받침하지만, 전체 평균 순위와 특정 모델의 점수는 구분해 해석해야 한다.

🧠 상세 정리

1. MoE 확장의 대가인 전문가 메모리

MoE는 수천억 개 매개변수를 가진 대형 언어 모델의 확장을 가능하게 했지만, 각 토큰이 실제로 사용하는 전문가가 소수여도 추론 시 모든 전문가 MLP를 메모리에 유지해야 한다. 원문이 제시한 Qwen3.5-122B는 48개 MoE 층 각각에 전문가 256개를 두며, 약 250GB의 매개변수 메모리 중 95%를 전문가 MLP가 차지하지만 토큰당 층별 사용 전문가는 8개다. 전문가 가지치기는 유용성이 낮은 전문가를 영구 제거해 이 병목을 줄이며, 동적 적재·오프로딩의 지연 문제를 피하고 별도 학습 없이 양자화와 함께 적용할 수 있다는 장점이 있다. 따라서 방법의 단순함보다 중요한 문제는 어떤 전문가를 제거해야 성능 손실을 최소화할 수 있는지 판단하는 데 있다.

2. 독립적인 중요도 평가가 놓치는 협력 관계

표준 MoE에서는 라우터가 토큰별로 정규화된 게이트 가중치를 계산하고, 그 값이 가장 큰 K개 전문가를 선택해 출력의 가중합을 만든다. 기존 1차 가지치기는 보정 데이터에서 각 전문가의 중요도를 하나의 점수로 구한 뒤 층별로 낮은 점수의 전문가를 제거하므로, 다른 전문가와의 관계를 선택에 직접 반영하지 않는다. 그러나 저자들의 관찰과 원문이 인용한 선행 연구에서는 함께 활성화되는 안정적인 전문가 집단이 나타나며, 공동 선택 패턴이 학습 초기에 형성되어 이후 안정화된다고 설명한다. 전문가 A의 단독 중요도가 낮더라도 중요한 전문가 B와 자주 협력한다면 A의 제거가 집단의 기능을 훼손할 수 있고, 전문가를 최대 50%까지 제거할 때는 이러한 협력 관계의 손상이 누적될 수 있다는 것이 HOPE의 출발점이다.

3. 직접 최적화하기 어려운 가지치기 오류와 대리 목적함수

전문가 집합 P를 제거하면 원래 선택될 전문가의 빈자리에 게이트 가중치가 그다음으로 높은 전문가가 들어오므로, 가지치기 오류는 기존 출력과 교체 후 출력 사이의 변화로 정의된다. 목표는 정해진 제거 수 안에서 보정 데이터의 토큰들에 대한 이 오류를 최소화하는 것이지만, 대체 전문가의 정체가 제거 집합 자체에 의존해 직접 최적화하기 어렵다. HOPE는 원래 활성 집합에 속하면서 제거되는 전문가들의 게이트 가중치와 출력 L2 노름을 곱해 합산한 뒤 제곱하는 대리량 Z를 사용하며, 원문은 이를 가지치기 오류의 지배적 성분에 대한 엄밀한 상한으로 설명한다. 이 합의 제곱을 전개하면 전문가 두 개의 게이트 가중치와 출력 크기가 곱해지는 교차항이 자연스럽게 생기고, HOPE는 1차 방법이 버리는 이 항들을 최적화에 포함한다.

4. F 행렬과 제거 집합의 공동 선택

HOPE는 보정 데이터에서 Z의 기댓값을 최소화하는 문제를 이진 선택 벡터 p에 대한 pᵀFp 최소화로 표현하고, p의 각 원소가 제거 여부를 나타내도록 한다. 여기에 선택 벡터 원소의 합이 사전에 정한 제거 수와 같아야 한다는 제약을 두어, 개별 전문가의 순위만으로 결정하지 않고 제거 집합을 함께 선택한다. F의 각 항은 두 전문가가 모두 활성화된 토큰들에서 게이트 가중치와 출력 L2 노름의 곱을 평균한 값이며, 대각선은 개별 중요도, 비대각선은 쌍별 협력 기여를 나타낸다고 설명한다. 실제 계산에서는 보정 과정에서 F를 수집한 뒤 이차계획 문제를 연속 완화하고 결과를 이진 해로 반올림하며, GLM-4.5-Air의 층별 시각화는 전문가를 군집화했을 때 강한 상호작용을 가진 집단이 블록 구조로 드러남을 보여준다.

5. 추가 계산 비용과 REAP와의 연결

실용적인 비용 측면에서 HOPE는 다른 전문가 가지치기 방법처럼 보정 데이터 전체에 대한 한 번의 순전파를 요구하며, 추가 작업은 수집한 행렬을 이용한 이차계획 문제 풀이이다. 원문은 이 문제가 비볼록이지만 표준 이차계획 솔버로 층당 1~2초에 풀 수 있고, 전체 시간은 보정 과정이 지배하므로 1차 방법 대비 추가 부담은 미미하다고 보고한다. 또한 F의 대각선은 전문가 기여의 분산에 따른 차이를 제외하면 Router-weighted Expert Activation Pruning인 REAP의 점수와 밀접하게 연결되며, 대각선으로 얻은 전문가 순위와 REAP 순위의 Spearman 상관계수는 0.988이다. 저자는 이처럼 개별 중요도 순위가 거의 같다는 점을 근거로, HOPE가 REAP보다 개선되는 부분을 F의 비대각선에 포함된 2차 상호작용 항의 효과로 해석한다.

6. 평가 구성과 전체 조건에서의 성과

평가는 Qwen3.5-122B, Qwen3.5-35B, GLM-4.5-Air의 세 모델과 Evol-CodeAlpaca, SWE-Bench Verified 궤적의 두 보정 데이터셋을 사용해 진행됐다. 제거 후 모델은 Tulu3와 에이전트 코딩 벤치마크인 SWE-Bench Pro로 평가했으며, HOPE를 REAP, MAN, EAN, Frequency의 네 가지 1차 기준 방법과 10~50% 제거율에서 비교했다. 모든 모델·보정 데이터·벤치마크 조건을 합친 결과 HOPE는 다섯 방법 중 평균 순위 2.07로 가장 좋았고, 1위 비율 39%와 상위 2위 비율 67%도 가장 높았다. 각 기준 방법과의 개별 대결에서도 HOPE가 과반의 조건에서 우세했다고 보고하지만, 이러한 집계 결과는 모든 개별 조건에서 HOPE가 항상 최선이었다는 뜻으로 확대해서는 안 된다.

7. 50% 제거와 에이전트 코딩에서 커지는 이점

제거율이 높아질수록 HOPE의 이점은 커졌으며, 전문가 50% 제거 시 평균 순위는 1.58로 다음으로 좋은 REAP의 2.42보다 우수했다. 저자는 이 정도의 메모리 절감이 더 긴 문맥, 더 깊은 추론, 더 많은 도구 호출을 수용하는 데 활용될 수 있어 배포 측면에서도 의미가 크다고 설명한다. 특히 Qwen3.5-35B-A3B의 50% 제거 실험에서 SWE-Bench Pro 점수는 HOPE 42.3, 제거 전 모델 41.8, REAP 36.2였고, 원문은 REAP의 하락을 13% 성능 저하로 표현하며 HOPE의 이점을 최대 +6.1%로 소개한다. 실제 GitHub 문제를 여러 차례의 코딩·도구 호출·추론으로 해결하는 과제가 다양한 전문가 조합을 활용할 가능성이 높기 때문에 협력 구조 보존의 효과가 두드러진다는 설명은 저자가 제시한 해석이다.

8. 성능 보존의 해석과 제공된 근거의 범위

원문은 가지치기한 모델이 때때로 원본과 같거나 더 높은 점수를 얻을 수 있으며, 이러한 현상이 HOPE에만 국한되지 않고 다른 가지치기 방법에서도 관찰됐다고 설명한다. 그 원인으로 목표 과제와 관련성이 낮은 전문가를 제거하면서 잡음이 줄었을 가능성을 제시하지만, 이를 확정된 인과관계로 주장하지는 않는다. 또한 코드 중심 보정을 사용해도 실험에서 비코딩 벤치마크가 심각하게 저하되지는 않았고, HOPE는 보정 데이터셋과 관계없이 Tulu3 전반에서 좋은 성능을 보였다고 보고한다. 마지막 부분은 HOPE와 REAP의 선택이 다른 전문가를 대상으로 유지된 다른 전문가들과의 평균 F 값을 협력 점수로 비교하는 분석을 소개하지만, 제공된 source_body가 결과 설명 도중 끊겨 있어 그 분석의 완결된 결론이나 이후 적용 절차는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• HOPE는 전문가의 가치에 대한 판단 단위를 개별 점수에서 관계를 포함한 집합으로 넓힌다. REAP와 개별 순위가 거의 같다는 결과는 상호작용 항을 추가하는 선택의 의미를 뒷받침한다.
• 50% 제거에서 좋아지는 평균 순위와 SWE-Bench Pro 사례는 큰 폭의 메모리 절감 상황에서 협력 구조를 고려할 실용적 이유를 제공한다. 다만 특정 모델의 원본 수준 점수를 모든 모델과 과제로 일반화할 근거는 아니다.
• 추가 최적화 비용이 층당 1~2초라는 보고는 HOPE 적용의 계산 부담이 주로 보정에 남아 있음을 시사한다. 성능 상승의 원인에 대한 추정과 제공된 원문의 중단 지점은 결과 해석의 범위를 제한한다.

✅ 액션 아이템

• MoE의 전문가 MLP 메모리 부담을 줄이는 방안으로 HOPE의 전문가 50% 제거와 양자화 병용 가능성을 검토한다.
• HOPE와 REAP를 비교할 때 전체 평균 순위와 Qwen3.5-35B-A3B의 SWE-Bench Pro 점수를 구분해 성능 보존 수준을 판단한다.
• 코드 중심 보정의 적용 여부는 Tulu3와 SWE-Bench Pro 성능, 한 번의 순전파와 층당 1~2초의 추가 계산 비용을 함께 고려해 판단한다.

❓ 열린 질문

• HOPE의 전문가 50% 제거에서 나타난 성능 보존은 적용 대상 MoE에서도 재현되는가?
• F 행렬의 쌍별 상호작용이 REAP 대비 개선에 기여하는 정도는 모델과 제거율에 따라 어떻게 달라지는가?
• 코드 중심 보정을 적용할 때 Tulu3와 SWE-Bench Pro의 성능은 함께 유지되는가?