🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

코히어가 에이전트형 소프트웨어 엔지니어링에 특화된 300억 매개변수 희소 전문가 혼합 모델 ‘노스 미니 코드’를 아파치 2.0 라이선스로 공개했다.

📌 핵심 요약

• 노스 미니 코드는 전체 매개변수 300억 개 가운데 토큰당 30억 개를 활성화하는 희소 전문가 혼합 코딩 모델로, 복잡한 코드 생성과 터미널 기반 에이전트 작업을 목표로 설계됐다.
• 모델은 슬라이딩 윈도 자기어텐션과 전역 자기어텐션을 3대 1로 교차 배치하고, 128개 전문가 중 토큰마다 8개를 선택하는 구조를 사용한다.
• 후처리는 두 단계의 지도 미세조정과 검증 가능한 보상을 이용한 강화학습으로 구성되며, 약 5천 개 저장소에서 마련한 7만 개 이상의 검증 가능 작업을 활용했다.
• 여러 에이전트 실행 환경의 도구 형식과 응답 방식을 함께 학습한 결과, 오픈코드 평가 성능을 높이면서 SWE-에이전트 성능을 유지했고 미니-SWE-에이전트에서도 전이 효과가 나타났다.
• 비동기 강화학습과 다중 환경 공동 학습을 적용한 결과, 지도 미세조정 초기 모델보다 터미널-벤치 v2의 pass@1이 절대값 7.9%포인트, SWE-벤치의 pass@1이 3.0%포인트 향상됐다.

🧩 주요 포인트

1. 노스 미니 코드는 전체 매개변수 300억 개 가운데 토큰당 30억 개를 활성화하는 희소 전문가 혼합 코딩 모델로, 복잡한 코드 생성과 터미널 기반 에이전트 작업을 목표로 설계됐다.
2. 모델은 슬라이딩 윈도 자기어텐션과 전역 자기어텐션을 3대 1로 교차 배치하고, 128개 전문가 중 토큰마다 8개를 선택하는 구조를 사용한다.
3. 후처리는 두 단계의 지도 미세조정과 검증 가능한 보상을 이용한 강화학습으로 구성되며, 약 5천 개 저장소에서 마련한 7만 개 이상의 검증 가능 작업을 활용했다.
4. 여러 에이전트 실행 환경의 도구 형식과 응답 방식을 함께 학습한 결과, 오픈코드 평가 성능을 높이면서 SWE-에이전트 성능을 유지했고 미니-SWE-에이전트에서도 전이 효과가 나타났다.
5. 비동기 강화학습과 다중 환경 공동 학습을 적용한 결과, 지도 미세조정 초기 모델보다 터미널-벤치 v2의 pass@1이 절대값 7.9%포인트, SWE-벤치의 pass@1이 3.0%포인트 향상됐다.

🧠 상세 정리

1. 노스 미니 코드의 공개와 목표

코히어는 2026년 6월 9일 에이전트형 코딩 능력을 갖춘 노스 미니 코드를 허깅페이스에 아파치 2.0 라이선스로 공개했다. 이 모델은 전체 매개변수 300억 개와 활성 매개변수 30억 개를 지닌 희소 전문가 혼합 모델이며, 코히어가 새롭게 전개하는 모델 계열의 첫 제품이다. 설계와 학습의 중심은 복잡한 소프트웨어 엔지니어링 흐름, 터미널을 이용하는 에이전트 작업, 고품질 코드 생성에 맞춰져 있다. 인공분석의 코딩 지수에서는 33.4점을 기록해 큐웬3.5 35B-A3B, 젬마 4 26B-A4B, 데브스트랄 스몰 2뿐 아니라 더 큰 일부 모델보다 높은 점수를 얻었다고 제시됐다. 또한 특정 실행 환경 하나에만 맞추지 않고 여러 에이전트 스캐폴드로 학습해 오픈코드 같은 코딩 에이전트의 기반 모델로 활용할 수 있도록 했다.

2. 희소 전문가 혼합 모델의 구조

노스 미니 코드는 디코더 전용 트랜스포머에 희소 전문가 혼합 방식을 결합한 구조를 사용한다. 자기어텐션 계층은 회전 위치 임베딩을 적용한 슬라이딩 윈도 어텐션과 위치 임베딩을 사용하지 않는 전역 어텐션을 3대 1의 비율로 교차 배치한다. 피드포워드 부분에는 128개의 전문가가 있으며, 라우터가 각 토큰에 대해 그중 8개 전문가를 선택해 활성화한다. 각 전문가는 스위글루 활성화 함수를 사용하는 피드포워드 신경망 블록이고, 라우터는 상위 전문가를 고르기 전에 로짓에 시그모이드 활성화 함수를 적용한다. 희소 계층에 진입하기 전에는 하나의 밀집 계층을 배치했으며, 코히어가 제시한 효율적 어텐션 구현도 구조에 포함됐다.

3. 두 단계 지도 미세조정과 검증 데이터

후처리 과정은 연속된 두 단계의 지도 미세조정과 검증 가능한 보상을 이용한 에이전트형 강화학습으로 구성된다. 첫 번째 지도 미세조정은 프로그래밍, 추론, 지시 수행을 폭넓게 섞어 견고성과 사용성을 확보했으며, 학습 가능 토큰 중 코드가 70%, 에이전트형 도구 사용 데이터가 43%, 단일 턴 경쟁·과학 프로그래밍 데이터가 27%를 차지했다. 두 번째 단계에서는 에이전트 작업과 추론 중심의 고품질 표본만으로 구성한 45억 토큰을 사용했고, 이 가운데 코드 데이터 비중은 61%였다. 도구 호출과 작업 완료 결과는 실제 실행 가능성과 정답 여부를 검증했으며, 데이터 파이프라인은 컨테이너화된 에이전트 코딩 환경에 크게 의존했다. 전체적으로 약 5천 개의 고유 저장소에서 7만 개가 넘는 검증 가능 작업을 사용했고, 평가 시 원천 데이터 유출을 막기 위해 SWE-벤치와 SWE-벤치 프로의 저장소 원본과 환경을 중복 제거했다.

4. 장문 문맥 학습과 강화학습 준비

첫 번째 지도 미세조정에는 6만4천 토큰, 두 번째 단계에는 12만8천 토큰의 문맥 길이를 사용해 긴 문맥에서 더 긴 문맥으로 이어지는 계단식 학습을 적용했다. 이 방식은 상대적으로 짧지만 가치 있는 데이터를 먼저 학습해 기본 성능을 세운 뒤, 검증된 고품질 표본에 한정해 더 긴 문맥을 학습하도록 구성됐다. 다단계 과정을 사용하지 않으면 초기 단계의 비코드 토큰 200억 개가 이후 단계의 고품질 코드 토큰 15억 개를 압도해 성능 저하와 학습 단계 간 행동 충돌이 커졌다고 설명한다. 지도 미세조정은 정량 지표 자체를 최대화하는 최종 과정이 아니라 강화학습을 위한 준비 단계로 사용됐으며, 표본 다양성과 높은 K에서의 pass@K를 고려해 데이터 혼합을 설계했다. 잘못된 도구 호출, 비정상적인 공백 생성, 손상된 특수 토큰, 허위 인용 등을 표본 단위로 제거한 결과 최종 지도 미세조정 모델은 SWE-벤치 검증판 pass@10 80.2%, 터미널-벤치 v2 pass@10 55.1%를 기록했다.

5. 서로 다른 에이전트 실행 환경에 대한 견고성

현실의 코딩 에이전트는 실행 환경마다 프롬프트뿐 아니라 도구 사용 방식과 관찰 형식이 크게 달라지므로, 원문은 이러한 차이에 대한 견고성을 핵심 사용성 조건으로 다룬다. SWE-에이전트는 bash, 문자열 교체 편집기, 제출 도구가 포함된 비교적 풍부한 명령줄 인터페이스를 제공하지만, 미니-SWE-에이전트는 bash 하나와 원시 표준 출력만 사용하며 오픈코드는 세분화된 형식 지정 도구와 구조화된 JSON 응답을 사용한다. 두 번째 지도 미세조정에서 선택된 SWE-에이전트 환경 데이터가 혼합물의 50%를 차지한 것과 비교해, 추가 벤치마크 실행 환경 데이터는 6%만 포함됐다. 이 소량의 추가 데이터로 오픈코드 환경 평가가 10% 향상되면서 SWE-벤치 검증판의 SWE-에이전트 성능은 유지됐고, 미니-SWE-에이전트에서는 pass@1 61.0%를 기록했다. 터미너스 2를 위해서는 혼합물의 20% 미만을 일반 텍스트 상호작용 형식으로 넣었으며, 비슷한 실행 환경의 고정 형식을 암기하지 않고 지시와 행동의 관계를 학습하도록 충분한 형식 변형을 주는 것이 중요하다고 보고했다.

6. 긴 작업을 처리하는 비동기 강화학습

코딩 에이전트의 작업 궤적은 길이 차이가 크고 가장 느린 작업은 중앙값보다 흔히 열 배 이상 오래 걸리기 때문에, 동기식 강화학습은 매 배치마다 느린 표본을 기다리는 비효율이 발생한다. 이를 줄이기 위해 학습기와 지속적으로 작업 궤적을 생성하는 vLLM 사이드카를 병렬로 실행해 표본 생성과 학습을 분리했다. 정책 가중치는 학습 네 단계마다 vLLM으로 내보내 표본 생성 정책이 현재 정책에서 크게 벗어나지 않게 했고, 남은 차이는 손실 계산 단계에서 보정했다. 큐 처리에는 일부 선두 항목을 완료 순서대로 소비해 지연 작업을 비우고 나머지는 입력 순서를 유지하는 윈도 기반 선입선출 방식을 적용해, 학습 안정성을 눈에 띄게 해치지 않으면서 완료 순서 방식에 가까운 처리량을 회복했다. 학습 목적함수로는 토큰 단위 중요도 표본 보정을 포함한 CISPO를 사용하고 손실도 프롬프트가 아닌 토큰 단위로 집계해, 핵심 신용 할당 신호가 많은 긴 에이전트 궤적이 짧은 궤적보다 과도하게 낮게 반영되지 않도록 했다.

7. 단일 다중 환경 강화학습 구성

강화학습은 터미널 기반 작업과 소프트웨어 엔지니어링 작업을 하나의 온라인 다중 환경 학습 실행에 함께 포함했다. 각 학습 배치는 프롬프트마다 8개의 작업 궤적을 표본화해 총 512개의 궤적으로 구성했고, 모든 작업은 12만8천 토큰의 공통 문맥 창을 사용했다. 작업 종류마다 난이도가 다르므로 강화학습 전에 수행한 pass@k 필터링을 기준으로 서로 다른 에이전트 단계 예산을 배정했으며, 필요 이상으로 큰 턴 예산은 불필요한 장황함과 산만한 행동을 늘리는 것으로 관찰됐다. 터미널 작업에는 하버의 티먹스 세션 구현을 바탕으로 단일 터미널 도구를 사용하는 단순 리액트 실행 환경을 적용했고, 소프트웨어 엔지니어링 작업에는 SWE-에이전트를 사용했다. 두 환경 모두 사전 구축된 도커 이미지, 자연어 요청, 검증용 단위 테스트를 제공했으며, 단위 테스트 기반 이진 보상을 사용하고 잘못된 도구 호출이나 해석할 수 없는 출력에는 0점을 부여해 학습 초기부터 허위 또는 손상된 도구 호출 비율을 빠르게 낮췄다.

8. 강화학습 성과와 공개 모델의 평가 범위

검증 가능한 보상을 이용한 강화학습 이후 최종 모델은 지도 미세조정 초기 모델과 비교해 터미널-벤치 v2의 pass@1이 절대값 7.9%포인트, SWE-벤치의 pass@1이 절대값 3.0%포인트 향상됐다. 터미널 작업과 소프트웨어 엔지니어링 작업을 함께 학습한 결과는 각 환경을 따로 학습한 경우보다 더 강했고, 학습 분포 밖의 작업에도 더 잘 일반화됐다고 원문은 보고한다. 다만 지도 미세조정 단계에서 제시된 80.2%와 55.1%는 pass@10이고 강화학습 향상치는 pass@1의 절대 변화이므로, 서로 같은 지표로 직접 비교할 수는 없다. 별도의 인공분석 코딩 지수에서는 33.4점으로 같은 규모대의 주요 공개 모델과 일부 대형 모델보다 높은 결과가 제시됐으며, 이를 근거로 규모 등급 내 강력한 공개 코딩 모델 가운데 하나라고 평가했다. 모델 가중치는 허깅페이스에서 아파치 2.0 라이선스로 제공되고 오픈코드에서 시험할 수 있어, 공개된 모델과 여러 실행 환경에 대한 학습 성과를 실제 코딩 에이전트 기반으로 활용할 수 있도록 했다.

🧾 핵심 주장 / 시사점

• 전체 300억 매개변수 중 토큰당 30억 개만 활성화하는 희소 구조와 에이전트 코딩 특화 후처리를 결합했고, 코딩 지수에서는 비슷한 규모뿐 아니라 일부 더 큰 모델보다 높은 점수를 기록했다.
• 특정 에이전트 실행 환경 하나에 과도하게 맞추기보다 소량의 다양한 실행 환경 데이터를 추가하는 방식으로 오픈코드 성능을 높이고 SWE-에이전트 성능을 유지했으며, 미니-SWE-에이전트에도 긍정적인 전이가 나타났다.
• 길이가 크게 다른 코딩 작업을 효율적으로 학습하기 위해 비동기 표본 생성, 윈도 기반 선입선출 큐, 토큰 단위 중요도 보정, 터미널·소프트웨어 엔지니어링 공동 학습을 결합했고 두 평가 환경 모두에서 pass@1 향상을 확인했다.

✅ 액션 아이템

• 노스 미니 코드는 토큰당 30억 개의 활성 파라미터를 가진 300억 규모 MoE 모델로, 아파치 2.0 공개 조건을 반영해 도입 범위를 정한다.
• 128개 전문가 중 토큰별 8개 선택과 3:1 윈도/전역 자기어텐션 결합이 터미널 기반 에이전트 작업의 성능·비용 균형에 미치는 영향을 계량한다.
• 지도 미세조정 후 비동기 강화학습 파이프라인을 재현해 약 5천 저장소·7만 과업 조건에서 터미널-벤치 v2(+7.9)와 SWE-벤치(+3.0) 향상치를 다시 측정한다.

❓ 열린 질문

• 멀티 에이전트 실행 환경에서 도구 형식과 응답 방식의 동시 학습이 오픈코드 성능 향상과 SWE-에이전트 성능 유지를 동시에 만족시키는 임계 조건은 무엇인가?
• 슬라이딩 윈도 자기어텐션과 전역 자기어텐션의 3:1 교차 배치가 데이터 특성과 태스크 난이도에 따라 최적이 되는 구간은 어디인가?
• 비동기 강화학습과 다중 환경 공동학습을 적용했을 때 미니-SWE-에이전트에서 pass@1 상승이 안정적으로 유지되는 판단 기준은 무엇인가?