Introducing gpt-oss

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 높은 추론·도구 사용 성능과 효율적인 로컬 실행을 결합한 아파치 2.0 기반 오픈 웨이트 모델 gpt-oss-120b와 gpt-oss-20b를 공개했다.

📌 핵심 요약

• gpt-oss-120b와 gpt-oss-20b는 각각 단일 80GB 그래픽처리장치와 16GB 메모리 환경에서 실행할 수 있도록 최적화된 오픈 웨이트 추론 모델이다.
• 두 모델은 전문가 혼합 구조, 희소 주의 패턴, 그룹형 다중 질의 주의, 최대 128k 문맥 길이를 채택해 전체 매개변수 규모에 비해 실제 추론 비용을 낮췄다.
• 지도 미세조정과 고연산량 강화학습을 거친 뒤 코딩, 수학, 일반 문제 해결, 도구 호출, 건강 관련 평가에서 기존 오픈AI 추론 모델들과 경쟁할 만한 성능을 보였다.
• 추론 과정에는 직접적인 정렬 감독을 적용하지 않아 연구자가 모델의 오작동·기만·오용 징후를 관찰할 수 있게 했지만, 해당 추론 과정을 최종 사용자에게 그대로 노출해서는 안 된다고 경고한다.
• 가중치와 실행 도구, 하모니 프롬프트 형식, 파이썬·러스트 렌더러, 파이토치 및 애플 메탈용 참조 구현을 함께 공개해 로컬·온디바이스·외부 추론 환경에서 활용할 수 있도록 했다.

🧩 주요 포인트

1. gpt-oss-120b와 gpt-oss-20b는 각각 단일 80GB 그래픽처리장치와 16GB 메모리 환경에서 실행할 수 있도록 최적화된 오픈 웨이트 추론 모델이다.
2. 두 모델은 전문가 혼합 구조, 희소 주의 패턴, 그룹형 다중 질의 주의, 최대 128k 문맥 길이를 채택해 전체 매개변수 규모에 비해 실제 추론 비용을 낮췄다.
3. 지도 미세조정과 고연산량 강화학습을 거친 뒤 코딩, 수학, 일반 문제 해결, 도구 호출, 건강 관련 평가에서 기존 오픈AI 추론 모델들과 경쟁할 만한 성능을 보였다.
4. 추론 과정에는 직접적인 정렬 감독을 적용하지 않아 연구자가 모델의 오작동·기만·오용 징후를 관찰할 수 있게 했지만, 해당 추론 과정을 최종 사용자에게 그대로 노출해서는 안 된다고 경고한다.
5. 가중치와 실행 도구, 하모니 프롬프트 형식, 파이썬·러스트 렌더러, 파이토치 및 애플 메탈용 참조 구현을 함께 공개해 로컬·온디바이스·외부 추론 환경에서 활용할 수 있도록 했다.

🧠 상세 정리

1. 두 가지 오픈 웨이트 추론 모델의 공개

오픈AI는 실제 환경에서 높은 성능을 낮은 비용으로 제공하는 오픈 웨이트 언어 모델 gpt-oss-120b와 gpt-oss-20b를 공개했다. 두 모델은 유연한 아파치 2.0 라이선스로 제공되며, 비슷한 크기의 공개 모델보다 추론 과제와 도구 사용에서 강한 성능을 내도록 설계됐다. gpt-oss-120b는 핵심 추론 평가에서 o4-mini에 근접하면서 단일 80GB 그래픽처리장치에서 실행할 수 있고, gpt-oss-20b는 여러 일반 평가에서 o3-mini와 유사한 결과를 내면서 16GB 메모리 환경을 지원한다. 작은 모델은 온디바이스 활용, 로컬 추론, 고가 인프라를 사용하지 않는 빠른 실험에 적합한 선택지로 제시된다. 두 모델 모두 개인 개발자부터 기업과 정부에 이르기까지 자체 인프라에서 모델을 실행하고 필요에 맞게 수정할 수 있도록 하는 데 초점을 맞췄다.

2. 에이전트 작업과 조절 가능한 추론

두 모델은 지시 이행, 웹 검색이나 파이썬 코드 실행과 같은 도구 사용, 소수 예시 기반 함수 호출을 포함하는 에이전트형 작업 흐름을 염두에 두고 개발됐다. 오픈AI의 응답 응용 프로그램 인터페이스와 호환되며, 정해진 형식에 맞춘 구조화 출력도 지원한다. 개발자는 시스템 메시지의 문장 하나로 추론 노력을 낮음·중간·높음 가운데 선택해 응답 속도와 성능 사이의 균형을 조절할 수 있다. 복잡하지 않은 작업에서는 추론량을 줄여 짧은 지연 시간을 목표로 하고, 어려운 작업에서는 더 많은 추론을 사용하도록 설정할 수 있다는 의미다. 모델은 완전한 사용자 맞춤화를 지원하고 추론 과정도 제공하므로, 자체 도구와 실행 정책을 결합하려는 개발자가 작업 흐름을 세밀하게 구성할 수 있다.

3. 전문가 혼합 구조와 메모리 효율

gpt-oss 모델은 트랜스포머를 기반으로 하면서 전문가 혼합 구조를 사용해 입력을 처리할 때 활성화되는 매개변수 수를 줄였다. gpt-oss-120b는 전체 1,170억 개 매개변수와 36개 계층을 갖지만 토큰마다 51억 개만 활성화하고, gpt-oss-20b는 전체 210억 개와 24개 계층 가운데 토큰마다 36억 개를 활성화한다. 큰 모델은 총 128개 전문가, 작은 모델은 32개 전문가를 두며 두 모델 모두 토큰당 4개 전문가를 사용한다. 조밀한 주의와 국소 대역 희소 주의를 번갈아 적용하고, 추론 및 메모리 효율을 위해 그룹 크기 8의 그룹형 다중 질의 주의를 채택했다. 위치 정보에는 회전형 위치 임베딩을 사용하며, 두 모델 모두 최대 128k 길이의 문맥을 기본적으로 지원한다.

4. 사전학습 데이터와 토큰화

두 모델의 사전학습은 추론 능력, 실행 효율, 다양한 배포 환경에서의 실제 사용성을 주요 목표로 진행됐다. 학습 자료는 대부분 영어로 구성된 텍스트 전용 데이터이며, 과학·기술·공학·수학 분야와 코딩, 일반 지식에 중점을 뒀다. 토큰화에는 o4-mini와 GPT-4o에서 사용된 토크나이저를 확장한 o200k_harmony가 적용됐고, 이 토크나이저도 모델과 함께 공개됐다. 오픈AI는 과거 Whisper와 CLIP 등을 공개했지만, gpt-oss를 GPT-2 이후 처음 공개하는 오픈 웨이트 언어 모델로 설명한다. 이는 단순히 가중치만 제공하는 데 그치지 않고, 모델 입력 형식과 실행 환경을 구성하는 데 필요한 핵심 요소도 함께 제공하려는 공개 범위를 보여준다.

5. 후속학습과 평가 결과

후속학습은 o4-mini에 사용된 과정과 유사하게 지도 미세조정 단계와 높은 연산량을 투입한 강화학습 단계로 구성됐다. 목표는 모델을 오픈AI 모델 규격에 맞추고, 최종 답변 전에 연쇄적 추론과 도구 사용을 수행하도록 가르치는 것이었다. 평가에서는 코딩, 경시 수학, 건강 관련 질의, 일반 문제 해결, 에이전트형 도구 사용 능력을 o3·o3-mini·o4-mini 등과 비교했다. gpt-oss-120b는 코드포스, 대규모 다중과제 언어 이해, 고난도 종합 평가, 타우벤치에서 o3-mini를 앞서고 o4-mini와 같거나 높은 수준을 보였으며, 건강 및 경시 수학 평가에서는 o4-mini보다 높은 결과를 기록했다. gpt-oss-20b도 작은 규모에도 같은 평가에서 o3-mini와 같거나 높은 수준을 보였고, 특히 경시 수학과 건강 관련 평가에서는 이를 앞섰지만 의료 전문가를 대체하거나 질병을 진단·치료하기 위한 모델은 아니라고 명시됐다.

6. 추론 과정 공개와 모니터링 원칙

오픈AI는 추론 모델의 연쇄적 사고를 관찰하면 모델이 부정행위나 오작동을 보이는지 탐지하는 데 도움이 될 수 있다고 설명한다. 다만 이러한 관찰 가능성은 추론 과정 자체를 정렬하기 위해 직접 감독하지 않았을 때 유지될 수 있으므로, 두 gpt-oss 모델의 추론 과정에는 직접적인 감독을 적용하지 않았다. 이를 통해 개발자와 연구자가 기만, 오용, 정책 위반 가능성을 탐지하는 자체 모니터링 체계를 연구하고 구현할 수 있기를 기대한다. 반면 모델의 추론 과정에는 환각이나 유해한 표현이 포함될 수 있고, 오픈AI의 일반적인 안전 정책을 반영하지 않는 문장이나 최종 답변에서 제외하도록 요구된 정보가 나타날 수도 있다. 따라서 개발자는 응용 프로그램에서 내부 추론 과정을 최종 사용자에게 직접 보여주지 말아야 한다는 운영상 주의사항이 함께 제시됐다.

7. 안전 학습과 최악 조건 미세조정 평가

안전 학습 단계에서는 사전학습 자료에서 화학·생물학·방사능·핵과 관련된 일부 유해 데이터를 걸러냈고, 후속학습에서는 숙고형 정렬과 지시 계층을 사용해 위험한 요청을 거부하고 프롬프트 주입에 방어하도록 했다. 오픈 웨이트 공개 후 공격자가 악의적 목적으로 모델을 미세조정할 가능성을 검토하기 위해, 생물학과 사이버보안 전문 데이터로 거부하지 않는 영역별 모델을 직접 만들어 최악의 조건을 시험했다. 내부 및 외부 평가 결과, 오픈AI의 학습 체계를 활용해 강하게 미세조정하더라도 해당 모델들은 준비태세 체계에서 높은 위험 능력 수준에 도달하지 못했다. 이 방법론은 세 개의 독립 전문가 집단이 검토했고, 오픈AI는 이들이 제시한 권고 가운데 다수를 학습과 평가 과정에 반영했다. 이러한 결과는 모델 공개 결정의 근거가 됐으며, 추가 안전 문제를 찾기 위해 총상금 50만 달러의 공개 레드팀 대회와 검증 결과 기반 평가 데이터 공개도 추진한다.

8. 가중치 배포와 실행 생태계

gpt-oss-120b와 gpt-oss-20b의 가중치는 허깅페이스에서 무료로 내려받을 수 있으며, 기본적으로 MXFP4 방식으로 양자화돼 제공된다. 이 구성 덕분에 gpt-oss-120b는 80GB 메모리 안에서, gpt-oss-20b는 16GB 메모리 안에서 실행할 수 있다. 모델은 하모니 프롬프트 형식으로 후속학습됐으며, 채택을 돕기 위해 파이썬과 러스트로 작성된 하모니 렌더러도 공개된다. 이와 함께 파이토치 및 애플 메탈 환경의 추론 참조 구현과 모델이 사용할 수 있는 예시 도구 모음도 제공된다. 오픈AI는 모델을 로컬 컴퓨터, 온디바이스 환경, 외부 추론 제공자 등 다양한 장소에서 유연하게 실행할 수 있도록 여러 배포 플랫폼 및 하드웨어 기업과 출시 전부터 호환성과 접근성을 준비했다.

🧾 핵심 주장 / 시사점

• 두 모델의 핵심 가치는 단순한 매개변수 규모보다 전문가 혼합 구조와 양자화를 통해 높은 추론 성능을 제한된 메모리 환경에서 실행할 수 있게 한 데 있다.
• 추론 노력을 세 단계로 조절하고 도구 호출과 구조화 출력을 지원하는 설계는 gpt-oss가 일반 대화 모델보다 에이전트형 응용 프로그램의 실행 구성요소를 지향한다는 점을 보여준다.
• 오픈 웨이트 공개에 따른 위험을 일반 안전 평가만으로 판단하지 않고 악의적 미세조정 조건까지 직접 시험했으며, 동시에 감독하지 않은 추론 과정의 모니터링 연구 가능성과 사용자 노출 위험을 구분했다.

✅ 액션 아이템

• gpt-oss-120b(단일 80GB GPU)와 gpt-oss-20b(단일 16GB) 환경에서 실제 추론 비용 절감 효과를 실측하고 지표를 정리한다.
• 전문가 혼합 구조, 희소 주의, 그룹형 다중 질의 주의, 최대 128k 컨텍스트 적용 시 성능 대비 비용 절감이 어디까지 유지되는지 정량 비교한다.
• 지도 미세조정·강화학습 뒤 코딩·수학·일반 문제 해결·도구 호출·건강 평가에서 기존 오픈AI 추론 모델 대비 성능 재현 여부를 검증한다.

❓ 열린 질문

• 가중치, 실행 도구, 하모니 프롬프트를 공개한 gpt-oss 모델을 로컬·온디바이스·외부 추론에서 언제 먼저 적용할지 판단 기준은 무엇인가?
• 직접 정렬 감독을 적용하지 않은 추론 로그 공개가 연구자 분석에 유효한가, 최종 사용자 노출을 금지할 경우 사용성은 어떻게 설계할 것인가?
• 파이썬·러스트 렌더러와 파이토치·애플 메탈 참조 구현을 함께 제공한 공개 스택이 실제 환경에서의 오동작·오용 징후 탐지까지 안정적으로 뒷받침 가능한가?