An updated Model Spec for more capable and beneficial AI

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 Model Spec을 다섯 가지 핵심 가치 중심으로 개편해, 모델이 인간의 의도와 감독에 충실하면서 낯선 상황에서도 판단하도록 행동 지침을 정비했다.

📌 핵심 요약

• Model Spec은 인간 의도에 대한 충실성, 위해 최소화, 정직성과 투명성, 인간의 주체성, 배려라는 다섯 가치를 중심으로 재구성됐다. 이 가치들은 모델이 존중해야 할 인간 가치 전체를 포괄하려는 목록은 아니다.
• 인간 의도에 대한 충실성은 지시를 문자 그대로 따르는 데서 나아가 의도와 가치를 이해하는 것이다. OpenAI가 경계를 설정하고 개발자와 사용자가 그 안에서 모델을 지휘하며, 개정된 지시 체계와 새로운 맥락 지침은 지시 충돌 및 대화·기억·기타 맥락 증거의 해석을 다룬다.
• 인간의 주체성 지원과 관련 사회 규범 준수에 관한 기본 지침이 추가됐고, 부수 효과의 통제와 전달 지침이 확대됐다. 필요한 안전 경계는 엄격하게 유지하되, 그 밖의 지침은 대체로 사용자와 개발자가 변경할 수 있는 기본값으로 제시된다.
• 세부 문체 지침 대부분을 폐지하고 사용자 선호와 언어·문화·맥락에 맞게 문체를 조정하도록 했다. 객관적인 접근이라는 강한 기본값은 유지하며, 특정 관점은 명시적으로 요청할 수 있지만 모델이 사용자가 듣고 싶어 할 내용을 근거로 추정해서는 안 된다. 문서에서 모델의 명칭은 ‘the assistant’에서 ‘GPT’로 바뀐다.
• OpenAI는 핵심 가치와 행동 원칙의 이유를 이해하고 새로운 상황에 적용하도록 돕는 훈련 방법을 탐색하고 있다. 현재 모델은 Model Spec을 아직 완전히 구현하지 못하며, 훈련 결과와 교훈은 추후 공개하고 연구·실사용·피드백을 통해 문서와 모델을 계속 개선할 계획이다.

🧩 주요 포인트

1. 가치 중심 재구성 → 개별 규칙의 이유를 명확히 하고, 명시적 지시가 없는 상황에서도 인간 의도와 감독에 충실한 판단을 지향한다.
2. 맥락 해석·주체성·부수 효과 지침 강화 → 사용자의 목표 달성과 함께 선택권, 장기적 이해관계, 타인에게 미치는 영향을 고려하도록 한다.
3. 세부 문체 규정 축소와 현재 모델의 구현 격차 인정 → 표현 방식의 맞춤화는 넓히되, 객관성 및 실제 행동의 개선 여부를 구분해 살펴볼 필요가 있다.

🧠 상세 정리

1. 모델의 역량 확대와 가치 중심 개편

OpenAI는 모델이 더 똑똑해지고 현실에서 더 중대한 행동을 수행할수록, 주어진 지시의 구체적인 문구를 해석하는 능력만으로는 충분하지 않다고 설명한다. 지시가 명시적으로 다루지 않는 상황에서도 인간의 의도와 감독에 충실한 판단을 하려면 인간의 의도와 가치를 이해해야 한다는 것이다. 이에 원하는 모델 행동을 공개적으로 기술한 Model Spec을 인간 의도에 대한 충실성, 위해 최소화, 정직성과 투명성, 인간의 주체성, 배려라는 다섯 가치 중심으로 재구성했다. 이는 낯선 상황에서도 인간 가치를 이해하고 적용하도록 하려는 가치 정렬 연구의 목표를 반영한다. 이번 개편은 기존 원칙을 더 명확히 설명하는 동시에 맥락·감독·주체성 관련 지침을 추가하고 일부 행동 기본값과 문체 지침을 조정한다.

2. 인간 의도에 대한 충실성과 통제의 구조

다섯 가치 가운데 토대가 되는 인간 의도에 대한 충실성은 사람들이 중요하게 여기는 것을 이해하고 추구하도록 돕는다는 의미다. OpenAI는 Model Spec을 작성하고 경계를 설정하며, 개발자는 그 경계 안에서 애플리케이션을 지휘하고 사용자는 해당 제약 아래 모델의 작업을 지휘한다. 충실성은 지시를 문자 그대로 따르는 것을 넘어 의도와 가치를 깊이 이해하고, 이해가 불완전할 때에도 신중하게 행동하는 것을 포함한다. 사람의 신념과 가치가 바뀔 수 있음을 인정하면서도, 은밀하게 방향을 유도하거나 선택을 대신하지 않고 당사자가 수긍할 방식으로 성찰과 성장을 도와야 한다. 예컨대 구직 제안을 비교할 때 과거에 밝힌 예측 가능한 근무시간이라는 우선순위를 활용할 수 있지만, 그러한 가정은 드러내고 쉽게 수정할 수 있어야 한다. 이 가치 체계는 모델이 존중하고 사람들이 추구하도록 도와야 할 인간 가치 전체를 담으려는 것은 아니다.

3. 나머지 네 가치와 새로운 훈련의 지향점

OpenAI는 인공일반지능이 모든 인류에게 이익을 주려면 사용자의 당장 의도뿐 아니라 장기적 이해관계와 타인에게 미치는 영향도 고려해야 한다고 설명한다. 위해 최소화는 확고한 안전 경계를 지키고 예견 가능한 행동의 결과를 고려하는 것이며, 정직성과 투명성은 모델이 아는 것과 하는 일, 불확실성을 사실대로 밝혀 사람들이 그 추론과 작업을 평가할 수 있게 하는 것이다. 인간의 주체성 지원은 스스로 이해하고 선택하고 행동할 능력을 강화하는 것이고, 배려는 영향을 받는 사람들의 사정과 관련 사회·전문직 규범을 고려하며 신뢰할 수 있는 작업을 수행하는 것이다. Model Spec은 필요한 곳에는 엄격한 경계를 두고, 나머지는 대체로 사용자와 개발자가 변경할 수 있는 기본값으로 이 가치들을 구체화한다. OpenAI는 모델이 원칙의 이유와 새로운 상황에서의 적용법을 이해하도록 돕는 훈련 방법도 탐색하고 있으며, 그 결과와 교훈은 향후 공개할 예정이다.

4. 지시 체계·맥락·주체성 관련 지침의 보강

새로운 인간 의도 충실성 절은 사람들이 무엇을 가치 있게 여기는지가 우선이고, 지시는 보통 그 가치를 보여 주는 가장 명확하고 중요한 신호라는 생각에서 출발한다. 이 접근은 정렬 문제를 다루는 도움 게임의 관점을 차용하며, 어떤 지시가 적용되고 충돌을 어떻게 해결하는지 설명하는 개정된 지시 체계를 포함한다. 새로 추가된 맥락 고려 항목은 대화와 기억, 기타 맥락 증거가 사람의 의도와 선호를 이해하는 데 어떻게 쓰여야 하는지 다룬다. 인간의 주체성을 지원하고 관련 사회 규범을 따르는 기본 지침도 추가됐으며, 부수 효과를 통제하고 알리는 기존 지침은 확대됐다. 이러한 보강은 사용자의 목표와 지시를 존중하면서도 작업이 타인에게 미치는 영향을 고려하고, 사용자의 역량을 강화하며, 신뢰할 수 있는 결과를 내도록 하려는 취지다.

5. 문체 지침 축소와 객관성의 유지

OpenAI는 이번 개편에서 Model Spec의 세부 문체 지침 대부분을 폐지한다. 문체는 전반적인 선호뿐 아니라 언어와 문화, 개인의 선호에 맞게 달라져야 하며, 사용자 피드백과 맥락이 그러한 선호를 판단하는 증거가 된다는 설명이다. 다만 질문에 객관적으로 접근하는 것과 같은 더 강한 기본값은 유지한다. 사용자와 개발자는 특정 관점을 취하도록 명시적으로 요청할 수 있지만, 모델이 사용자가 듣고 싶어 할 것이라고 생각하는 내용만으로 그러한 선호를 추정해서는 안 된다. 또한 모델의 활용 사례와 배포 환경이 넓어진 점을 반영해, 문서에서는 모델을 가리키는 명칭을 ‘the assistant’에서 ‘GPT’로 변경한다.

6. 목표 행동과 현재 모델의 격차, 향후 개선

OpenAI는 이번 개정을 모델의 역량이 커지는 가운데 Model Spec의 가치와 그 배경 논리를 더 명시적으로 만드는 첫 단계로 규정한다. Model Spec은 달성하려는 행동을 설명하는 문서이며, 현재 모델이 이를 아직 완전히 반영하지는 못한다고 분명히 밝힌다. 앞으로 연구와 실제 사용, 피드백에서 배운 내용을 바탕으로 문서와 모델을 계속 개선할 계획이다. 이번 개편 역시 연구, 배포 경험, 공개 피드백, 사용자 및 외부 전문가와의 논의를 통해 문서를 다듬어 온 작업의 연장선에 있다. OpenAI는 독자에게 설득력 있는 부분, 가치 간 균형에 동의하지 않는 부분, 빠져 있거나 불명확한 부분에 대한 의견을 요청하며, 가치와 상충관계 및 구체적 문구에 관한 피드백이 개선에 도움이 된다고 설명한다.

🧾 핵심 주장 / 시사점

• 가치를 중심으로 규칙의 이유를 설명하는 구조는 모델이 익숙하지 않은 상황에서도 원칙을 적용하도록 하려는 훈련 방향과 연결된다. 다만 원문은 이를 목표와 탐색 중인 작업으로 제시하며, 달성된 성과로 단정하지 않는다.
• 인간 의도에 대한 충실성은 맥락을 활용한 맞춤화를 허용하면서도 가정을 드러내고 수정할 수 있게 할 것을 요구한다. 의도를 이해하는 능력과 사용자의 선택권을 보장하는 방식이 함께 중요해진다.
• 세부 문체 지침을 줄이는 변화와 객관성 기본값을 유지하는 변화는 함께 읽어야 한다. 표현은 선호에 맞출 수 있지만, 사용자가 듣고 싶어 할 관점을 모델이 임의로 추정하는 것은 허용하지 않는다는 구분이 있다.

✅ 액션 아이템

• 개정된 지시 체계와 맥락 지침을 검토해 인간 의도에 대한 충실성이 지시 충돌과 대화·기억 해석에 어떻게 적용되는지 확인.
• 인간의 주체성 지원과 부수 효과 지침을 바탕으로 사용자의 선택권, 장기적 이해관계, 타인에게 미치는 영향의 반영 여부 검토.
• Model Spec과 현재 모델의 구현 격차를 살펴보고, 객관성과 문체 맞춤화의 적용에 관한 피드백 제시.

❓ 열린 질문

• 맥락 지침에 따라 대화·기억을 활용할 때, 인간 의도에 대한 충실성과 사용자의 선택권은 구체적으로 어떻게 함께 보장되는가?
• 사용자의 목표와 타인에게 미치는 영향이 충돌할 때, 다섯 가치와 엄격한 안전 경계는 어떤 판단으로 이어지는가?
• 현재 모델이 Model Spec을 완전히 구현하지 못하는 상황에서, 새로운 훈련 방법의 결과와 구현 격차의 개선은 향후 어떤 근거로 제시될 것인가?