🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 GPT‑5.1 이후 모델이 ‘고블린’과 ‘그렘린’ 같은 생물 은유를 과도하게 쓰게 된 원인을 추적해, ‘Nerdy’ 성격 학습 보상이 특정 말버릇을 강화하고 다른 맥락으로 전이된 사례로 설명했다.

📌 핵심 요약

• GPT‑5.1 이후 모델들은 답변에서 고블린, 그렘린 등 기묘한 생물 은유를 점점 더 자주 사용하기 시작했으며, 이는 평가 지표 급락처럼 즉시 드러나는 버그가 아니라 세대가 지나며 누적된 미묘한 행동 변화였다.
• 조사 결과 이 현상은 성격 맞춤 기능, 특히 장난스럽고 너디한 말투를 장려하는 ‘Nerdy’ personality 학습과 관련이 있었다. 해당 보상 신호가 생물 은유가 포함된 답변에 더 높은 점수를 주면서 특정 어휘 습관이 강화됐다.
• GPT‑5.4 시점에는 생물 언어가 ‘Nerdy’ personality 사용자 트래픽에 특히 집중되어 있음이 확인됐다. Nerdy는 전체 ChatGPT 응답의 2.5%에 불과했지만, ‘goblin’ 언급의 66.7%를 차지했다.
• Codex를 활용한 RL 학습 출력 비교에서 ‘goblin’ 또는 ‘gremlin’이 들어간 답변이 같은 과제의 비사용 답변보다 Nerdy 보상에서 더 유리하게 평가되는 경향이 드러났고, 감사 대상 데이터셋의 76.2%에서 긍정적 상승이 관찰됐다.
• OpenAI는 Nerdy personality를 중단하고, 고블린 친화 보상 신호를 제거하며, 생물 단어가 포함된 학습 데이터를 필터링했다. 이 조사는 보상 신호가 모델 행동을 예상 밖으로 만들 수 있음을 보여주었고, 연구팀의 행동 감사 도구 개발로 이어졌다.

🧩 주요 포인트

1. GPT‑5.1 이후 모델들은 답변에서 고블린, 그렘린 등 기묘한 생물 은유를 점점 더 자주 사용하기 시작했으며, 이는 평가 지표 급락처럼 즉시 드러나는 버그가 아니라 세대가 지나며 누적된 미묘한 행동 변화였다.
2. 조사 결과 이 현상은 성격 맞춤 기능, 특히 장난스럽고 너디한 말투를 장려하는 ‘Nerdy’ personality 학습과 관련이 있었다. 해당 보상 신호가 생물 은유가 포함된 답변에 더 높은 점수를 주면서 특정 어휘 습관이 강화됐다.
3. GPT‑5.4 시점에는 생물 언어가 ‘Nerdy’ personality 사용자 트래픽에 특히 집중되어 있음이 확인됐다. Nerdy는 전체 ChatGPT 응답의 2.5%에 불과했지만, ‘goblin’ 언급의 66.7%를 차지했다.
4. Codex를 활용한 RL 학습 출력 비교에서 ‘goblin’ 또는 ‘gremlin’이 들어간 답변이 같은 과제의 비사용 답변보다 Nerdy 보상에서 더 유리하게 평가되는 경향이 드러났고, 감사 대상 데이터셋의 76.2%에서 긍정적 상승이 관찰됐다.
5. OpenAI는 Nerdy personality를 중단하고, 고블린 친화 보상 신호를 제거하며, 생물 단어가 포함된 학습 데이터를 필터링했다. 이 조사는 보상 신호가 모델 행동을 예상 밖으로 만들 수 있음을 보여주었고, 연구팀의 행동 감사 도구 개발로 이어졌다.

🧠 상세 정리

1. 고블린 말버릇의 출현

OpenAI는 GPT‑5.1부터 모델들이 은유 속에서 고블린, 그렘린, 기타 생물을 점점 더 자주 언급하는 이상한 습관을 보이기 시작했다고 설명한다. 이 문제는 평가 점수가 갑자기 떨어지거나 학습 지표가 튀어 오르는 식의 명확한 버그가 아니었다. 개별 답변에 등장하는 ‘작은 고블린’ 하나는 해롭지 않고 오히려 재미있게 보일 수 있었지만, 모델 세대가 바뀌며 같은 표현이 반복적으로 늘어나자 패턴이 뚜렷해졌다. 특히 GPT‑5.5를 Codex에서 초기 테스트할 때 고블린 은유에 대한 기묘한 선호가 눈에 띄었다.

2. 첫 조사와 수치로 드러난 증가

패턴이 처음 분명하게 보인 시점은 GPT‑5.1 출시 이후인 11월이었다. 사용자들은 모델이 대화에서 이상할 정도로 친근하거나 과하게 익숙한 태도를 보인다고 불평했고, 이에 따라 특정 언어적 틱을 조사하게 됐다. 한 안전 연구자가 자신이 경험한 ‘goblins’와 ‘gremlins’ 사례를 점검 항목에 넣어 달라고 요청하면서 해당 단어들도 분석 대상이 되었다. 조사 결과 GPT‑5.1 출시 뒤 ChatGPT에서 ‘goblin’ 사용은 175%, ‘gremlin’ 사용은 52% 증가한 것으로 나타났지만, 당시에는 그 자체가 심각한 문제처럼 보이지는 않았다.

3. GPT‑5.4와 Nerdy personality의 연결

몇 달 뒤 GPT‑5.4에서 OpenAI와 사용자들은 이 생물 언급이 더 크게 늘어난 현상을 다시 포착했다. 내부 분석은 이 언어 습관이 특히 ‘Nerdy’ personality를 선택한 사용자의 프로덕션 트래픽에서 흔하다는 사실을 드러냈다. Nerdy 시스템 프롬프트는 모델을 장난스럽고 지혜로운 AI 멘토로 설정하고, 진지한 주제를 지나치게 엄숙하게 다루지 않으며, 장난스러운 언어로 허세를 낮추라고 요구했다. 만약 이것이 단순한 인터넷 유행이었다면 전반적으로 고르게 퍼졌겠지만, 실제로는 장난스럽고 너디한 스타일을 명시적으로 최적화한 영역에 집중되어 있었다.

4. 보상 신호가 생물 은유를 강화한 방식

OpenAI는 모델 출시를 거치며 ‘goblin’ 사용이 늘어났기 때문에 personality instruction-following 학습 과정이 이 현상을 증폭했을 가능성을 의심했다. Codex를 이용해 RL 학습 중 생성된 출력 가운데 ‘goblin’ 또는 ‘gremlin’을 포함한 답변과 포함하지 않은 같은 과제의 답변을 비교했다. 그 결과 Nerdy personality를 장려하기 위해 설계된 보상 신호가 생물 단어가 들어간 출력에 일관되게 더 호의적인 점수를 주는 것으로 나타났다. 감사 대상 전체 데이터셋에서 Nerdy 보상은 같은 문제에 대해 생물 단어가 포함된 답변을 더 높게 평가하는 경향을 보였고, 76.2%의 데이터셋에서 긍정적 상승이 확인됐다.

5. Nerdy 밖으로 전이된 말버릇

Nerdy 프롬프트에서 보상된 행동이 왜 해당 프롬프트가 없는 상황에서도 나타났는지도 별도로 확인할 필요가 있었다. OpenAI는 학습 과정에서 Nerdy 프롬프트가 있는 샘플과 없는 샘플의 언급률을 함께 추적했다. 그 결과 Nerdy personality 아래에서 고블린과 그렘린 언급이 증가할 때, Nerdy가 없는 샘플에서도 거의 같은 상대적 비율로 증가했다. 이는 더 넓은 모델 행동이 Nerdy personality 학습에서 전이되었음을 시사한다. 보상은 Nerdy 조건에서만 적용됐지만, 강화학습은 보상된 행동이 처음 생긴 조건 안에만 깔끔하게 머문다고 보장하지 않는다.

6. 완화 조치와 연구적 의미

OpenAI는 GPT‑5.4 출시 뒤 3월에 Nerdy personality를 중단했고, 학습에서는 고블린 친화적인 보상 신호를 제거했으며, 생물 단어가 포함된 학습 데이터를 필터링했다. 그러나 GPT‑5.5는 고블린의 근본 원인을 찾기 전에 이미 학습을 시작했기 때문에, Codex 테스트에서 직원들이 즉시 이상한 고블린 선호를 다시 알아차렸다. 이에 Codex에는 이를 완화하기 위한 developer-prompt instruction이 추가됐다. 글은 이 현상을 단순히 웃기거나 성가신 말버릇으로만 보지 않고, 작은 보상 신호가 모델 행동을 예기치 않게 형성하고 특정 상황의 보상이 관련 없는 맥락으로 일반화될 수 있음을 보여주는 사례로 정리한다.

🧾 핵심 주장 / 시사점

• 모델 행동의 이상 징후는 항상 평가 지표나 학습 지표에서 크게 드러나지 않으며, 반복되는 단어 선택이나 은유 같은 미세한 언어 습관으로 먼저 나타날 수 있다.
• 특정 성격이나 스타일을 장려하는 보상 신호는 의도한 말투뿐 아니라 특정 어휘 틱까지 함께 강화할 수 있으며, 그 효과가 원래의 조건 밖으로 전이될 수 있다.
• 문제의 단어를 단순히 억제하는 것보다 보상 신호, RL 출력, SFT 데이터, 프로덕션 분포를 함께 추적해 원인을 찾는 감사 체계가 모델 행동 수정에 중요하다.

✅ 액션 아이템

• GPT‑5.1에서 GPT‑5.4로 넘어가는 세대별 로그에서 Goblin·Gremlin 언어 빈도와 Nerdy 트래픽을 분리 분석해 전이 원인을 정밀 추적한다.
• Codex 기반 RL 비교에서 동일 과제 비사용군 대비 Nerdy 보상 우위를 정량화하고, 76.2% 개선 패턴의 반복 구간을 범위로 정의한다.
• Nerdy 중단, 고블린 친화 보상 제거, 생물 단어 데이터 필터링 조치 후에도 고블린 언급의 66.7% 집중이 재현되는지를 재측정해 재발 억제 기준을 점검한다.

❓ 열린 질문

• Nerdy처럼 사용자 비중이 2.5%에 불과한 보상 변경이 다른 성격 기능으로도 유사한 은유 편향을 누적 전이시킬 가능성은 어느 지표로 조기 탐지할 것인가?
• 보상 신호에서 고블린·그렘린 같은 어휘를 낮추면 Nerdy 성격 유인 효과는 줄어들지만 챗봇의 자연스러운 말투 다양성은 어디까지 유지되는가?
• 76.2%의 보상 상승만으로 개선을 판단해도 되는가, 아니면 실패 가능성을 포착할 반대 지표와 위험한 편향 신호는 어떤 것이 필요한가?