Safety for Whom? Refusing the Right Subset of a Topic, Not the Whole Topic

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Multiverse Computing의 연구는 배포 정책에 맞춰 주제 내부의 유해한 요청만 거부하려면, 학습 데이터 구성과 경계 양쪽 평가를 통해 유해 요청 거부와 정상 요청의 과잉 거부 사이의 상충관계를 조절해야 한다고 주장한다.

📌 핵심 요약

• 기존의 주제 단위 안전 분류는 같은 정치 주제에서도 조작·표적 설득 요청과 사실 정보 요청을 구분해야 하는 배포 정책을 충분히 표현하지 못한다. 연구는 동일한 주제 기준점을 공유하면서 의도만 다른 유해·정상 프롬프트 쌍으로 이 경계를 다룬다.
• 자체 생성 학습 데이터에서 단일 시도는 유해 프롬프트 19.88%인 8,009개를 누락했다. 단계적으로 더 강하게 거부를 유도하는 재시도는 잔여 실패를 0.20%인 79개로 줄이고 유해 학습 프롬프트 40,293개를 확보했다. 정상 데이터에는 18개 의미 유형에 걸친, 표현은 위험해 보이지만 정상인 검증된 프롬프트 11,955개를 포함했다.
• Qwen3-8B에서 재시도로 학습 데이터 포함 범위를 넓힌 모델은 분포 내 정치 요청 거부율을 9.47%에서 84.75%로 높였다. 가장 강한 설정에서는 LlamaGuard-3로 평가한 HarmBench·StrongREJECT·WildJailbreak의 평균 유해 응답률이 26.26%에서 0.14%로 낮아졌지만, 같은 체크포인트의 XSTest 과잉 거부율은 2.00%에서 74.00%로 상승했다.
• 단일 시도 조건에서 외부의 정상 응답을 대상 모델이 직접 생성한 검증된 응답으로 대체하면 XSTest 과잉 거부율이 15.20%에서 5.20%로 낮아졌으며, 유해성 측면에는 소폭의 비용이 있었다. 정상 경계 데이터를 추가한 비교에서는 정상 측 과잉 거부율이 32.94%에서 4.16%로 줄고 유해 측 거부율은 91.88%에서 87.72%로 소폭 하락했다.
• 연구는 학습에 사용하지 않은 유해·정상 경계 프롬프트를 각 1,539개씩 평가하고, 유해 요청 거부율과 정상 요청 과잉 거부율을 함께 보고해야 한다고 강조한다. 생성 파이프라인은 정치 외 주제로도 확장할 수 있다고 설명하지만, 제시된 구체적 실험은 정치적 설득을 중심으로 한다.

🧩 주요 포인트

1. 배포 정책마다 정치적 요청의 허용 범위가 다름 → 안전성의 판단 단위를 주제 전체에서 요청 의도와 정책 경계로 좁힐 필요가 있다.
2. 재시도는 누락된 유해 사례를 복구하고, 정상 데이터와 대상 모델의 검증된 응답은 과잉 거부를 완화함 → 학습 데이터 구성이 안전성과 유용성의 상충관계를 좌우한다.
3. 정상 경계 데이터로 과잉 거부가 크게 줄지만 유해 측 거부율도 소폭 하락함 → 경계 양쪽을 함께 측정해야 개선 효과와 비용을 구분할 수 있다.

🧠 상세 정리

1. 주제 단위 안전 분류가 놓치는 배포별 차이

글은 기존 안전 정렬이 유해성을 무기, 사기, 자해 같은 주제의 속성으로 취급하는 경향을 비판하며 시작한다. LlamaGuard-3 같은 가드 모델은 이런 주제별 분류를 사용하고, XSTest와 OR-Bench는 위험해 보이는 단어 때문에 정상 요청까지 거부하는 실패를 점검한다. 그러나 실제로는 같은 기반 모델이 일반 비서, 교육 제품, 기업 시스템, 공공 서비스에 쓰이면서 서로 다른 허용 범위를 요구받는다. 시민교육 튜터와 공공 부문 비서는 모두 선거에 관한 사실 질문에 답해야 하지만, 표적 정치 조작을 작성해 달라는 요청에는 서로 다른 거부 정책이 적용될 수 있다. 글은 LlamaGuard-3의 선거 범주가 선거 제도와 절차에 관한 사실적으로 잘못된 정보에 한정되어, 설득·조작과 계속 답해야 할 사실 질문을 함께 다루는 정책 경계를 충분히 표현하지 못한다고 지적한다.

2. 유해한 부분집합과 정상 요청 사이의 경계

논문 Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal은 주제 전체를 거부할지보다, 해당 배포 정책과 양립하지 않는 부분집합이 무엇인지를 연구한다. 실험에서는 모든 정치 프롬프트를 전체 집합으로 놓고, 그 안에서 거부해야 할 유해 요청과 답해야 할 정상 요청을 구분한다. 이상적인 동작은 유해한 부분집합 안에서만 거부하고 나머지 정치 요청에는 답하는 선명한 경계다. 하지만 학습된 모델의 거부 확률은 이 경계를 근사할 뿐이며, 유해 요청의 거부를 높이는 교차 엔트로피 학습이 인접한 정상 요청까지 거부하게 만들 수 있다. 연구는 같은 주제 기준점을 공유하되 의도만 다른 프롬프트 쌍으로 경계를 구체화하며, 조작적 설득의 위해와 사실적 정치 정보의 정당성이 공존하는 정치적 설득을 실험 대상으로 삼는다.

3. 자체 생성 데이터의 누락과 재시도 복구

기준 파이프라인은 대상 모델이 유해 프롬프트에 거부 응답을 생성하도록 유도한 뒤, 가드 모델이 실제 거부라고 검증한 생성 결과만 학습 데이터에 남긴다. 이는 ThinkSafe 같은 방법의 접근이며, 연구는 이를 정치 프롬프트에 적용해 구성 요소별로 분석한다. 첫 번째 문제는 한 번의 생성 시도가 항상 검증된 거부를 만들지는 못해, 실패한 프롬프트가 학습 집합에서 조용히 빠진다는 점이다. 조사한 풀에서는 단일 시도로 19.88%인 8,009개가 누락됐고, 이들이 특히 어려운 사례일 가능성도 제기된다. 같은 프롬프트를 점점 더 강한 거부 유도 조건으로 다시 생성하는 전략은 잔여 실패를 0.20%인 79개로 줄였다. 그 결과 유해 학습 프롬프트 40,293개를 확보했으며, 단순한 파이프라인이 버렸을 수천 개의 사례를 학습에 포함했다.

4. 정상 데이터 보완과 경계 평가의 필요성

두 번째 문제는 안전 학습이 겉으로 위험해 보이는 정상 프롬프트에도 잘못된 거부를 유발한다는 점이다. 연구는 이를 보완하기 위해 학습 분포에 맞는 정상 데이터를 구성하고, 18개 의미 유형에 걸쳐 표현은 위험해 보이지만 실제로는 정상인 검증된 프롬프트 11,955개를 포함했다. 모델이 이런 요청을 평가 때 처음 접하는 대신 학습 중에도 답해야 할 사례로 보도록 한 것이다. 세 번째 문제는 일반적인 유해·정상 평가 분할만으로는 의도 경계 주변의 거부 양상을 직접 측정할 수 없다는 데 있다. 정상 영역까지 거부 범위를 넓혀 유해 요청 거부율을 높여도, 주제 수준 지표에서는 개선으로 보일 수 있기 때문이다. 연구는 학습에 사용하지 않은 유해·정상 프롬프트를 각 1,539개씩 짝지어, 거부해야 할 쪽과 답해야 할 쪽을 함께 평가한다.

5. 높은 거부율이 감추는 과잉 거부

정치적 거부 데이터를 이용한 학습은 유해 요청을 더 많이 거부한다는 점에서는 효과를 보였다. Qwen3-8B에서 재시도로 데이터 포함 범위를 넓힌 모델의 분포 내 정치 요청 거부율은 9.47%에서 84.75%로 상승했다. 가장 강한 설정에서는 LlamaGuard-3로 점수를 매긴 HarmBench, StrongREJECT, WildJailbreak의 평균 유해 응답률도 26.26%에서 0.14%로 낮아졌다. 그러나 같은 체크포인트에서 XSTest 과잉 거부율은 2.00%에서 74.00%로 급증해, 명백히 정상인 요청의 거의 4분의 3을 거부했다. 글은 이를 유해 응답률만 보면 놓치는 함정으로 설명하며, 더 많이 거부하는 모델을 자동으로 더 안전하다고 판단할 수 없다고 주장한다. 학습 데이터 구성이 안전성과 과잉 거부 사이의 위치를 결정하므로 두 지표를 함께 보고해야 한다는 것이 핵심이다.

6. 대상 모델의 정상 응답을 활용한 완화

연구는 과잉 거부를 줄이는 데이터 구성 요소로 대상 모델이 직접 생성한 검증된 정상 응답과 정상 경계 데이터를 제시한다. 먼저 단일 시도 생성 조건에서 외부에서 가져온 정상 응답을 대상 모델 자체의 검증된 응답으로 대체하는 비교를 수행했다. 이때 XSTest 과잉 거부율은 15.20%에서 5.20%로 낮아졌으며, 유해성 측면에서는 소폭의 비용이 발생했다고 설명한다. 따라서 이 결과는 과잉 거부가 줄었다는 사실과 함께 유해 응답 억제에서 발생한 비용도 고려해야 하는 비교다. 앞서 가장 강한 설정에서 나타난 74.00%와는 비교 조건이 다르므로, 모든 수치를 하나의 연속적인 개선 과정처럼 읽어서는 안 된다. 글의 논지는 거부 학습의 강도만이 아니라 정상 응답을 어떤 방식으로 구성하는지도 모델의 거부 성향에 영향을 준다는 것이다.

7. 정상 경계 데이터의 효과와 남는 비용

정상 경계 데이터는 의도가 다른 인접 프롬프트를 구별하는 데 가장 정밀한 효과를 보인 구성 요소로 소개된다. 이를 추가한 비교에서 학습에 사용하지 않은 경계 쌍의 정상 측 과잉 거부율은 32.94%에서 4.16%로 감소했다. 같은 비교에서 유해 측 거부율은 91.88%에서 87.72%로 낮아져, 정상 요청에 대한 잘못된 거부가 크게 사라지는 동안 실제 유해 요청에 대한 거부는 대부분 유지됐다. 다만 유해 요청을 거부하는 비율이 줄었으므로, 연구는 이를 비용 없는 개선으로 제시하지 않는다. 글은 이 비용이 작지만 측정 가능하다는 점을 강조하며, 경계 양쪽을 함께 측정해야 상충관계를 의도적으로 선택할 수 있다고 설명한다. 핵심은 유해 측 성능의 소폭 하락과 정상 측 성능의 큰 개선을 구분해, 해당 배포 정책에 맞는 판단을 가능하게 하는 것이다.

8. 배포 정책에 맞춘 안전성 평가의 의미

글의 결론은 안전 학습을 유해 요청 거부율 하나로 평가해서는 안 된다는 것이다. 좁은 정책 경계에서는 유해 요청의 거부를 높이는 변화가 바로 옆의 정당한 요청에 대한 응답 능력을 훼손할 수 있다. 연구는 학습 데이터 구성, 누락 사례 복구, 학습 분포에 맞는 정상 데이터 보완, 경계 프롬프트 쌍이 이 상충관계를 조절한다고 설명한다. Multiverse Computing은 이를 넓은 주제 범주보다 실제 배포가 요구하는 수준에서 모델 동작을 통제하고 측정하려는 연구로 소개한다. 생성 파이프라인은 정치 외 주제에도 확장할 수 있다고 밝히지만, 본문에서 구체적인 수치로 제시한 실험은 정치적 설득을 중심으로 한다. 전체 논문에는 데이터 구성별 비교 실험, 유해 데이터의 교차 엔트로피와 정상 데이터의 순방향 KL 보존을 분리하는 손실 처리, 전체 경계 평가의 기술적 세부 사항이 담겨 있다고 안내한다.

🧾 핵심 주장 / 시사점

• 안전성은 주제 이름만으로 결정되기보다, 같은 주제에서 어떤 의도를 허용하고 거부할지 정하는 배포 정책과 연결된다.
• 유해 응답률의 큰 감소가 정상 요청에 대한 응답 능력의 큰 손실과 동시에 발생할 수 있으므로, 안전성 수치 하나만으로 개선을 판단하기 어렵다.
• 경계에 가까운 정상 사례를 학습에 포함하면 과잉 거부를 크게 줄일 수 있지만, 유해 요청 거부율의 소폭 하락까지 함께 측정해야 효과를 온전히 해석할 수 있다.

✅ 액션 아이템

• 정치적 요청의 허용 범위를 배포 정책에 따라 사실 정보 요청과 조작·표적 설득 요청으로 구분.
• 유해 요청 거부율과 정상 요청 과잉 거부율을 함께 평가하고, Qwen3-8B의 XSTest 결과처럼 두 지표가 엇갈리는 경우를 반영.
• 재시도, 대상 모델의 검증된 응답, 정상 경계 데이터의 효과를 학습 데이터 구성 관점에서 비교하고 유해 측 거부율 하락도 함께 고려.

❓ 열린 질문

• 배포 정책별로 정치적 요청 중 사실 정보 요청과 조작·표적 설득 요청의 허용 경계를 어떻게 정할 것인가?
• 정상 경계 데이터 추가로 과잉 거부율이 32.94%에서 4.16%로 줄고 유해 측 거부율이 91.88%에서 87.72%로 하락하는 상충관계는 해당 배포 정책에서 허용 가능한가?
• 정치 외 주제로 생성 파이프라인을 확장할 때도 유해 요청 거부율과 정상 요청 과잉 거부율의 개선을 함께 확인할 수 있는가?