Announcing our updated Responsible Scaling Policy

🖼️ 인포그래픽

Announcing our updated Responsible Scaling Policy 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic은 프런티어 AI의 재앙적 위험을 관리하기 위해 Responsible Scaling Policy를 더 유연하고 세분화된 위험 거버넌스 체계로 업데이트했다.

📌 핵심 요약

Anthropic은 2024년 10월 15일 Responsible Scaling Policy(RSP)의 중요한 업데이트를 발표하며, 충분한 안전·보안 조치가 마련되지 않은 모델은 훈련하거나 배포하지 않겠다는 기존 약속을 유지한다고 밝혔다.
업데이트된 RSP는 모델 역량이 커질수록 더 강한 보호조치를 적용하는 비례적 보호 원칙을 바탕으로 하며, AI Safety Level Standards와 Capability Thresholds, Required Safeguards를 핵심 구조로 삼는다.
현재 Anthropic의 모든 모델은 ASL-2 기준 아래 운영되고 있으며, 자율적 AI 연구개발 역량 또는 CBRN 무기 지원 역량이 특정 수준에 도달하면 더 높은 안전·보안 기준을 요구하도록 설계됐다.
정책 실행을 위해 Anthropic은 역량 평가, 보호조치 평가, 문서화와 의사결정 절차, 내부 거버넌스 및 외부 전문가 의견 수렴을 포함한 감독 체계를 마련했다.
첫해 운영 경험을 통해 절차상 미비점이 발견됐지만 모델 안전에는 최소한의 위험만 있었다고 평가했으며, 이를 바탕으로 정책 유연성과 준수 추적 절차를 강화하겠다고 설명했다.

🧩 주요 포인트

Anthropic은 2024년 10월 15일 Responsible Scaling Policy(RSP)의 중요한 업데이트를 발표하며, 충분한 안전·보안 조치가 마련되지 않은 모델은 훈련하거나 배포하지 않겠다는 기존 약속을 유지한다고 밝혔다.
업데이트된 RSP는 모델 역량이 커질수록 더 강한 보호조치를 적용하는 비례적 보호 원칙을 바탕으로 하며, AI Safety Level Standards와 Capability Thresholds, Required Safeguards를 핵심 구조로 삼는다.
현재 Anthropic의 모든 모델은 ASL-2 기준 아래 운영되고 있으며, 자율적 AI 연구개발 역량 또는 CBRN 무기 지원 역량이 특정 수준에 도달하면 더 높은 안전·보안 기준을 요구하도록 설계됐다.
정책 실행을 위해 Anthropic은 역량 평가, 보호조치 평가, 문서화와 의사결정 절차, 내부 거버넌스 및 외부 전문가 의견 수렴을 포함한 감독 체계를 마련했다.
첫해 운영 경험을 통해 절차상 미비점이 발견됐지만 모델 안전에는 최소한의 위험만 있었다고 평가했으며, 이를 바탕으로 정책 유연성과 준수 추적 절차를 강화하겠다고 설명했다.

🧠 상세 정리

1. 업데이트된 Responsible Scaling Policy의 발표 목적

Anthropic은 프런티어 AI 시스템에서 발생할 수 있는 잠재적 재앙 위험을 완화하기 위한 위험 거버넌스 체계인 Responsible Scaling Policy를 크게 업데이트했다고 발표했다. 이번 업데이트의 핵심은 AI 위험을 평가하고 관리하는 방식을 더 유연하고 세분화하면서도, 충분한 보호조치 없이 모델을 훈련하거나 배포하지 않겠다는 기존 약속을 유지하는 데 있다. 원문은 새 정책이 모델 역량의 특정 임계점, 보호조치의 적절성 평가, 내부 거버넌스와 외부 의견 수렴 절차를 포함한다고 설명한다. 또한 Anthropic은 실제 정책 운영 경험과 고위험 산업의 위험관리 관행을 참고해 빠르게 발전하는 AI 환경에 더 잘 대비하려 한다고 밝혔다.

2. 고급 AI의 가능성과 위험이라는 배경

원문은 프런티어 AI 모델이 발전하면서 사회와 경제에 중대한 이익을 가져올 수 있다는 점에서 논의를 시작한다. AI는 과학적 발견을 가속하고, 의료를 혁신하며, 교육 체계를 개선하고, 인간의 창의성과 혁신을 위한 새로운 영역을 만들 잠재력이 있다고 설명된다. 그러나 동시에 이런 시스템은 신중한 연구와 효과적인 보호조치를 필요로 하는 새로운 도전과 위험을 제기한다. Anthropic은 2023년 9월 처음 RSP를 공개한 뒤 1년간의 실행과 학습을 거쳐, 기술 역량의 진전과 실제 운영에서 얻은 통찰을 반영한 업데이트 버전을 공유한다고 밝혔다.

3. RSP의 범위와 다른 안전 정책과의 관계

Anthropic은 이번 RSP가 주로 재앙적 위험에 초점을 맞추지만, 회사가 살피고 준비하는 위험이 그것에만 한정되는 것은 아니라고 분명히 한다. 제품 사용 기준은 별도의 Usage Policy에 담겨 있으며, 여기에는 모델을 이용해 허위정보를 확산하거나 폭력 또는 혐오 행동을 조장하거나 사기·남용 행위에 관여하는 것을 금지하는 규칙이 포함된다. Anthropic은 신뢰와 안전 기준을 대규모로 집행하기 위한 기술적 조치를 계속 다듬고, 모델이 사회에 미치는 더 넓은 영향을 이해하기 위한 연구도 수행한다고 설명한다. 따라서 RSP는 기존 사용 정책, 신뢰·안전 집행, 사회적 영향 연구를 대체하는 것이 아니라 현재와 미래의 위험을 이해하는 데 기여하는 보완적 체계로 제시된다.

4. 비례적 보호 원칙과 ASL 기준

업데이트된 정책의 중심 원칙은 잠재적 위험의 크기에 비례해 보호조치를 강화한다는 것이다. Anthropic은 안전과 보안 조치가 위험을 허용 가능한 수준 아래로 유지하지 못한다면 모델을 훈련하거나 배포하지 않겠다는 핵심 약속을 재확인한다. 이를 위해 회사는 AI Safety Level Standards, 즉 ASL Standards라는 단계적 안전·보안 기준을 사용하며, 모델 역량이 커질수록 더 엄격한 조치가 적용된다. 원문은 이 구조가 생물안전등급에서 영감을 얻었고, 매우 기본적 역량을 가진 모델에 해당하는 ASL-1에서 시작해 ASL-2, ASL-3 및 그 이상의 단계로 진행된다고 설명한다.

5. Capability Thresholds와 Required Safeguards의 도입

새로운 RSP는 특정 역량과 그에 따른 위험을 평가하고, 이에 맞는 안전·보안 조치를 적용하는 방법론을 정교화했다. 원문은 이 업데이트된 프레임워크가 Capability Thresholds와 Required Safeguards라는 두 구성요소를 갖는다고 밝힌다. Capability Thresholds는 모델이 도달할 경우 현재 기준보다 더 강한 보호조치를 요구하게 되는 구체적 AI 능력을 뜻한다. Required Safeguards는 해당 임계점에 도달했을 때 위험을 완화하기 위해 필요한 ASL 기준을 의미한다. 현재 Anthropic의 모든 모델은 업계 모범 관행을 반영하는 ASL-2 기준 아래 운영되고 있으며, 특정 임계점에 도달하면 더 높은 기준이 요구된다.

6. 두 가지 주요 역량 임계점: 자율 AI 연구개발과 CBRN

업데이트된 정책은 보호조치 상향을 요구하는 두 가지 주요 Capability Thresholds를 정의한다. 첫째는 모델이 인간 전문성이 필요한 복잡한 AI 연구 과제를 독립적으로 수행해 AI 개발을 예측하기 어려운 방식으로 크게 가속할 수 있는 경우다. 이 경우 Anthropic은 개발 속도가 새로운 위험을 다룰 능력을 앞질러 가는 상황을 피하기 위해 더 높은 보안 기준, 잠재적으로 ASL-4 이상 기준과 추가 안전 보증을 요구한다고 설명한다. 둘째는 모델이 기본적인 기술 배경을 가진 사람이 화학·생물학·방사능·핵 관련 무기를 만들거나 배치하는 데 의미 있게 도움을 줄 수 있는 경우다. 이 임계점에 도달하면 강화된 보안과 배포 보호조치, 즉 ASL-3 기준이 요구된다.

7. ASL-3 보호조치와 배포 위험 관리

원문은 ASL-3 보호조치가 강화된 보안 조치와 배포 통제를 포함한다고 설명한다. 보안 측면에서는 내부 접근 통제와 모델 가중치에 대한 더 강력한 보호가 포함될 예정이다. 배포 위험을 다루기 위해서는 오용을 막기 위한 다층적 접근이 계획되어 있으며, 여기에는 실시간 모니터링과 비동기 모니터링, 신속 대응 프로토콜, 배포 전 철저한 레드팀 평가가 포함된다. 이러한 조치는 단일 방어선에 의존하기보다 모델 접근, 사용 감시, 사전 검증, 사후 대응을 함께 운용하려는 구조로 제시된다. Anthropic은 특정 위험 임계점에 도달했을 때 그 위험 수준에 맞춰 보호 수준을 높이는 것이 정책의 핵심 작동 방식이라고 설명한다.

8. 정책 실행과 감독 체계

Anthropic은 RSP의 효과적 실행을 위해 여러 운영 절차를 마련했다고 밝힌다. 먼저 Capability Thresholds를 기준으로 정기적인 모델 역량 평가를 수행해 현재 보호조치가 여전히 적절한지 판단한다. 다음으로 보안 및 배포 안전 조치의 효과를 정기적으로 평가하는 safeguard assessments를 통해 Required Safeguards 기준을 충족했는지 확인한다. 또한 고신뢰 산업에서 쓰이는 safety case 방법론에서 영감을 받은 문서화와 의사결정 절차를 도입한다고 설명한다. 여기에 기존 내부 안전 이슈 보고 절차와 더불어 내부 스트레스 테스트를 수행하고, 평가 방법론에 대해 외부 전문가 피드백도 요청하는 방식으로 내부 거버넌스와 외부 입력을 결합한다.

9. 첫해 운영 경험에서 얻은 교훈

Anthropic은 이전 RSP를 1년간 운영하면서 무엇이 잘 작동했고 무엇을 업데이트해야 하는지 검토했다고 설명한다. 이 과정에서 프레임워크의 요구사항을 완전히 충족하지 못한 소수의 사례가 발견됐는데, 예를 들어 일부 평가가 예정일보다 사흘 늦게 완료되었거나, placeholder 평가 변경사항을 어디에 어떻게 기록해야 하는지가 명확하지 않은 문제가 있었다. 또한 chain-of-thought나 best-of-N 같은 표준 기법을 적용했다면 일부 평가에서 모델 성능을 조금 더 잘 끌어낼 수 있었을 가능성도 지적됐다. Anthropic은 이 사례들이 모델 안전에는 최소한의 위험만 제기했다고 평가하면서, 정책에 더 많은 유연성을 넣고 RSP 준수 추적 절차를 개선해야 한다는 두 가지 교훈을 얻었다고 밝혔다.

10. 향후 방향과 조직적 책임

원문은 AI 프런티어가 빠르게 발전하고 있어 미래 시스템에 어떤 안전 조치가 적절할지 예측하기 어렵다고 말한다. 이에 따라 Anthropic은 정책, 평가 방법론, 보호조치, 잠재적 위험과 완화책에 관한 연구 등 안전 프로그램의 모든 요소를 계속 발전시킬 계획이라고 설명한다. 조직 측면에서는 공동창업자이자 최고과학책임자인 Jared Kaplan이 Responsible Scaling Officer를 맡아, 지난 1년간 이 역할을 맡았던 공동창업자이자 최고기술책임자 Sam McCandlish를 승계한다. Sam은 RSP의 초기 실행을 감독했으며 앞으로는 최고기술책임자 역할에 집중한다고 한다. Anthropic은 RSP 실행을 확대하기 위해 Head of Responsible Scaling 직책도 열고 있으며, Frontier Red Team, Trust & Safety, Security and Compliance, Alignment Science, RSP Team 등 여러 팀이 위험관리에 기여한다고 설명한다.

🧾 핵심 주장 / 시사점

이번 RSP 업데이트의 핵심 변화는 위험을 일괄적으로 다루기보다 모델의 구체적 역량 임계점과 필요한 보호조치를 연결해, 위험 수준에 맞춰 안전·보안 기준을 단계적으로 올리는 데 있다.
Anthropic은 첫해 실행 과정에서 발견된 절차상 미비점을 공개하면서도 그 위험이 최소였다고 평가했고, 이를 근거로 정책 유연성과 준수 추적을 강화하는 방향으로 수정했다.
원문은 RSP를 단독 안전 장치가 아니라 Usage Policy, 신뢰·안전 집행, 사회적 영향 연구, 내부 스트레스 테스트, 외부 전문가 피드백과 함께 작동하는 종합적 위험관리 체계의 일부로 제시한다.

✅ 액션 아이템

RSP의 비례적 보호 원칙에 따라 AI Safety Level Standards, Capability Threshold, Required Safeguards를 연계해 모델 역량 구간별 운영 기준을 정한다.
ASL-2 하에서 자율 AI 연구개발 역량 및 CBRN 지원 역량이 임계점에 도달했을 때 적용할 상향 조치 규칙을 모델 배포 승인 조건과 함께 점검한다.
첫해 RSP 시행 결과에서 드러난 절차 미비점을 반영해 정책 유연성 조정안과 준수 추적 절차의 실행 체계를 보완한다.