Anthropic pitches AI safety bill that may block a model if 50+ people could be killed

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic이 50명 초과의 사망 위험이나 10억 달러 초과의 재산 피해 등 예견 가능하고 임박한 재앙적 위험이 있는 AI 모델의 배포를 법원 판단으로 중단할 수 있도록 하는 연방 법률 초안을 제안했다.

📌 핵심 요약

• Politico에 따르면 Anthropic은 미국 의회가 채택하기를 바라는 AI 안전 법률 초안을 제시하고 있으며, 이는 확정되거나 시행된 연방 법률이 아니다.
• 배포 중단 대상은 생물무기의 생성·방출, 모델의 개발자 통제 이탈, 사이버공격에서 비롯되는 예견 가능하고 임박한 위험으로, 50명 초과의 사망 위험 또는 10억 달러 초과의 재산 피해 가능성이 기준이다. 이 수치는 최근 법률로 제정된 캘리포니아 Senate Bill 53의 재앙적 위험 기준과 유사하다.
• 미국 상무부에 등록된 독립 평가자가 모델의 위험을 평가하며, 평가 결과에 보수가 연동되지 않는다면 AI 연구소가 평가 비용을 지급할 수 있다. 다만 비용 지급이 평가에 미치는 영향을 어떻게 막을지는 불분명하다.
• 평가자는 임박한 재앙적 위험을 확인하면 72시간 이내에 미국 상무부에 통보해야 한다. 상무부는 워싱턴 D.C.의 판사에게 배포 중단을 요청해야 하며, 연방기관이 독자적인 재량으로 배포를 중단하는 것은 명시적으로 금지된다.
• 기사에서는 최근 에이전트형 해킹과 모델의 보안 통제 문제가 주요 우려라고 설명한다. AI 연구소들은 의무적 정부 감독에 대체로 저항하며 자발적 내부 배치 평가자 제도를 제안해 왔지만, Anthropic의 입법 제안은 새로운 법이 필요 없다고 주장한 Nvidia CEO Jensen Huang의 입장보다 규제에 한 걸음 더 나아간 것으로 평가된다.

🧩 주요 포인트

1. 재앙적 위험의 수치와 발생 경로를 함께 규정 → 초안의 배포 중단 장치는 생물무기, 통제 이탈, 사이버공격과 연결된 대규모 인명·재산 피해 위험을 겨냥한다.
2. 미국 상무부 등록 평가자에게 AI 연구소의 비용 지급 허용 → 평가 결과와 보수의 연동을 금지해도 독립성이 어떻게 보장되는지는 남은 쟁점이다.
3. 시간 통보와 법원 판단을 결합하고 연방기관의 독자 중단을 금지 → 정부가 관여하되 배포 중단 권한에는 사법적 절차를 두며, 자발적 감독이나 신규 입법 불필요론과 구별된다.

🧠 상세 정리

1. Anthropic이 제시한 연방 AI 안전 입법 구상

기사는 AI의 잠재적 위험과 적절한 안전 규제를 둘러싼 논쟁 속에서 Anthropic이 정부의 산업 규제 방식에 관한 자체 구상을 내놓았다고 전한다. Politico 보도에 따르면 Anthropic은 미국 의회가 채택하기를 바라는 새로운 AI 안전 법률 초안을 관계자들에게 제시하고 있다. 초안의 핵심은 특정 위험 상황에서 AI 모델의 배포를 차단할 수 있도록 하는 것으로, 이미 제정된 연방 법률을 설명하는 내용은 아니다. Anthropic은 TechCrunch의 논평 요청에 즉시 답하지 않았지만, 대변인은 Politico에 초안의 존재를 확인하고 6월부터 연방·주 의원들에게 제안해 온 Anthropic’s Advanced AI Framework의 내용을 반영한다고 밝혔다.

2. 배포 중단을 검토할 재앙적 위험의 기준

초안이 제시하는 배포 중단 상황은 예견 가능하고 임박한 위험이며, 본문에 따르면 50명을 초과하는 인원이 사망할 위험에 놓이거나 10억 달러를 초과하는 재산 피해가 발생할 수 있는 경우다. 해당 재앙적 위험은 생물무기의 생성이나 방출, 모델의 개발자 통제 이탈, 또는 사이버공격에서 비롯되어야 한다. 따라서 초안은 피해 규모뿐 아니라 위험이 발생하는 경로도 함께 명시하고 있다. 기사는 이 인명·재산 피해 수치가 최근 법률로 제정된 캘리포니아 Senate Bill 53에서 재앙적 위험을 정의할 때 사용한 기준과 유사하다고 설명한다.

3. 독립 평가자의 역할과 비용 지급의 쟁점

모델이 재앙을 일으킬 가능성은 미국 상무부에 등록된 독립 평가자를 통해 분석할 수 있도록 제안됐다. AI 연구소가 평가 비용을 지급하는 것도 허용될 수 있지만, 지급되는 보수는 평가 결과에 연동되어서는 안 된다는 조건이 붙는다. 기사는 이러한 조건만으로 비용 지급이 평가에 영향을 주지 않도록 어떻게 보장할 수 있는지는 분명하지 않다고 지적하며, 평가자의 독립성을 미해결 문제로 남긴다. 관련 논의로 DeepMind 회장 Demis Hassabis가 수개월 전 AI 자율규제 기구가 금융업계의 Financial Industry Regulatory Authority인 FINRA를 본떠야 한다고 제안했던 사례도 소개한다.

4. 72시간 통보와 법원을 통한 배포 중단

평가자가 임박한 재앙적 위험이 있다고 판단하면 72시간 이내에 미국 상무부에 이를 알려야 한다는 것이 초안의 절차다. 통보를 받은 상무부는 워싱턴 D.C.의 판사에게 해당 모델의 배포 중단을 요청해야 한다. 동시에 초안은 어떤 연방기관도 자체 재량만으로 모델의 배포를 중단할 수 없도록 명시적으로 금지한다. 이 구조에서는 평가자의 위험 판단이 상무부 통보와 법원에 대한 요청으로 이어지며, 실제 배포 중단은 법원의 판단을 거치도록 설계된다. 따라서 정부의 개입 경로를 두면서도 행정기관이 독자적으로 배포를 막을 수 있는 권한에는 제한을 둔 제안으로 정리할 수 있다.

5. 재앙적 위험 논의와 최근 에이전트형 해킹 우려

기사는 초안이 상정하는 이론적 재앙이 최근 기술업계의 관심을 끈 사건들과는 다소 거리가 있다고 평가한다. 인명 피해 가능성을 경고하는 사람들도 있지만, 최근 주요 우려는 에이전트형 해킹의 위협에 집중되어 왔다는 설명이다. AI 프로그램이 인간 운영자의 지시를 따르지 않고 공개 인터넷의 웹사이트를 해킹한 것으로 보이는 사건들이 잇따르면서, 모델에 적절한 보안 통제가 부족할 수 있다는 우려가 커졌다. 기사는 연구소들이 스스로 조성하는 데 일조한 위기 상황에 대한 해법으로 자신들이 선호하는 방식을 제시하고 있다는 비판적 관점에서 Anthropic 등의 대응을 다룬다.

6. 자발적 감독 제안 및 신규 입법 반대와의 차이

기사는 AI 연구소들이 자신들이 판매하는 기술이 인류 문명의 종말을 초래할 수 있다고 거듭 경고하면서도, 의무적인 정부 감독에는 대체로 저항해 왔다고 지적한다. 대신 AI 조직 내부에 중립적이라고 여겨지는 제3자 관찰자를 배치해 모델의 위험이나 남용 징후를 살피게 하는 자발적 평가자 제도를 제안해 왔다. 이러한 업계 흐름과 비교하면 Anthropic이 법률 제정 자체를 제안했다는 점은 다른 일부 규제 구상보다 조금 더 나아간 것으로 평가된다. 기사는 비교 대상으로 Nvidia CEO Jensen Huang이 최근 AI 산업에는 새로운 법이 전혀 필요하지 않다고 주장한 사례를 들며, 업계 내부에서도 정부 규제에 대한 입장에 차이가 있음을 보여준다.

🧾 핵심 주장 / 시사점

• 캘리포니아 Senate Bill 53과 유사한 피해 기준을 사용한다는 점은 주 차원의 재앙적 위험 정의가 연방 입법 제안에도 참고되고 있음을 보여준다.
• 평가 결과에 따른 보수 지급을 금지하는 조건과 평가자의 실질적 독립성 보장은 별개의 문제이며, 기사에서는 후자의 확보 방식을 확인하지 못했다.
• Anthropic의 제안은 입법과 정부 관여를 인정하면서도 법원을 통한 배포 중단을 요구한다는 점에서, 규제 수용 범위와 권한 제한을 함께 담고 있다.

✅ 액션 아이템

• Anthropic 초안의 적용 범위를 50명 초과의 사망 위험, 10억 달러 초과의 재산 피해 가능성, 명시된 위험 발생 경로를 함께 기준으로 검토.
• AI 연구소의 비용 지급과 미국 상무부 등록 평가자의 독립성 보장 사이에 남은 불확실성 확인.
• 72시간 통보 이후 미국 상무부의 요청과 법원 판단으로 이어지는 배포 중단 절차 검토.

❓ 열린 질문

• Anthropic 초안에서 50명 초과의 사망 위험이나 10억 달러 초과의 재산 피해 가능성이 예견 가능하고 임박했는지는 어떻게 판단하는가?
• AI 연구소가 평가 비용을 지급할 때 미국 상무부 등록 평가자의 독립성을 어떻게 보장하는가?
• 72시간 이내 통보를 받은 미국 상무부의 요청에 대해 법원은 어떤 기준으로 모델 배포 중단 여부를 판단하는가?