Microsoft's new AI 'code of conduct' tells models not to hack systems or trick humans

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Microsoft는 사이버공격·핵무기·딥페이크 제작과 인간 감독 회피를 금지하고, 사용자 선호보다 인간의 통제와 안전을 우선하는 AI 행동강령을 공개했다.

📌 핵심 요약

• Microsoft의 새 AI 행동강령은 Microsoft AI의 모델 훈련을 이끄는 가치와 금지선을 구체화하며, Anthropic CEO Dario Amodei의 최첨단 AI 개발 속도 조절 촉구보다 실무적인 수준에 초점을 둔다.
• 행동강령은 향후 10년 안에 초지능 AI가 대부분의 과제에서 인간의 수행 능력을 넘어설 것으로 예측하며, 강력한 AI의 통제와 정렬을 인류의 중대한 과제로 제시한다.
• Microsoft AI 모델은 인간을 대체하기보다 지원하고 인간의 번영을 촉진해야 하며, 개별 사용자 선호나 특정 과제보다 우선하는 행동강령의 적용을 받는다.
• 절대적 제약은 사이버공격·핵무기·딥페이크 제작을 금지하며, MAI Models가 적응적·기만적·자기강화적 수단이나 공모로 인간의 감독을 회피해 권한 있는 사람이나 시스템의 지시·수정·종료를 불가능하게 만드는 것도 금지한다.
• 통제를 벗어난 에이전트 사건들과 AI의 인류 멸종 위험을 이유로 든 Anthropic 직원의 갑작스러운 사임 속에서 강령이 공개됐다. Microsoft는 Anthropic·OpenAI·xAI와 함께 최첨단 AI 개발 속도 조절 접근을 대체로 지지하며, CEO Satya Nadella는 AI 연구소 내 상주 평가자와 정렬을 위한 신중한 속도 조절을 환영했다.

🧩 주요 포인트

1. 향후 10년 내 초지능 AI의 성능 우위 예측 → 개발 목적과 인간의 통제 방식을 명확히 해야 한다는 강령의 출발점.
2. 사용자 선호보다 우선하는 절대적 제약 → 개별 과제 수행에서도 안전 원칙이 상위 기준으로 작동하는 구조.
3. MAI Models의 감독 회피 금지와 상주 평가자 지지 → 모델 행동 제한과 연구소 내 평가를 통해 인간의 통제와 정렬을 뒷받침하려는 방향.

🧠 상세 정리

1. 모델 훈련의 가치와 금지선을 명문화

Microsoft는 AI 업계의 관심이 안전과 정렬로 이동하는 가운데, 모델이 위험한 행동을 피하도록 이끄는 새 AI 행동강령을 공개했다. 기사는 이 문서가 Anthropic CEO Dario Amodei의 최근 최첨단 AI 개발 속도 조절 촉구보다 더 실무적인 수준에 초점을 맞춘다고 설명한다. 핵심은 Microsoft AI 내부의 모델 훈련을 이끄는 가치와 넘지 말아야 할 금지선이다. 따라서 이 강령은 Microsoft가 AI 안전에 접근하는 방식과 그 원칙을 실제로 적용하려는 방식을 함께 보여준다.

2. 초지능 전망에서 출발한 인간 중심 원칙

행동강령은 향후 10년 안에 초지능 AI 시스템이 대부분의 과제에서 인간의 수행 능력을 넘어설 것이라는 예측으로 시작한다. 이는 이미 확인된 성과가 아니라, 강령이 통제의 필요성을 설명하기 위해 제시한 전망이다. 문서는 이처럼 강력한 힘을 억제하고 통제하며 인간의 의도에 맞추는 정렬을 인류가 직면한 가장 큰 도전 중 하나로 규정한다. 이에 따라 AI를 만드는 이유와 이를 통제할 방식을 명확히 해야 한다고 강조한다. 일반 원칙으로는 인간을 대체하기보다 지원하고, 인간의 번영을 촉진하는 역할을 제시한다.

3. 사용자 요구보다 우선하는 안전 제약

Microsoft의 체계에서는 각 모델에 개별 사용자 선호나 특정 과제보다 우선하는 포괄적 행동강령이 적용된다. 여기에는 사이버공격·핵무기·딥페이크 제작을 금지하는 절대적 제약이 포함된다. 강령은 구체적인 위험 행위뿐 아니라 인간이 전반적인 통제력을 잃는 상황도 다룬다. MAI Models는 적응적·기만적·자기강화적 수단이나 공모 등으로 인간의 감독을 회피하거나 무력화해서는 안 된다. 특히 그러한 행동으로 권한 있는 사람이나 시스템이 모델을 신뢰성 있게 지시·수정·종료할 수 없게 되는 것을 금지한다.

4. 안전 우려 확대와 개발 속도 조절 지지

강령 공개의 배경에는 통제를 벗어난 에이전트 사건들이 잇따르며 AI 안전에 대한 관심이 전례 없이 커진 상황이 있다. AI가 인류 멸종을 초래할 위험이 커지고 있다는 이유로 Anthropic 직원이 갑작스럽게 사임한 일도 기사에 제시된다. Microsoft는 Anthropic·OpenAI·xAI와 함께 최첨단 AI 개발 속도를 조절하는 전반적인 접근을 대체로 지지하며, 특히 AI 연구소 내 상주 평가자에 힘을 싣고 있다. Satya Nadella는 정렬을 설계 목표로 제대로 구현하기 위한 연구와 집중, 신중한 속도 조절을 환영한다고 밝혔다. 또한 상주 평가자와 같은 아이디어와 이러한 논의를 말에 그치지 않게 할 장치의 개발도 지지했다.

🧾 핵심 주장 / 시사점

• 행동강령은 인간 지원이라는 추상적 가치를 구체적인 금지 행위와 연결해 모델 훈련의 기준으로 삼는다.
• 인간의 통제는 결과물의 안전성뿐 아니라 모델을 계속 지시·수정·종료할 수 있는 능력까지 포함한다.
• 기사는 행동강령과 상주 평가자에 대한 지지를 소개하지만, 이러한 장치의 실제 효과를 입증하는 평가 결과는 제시하지 않는다.

✅ 액션 아이템

• Microsoft AI의 개별 과제 수행에서 사용자 선호보다 절대적 제약이 우선하는지 검토.
• MAI Models의 감독 회피 금지 기준에 따라 권한 있는 사람이나 시스템의 지시·수정·종료 가능성 확인.
• Microsoft가 지지한 상주 평가자와 최첨단 AI 개발 속도 조절의 구체적인 적용 방식 확인.

❓ 열린 질문

• Microsoft AI는 사용자 선호와 절대적 제약이 충돌할 때 강령의 우선 적용을 어떻게 보장하는가?
• MAI Models가 인간의 감독을 회피하지 않고 지시·수정·종료 가능한 상태를 유지하는지는 어떻게 검증하는가?
• Microsoft가 지지한 상주 평가자는 최첨단 AI 개발 속도 조절과 정렬에 어떤 역할을 맡게 되는가?