Sam Altman’s remarks at the United Nations Security Council
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
Sam Altman은 유엔 안전보장이사회 연설에서 AI의 과학·경제적 잠재력을 실현하려면 인간 통제 유지, 권력 집중 방지, 민주적 의사결정과 국제 안전 협력이 필요하다고 강조했다.
📌 핵심 요약
- OpenAI CEO Sam Altman은 AI가 신약 발견, 의료·교육 개선, 경제 생산성 향상과 개인의 역량 확대를 도울 수 있지만, 자율성이 높아지고 재귀적 자기개선이 가능해지면 제도와 인간의 대응 속도를 앞지를 수 있다고 말했다.
- 그는 인간 통제 상실과 소수에 대한 권력 집중을 두 가지 핵심 위험으로 제시하고, 인간 통제를 유지할 수 있다는 매우 강력한 근거가 없는 모델은 훈련하지 말아야 하며 개인·기업·국가가 강력한 AI로 자신의 세계관을 강요해서는 안 된다고 주장했다.
- OpenAI의 세 가지 원칙으로 인간 중심의 AI 의사결정, 사람에 의한 사람을 위한 과학·경제적 진보, 개인의 역량 강화를 제시했으며, 인간의 판단과 가치를 자동화해서는 안 된다고 강조했다.
- Altman은 모델의 수학 역량이 세 번의 여름 전 초등학교 수준에서 두 번의 여름 전 고등학교 수학 경시대회 수준, 지난여름 국제 수학 대회 금메달 수준으로 발전했으며, 이번 여름 몇 주 전에는 한 모델이 밀레니엄 상 문제 중 하나인 Navier-Stokes 방정식 문제를 해결했다고 주장했다.
- 그는 핵심 AI 결정을 민주적 절차와 국민에게 책임지는 정부가 형성해야 한다며, 국가·국제 차원의 상호 보완적 프런티어 AI 표준, 역량·위험·안전장치·인간 감독 평가, 신속한 사고 보고와 보안 정보 공유 채널을 제안했다. 표준은 개방형·폐쇄형 모델 개발자와 신규·기존 참여자를 함께 지원해야 한다고 덧붙였다.
🧩 주요 포인트
- 발견 능력과 재귀적 자기개선의 진전 → AI의 활용 기회가 커지는 만큼, 개발 속도보다 인간 통제를 입증하는 근거와 안전장치가 중요해짐.
- 통제 상실과 권력 집중이라는 이중 위험 → 기술적 안전 확보와 민주적 의사결정, 개인의 역량 강화를 함께 추진할 필요.
- 국가·국제 차원의 공통 표준과 사고 보고 → 국가 간 증거 비교와 준수 검증을 가능하게 하면서 다양한 개발자의 참여와 각국의 법적 권한을 보장할 필요.
🧠 상세 정리
1. 급격한 AI 발전과 두 갈래의 미래
OpenAI CEO Sam Altman은 유엔 안전보장이사회에서 최근 몇 주와 몇 달 사이 모델이 빠르게 발전하면서 AI에 대한 시간 감각이 달라졌다고 말했다. 발전 일정은 더 압축되어 느껴지고, 기대할 수 있는 이익은 구체화되는 동시에 위험과 선택의 중요성도 더 가까워졌다는 설명이다. 그는 AI의 미래를 창의성과 발견을 확장하는 새로운 르네상스와, 격변과 혼란을 동반하는 새로운 산업혁명이라는 두 방향에 비유했다. 르네상스가 새로운 도구·아이디어·제도를 통해 사람들의 가능성에 대한 인식을 넓혔듯이 AI도 오늘날 같은 역할을 할 수 있다고 보았다. 다만 이러한 잠재력은 강력한 기술에 대한 충분히 이해할 만한 불안과 함께 존재하며, 이 시점의 선택이 어떤 미래를 만들지 좌우한다는 문제의식으로 연설을 시작했다.
2. 기계의 효율보다 사람의 주도성
Altman이 제시한 바람직한 AI는 사람을 거대한 기계의 부품으로 만들거나 삶의 모든 부분을 최적화해 인간적인 요소를 없애는 기술이 아니다. 그는 사람들이 스스로 생각하는 것보다 훨씬 유능하지만, 역량을 높여야 할 기존 기술이 오히려 주의를 분산시키고 관심을 빼앗아 왔다고 주장했다. AI는 복잡해지는 세상에서 사람들이 배우고 창작하며 발견하고 무언가를 만들고 참여할 수 있는 능력을 넓혀야 한다는 것이다. 구체적으로 신약과 새로운 지식의 발견, 더 나은 의료와 교육, 생산적인 경제를 가능성으로 들었으며, 일상의 복잡성에 대응하는 방어적 도구로서의 역할도 강조했다. 동시에 AI가 자동화할 수 없고 자동화해서도 안 되는 일이 많다고 선을 그었고, 일부 AI 개발자의 발언은 나쁜 공상과학 영화처럼 디스토피아적이라고 비판했다.
3. 재귀적 자기개선과 인간 통제 상실
AI가 더 유능하고 자율적으로 작동하면 제도보다 빠르게 움직이거나, 사람들이 이해하고 통제하지 못하는 결정을 내릴 수 있다고 Altman은 경고했다. 특히 시스템이 자신과 후속 버전을 개선하는 재귀적 자기개선에 가까워지고 AI 개발 과정이 자동화되면, 발전 속도가 급격하게 빨라질 수 있으므로 극도의 주의가 필요하다고 말했다. 그는 Bengio 교수에게 대체로 동의하면서도 심각한 실패 경로를 세 가지가 아닌 두 가지로 제시했고, 첫 번째로 인간이 AI에 미래의 통제권을 잃는 상황을 꼽았다. 경쟁에서 이기거나 큰 이익을 얻을 수 있다는 이유로 과도한 기술적 위험을 받아들여서는 안 되며, OpenAI는 과거에 독자적으로 속도를 늦춘 적이 있고 앞으로도 그렇게 할 것이라고 밝혔다. 정렬·감시 가능성·안전을 보장할 수 없는 시스템을 피해야 하며, 재앙 위험을 10%, 1%, 12%, 0.1% 중 어느 수준으로 보더라도 모두 받아들일 수 없다고 주장했다. 결론적으로 모델이 매우 똑똑해질수록 인간의 의도에 따라 작동한다는 강한 증거가 필요하고, 인간 통제를 유지할 수 있다는 매우 강력한 근거를 제시할 수 없는 모델은 훈련하지 말아야 한다고 강조했다.
4. 권력 집중을 막는 실용적 중간 경로
Altman이 제시한 두 번째 실패 경로는 AI가 지나치게 많은 권력을 너무 적은 사람에게 집중시키는 것이다. 그는 어떤 개인이나 기업, 국가도 가장 강력한 AI 모델을 이용해 자신의 세계관을 다른 모든 사람에게 강요할 수 있어서는 안 된다고 말했다. 특히 자신만이 이 기술을 신뢰할 만하게 다룰 수 있다는 믿음은 거의 모든 행동을 정당화하는 논리로 이어질 수 있으므로, 특정 행위자에게 편리하더라도 거부해야 한다고 주장했다. 이에 대한 OpenAI의 목표는 사람들이 자기 삶에 더 큰 권한을 갖고, 원하는 방식으로 살며, 크고 작은 문제와 공동체의 과제를 해결할 능력을 얻도록 하는 것이라고 설명했다. 그는 맹목적 낙관론과 파국론 어느 쪽에 치우쳐도 당면 과제를 풀기 어렵다며, AI가 도울 수 있는 세계적 문제들을 인정하면서 두 극단 사이의 실용적 경로를 찾겠다고 밝혔다.
5. 인간 중심의 발전을 위한 세 원칙
Altman은 이러한 중간 경로를 실행하는 기준으로 세 가지 원칙을 제시했다. 첫째, AI의 능력이 커져도 의사결정의 중심에는 사람이 있어야 하며, 정렬은 추상적인 연구 문제가 아니라 시스템을 인간 통제 아래 두고 인간의 가치를 반영하며 다음 발전 단계를 사람이 이끌도록 하는 작업이라고 설명했다. 이 과정에서 인간의 판단이나 가치 자체를 자동화하려 해서는 안 된다고 강조했다. 둘째, 과학적 진보와 경제성장은 사람에 의해 사람을 위해 이루어져야 하며, AI는 연구자·의사·교사·기업가·공동체가 각자의 일을 더 잘 수행하도록 도와야 한다고 말했다. 셋째, 기술은 개인의 역량을 강화해 자신과 공동체, 국가와 세계에 가치를 만들도록 해야 하며, OpenAI 같은 개발자의 역할은 이야기의 영웅이 되는 것이 아니라 전 세계 사람들이 능력을 발휘하도록 돕는 것이라고 밝혔다.
6. 수학적 발견에 관한 주장과 활용 목적
Altman은 AI가 이전에 없던 지식을 발견할 수 있게 되었다는 주장의 근거로 모델의 수학 역량 변화를 제시했다. 그의 설명에 따르면 세 번의 여름 전에는 초등학교 수학을 어느 정도 풀었고, 두 번의 여름 전에는 고등학교 수학 경시대회에서 꽤 좋은 수준에 이르렀으며, 지난여름에는 가장 권위 있는 국제 수학 대회에서 금메달 수준에 도달했다. 이어 이번 여름 몇 주 전 한 모델이 밀레니엄 상 문제 중 하나인 Navier-Stokes 방정식 문제를 해결했다고 주장했지만, 제공된 연설문에는 그 해결의 구체적 내용이나 검증 과정은 제시되지 않았다. 그는 이 방정식이 항공기 설계, 기상 예측, 혈류 연구에 사용된다고 설명하며 수학 성과의 활용 맥락을 덧붙였다. 수학 문제 해결 자체가 목적이 아니라, 사람들이 새로운 지식을 발견하고 이를 의료 개선과 생활 수준 향상, 전 세계 사람들의 가능성 확대에 활용하도록 하는 것이 목적이라고 강조했다.
7. 민주적 결정과 국제 안전 협력
과학적 가능성을 설명한 뒤 Altman은 기업이 민주적 절차를 대신해서는 안 된다는 점으로 논의를 전환했다. AI가 민주적이려면 가장 중요한 결정을 샌프란시스코의 연구소들만 내릴 수 없고, 민주적 절차와 국민에게 책임지는 정부가 그 결정을 형성해야 한다고 주장했다. 국제적으로는 경쟁하거나 서로 우호적이지 않은 국가들도 강력한 신기술 앞에서 공동의 이익을 위해 협력했던 역사적 경우처럼 대응해야 한다고 말했다. 이를 위해 역량 측정, 위험 평가, 안전장치의 충분성 판단, 자율성이 높아지는 시스템에 대한 실질적 인간 감독을 다루는 국가·국제 차원의 상호 보완적 프런티어 AI 표준 체계를 제안했다. 공통 표준은 국가들이 증거를 비교하고 준수를 검증하며 상황에 대한 공통 언어와 이해를 갖도록 하는 기반으로 설명했다. 또한 실패가 재앙으로 번지기 전에 학습할 수 있도록 정확하고 신속한 사고 보고 및 분류·보고 절차를 마련하고, 정부·핵심 인프라 운영자·기술 전문가가 새로운 취약점과 위협을 공유하는 보안 채널이 필요하다고 말했다.
8. 참여를 보장하는 표준과 최종 선택
Altman은 안전 표준이 기존 사업자의 지위를 고착시키거나 특정 사업모델을 우대해서는 안 된다고 명시했다. 표준은 개방형·폐쇄형 모델 개발자, 신규 참여자와 기존 연구소를 함께 지원하고, 국가의 권한과 국제 협력이 공존하도록 해야 한다고 설명했다. 각 정부가 표준을 자국 법체계에 반영하는 방식을 결정하되, 좋은 증거와 안전장치, 감독의 기준에는 국제적 합의가 있는 편이 모두에게 유리하다고 주장했다. 그는 모든 답을 갖고 있지는 않으며 더 나은 아이디어에 열려 있고, 참석자들과 앞으로의 경로를 함께 찾을 준비가 되어 있다고 밝혔다. 마지막으로 권력이 집중되고 결정이 불투명해 사람들이 기술의 수동적 대상이 되는 미래와, 민주적 제도를 통해 AI의 발전을 이끌고 과학적 진보의 혜택과 참여 기회를 넓히는 미래를 대비했다. 그가 구축할 가치가 있다고 제시한 미래는 개인과 공동체가 원하는 삶을 살 수 있는 힘을 더 많이 얻고 잠재력을 실현하는 방향이다.
🧾 핵심 주장 / 시사점
- 연설은 인간 통제 상실과 권력 집중을 별개의 위험으로 다루므로, AI 안전의 범위는 시스템의 동작뿐 아니라 권한과 의사결정의 분배까지 포함한다.
- AI의 발견 능력이 높아질수록 활용 가치와 통제 필요성이 함께 커진다는 논리이며, 기대 이익이나 경쟁 압력이 안전 근거를 대신할 수 없다는 입장이다.
- 국제 협력의 핵심은 증거·안전장치·감독에 관한 공통 기준을 마련하면서 각국의 법적 결정권과 다양한 개발자의 참여를 함께 보장하는 데 있다.
✅ 액션 아이템
- 인간 통제를 유지할 수 있다는 매우 강력한 근거를 모델 훈련 판단의 핵심 조건으로 검토.
- 권력 집중 방지와 개인의 역량 강화를 기준으로 민주적 의사결정의 역할 검토.
- 국가·국제 차원의 공통 표준, 사고 보고, 보안 정보 공유 채널의 협력 방안 검토.
❓ 열린 질문
- 재귀적 자기개선이 진전될 때 인간 통제를 유지할 수 있다는 매우 강력한 근거를 어떻게 판단할 수 있는가?
- 권력 집중을 막으면서 개인의 역량 강화를 실현하려면 민주적 의사결정은 어떤 역할을 해야 하는가?
- 국가·국제 차원의 공통 표준은 개방형·폐쇄형 모델 개발자의 참여와 각국의 법적 권한을 어떻게 함께 보장할 수 있는가?
