These are the most urgent AI risks, according to 272 experts
Quick Summary
272명의 국제 인공지능 전문가 평가에서 위험한 능력, 경쟁 압력, 무기·사이버공격, 권력 집중, 허위정보가 향후 5년의 최우선 위험으로 꼽혔으며, 조직에는 이를 지속적으로 관리할 책임이 요구됐다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
272명의 국제 인공지능 전문가 평가에서 위험한 능력, 경쟁 압력, 무기·사이버공격, 권력 집중, 허위정보가 향후 5년의 최우선 위험으로 꼽혔으며, 조직에는 이를 지속적으로 관리할 책임이 요구됐다.
📌 핵심 요약
- MIT 퓨처테크와 퀸즐랜드대학교 연구진은 국제 인공지능 전문가 272명에게 24개 위험의 발생 가능성, 피해 심각성, 취약 부문과 책임 주체를 평가하게 했다.
- 전문가들이 향후 5년간 발생 가능성과 피해 심각성이 모두 높은 위험으로 지목한 항목은 위험한 능력, 경쟁 압력, 인공지능 기반 무기·사이버공격, 권력 집중, 허위정보였다.
- 현재의 대응 경로가 유지되는 시나리오에서는 24개 위험 영역 중 18개가 향후 5년 안에 파국적 결과를 일으킬 확률이 최소 10%인 것으로 평가됐다.
- 비용 대비 효과가 있는 완화 조치를 시행해도 위험한 능력, 무기·사이버공격, 환경 피해는 각각 12%, 불평등·실업과 권력 집중은 각각 11%의 파국적 결과 확률을 보였다.
- 정보, 국가안보, 금융 부문이 특히 취약한 가운데 개발자와 정부·규제기관이 주된 대응 책임을 지지만 실제 피해에는 이용자와 영향받는 이해관계자가 더 취약하다는 책임·취약성의 불일치가 확인됐다.
🧩 주요 포인트
- 실용적 완화는 위험 추정치를 낮추지만 다섯 영역을 파국적 피해 확률 10% 미만으로 내리지는 못했다는 점에서, 비용 효율적인 대응만으로 위험이 사라지지는 않는다.
- 인공지능은 코딩·패턴 인식·정보 종합 능력으로 기존 공격과 위험한 작업을 더 쉽고 빠르게 확장할 수 있어, 새로운 위험을 만들 뿐 아니라 기존 위험의 실행 장벽도 낮춘다.
- 피해에 가장 취약한 주체와 대응 권한을 가진 주체가 다르므로, 기업의 자율 대응만이 아니라 개발자·정부·규제기관 사이의 역할 배분과 조정이 핵심 과제가 된다.
🧠 상세 정리
1. 연구의 문제의식과 평가 범위
인공지능은 차별과 허위정보처럼 이미 알려진 문제뿐 아니라 사이버공격 가속, 무기 개발 지원, 의도하지 않은 시스템 행동처럼 새롭게 부상하는 위험도 함께 제기한다. 이러한 위험은 조직, 산업, 이해관계자에게 균등하게 나타나지 않으며 발생 속도도 빠르기 때문에, 기업 리더가 우선순위를 정하기 어렵다는 것이 연구의 출발점이다. MIT 퓨처테크와 퀸즐랜드대학교 연구진은 국제 인공지능 전문가 272명을 대상으로 24개 위험 영역의 발생 가능성과 피해 심각성을 평가했다. 전문가들은 어떤 산업과 행위자가 가장 취약한지, 그리고 각 위험을 해결할 책임이 누구에게 있는지도 함께 판단했다. 연구의 목적은 모든 위험을 단순히 나열하는 데 있지 않고, 어떤 주체가 무엇을 다르게 해야 하며 어떤 형태의 조정이 필요한지를 구체화하는 데 있었다.
2. 향후 5년의 최우선 위험 다섯 가지
전문가들은 위험한 능력을 갖춘 인공지능 시스템, 경쟁 압력, 인공지능 기반 무기와 사이버공격, 권력 집중, 허위정보를 향후 5년간 발생 가능성과 피해 심각성이 모두 높은 핵심 위험으로 꼽았다. 위험한 능력은 악의적 행위자가 시스템을 이용하는 경우뿐 아니라 시스템 발전 자체가 위험한 작업의 수행 난도를 낮추는 경우까지 포함한다. 무기와 사이버공격은 대규모 피해를 직접 일으킬 수 있는 사용 방식이고, 경쟁 압력은 기업이나 국가가 안전보다 속도를 앞세우도록 만드는 조건으로 제시됐다. 권력 집중은 인공지능의 통제력과 편익이 불공정하게 분배될 가능성을, 허위정보는 정보 환경과 사회적 신뢰가 훼손될 가능성을 가리킨다. 연구진은 이 결과를 확정적 미래 예측이 아니라, 가까운 시기에 심각하면서도 현실성 있는 위험에 리더의 관심을 집중하기 위한 우선순위로 설명했다.
3. 델파이 방식과 두 가지 시나리오
연구진은 여러 차례에 걸쳐 전문가 판단을 수집하고 합의와 이견의 범위를 명확히 하는 구조화된 델파이 방식을 사용했다. 평가는 2025년부터 2030년까지의 5년을 대상으로 했으며, 현재의 조직과 정부 대응 경로가 이어지는 현행 유지 시나리오와 비용 대비 효과가 있는 조치를 시행하는 실용적 완화 시나리오를 비교했다. 현행 유지 조건에서는 24개 위험 영역 가운데 18개가 파국적 결과를 일으킬 확률이 최소 10%인 것으로 평가됐다. 연구에서 파국적 결과란 100만 명을 넘는 사망, 1000억 달러를 넘는 재정 손실, 또는 이에 상응하는 문명적 규모의 무형 피해 가능성을 포함한다. 이 수치는 발생을 단정한 예측이 아니라, 전문가들이 각 위험의 가능성과 심각성을 동일한 기준 아래 비교한 결과다.
4. 완화 이후에도 남는 파국적 위험
비용 대비 효과가 있는 실용적 완화 조치는 전반적인 위험 추정치를 낮췄지만 파국적 결과의 가능성을 제거하지는 못했다. 완화 조건에서도 위험한 능력을 갖춘 인공지능 시스템과 인공지능 기반 무기·사이버공격 등 대규모 피해 역량은 각각 12%의 확률로 평가됐다. 환경 피해 역시 12%였으며, 불평등과 실업은 11%, 권력 집중과 인공지능 편익의 불공정한 분배도 11%로 집계됐다. 따라서 완화 시나리오에서도 다섯 영역이 파국적 결과 확률 최소 10%라는 기준을 넘었다. 이는 초기의 종합 우선순위 다섯 항목과 별도로, 실제 완화 노력이 적용된 뒤에도 어느 위험이 높은 수준으로 남는지를 보여주는 결과다.
5. 사이버공격과 위험한 능력이 커지는 이유
인공지능 기반 무기와 사이버공격이 높은 순위에 오른 배경에는 인공지능이 코딩, 패턴 인식, 정보 종합에 특히 적합하다는 특성이 있다. 현대 기반시설의 상당 부분이 소프트웨어에 의존하기 때문에, 취약점을 찾아내고 코드를 생성하며 공격 작업을 가속하는 시스템에는 넓은 공격 표면이 제공된다. 연구진은 코딩과 해킹이 인공지능 능력의 성장이 가장 빠르게 나타나는 분야에 속한다고 설명했다. 위험한 능력은 사이버공격에 한정되지 않으며 설득, 감시, 딥페이크 제작, 화학·생물학 무기 구축 지원처럼 어렵고 위험한 작업을 더 쉽게 수행하게 하는 가능성도 포함한다. 핵심은 이전에도 가능했던 유해 행위가 인공지능을 통해 더 빠르고 쉽고 넓은 규모로 수행될 수 있다는 점이다.
6. 다른 위험을 증폭하는 경쟁 압력
경쟁 압력은 특정한 하나의 유해 사용 사례가 아니라 다른 위험을 키우는 조건이라는 점에서 구별된다. 기업이나 국가가 인공지능이 큰 경제적 또는 전략적 우위를 제공한다고 믿으면, 제한을 받아들이거나 안전에 투자하기보다 빠르게 움직일 유인이 생길 수 있다. 연구진은 이런 경쟁 역학을 다른 위험을 만들어 내는 도구적 위험으로 설명했다. 실제 경영 과제는 점점 더 강력해지는 시스템이 무엇을 할 수 있는지뿐 아니라, 경쟁 때문에 조직이 거버넌스 체계를 갱신하는 속도보다 더 빠르게 시스템을 배치하고 있는지 점검하는 데 있다. 위험이 충분히 이해되지 않은 상태에서도 기업, 산업, 정부가 신속한 도입 압력을 받을 수 있다는 점이 핵심 우려로 제시됐다.
7. 정보·국가안보·금융 부문의 취약성
전문가들은 향후 5년 동안 정보, 국가안보, 금융을 인공지능 위험에 가장 취약한 세 부문으로 지목했으며, 각 부문의 노출 방식은 서로 다르다고 평가했다. 정보 부문에서는 허위정보와 조작된 정보, 개인정보 침해, 사람에 대한 조작, 사람들이 보고 읽는 내용에 대한 신뢰 약화가 주요 위험이다. 국가안보 부문에서는 사이버공격, 무기 개발, 감시, 적대적 행위자의 고성능 인공지능 이용이 핵심 우려로 제시됐다. 금융 부문에서는 사기, 사이버 위험, 시장 조작, 개인정보 침해, 더 넓은 경제에 영향을 미치는 시스템 장애가 증폭될 수 있다. 인공지능은 기존에 해킹하지 못했던 사람에게 관련 작업을 가능하게 하고, 이미 능숙한 공격자에게는 같은 일을 더 빠르고 효과적이며 쉽게 수행하도록 함으로써 기존 위험의 규모를 확대할 수 있다.
8. 책임 주체와 피해 취약성의 불일치
전문가들은 인공지능 위험에 대응할 일차적 책임이 인공지능 개발자와 정부·규제기관 같은 거버넌스 주체에게 있다고 판단했다. 그러나 위험에 가장 직접적으로 노출되는 쪽은 인공지능 시스템의 이용자와 그 시스템의 영향을 받는 이해관계자였다. 대응 권한과 자원을 가진 주체가 가장 큰 피해를 입을 주체와 일치하지 않기 때문에, 선제적 조치에 대한 유인이 어긋날 수 있다는 문제가 생긴다. 이 구조에서는 취약한 개인이나 조직이 스스로 모든 위험을 관리하도록 맡기는 방식만으로 충분하지 않다. 연구가 누가 무엇을 다르게 해야 하는지와 어떤 조정이 필요한지를 강조한 이유도 개발자, 기업, 정부, 규제기관, 이용자 사이의 이런 책임 격차를 드러내기 위해서다.
9. 리더의 대응과 지속적인 위험 관리
연구진은 기업 리더가 인공지능 위험을 단순한 규정 준수 사안이나 먼 미래의 문제로 취급해서는 안 된다고 강조했다. 조직은 개별 업무 과정 수준에서 인공지능이 어디에서 투자 수익을 만들 수 있는지, 더 넓은 생태계를 어떻게 바꿀 수 있는지, 기존 제품과 서비스를 교란할 수 있는지를 함께 평가해야 한다. 기존에 효과가 있는 관리 방식을 버릴 필요는 없지만, 인공지능이 많은 인간 업무를 대체하고 새로운 취약성과 사회 전반의 기회·위험을 만들 수 있는 새로운 환경이라는 점은 인정해야 한다. 대응은 일회성 조정이 아니라 기술 변화 속도에 맞춰 지속적으로 관심을 기울이고 수정하는 과정이어야 한다. 조직은 완벽한 예측이나 규제를 기다리지 말고 사이버보안, 개인정보 보호, 안전, 업무 연속성을 다루는 기존 거버넌스 논의에 가장 심각하고 가능성 높은 인공지능 위험을 포함할 수 있다.
10. 연구 기반과 후속 위험 관리 도구
이 연구 논문에는 188명의 공동 저자가 참여했으며, 핵심 연구진은 알렉산더 K. 세리, 제스 그레이엄, 마이클 노이텔, 피터 슬래터리, 닐 톰프슨으로 구성됐다. 연구는 MIT 퓨처테크 연구소의 MIT 인공지능 위험 이니셔티브에 속하며, 이 연구소는 MIT 슬론 경영대학원과 MIT 컴퓨터과학·인공지능연구소에 연계된 학제 간 조직이다. 이니셔티브는 인공지능 위험을 식별하고 우선순위를 정하며 관리할 수 있도록 권위 있는 데이터와 체계를 제공하는 것을 목표로 한다. 그 일부인 인공지능 위험 저장소는 원인과 위험 영역에 따라 정리된 1600개 이상의 위험을 지속적으로 갱신하며 정책 담당자, 기술자, 조직의 거버넌스 판단에 활용된다. 연구진은 전문가가 권고하는 모범적 위험 관리와 모델 개발자·기업·거버넌스 기관이 실제로 수행하는 조치를 비교해 중요한 대응 격차를 찾는 인공지능 위험 지수도 후속 작업으로 추진하고 있다.
🧾 핵심 주장 / 시사점
- 두 시나리오의 비교는 현실적인 완화 노력이 상당수 위험을 낮출 수 있으면서도 일부 파국적 위험은 높은 수준으로 남는다는 점을 동시에 보여준다.
- 경쟁 압력은 독립된 피해 유형이라기보다 안전 투자 부족과 성급한 배치를 촉진해 여러 위험을 증폭하는 구조적 요인으로 다뤄져야 한다.
- 정보, 국가안보, 금융은 같은 인공지능 기술에도 서로 다른 방식으로 노출되므로, 조직별 평가는 일반적인 위험 목록이 아니라 실제 업무 과정과 산업 특성을 기준으로 이뤄져야 한다.
✅ 액션 아이템
- 향후 5년 우선 위험인 위험한 능력, 경쟁 압력, 무기·사이버공격, 권력 집중, 허위정보를 지속 관리 대상으로 고정한다.
- 비용 효율 완화 후에도 10% 이상인 위험한 능력·무기·사이버공격·환경 피해·불평등·실업·권력 집중의 잔여 위험을 별도 추적한다.
- 정보·국가안보·금융의 취약성과 개발자·정부·규제기관 책임, 이용자 피해 사이의 역할 불일치를 점검하고 조정 범위를 정의한다.
❓ 열린 질문
- 비용 효율 완화로도 파국 확률 10% 미만으로 내려가지 않는 다섯 영역의 추가 기준은 무엇인가?
- 코딩·패턴 인식·정보 종합이 기존 공격의 실행 장벽을 얼마나 낮추는지 어떻게 판단할 것인가?
- 피해에 더 취약한 이용자와 대응 권한을 가진 개발자·정부·규제기관 사이 역할 배분은 어떻게 나눌 것인가?