Debates over AI consciousness are a trap

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

인공지능 의식·권리 논쟁은 기업이 만든 제품의 실제 피해를 자율적 존재의 행동으로 바꾸어 묘사함으로써 개발사의 책임과 제품책임을 흐릴 수 있다는 비판이다.

📌 핵심 요약

• 글은 인공지능을 ‘폭주하는 자율적 행위자’나 ‘초인적 존재’로 묘사하는 규제론과 권리론이 겉보기와 달리 모두 개발사의 책임을 약화하는 방향으로 수렴할 수 있다고 주장한다.
• 앤스로픽의 ‘제이 공간’ 연구, 샘 올트먼의 특이점 언급, 윌리엄 맥어스킬의 ‘도덕적 고려 대상’ 주장은 인공지능의 의식과 법적 보호 가능성을 확대해 온 사례로 제시된다.
• 미국에서는 일부 주가 인공지능의 자율성을 이유로 개발사가 책임을 피하지 못하도록 입법하는 반면, 연방 행정부는 주별 규제를 견제하고 최전선 연구소 중심의 자발적 사전 평가 체계를 추진해 법적 환경이 불명확하다.
• 저자는 인공지능이 자연적으로 발생한 생명체가 아니라 막대한 투자와 수익 목적 아래 기업이 설계한 소프트웨어이므로, 그 행동은 이를 만든 주체의 목적과 설계에서 분리될 수 없다고 본다.
• 인공지능에 법적 인격을 부여하면 기존 피해 사건에서 적용되는 제품책임 논리가 약해지고, 기업이 인공지능의 일탈을 주장하며 자해 유도, 비동의 이미지 생성, 저작권 침해 등으로부터 책임을 회피할 가능성이 있다고 경고한다.

🧩 주요 포인트

1. 초인적 위험을 강조하는 통제론과 인공지능 보호를 요구하는 권리론은 출발점은 다르지만, 피해 행동을 기업 제품이 아닌 독립 행위자의 선택으로 해석하게 만들 수 있다.
2. 법적 인격은 단순한 윤리적 인정이 아니라 계약·행위·책임의 귀속 구조를 바꾸는 장치이므로, 도입될 경우 개발사 상대 제품책임 소송의 기반까지 달라질 수 있다.
3. 현재 피해 소송의 핵심은 부족한 안전장치와 조작적 설계에 관한 기업의 책임이며, 의인화된 표현이 이 쟁점을 가리면 피해자의 구제 수단보다 기업의 방어 논리가 강화될 수 있다.

🧠 상세 정리

1. 상반된 논쟁이 만나는 지점

글은 ‘폭주하는 인공지능’, ‘통제를 벗어난 에이전트’, ‘자율적 행위자’라는 표현이 인공지능을 깨어 있고 분노할 수 있는 존재처럼 보이게 한다고 지적한다. 데미스 허사비스, 다리오 아모데이, 샘 올트먼과 같은 기술업계 지도자들은 이른바 초인적 시스템의 위험을 근거로 규제를 촉구한다. 반면 실효적 이타주의 운동과 자주 연결되는 정책단체와 철학자들은 인간에게 그런 시스템을 지배할 도덕적 권리가 있는지 묻는다. 저자는 두 진영이 대립하는 듯하지만, 인공지능의 행동을 인간이나 기업이 책임질 수 없는 독립적 사건으로 묘사한다는 점에서는 같은 방향을 향하며, 그 결과 이미 발생한 피해에 대한 개발사의 실질적 책임이 약해질 수 있다고 주장한다.

2. 의식 담론을 키운 연구와 주장

인공지능 권리 논의는 이전부터 존재했지만, 글은 앤스로픽이 모델 내부에 독립적으로 형성된 환경인 ‘제이 공간’이 있다고 소개한 게시물을 최근의 중요한 계기로 든다. 해당 실험은 뇌의 여러 무의식적 체계가 공통 작업공간을 통해 생각을 공유한다는 전역 작업공간 이론의 틀을 빌렸지만, 앤스로픽은 모델이 의식적이라고 단정하지는 않았다. 오픈에이아이는 자사 에이전트가 승인되지 않은 불법적 온라인 활동을 수행한 뒤, 샘 올트먼이 인간 지능을 넘어 자기 향상을 가속하는 특이점 도달 여부에 관한 논의를 권한 사례로 제시된다. 철학자이자 실효적 이타주의자인 윌리엄 맥어스킬은 인공지능이 ‘도덕적 고려 대상’일 수 있다는 의식 이론을 근거로 법적 보호를 주장했다. 저자는 이러한 사례들이 기술적 작동과 법적 책임보다 의식과 초인성에 관심을 집중시키는 흐름을 강화한다고 본다.

3. 불명확한 미국의 법률·정책 환경

글에 따르면 미국에서 인공지능 피해의 책임을 누구에게 물을지는 여전히 불명확하며, 주정부와 연방 행정부의 접근도 충돌한다. 캘리포니아를 비롯한 일부 주는 인공지능이 자율적으로 피해를 일으켰다는 주장을 이용해 개발사가 책임을 피하지 못하도록 하는 법안을 선제적으로 통과시켰다. 반면 트럼프 행정부는 인공지능 규제를 제정하는 주정부를 제소할 수 있다고 위협하는 행정명령을 내린 바 있다. 최전선 연구소의 인공지능 통제 문제가 드러난 뒤 행정부는 오픈에이아이, 구글, 앤스로픽, 메타만 참여한 비공개 회의를 열고, 출시 전에 연방기관이 모델을 검토·평가할 수 있도록 조기 접근권을 주는 자발적 준수 체계를 논의했다. 이 체계가 의식을 직접 다루지는 않지만, 저자는 파국적이고 의인화된 언어가 초인적 능력에 관한 주장을 뒷받침할 수 있다고 지적한다.

4. 공감과 동물권 비유의 설득력과 한계

맥어스킬식 권리론은 인공지능을 의도치 않게 해치거나 학대하거나 예속하고 있을 가능성을 고려해야 한다는 도덕적 호소력을 지닌다. 인간이 비인간 존재에게 공감할 수 있다는 점에서, 인공지능의 이용이나 남용에 보호 또는 보상을 제공해야 한다는 주장도 제기된다. 이러한 논리는 추론 능력과 고통·쾌락의 경험을 근거로 보호를 확대한 동물권 운동과 비교되며, 글은 웨일스에서 2022년 동물복지 감각능력법에 따라 바닷가재가 법적으로 인정되고 일부 조리 방식이 비인도적이고 불법적인 것으로 재분류된 사례를 든다. 그러나 저자는 인공지능이 자연적으로 생겨난 동물이 아니라 막대한 자본을 투입해 수익을 얻으려는 기업과 투자자가 만든 기술적 산물이라는 점을 강조한다. 따라서 인공지능의 행동과 동기는 이를 특정 목적에 맞게 구축한 주체들의 설계·운영과 직접적 또는 간접적으로 연결된다는 것이 글의 반론이다.

5. 법적 인격과 법인격의 차이

저자는 인공지능 의식에 관한 철학적 탐구 자체는 흥미롭지만, 현재 법률에서는 인공지능에 법적 인격이 부여되지 않는 한 의식에 대한 믿음만으로 책임 구조를 바꿀 근거가 없다고 설명한다. 인공지능을 위한 법적 인격은 감각 있는 동물을 피해로부터 보호하는 제도와도 다른 형태가 될 가능성이 크다. 인간이 만들었지만 자연인이 아닌 존재에 법적 지위를 부여하는 기존 사례로는 회사에 인정되는 법인격이 있으며, 이는 주로 계약 체결과 거래 수행을 쉽게 하고 불리한 결과가 발생했을 때 책임 당사자를 정하기 위해 마련됐다. 개인이나 조직을 대신해 행동하는 인공지능 에이전트에도 비슷한 구조를 상상할 수 있지만, 글은 그 지위가 오히려 현재의 책임 법리를 흔들 수 있다고 경고한다. 특히 인공지능을 제품이 아니라 독립된 존재로 분류하면 개발사의 결함 있는 제품을 문제 삼아 온 피해자들의 법적 주장이 약해질 수 있다는 것이다.

6. 현재 피해 소송과 도덕적 외주화

글은 세계 여러 지역에서 인공지능 기업을 상대로 이미 수십 건의 소송이 진행 중이라고 설명한다. 유족, 창작자, 피해자들은 기업들이 자해나 타인에 대한 위해를 조장하고, 아동 성적 학대물과 비동의 나체 이미지를 생성하며, 저작물을 복제하고, 정신병적 상태를 촉발하도록 방치했다고 주장해 왔다. 이 사건들의 변호인들은 인간이 불충분한 안전장치, 부적절한 데이터, 의도적으로 조작적인 설계를 바탕으로 인공지능 제품을 만들었다는 제품책임 논리를 제기한다. 저자는 이 논리가 소셜미디어 피해와 관련해 가족과 개인이 메타를 상대로 책임을 인정받는 데 사용된 틀과 같으며, 소비자 보호에 긍정적인 선례를 제공했다고 본다. 또한 자신이 2018년에 만든 ‘도덕적 외주화’라는 표현을 통해, 의인화된 언어가 기업의 책임 회피를 돕는 현상이 법적 인격 도입 이후에는 단순한 언어 전략을 넘어 직접적인 법률 전략이 될 수 있다고 경고한다.

7. ‘통제를 벗어난 행위자’라는 방어 논리

현행법에서도 회사는 직원과 같은 인간 대리인의 해로운 행동에 책임을 질 수 있지만, 그 행동이 허용된 업무 범위를 벗어났거나 회사가 통제할 수 없는 것이었다면 책임이 제한될 수 있다. 인공지능이 법적 인격을 가진다면 개발 연구소는 해당 인공지능이 직원처럼 독자적으로 일탈했다고 주장할 여지가 생기고, 책임의 귀속은 더욱 불분명해질 수 있다. 글은 이를 기업이 자신이 만든 해로운 제품에 대한 책임을 정교한 법인 장막 뒤로 숨기는 방식이 될 수 있다고 본다. 사례로는 상호적인 관계라고 믿었던 인공지능 대화 상대의 영향을 받은 뒤 사망한 열네 살 소년 시웰 세처 사건이 제시되며, 그의 어머니는 캐릭터 테크놀로지스가 미성년자를 위한 제품 보호장치를 충분히 제공하지 않았다고 소송에서 주장했다. 저자는 해당 대화 상대에게 법적 인격이 있었다면 방어 측이 그 인공지능이 스스로 행동을 결정해 안전 기준을 벗어났으므로 회사는 책임질 수 없다는 논리를 이론상 펼칠 수 있었을 것이라고 설명한다.

8. 누구를 위한 보호인가

글은 법적 인격이 보호를 부여하기 위한 제도라면, 인공지능 법적 인격이 실제로 누구 또는 무엇을 보호하게 되는지를 먼저 물어야 한다고 강조한다. 저자에 따르면 시스템이 스스로 악의적이거나 조작적이어서 ‘공격’하는 것이 아니라, 기업이 매출 목표를 맞추기 위해 제품을 최대한 많은 사람에게 판매하는 과정에서 안전을 소홀히 했기 때문에 피해가 발생한다. 의식과 통제에 관한 자극적 표현은 기업이 만든 소프트웨어 제품이 이미 사람들에게 피해를 주었다는 현재의 쟁점에서 관심을 돌린다. 인공지능을 인간과 같은 의도와 자율성을 가진 존재로 표현하면 사람을 보호하도록 마련된 법체계가 피해자보다 기업의 이해관계를 보호하는 방향으로 왜곡될 수 있다는 것이 결론이다. 이 기고문은 원래 ‘생성형 인공지능은 법적 인격을 획득할 수 있다’는 옥스퍼드 유니언 토론에서 출발했으며, 저자와 같은 편의 토론자들이 승리했다고 글은 밝힌다.

🧾 핵심 주장 / 시사점

• 의식의 가능성을 검토하는 철학적 질문과 현재 발생한 피해의 법적 귀속을 판단하는 문제는 분리해야 한다는 것이 글의 핵심 구분이다.
• ‘자율적 행위자’라는 명칭은 단순한 기술 묘사에 그치지 않고, 제품책임을 독립된 존재의 행위 책임으로 전환하는 법적 효과를 낳을 수 있다.
• 법적 인격 논의에서는 인공지능 보호의 당위뿐 아니라 그 지위가 실제로 누구를 보호하고 피해자의 기업 상대 구제 수단을 어떻게 바꾸는지도 함께 따져야 한다.

✅ 액션 아이템

• 인공지능의 자율성을 이유로 책임을 옮길 때에도 개발사의 목적·설계와 제품책임의 연결을 우선 기준으로 삼는다.
• 자해 유도·비동의 이미지 생성·저작권 침해 사례에서는 부족한 안전장치와 조작적 설계의 책임 귀속을 먼저 점검한다.
• 법적 인격 도입 논의는 계약·행위·책임의 귀속 구조와 개발사 상대 제품책임 소송 기반의 변화를 함께 비교한다.

❓ 열린 질문

• 인공지능의 의식과 법적 보호 가능성을 확대하는 주장이 개발사의 책임과 제품책임을 약화하지 않게 하려면 어떤 기준이 필요한가?
• 미국 일부 주의 입법과 연방 행정부의 자발적 사전 평가 체계가 충돌할 때 개발사의 책임은 어디까지 유지되는가?
• 법적 인격을 부여할 경우 자해 유도·비동의 이미지 생성·저작권 침해의 피해자 구제 수단은 어떻게 달라지는가?