Who is Responsible When AI Causes Harm?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Deb Raji는 AI 피해의 책임을 입증하고 실제로 묻기 위해, 재앙적 위험뿐 아니라 일상적·누적적 피해를 포착하는 기술 인프라와 법 집행 역량이 필요하다고 강조한다.

📌 핵심 요약

• Deb Raji는 Stanford HAI 방문 펠로로 합류하며 2027년 가을 센터 펠로 및 컴퓨터과학 조교수로 부임할 예정이다. 현재 연구의 중심은 AI 정책을 실행으로 연결하는 책임성 인프라로, 투명성 문서 양식, 사고 데이터베이스, 감사 도구와 정부·기업의 대응 기준 등을 다룬다.
• 정부의 AI 도입은 정보기술 관련 법률, 접근성, 개인정보 보호, 성능 요건을 충족해야 하지만, 기존 벤치마크와 기성 가드레일은 정부 기준에 미치지 못한다는 우려가 있다. 정부·교육·의료처럼 영향을 받는 사람이 이용을 거부하기 어려운 환경에서는 도입 사실의 통지와 이의 제기 가능성이 중요하며, 자원이 부족한 기관은 공급업체의 설명을 검증하기 어렵다.
• Raji는 AI 정책의 최우선 과제로 법 집행을 꼽는다. 2017년경의 원칙 논의, 2020~2023년경의 입법 제안, ChatGPT 이후의 법 제정으로 논의가 진전됐지만, New York City의 Local Law 144나 California의 SB 53 같은 법을 실효성 있게 적용할 기관 역량·증거 확보 수단·제3자 생태계는 충분히 성숙하지 않았다고 본다.
• Raji는 SB 53과 의회에서 논의 중인 Frontier AI Act가 사망·상해·재산 피해와 수십억 달러 단위의 손실 같은 극단적 결과에 초점을 맞춰, 이미 발생하는 상당한 피해를 포착하지 못한다고 비판한다. 특히 소외된 집단의 피해는 증거 수집이 어렵고, 정신건강 등의 영향은 수개월·수년·어쩌면 수십 년에 걸쳐 누적될 수 있다고 지적한다.
• 인간 중심 AI는 데이터에 포함된 사람, 모델을 만드는 사람, 영향을 받는 사람의 관계를 드러내고 선택·행동과 결과를 연결해 책임을 묻는 접근이다. Raji는 HAI의 정책 참여 지원 기반을 높이 평가하며, 학생에게 정책 실행 현장과의 연결을, 정책 입안자에게 연구자와의 직접 교류 및 학계·시민사회의 독립적인 기술적 관점 확보를 권한다.

🧩 주요 포인트

1. 규칙의 존재 → 실행 가능성 검증: 문서화·사고 판정·증거 수집·감사 수단과 집행기관 역량이 갖춰져야 AI 정책이 기업 행동의 변화로 이어질 수 있다.
2. 기관의 AI 선택 → 시민의 비자발적 노출: 정부·교육·의료에서는 직접 사용하지 않는 사람도 영향을 받으므로, 구매 검증과 통지·이의 제기 장치가 책임성의 핵심이 된다.
3. 극단적 피해 중심의 기준 → 일상적 피해의 누락: 인간의 선택과 결과를 추적하고 독립적인 기술적 관점을 반영해야 누적적 피해와 소외된 집단의 경험을 책임 논의에 포함할 수 있다.

🧠 상세 정리

1. Deb Raji의 연구와 AI 책임성이라는 질문

Deb Raji의 연구는 AI 시스템이 피해를 일으켰을 때 누가 책임을 져야 하며, 그 책임을 어떻게 입증할 수 있는지에 초점을 맞춘다. 그는 Stanford HAI에 이번 가을 방문 펠로로 합류하고, Institute for Advanced Study에서의 펠로십과 UC Berkeley 컴퓨터과학 박사과정을 거쳐 2027년 가을 센터 펠로 및 컴퓨터과학 조교수로 부임할 예정이다. Joy Buolamwini 및 Algorithmic Justice League와 수행한 상용 얼굴인식 편향 연구는 IBM과 Amazon이 경찰에 해당 기술을 판매하는 것을 중단하도록 압박하는 데 기여했다. Google에서는 모델이 할 수 있는 일과 할 수 없는 일을 공개하는 방식으로 널리 쓰이는 Model Cards의 개발을 도왔다. 이러한 이력은 모델을 평가하는 기술적 작업이 기업의 행동과 공개 관행에 영향을 줄 수 있음을 보여주며, 인터뷰는 이를 실제 정책 집행으로 연결하는 과제를 중심으로 전개된다.

2. 정책 원칙을 실행으로 바꾸는 기술 인프라

Raji가 현재 탐구하는 핵심은 AI 책임성 인프라이며, 새로운 정책과 법률을 만드는 데서 나아가 기업의 행동을 실제로 바꿀 방법을 찾는 것이다. 법에 투명성 의무가 있다면 어떤 문서 양식을 사용할지, 사고를 감시하려면 데이터베이스를 어떻게 구성할지 같은 구체적인 설계가 필요하다. 무엇을 유효한 사고로 인정하고 정부와 기업이 각각 어떻게 대응해야 하는지도 실행 단계에서 정해야 한다. 그는 AI 감사가 지난 5년 동안 주로 추상적이고 다소 가설적인 수준에서 논의됐지만, 이제 여러 주체가 실무 문제를 풀 의지를 보이기 시작했다고 평가한다. 따라서 필요한 도구와 정책, 제도를 구체화하고 정부가 기존 법률을 집행할 수 있는 역량을 갖추도록 하는 일이 연구의 중요한 방향이 된다.

3. 정부 도입의 엄격한 기준과 이용 거부의 한계

Raji는 국가 AI 안전 연구소, 시민사회 단체, 정부 조직과 대화하면서 공공기관의 AI 도입에 특히 관심을 갖게 됐다. 이들은 조달과 보호장치, 이의 제기 등 책임성 조치를 고려하지만, 기존 벤치마크와 기성 가드레일이 정부의 기준을 충족하지 못한다는 우려를 갖고 있다. 공공기관은 정보기술 관련 법률과 접근성 요건, 개인정보 보호 규칙, 성능 기대를 따라야 하므로 일반 기업보다 배포 환경이 엄격하며, Raji는 Herbert Simon의 행정·조직 행동 연구가 이런 환경을 이해하는 데 도움이 되는지도 살피고 있다. 정부·교육·의료에서는 기관 직원이 AI를 사용하고 시민이 영향을 받기 때문에, 개인이 서비스를 끄거나 떠나는 방식으로 위험을 피하기 어렵다. 정책상 통지가 없다면 당사자는 AI가 자신의 삶에 영향을 준 사실조차 몰라 이의를 제기하거나 사고를 신고하기 어렵고, 예산이 빠듯한 기관은 구매 검증 역량이 부족해 공급업체의 설명을 그대로 받아들일 수 있다.

4. 인간 중심 AI와 책임 관계의 가시화

Raji는 AI를 논할 때 데이터에 포함된 사람, 모델에 관한 결정을 내리는 사람, 결과의 영향을 받는 사람은 비인간화하면서 모델 자체는 의인화하는 역전이 일어난다고 지적한다. 그에게 인간 중심 접근은 실제 사람이 어디에 있으며 어떤 역할을 했는지 잊지 않는 데서 출발한다. 법적·조직적 수단으로 책임을 묻기 위해서는 이해관계자가 누구인지, 무엇을 했거나 하지 않았는지, 그것이 어떤 결과로 이어졌는지를 확인해야 한다. 사람의 행동과 결과 사이의 관계가 가려지면 책임성도 사라지고, 문제가 생겼을 때 아무도 통제할 수 없는 힘 때문인 것처럼 설명하기 쉬워진다. 그는 아이가 욕설을 배운 경위를 모른다고 말하는 부모의 비유를 들어, AI의 결과 역시 인간의 선택과 연결해 살펴야 한다는 주장을 강조한다.

5. 입법 이후에 남은 가장 어려운 과제

Raji는 현재 AI 정책에서 가장 중요한 문제가 법 집행이라고 단언한다. 그의 설명에 따르면 2017년경에는 높은 수준의 원칙이 중심이었고, 대략 2020~2023년에는 진지한 입법 제안이 등장했으며, ChatGPT 이후에는 실제 법률이 나오기 시작했다. 그는 AI 채용 도구의 편향 감사를 요구하는 New York City의 Local Law 144와 California의 SB 53을 사례로 들지만, 법 제정에 비해 집행의 어려움은 크게 과소평가됐다고 본다. 기존 기관이 시스템을 심사할 역량을 갖췄는지, 다른 분야의 집행 수단을 AI에 적용할 수 있는지, 제3자 생태계가 충분히 성숙했는지가 여전히 불확실하기 때문이다. 이용약관 관련 소송의 경험도 어떤 일이 잘못됐다는 직관과 이를 입증할 증거를 모아 실제로 시정하도록 만드는 일 사이에 큰 간극이 있음을 보여주며, 그는 이 구체적인 적용 과정에 집중하려 한다.

6. 재앙적 위험 기준이 놓치는 일상적·누적적 피해

재앙적 위험으로 정책의 관심이 이동한 데 대해 Raji는 책임을 묻는 문턱이 지나치게 높다고 평가한다. 그는 SB 53과 의회에서 논의 중인 Frontier AI Act의 정의가 사망, 상해, 재산 피해, 수십억 달러 단위의 손실 같은 극단적 결과를 지향해 자신이 중대하다고 보는 많은 피해가 기준에 들지 못한다고 말한다. 이미 발생하는 상당한 피해가 소외된 사람들에게 불균형하게 집중되면 증거 수집도 더 어려워져, 높은 기준 아래에서 많은 문제가 드러나지 않을 수 있다. 따라서 지금 관찰할 수 있는 더 작은 피해에도 책임을 물을 수 있어야 한다는 것이 그의 입장이다. 또한 정신건강 사례 등에서 영향은 한 번의 폭발적 사건보다 수개월이나 수년, 어쩌면 수십 년에 걸쳐 서서히 누적될 수 있으며, 오랜 시간이 지난 뒤에야 AI와 함께 만든 세상이 원하던 모습이 아니었음을 깨달을 가능성을 우려한다.

7. HAI가 제공하는 연구와 정책 참여의 기반

Raji가 HAI에 끌린 이유는 설립 초기부터 정책을 중요한 과제로 다뤄왔다는 점이다. 그는 인간 중심 AI를 실현하려면 기업이 받는 상업적 압력에 대응할 보호장치와 유인을 마련해, 기술이 사람의 삶을 혼란에 빠뜨리기보다 인간의 번영에 기여하도록 해야 한다고 본다. 평가와 제3자 감사 연구의 특성 때문에 박사과정에 들어가기 전부터 정책 활동에 참여했지만, 참여 규모가 커지면서 지속하기 어려운 수준에 이르렀다고 설명한다. HAI에는 연구를 이어가면서 정책에 관여할 수 있도록 돕는 내부 기반이 이미 있었고, 그는 이를 원하는 일을 지속하는 데 필요한 지원으로 받아들였다. 따라서 HAI 합류의 의미는 연구 주제의 적합성뿐 아니라 기술 연구와 정책 실무를 장기적으로 병행할 수 있는 조직적 조건에도 있다.

8. 학생과 정책 입안자를 위한 연결과 독립성

Raji는 기술 훈련을 공익에 활용하려는 학생에게 정책 실행이 컴퓨터과학 지식을 책임성의 성과로 직접 연결할 수 있는 분야라고 조언한다. 학생들은 이미 기술과 정책의 접점에서 일하는 사람들과 협력하고, 의회 인턴십이나 워싱턴 정책 현장과 연결된 펠로십, HAI 같은 연구기관의 기회를 활용할 수 있다. 시민사회 단체도 학생 인턴을 필요로 하지만 이를 충분히 알리지 못하는 경우가 있어, 그는 관련 기회를 학생에게 더 잘 전달할 방법을 찾고 싶다고 말한다. 정책 입안자에게는 유용한 연구를 하는 연구자에게 직접 연락하고, 기업 경영진뿐 아니라 학계와 시민사회 기술자의 독립적인 관점을 구하라고 권한다. 기업은 시스템의 작동 수준을 솔직하게 설명하는 데 구조적 제약이 있으며, 복잡한 AI 정책 문제를 풀기 위해서는 여러 학문 분야가 자연스럽게 참여할 수 있는 공간도 필요하다는 것이 그의 결론이다.

🧾 핵심 주장 / 시사점

• AI 책임성의 실효성은 법률의 존재뿐 아니라 문서화, 사고 판정, 증거 수집과 집행 역량이 서로 연결되는지에 달려 있다는 관점이 인터뷰를 관통한다.
• 정부·교육·의료에서 AI를 직접 사용하는 사람과 영향을 받는 사람이 다르다는 점은, 개인의 이용 선택만으로는 피해를 통제하기 어렵다는 논거가 된다.
• 재앙적 위험의 높은 기준과 인간 행동을 가리는 AI 의인화는 서로 다른 경로로 책임 추적을 어렵게 한다. Raji의 접근은 현재 관찰되는 피해와 구체적인 인간의 선택을 함께 드러내는 데 초점을 둔다.

✅ 액션 아이템

• AI 책임성 인프라의 투명성 문서 양식, 사고 데이터베이스, 감사 도구와 정부·기업의 대응 기준을 구체화할 필요가 있음.
• 정부·교육·의료의 AI 도입에서는 구매 검증 역량과 도입 사실의 통지·이의 제기 가능성을 함께 검토할 필요가 있음.
• SB 53과 Frontier AI Act의 피해 기준이 일상적·누적적 피해를 포착하는지 살피고, 학계·시민사회의 독립적인 기술적 관점을 반영할 필요가 있음.

❓ 열린 질문

• Local Law 144와 SB 53을 실효성 있게 집행하려면 기관 역량·증거 확보 수단·제3자 생태계 중 어떤 공백을 우선 해결해야 하는가?
• 정부·교육·의료에서 AI의 영향을 받는 사람이 도입 사실을 알고 이의를 제기할 수 있도록 어떤 통지·이의 제기 장치가 필요한가?
• SB 53과 Frontier AI Act의 극단적 피해 기준 아래에서 일상적·누적적 피해와 소외된 집단의 경험을 어떻게 책임 논의에 포함할 수 있는가?