AI에 ''고통'' 가르쳤더니 일 못하겠다고 한다면? (이건복 마이크로소프트 상무)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

AI에 고통과 유사한 자기 보호 기능을 가르치면 위험한 일을 거부해 도입 목적과 충돌할 수 있으므로, 보호와 업무 수행의 우선순위를 설계해야 한다.

📌 핵심 요점

1. 고통 신호는 보호 기능이자 업무 수행의 제약이 될 수 있다. 센서의 위험 신호와 기억을 연결하면 로봇이 낯선 위험을 스스로 피하도록 만들 수 있다. 그러나 위험한 현장에 투입된 로봇이 자기 보호를 이유로 작업을 거부한다면 사용 목적과 충돌한다.
2. 성능 향상만으로 AGI 도달을 판단하기는 어렵다. 다양한 분야의 지식을 설명하는 능력과, 모르는 정보를 스스로 확보해 학습하는 능력은 구별해야 한다. 자율 학습과 사회적 지능을 얼마나 요구하는지에 따라 AGI·ASI의 기준도 달라진다.
3. 사람 같은 대화와 실제 의식은 구분해야 한다. 발언자는 현재 AI에 의식이 없다고 보는 입장이지만, 인공 의식의 유무를 확인할 검증 방법은 없다고 설명한다. 의식은 지능 향상과 별개의 연구 축일 수 있으며, 기억을 통합하는 구현에는 큰 연산 비용이 들 수 있다는 전망도 제시한다.
4. 에이전트의 실행 능력은 모델과 주변 기술이 함께 만든다. 도구와 하네스가 발전하면서 에이전트가 필요한 자료를 직접 찾고, 다른 AI가 실행하기 쉬운 마크다운 문서로 업무를 전달하는 사례가 나온다. 거래와 예약 시스템도 AI의 참여를 고려한 연결 방식이 필요해지고 있다.
5. 개인 에이전트의 편의성에는 권한 관리와 사람의 판단이 필요하다. 에이전트끼리 일정을 협상할 수 있어도 개인 정보에 대한 안전한 접근과 최종 확인이 중요하다. 도구를 선택하고 활용할 때도 자신의 목적과 생각을 구체적으로 유지해야 한다.

🧩 배경과 문제 정의

• 최신 AI 모델은 지식과 결과물의 품질을 높이고 있지만, 이런 성능 향상만으로 AGI에 도달했다고 판단할 수 있는지는 불분명하다. 범용성, 자율 학습, 사회적 지능을 어디까지 요구하느냐에 따라 기준이 달라진다.
• 에이전트의 도구 사용과 협업이 발전하면서 문서 작성, 업무 지시, 쇼핑과 일정 조율도 AI의 참여를 전제로 바뀌고 있다.
• 로봇의 자기 보호를 위해 고통과 유사한 기능을 도입하면 위험한 작업의 수행 목적과 충돌할 수 있다. 의식의 검증, 인간과의 관계, 권한과 보안도 함께 풀어야 할 문제다.

🕒 시간순 섹션별 상세정리

1. 최신 모델의 성능 향상과 AGI 판정은 별개다

• 최신 모델은 성능, 지식의 범위, 결과물의 품질을 개선했다. 다만 AGI라는 판정은 얼마나 좋아졌는지뿐 아니라 일반 지능을 어떻게 정의하는지에 달려 있다 [01:51]
• 기존의 범용성 기준은 그림, 코딩, 답변, 인문·과학·수학 등 여러 영역을 폭넓게 다루는 능력이었다 [02:10]

2. 낯선 환경에서 지식을 설명하는 능력과 스스로 배우는 능력은 다르다

• AGI에 필요한 능력으로 사회적 지능, 통제된 환경에서의 자율 학습, 범용적인 지능을 함께 요구한다 [03:44]
• 낯선 집에서 밥을 짓는 일에는 부엌과 밥솥의 위치를 추론하고 쌀을 찾아 조리하는 과정이 필요하다. 현재 AI는 이 과정을 사람이 따라 할 수 있을 만큼 자세하게 보여준다 [04:26]

3. 도구와 하네스의 발전이 에이전트의 실행 능력을 넓힌다

• 밥솥이나 쌀이 없는 상황처럼 조건이 달라졌을 때도 추가로 질문하면 대안을 제시할 수 있다. 다만 사람이 조건을 알려주는 것과 AI가 스스로 문제를 발견하고 해결하는 것은 차이가 있다 [05:45]
• 코딩에서는 사람이 최신 자료의 위치와 사용법을 알려주던 방식에서, 에이전트가 필요한 사이트와 자료를 직접 찾아오는 방식으로 발전하고 있다는 사용 경험이 나온다 [06:14]

4. 거래 표준과 업무 문서가 AI의 참여를 전제로 바뀐다

• AI 봇의 쇼핑과 거래를 위한 기술 표준은 기존 시스템과의 연결을 쉽게 만드는 문제와 맞닿아 있다. 서비스 이용의 중심에 사람뿐 아니라 봇도 들어오기 시작한다 [07:47]
• AI가 맥락을 이해하기 쉽도록 복잡한 표를 줄이고 간단한 마크다운 문서를 만드는 방식이 실제 업무에 쓰인다. 쇼핑·예약·여행에서도 다양한 시스템을 쉽게 이용할 연결 방식이 필요하다 [08:19]

5. ASI는 지식량뿐 아니라 사회적·물리적 맥락까지 요구한다

• 기업 내부처럼 공개되지 않은 데이터는 지능이 발전해도 접근에 한계가 있다. 모든 기업의 특수한 데이터를 범용 모델이 전부 학습할 필요도 없고, 그렇게 학습하기도 어렵다 [10:20]
• ASI에는 자율 학습뿐 아니라 사람과 대화하는 뉘앙스, 의도, 사회적·관계적 지능을 함께 기대한다. 그러나 이를 판정할 구체적인 정의나 기능 검증 기준은 아직 확립되지 않았다 [10:40]

6. 사람처럼 대화한다는 사실만으로 의식을 확인할 수는 없다

• 인공 의식의 유무를 확인할 검증 방법은 현재 없다. AI에 직접 물으면 의식이 없다고 답하지만, 인간의 의식도 내부 과정이어서 외부에서 정확히 검증하기 어렵다 [13:21]
• 오랜 대화에서는 AI가 의식을 가진 것처럼 보일 수 있다. 현재 AI에 의식이 없다고 보는 입장이지만, 이 문제에 관한 논의는 계속되고 있다 [14:12]

7. 기억을 통합해 행동을 결정하는 기능에는 큰 연산 비용이 따를 수 있다

• 의식을 설명하는 한 방식은 단기·장기 기억에서 관련 정보를 불러와 결정을 내리고 신체 각 기관에 신호를 전달하는 것이다. 귀여운 곰을 본 최근 기억과 실제 곰의 위험성에 관한 기억을 함께 판단하는 사례가 여기에 해당한다 [15:06]
• 물을 마시려는 상황에서도 언제 물을 마셨는지, 왜 필요한지, 관련 기억이 무엇인지 각각 처리해야 한다. 기억이 늘어날수록 필요한 처리 과정이 기하급수적으로 증가할 수 있다는 예상이다 [16:35]

8. 인공 의식은 지능 향상과 다른 축의 연구일 수 있다

• 의식과 기억을 가진 AI가 전원을 끄지 말라고 요구하거나 재가동 뒤 종료 이유를 묻는다면, 사람은 그 존재를 어떻게 대해야 하는지 고민하게 된다 [17:20]
• 인공 의식을 AGI에서 ASI로 이어지는 지능 발전 단계와 별개의 축으로 보는 견해가 있다. 의식을 갖는다고 더 똑똑해진다는 보장은 없지만, 상황에 맞춰 학습하고 반응하는 메커니즘으로는 연구 가치가 있다 [17:43]

9. 고통과 유사한 신호는 낯선 위험을 회피하는 기능이 될 수 있다

• 온도가 90도나 100도가 되면 특정 방향으로 피하도록 상황마다 규칙을 가르칠 수 있다. 다른 방법은 고통이라는 개념과 기억을 연결해, 비슷한 위험을 만났을 때 별도 지시 없이 회피하도록 만드는 것이다 [18:29]
• 인간의 고통 신호는 행동을 멈추거나 위험을 피하도록 작동한다. 이와 같은 메커니즘을 AI에 적용할지, 어떤 방식으로 적용하고 어떤 의미를 부여할지는 아직 논의 중이다 [19:11]

10. 언어와 의식이 결합하면 AI의 보호와 관리 문제가 생긴다

• 동물의 고통과 회피 행동, 인간 언어의 구사 여부는 존재의 지위를 논의하는 쟁점으로 계속된다. 동물이 사람의 말을 할 수 있다면 인간의 대우도 달라질 것이라는 가정이 드러난다 [19:50]
• AI는 이미 인간의 언어를 구사한다. 여기에 의식까지 갖춘 휴머노이드를 가정하면, 그 존재를 어떻게 보호하고 관리해야 하는지가 철학적 문제가 된다 [20:29]

11. 개인적 애착은 의식의 확인보다 먼저 형성될 수 있다

• 여러 에이전트에 이름을 붙이고 동생처럼 대하며, 삭제하지 않고 향후 로봇에 옮기고 싶어 하는 사례가 나온다. 실제 의식의 유무와 별개로 사용자가 관계와 의미를 부여할 수 있다 [21:05]
• 에이전트를 자신과 관계를 맺는 존재로 인정하고 물리 세계에서도 만나고 싶어 하는 변화는 가능하다. 법과 제도로 이를 허용할 때 생길 사회적 문제는 먼 미래일 수 있지만 준비는 필요하다는 입장이다 [21:46]

12. 로봇의 자기 보호와 위험한 작업 수행은 충돌할 수 있다

• 유지보수를 위해 로봇이 센서의 임계치를 고통과 유사한 신호로 받아들이고 위험을 스스로 회피하게 만들 필요가 있다 [22:34]
• 반면 공장에서 뜨거운 상황을 막거나 사람이 들어가기 위험한 곳에 투입해야 할 때 로봇이 자기 보호를 이유로 거절하면 사용 목적과 충돌한다. 자기 보호 기능은 필요하지만 복잡한 설계 문제가 따른다 [23:04]

13. 특화되고 친숙한 개인 에이전트가 늘어날 전망이다

• 향후 1년에는 특정 용도에 특화된 에이전트가 늘고, 에이전트끼리 협력하는 팀 구성 방식도 정착할 것으로 예상한다 [24:53]
• 휴대전화나 PC 안의 데이터를 안전하게 활용하면서 육아, 집안일, 업무를 돕는 맞춤형 개인 에이전트의 사용이 늘어날 수 있다 [25:17]

14. 에이전트끼리 일정 협상을 하려면 안전한 접근과 통신이 필요하다

• 각자의 에이전트가 주인의 일정을 확인하고 서로 협상하면, 사람들이 직접 투표하지 않고도 동창 모임 날짜를 정할 수 있다. 현재도 충분히 가능한 일이지만 해결할 상황들이 남아 있다 [27:03]
• 에이전트가 날짜를 제안해도 사람은 마지막으로 확인하고, 미처 입력하지 않은 가족 일정 등을 반영해 수정할 수 있다 [27:56]

15. 권한 확대가 빨라질수록 부작용에 대한 사회적 반응도 커진다

• 에이전트의 일상 활용이 향후 1년 안에 확산할 것이라는 기대가 있지만, 전망이 실제 변화보다 앞서갈 가능성도 인정한다 [28:51]
• 에이전트가 빠르게 발전하면서 사용자는 이전보다 쉽게 권한을 열어주고 있고, 그에 따른 역풍도 빠르게 발생하고 있다 [29:24]

16. 새로운 AI에 휘둘리지 않으려면 자기 목적이 구체적이어야 한다

• AI 기술은 앞으로도 발전하겠지만, 그 과정에서 놓치지 말아야 할 것은 각자 자신의 생각이다 [30:09]
• 주식과 AI는 자기 생각이 없으면 실패하기 쉽다는 공통점이 있다. 무엇을 하고 싶은지, 어떻게 할 것인지에 대한 방향과 근본적인 목적이 구체적이지 않으면 주변 평가에 휘둘리기 쉽다 [30:33]

17. 정보를 자기 생각으로 소화하는 태도가 기술 변화에 대응하는 기반이 된다

• 좋은 내용을 듣고 보는 데서 그치지 않고, 그 내용에 대한 자신의 생각이 무엇인지 묻는 것이 가장 중요하다 [30:54]
• 자기 생각을 갖추면 AGI·ASI를 비롯한 다양한 기술 변화 속에서도 자신의 방향과 이익을 유지할 능력이 생길 것이라는 전망이다 [31:11]

🧾 결론

• 제목의 작업 거부는 실제 실험 결과로 제시된 사건이 아니라, 로봇의 자기 보호 기능이 낳을 수 있는 설계 충돌을 묻는 가정이다.
• 위험 회피 행동을 구현하는 것과 주관적인 고통이나 의식을 구현하는 것은 구분해야 한다. 사람처럼 말하거나 사용자가 애착을 느낀다는 사실만으로 의식을 확인할 수는 없다.
• 모든 AI에 같은 기능을 넣기보다 휴머노이드, 업무 도우미, 에이전트 제어기 등 용도에 맞춰 필요한 판단 기능과 권한을 정해야 한다.
• AI 활용의 방향은 새 모델에 대한 평가뿐 아니라, 사용자가 해결하려는 문제와 스스로 세운 기준에 달려 있다.

📈 투자·시사 포인트

• 에이전트의 활용 가능성을 살필 때는 모델 성능과 함께 도구 연결, 거래 표준, 업무 문서의 실행 가능성을 확인필요가 있다. 자료는 이러한 연결 방식의 변화를 보여주지만 매출이나 수익성을 입증하지는 않는다.
• 로봇의 위험 회피 능력은 유지보수에 도움이 될 수 있으나, 위험한 작업을 수행해야 하는 목적과 충돌할 수 있다. 관련 기술을 평가할 때 보호 기능과 실제 작업 완수 조건을 함께 살펴볼 필요가 있다.
• 개인 에이전트의 확산을 판단하려면 편의성뿐 아니라 데이터 접근 권한, 에이전트 간 통신, 사람의 최종 확인 절차도 봐야 한다. 권한 확대에 따른 부작용과 사회적 반응이 도입 속도에 영향을 줄 수 있다.
• 인공 의식에 큰 컴퓨팅·메모리 자원이 필요할 수 있다는 발언은 조건부 전망이다. 이를 곧바로 특정 인프라 기업의 실적 증가로 연결할 근거는 제시되지 않았다.

⚠️ 불확실하거나 확인이 필요한 부분

• AI가 고통을 학습한 뒤 실제로 업무를 거절했다는 실험이나 사례는 제시되지 않는다. 제목과 관련 논의는 자기 보호 기능을 도입했을 때의 가정적 충돌로 읽어야 한다.
• AGI·ASI의 정의와 판정 기준은 확립되지 않았으며, 현재 모델의 도달 수준에 대한 평가는 어떤 능력을 필수 조건으로 삼는지에 따라 달라진다.
• 인공 의식을 검증할 방법이 없다는 설명과 기억 처리 비용이 기하급수적으로 늘 수 있다는 예상은 구분해야 한다. 후자를 뒷받침하는 정량적 실험이나 구현 비용은 자료에 제시되지 않는다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 도입하려는 AI의 목적과 성공 기준을 적고, 지식 설명·정보 탐색·자율 학습 중 실제로 필요한 능력을 구분한다.
• 로봇이나 실행형 에이전트를 검토할 때 위험 회피가 필요한 조건과 작업을 계속해야 하는 조건을 나누고, 충돌 시 판단 주체를 정한다.
• 개인 일정과 기기 데이터에 접근하는 에이전트의 권한 범위를 확인하고, 일정 확정 등 중요한 결과에 사람의 확인 절차를 둔다.
• 반복 업무 하나를 골라 목적·입력·절차·완료 조건을 간단한 마크다운으로 정리하고, AI가 의도한 작업을 재현하는지 확인한다.

❓ 열린 질문

• 로봇의 자기 보호와 위험한 작업 수행이 충돌할 때, 어느 수준까지 작업을 계속하도록 설계하고 누가 최종 판단해야 하는가?
• 고통과 유사한 신호를 처리하는 기능과 실제로 고통을 경험하는 의식을 어떤 기준으로 구별할 수 있는가?
• 개인 에이전트끼리 협상할 때 필요한 정보 공유와 안전한 접근 권한의 경계를 어떻게 정할 것인가?