YouTube세바시 강연 Sebasi Talk·2026년 11월 16일·0

구글과 엔비디아도 어려운 일, 한국이 답이다

Quick Summary

구글·엔비디아도 마주한 가상과 현실의 간극을 줄이는 데 한국의 제조 현장 경험과 카메라 기반 현실 복제가 경쟁력이 될 수 있다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

구글과 엔비디아도 어려운 일, 한국이 답이다 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

구글과 엔비디아도 어려운 일, 한국이 답이다의 핵심 내용을 4단계로 요약한 인포그래픽
구글과 엔비디아도 어려운 일, 한국이 답이다 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

구글·엔비디아도 마주한 가상과 현실의 간극을 줄이는 데 한국의 제조 현장 경험과 카메라 기반 현실 복제가 경쟁력이 될 수 있다.

📌 핵심 요점

  1. 피지컬 AI는 현실의 환경을 인식하고 이해하며 행동하는 AI다. 제조·점검 로봇이 제대로 움직이려면 실제 현장을 정확히 이해해야 한다.
  2. 로봇은 반복적인 실패를 통해 배워야 하지만 실제 공장에서 무제한으로 실험할 수는 없다. 가상 훈련 환경이 필요한 이유다.
  3. 최종성 교수는 CAD 설계도 중심의 가상 환경이 녹, 기름, 예상하지 못한 장애물 등 실제 현장의 상태를 충분히 담지 못한다고 설명한다. 이 가상과 현실 사이의 간극이 심투리얼 문제다.
  4. 연구팀은 카메라로 촬영한 현실을 3차원으로 재구성하고, 주파수 영역 분석·객체 분할·공간 기하 정보 인식을 통해 로봇이 이해하고 행동할 수 있는 환경을 만들고자 한다.
  5. 한국이 축적한 제조·산업 현장 경험은 피지컬 AI의 기회가 될 수 있다. 강연자는 연구 실패와 귀국 후 연구실 구축 경험을 통해 기술의 목적을 실제 사람의 삶에 도움이 되는 것으로 연결한다.

🧩 배경과 문제 정의

로봇이 물건을 만들거나 위험한 곳을 점검하려면 현실에서 안정적으로 움직일 수 있어야 한다. 그러나 실제 공장은 로봇이 수없이 충돌하고 실패하며 학습하기에 적합한 장소가 아니다. 강연은 이 문제를 해결하기 위한 가상 훈련 환경에 주목한다.

최종성 교수는 설계도로 만든 환경과 실제 현장이 다르다는 점을 핵심 문제로 제시한다. 설계도에는 없는 녹, 기름, 장애물까지 담으려면 현실을 카메라로 촬영해 컴퓨터 안에 옮기고, AI가 그 안의 사물과 공간을 이해하도록 만들어야 한다는 접근이다. 한국의 제조·산업 현장 경험이 이 과정에서 강점이 될 수 있다는 것이 제목과 연결되는 주장이다.

강연에는 이러한 연구 방향이 형성된 개인적 배경도 담겨 있다. 사진을 찍던 청년기의 경험, 박사 과정의 좌절과 컴퓨터 비전으로의 전환, NASA 프로젝트, 귀국 후 연구실 구축을 거쳐 기술을 실제 사람의 삶에 연결하려는 동기를 설명한다.

🕒 시간순 섹션별 상세정리

1. 로봇 훈련의 문제와 카메라에서 시작된 진로

  • 도입부는 로봇이 현실에서 움직이려면 반복적인 실패가 필요하며, 가상 훈련과 한국의 산업 기반이 기회로 연결될 수 있다는 강연의 주장을 먼저 제시한다. 이어 미국의 기회 대신 한국에서 연구실을 시작한 선택을 보여준다. [00:38]
  • 자신을 카메라로 현실을 컴퓨터 안에 복사하는 과학자라고 보여준다. 진로를 고민하던 20대 초반 중고 카메라를 들고 영국으로 떠나 장애가 있는 사람들을 돌보는 봉사 활동을 하고, 쉬는 날에는 여행하며 사진을 찍었다. [01:41]
  • 당시에는 행복을 찾기 위한 활동이었던 사진 촬영이 훗날 연구의 출발점이 되었고, 이후 만난 사람들도 인생의 방향을 바꾸었다고 회고한다. [01:54]

2. 박사 과정의 좌절과 컴퓨터 비전으로의 전환

  • 미국에서 항공우주공학 박사 과정에 진학했지만 연구 부진, 낯선 환경의 외로움, 장학금 중단을 겪으며 귀국을 고민했다. 가족의 응원 속에서 미해결 연구 문제만큼은 풀고 떠나기로 결심했다. [03:31]
  • 해결책을 찾아 여러 연구실을 방문하다 인공지능과 컴퓨터 비전을 연구하는 선배를 만났고, 새로운 지도교수와 함께 처음부터 다시 시작했다. [03:58]
  • 이미 큰 어려움을 겪은 경험이 새 분야에 도전할 힘이 되었다. 끝났다고 생각했던 시점에 인공지능과 그 분야의 사람들이 새로운 길을 열어주었다고 드러낸다. [04:20]

3. NASA 프로젝트와 현실을 복제하는 가상 동굴

  • 2019년 연구팀이 NASA 프로젝트에 참여했다. 카메라 장면을 컴퓨터가 이해하도록 만드는 역할을 맡아, 연구진이 달의 지하 공간을 간접적으로 경험하게 하는 과제를 수행했다. [05:07]
  • 달의 용암동굴에 직접 갈 수 없으므로 캘리포니아의 용암동굴을 촬영해 컴퓨터 안에 옮기는 방식을 택했다. 일주일 동안 현장에 머물며 빛과 설계도가 없는 불규칙한 공간을 기록했다. [05:42]
  • 실제 동굴을 옮긴 가상 공간은 접근하기 어렵거나 위험한 장소를 먼저 경험하는 수단이 된다. 강연자는 이런 환경에서 AI와 로봇을 수없이 연습시킬 수 있다고 보여준다. [06:30]

4. 피지컬 AI, 한국의 기회와 심투리얼 문제

  • 피지컬 AI는 현실 환경을 인식하고 이해하며 직접 행동하는 AI다. 제조 로봇과 위험 지역 점검 로봇에는 현실을 정확히 아는 능력이 중요하다. [06:56]
  • 반도체·자동차·조선·원자력·건설 등에서 쌓은 한국의 제조 경험과 현장 운영 역량이 경쟁력이 될 수 있으며, 인구 부족에 대비하는 데도 연결될 수 있다고 주장한다. [07:26]
  • 구글·엔비디아의 가상 로봇 훈련을 언급하면서, CAD 기반 환경과 녹·기름·장애물이 있는 실제 공장 사이의 차이를 심투리얼 문제로 보여준다. 해결의 출발점을 설계도에서 현실로 바꾸자고 제안한다. [08:28]

5. 현실 재구성에서 사물 이해와 거리 인식으로

  • 카메라로 실제 현장을 촬영하고 사진을 주파수 영역에서 분석해 균열과 녹 같은 세부 정보를 담으려 했다. 캠퍼스, 공장과 선박 엔진, 공사 현장을 사진으로 재구성한 3차원 모델을 보여준다. [09:19]
  • 3차원 장면을 재현하는 데서 나아가 AI가 사물을 구분하도록 객체 분할을 연구했다. 로봇이 충돌을 피하려면 사물의 위치와 돌출 정도도 알아야 하므로 공간 기하 정보를 인식하는 방법까지 시도했다. [10:08]
  • 연구의 방향을 보이는 현실에서 이해하는 현실, 행동할 수 있는 현실로 보여준다. 초실감 가상 환경 연구는 박사 과정부터 이어졌으며 국내 일부 연구소와 기업에 도입되어 후속 연구가 진행 중이라고 드러낸다. [10:32]

6. 귀국과 연구실 구축, 실패를 바라보는 변화

  • 박사 과정 말기에 아르곤 내셔널랩과 테슬라에서 기회가 있었지만, 중요하다고 믿는 문제를 직접 찾고 함께 성장할 연구팀을 만들고 싶었다. 자신을 도왔던 스승과 동료처럼 누군가를 돕고 싶었다고 보여준다. [11:28]
  • 한국에서 책상 하나, 컴퓨터 한 대, 학부 연구생 세 명으로 연구실을 열었다. 연구비와 장비가 없고 연구 제안도 거절되는 시기를 거쳐, 7년간의 실험 끝에 연구실은 24명으로 성장하고 약 120억 원 규모의 연구를 수행하게 되었다고 드러낸다. [12:08]
  • AI가 가상 세계에서 실패하며 배우도록 만드는 자신도 많은 실패를 거쳤다고 돌아본다. 실패를 잘못된 선택의 증거로 여기던 관점에서 벗어나, 계획에 없던 자리에서 풀어야 할 문제를 만났다고 해석한다. [12:46]

7. 기술이 실제 사람에게 닿아야 한다는 마지막 기준

  • 영국에서 돌아온 뒤 지하보도에서 만난 할머니를 행정기관으로 모셔다드렸지만, 이후 그 겨울을 넘기지 못했다는 소식을 들었다. 이를 통해 제도의 존재만으로는 충분하지 않고 필요한 정보와 도움이 당사자에게 닿아야 한다고 느꼈다. [13:38]
  • 이 경험을 계기로 실제 삶에서 쓸 수 있는 기술을 만드는 과학자가 되기로 결심했다. 지금의 연구도 컴퓨터 안에 만든 현실이 실제 세상에서 누군가를 돕게 하려면 무엇이 필요한지 묻는 데서 출발한다고 보여준다. [13:58]
  • 자신을 여기까지 이끈 것은 완벽한 계획보다 살아오며 만난 사람들이었다고 돌아본다. 기술을 통해 앞으로 만날 누군가의 삶에 보답하고 싶다는 말로 강연을 마친다. [14:19]

🧾 결론

  • 핵심 과제는 보기 좋은 가상 공간을 만드는 데서 끝나지 않는다. 현장의 세부 상태, 사물의 구분, 거리와 구조까지 AI가 이해할 수 있어야 한다.
  • 한국의 산업 기반이 경쟁력으로 이어지려면 현장 경험을 로봇 학습에 사용할 수 있는 현실 기반 가상 환경으로 연결해야 한다는 것이 강연의 주장이다.
  • 강연자가 제시하는 연구의 기준은 실제 쓰임이다. 가상 환경에서 학습한 기술이 현실에서 누군가를 돕는지까지 살펴야 한다.

📈 투자·시사 포인트

  • 피지컬 AI 관련 기술을 살필 때는 가상 환경의 시각적 완성도와 함께 실제 현장 재현, 객체 구분, 거리 인식 능력을 확인필요가 있다.
  • 반도체·자동차·조선·원자력·건설은 강연자가 한국의 강점으로 제시한 분야다. 각 현장의 경험을 로봇 훈련과 연결하는 구체적인 적용 사례가 관찰 대상이다.
  • 국내 연구소와 기업이 기술을 도입해 후속 연구를 수행하고 있다는 설명은 활용 가능성을 보여준다. 다만 도입 사실만으로 상용화 성과나 수익성을 판단할 수는 없다.
  • 강연에서 언급한 약 120억 원은 수행 중인 연구의 규모다. 기업 매출이나 투자 유치액으로 해석해서는 안 된다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 현실 복제 기술이 로봇의 실제 작업 성공률이나 안전성을 얼마나 높였는지 보여주는 정량적 비교 결과는 제시되지 않는다.
  • 구글·엔비디아의 가상 훈련 환경과 CAD 활용에 관한 설명은 강연자의 문제 제시다. 각 회사의 전체 기술 범위나 최신 성능을 비교한 검증 자료는 포함되어 있지 않다.
  • 국내 도입 기관과 기업의 이름, 적용 범위, 상용 운영 여부는 공개되지 않는다. 연구 도입과 사업 성과를 구분해야 한다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 강연의 기술 흐름을 현실 촬영 → 3차원 재구성 → 객체 구분 → 공간 기하 인식 → 로봇 학습으로 정리한다.
  • 관심 있는 산업 현장을 하나 골라 설계도와 실제 상태가 달라지는 요소를 녹, 기름, 장애물 등의 사례에 맞춰 목록화한다.
  • 기술 도입을 검토한다면 실제 현장 재현 정확도, 객체 구분 성능, 거리 인식 정확도와 로봇 작업 결과를 확인할 평가 항목으로 정한다.
  • 국내 도입 사례와 연구 규모를 인용할 때는 강연자의 설명임을 밝히고, 공개되지 않은 기관명이나 사업 성과를 덧붙이지 않는다.

❓ 열린 질문

  • 사진으로 재구성한 환경에서 훈련한 로봇은 CAD 기반 환경에서 훈련한 로봇보다 실제 작업에서 얼마나 나은 성과를 내는가?
  • 기름 자국이나 장애물처럼 현장 상태가 바뀔 때 가상 환경을 얼마나 자주, 어떤 비용으로 갱신해야 하는가?
  • 한국의 제조 경험을 로봇 학습에 활용하려면 현장 운영자와 연구팀이 어떤 정보와 평가 기준을 함께 마련해야 하는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.