Why Deploying Physical AI at Scale Demands Safety at Every Layer

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA는 피지컬 AI의 대규모 확산을 위해 하드웨어·소프트웨어·AI 행동·운영 환경과 배포 수명주기 전반에 안전성을 설계하고 검증해야 한다고 주장하며, 이를 지원하는 NVIDIA Halos와 독립 평가 체계를 제시한다.

📌 핵심 요약

• ABI Research는 2035년 레벨 3~5 자율주행차의 누적 설치 규모를 4,900만 대로 전망하며, Omdia는 2026~2035년 산업용 로봇 약 6,000만 대가 배치될 것으로 추정한다. 사람과 공간을 공유하는 기계가 늘면서 안전성 입증의 중요성도 커진다.
• 동적 환경, AI 고유 위험, 소프트웨어·모델 업데이트에 대응하려면 설계·실행·검증 단계의 안전장치와 지속적인 평가가 필요하다. 대규모 시나리오 검증에는 실제 시험과 시뮬레이션·합성 데이터·시나리오 재구성을 결합해야 한다.
• NVIDIA는 10년 이상 축적한 자율주행 안전 개발 경험을 바탕으로 NVIDIA Halos를 피지컬 AI 최초이자 유일한 풀스택 안전 시스템으로 소개한다. 자율주행차와 로봇은 안전 원칙을 공유하지만 플랫폼·표준·입증 자료는 분야별로 다르다.
• 자율주행 분야에서는 DRIVE AGX Thor, NVIDIA Hyperion, Halos OS, NVIDIA Alpamayo와 안전 평가 프레임워크가 개발부터 차량 배포까지 연결된다. 로봇 분야에서는 NVIDIA IGX Thor, Halos Core, Holoscan Sensor Bridge, Isaac Lab·Omniverse와 외부 카메라 기반 안전 기능이 이를 지원한다.
• Geely·Isuzu·Nissan·Einride와 로봇 기업 KION Group·Agility 등이 Halos 생태계에 참여한다. TÜV SÜD의 자동차 관련 인증, TÜV Rheinland의 독립 평가 및 로봇 구성요소 인증 준비도 검사, ANAB의 검사기관 인정은 범위와 단계가 다르며, 최종 시스템 인증은 독립된 제3자 기관이 수행한다.

🧩 주요 포인트

1. 정적 구역·물리적 장벽만으로 통제하기 어려운 동적 환경 → AI 행동과 운영 조건을 함께 평가하고 예상 밖 상황에서 안전 상태로 전환할 능력이 필요하다.
2. NVIDIA Halos의 계층별 구성과 분야별 입증 자료 → 공통 안전 원칙을 적용하면서 자율주행차와 로봇 각각의 표준에 맞춰 수명주기 전반의 검증을 연결하는 것이 핵심이다.
3. 구성요소 인증·인증 준비도 검사·검사기관 인정의 차이 → 개별 평가의 범위를 구분하고 최종 시스템 인증까지 이어지는 안전 근거를 확보해야 한다.

🧠 상세 정리

1. 대규모 보급이 요구하는 안전성 입증

피지컬 AI는 연구 단계에서 대규모 배포로 빠르게 이동하고 있으며, 도로·공장·창고처럼 사람이 함께 사용하는 공간으로 진입하고 있다. ABI Research는 2035년 레벨 3~5 자율주행차의 누적 설치 규모를 4,900만 대로 전망하고, Omdia는 2026~2035년 산업용 로봇 약 6,000만 대가 배치될 것으로 추정한다. 원문은 이러한 확산에 맞춰 AI의 판단이 물리적 행동으로 이어질 때 기계가 안전하게 작동한다는 근거도 확대되어야 한다고 설명한다. 자율주행차의 상용화에는 하드웨어·소프트웨어 고장, 의도된 기능의 한계, AI 고유 위험에 대한 대응 입증이 필요했으며, 로봇도 비슷한 전환점에 접근하고 있다. 제조사·규제기관·보험사·작업장 안전 담당자는 사람의 개입 없이도 각 구성요소와 운영 환경이 안전하게 함께 작동한다는 증거를 요구한다.

2. 일회성 점검을 넘어서는 네 가지 변화

새로운 안전 모델의 첫 번째 조건은 맥락을 이해하는 능력으로, 도로·공장·창고를 정적 구역이나 물리적 장벽만으로 완전히 통제할 수 없다는 점에서 출발한다. 자율 시스템은 변화하는 조건을 인식하고 행동을 조정하며 예상하지 못한 상황에서는 안전 상태에 도달해야 한다. 두 번째로 AI 행동 자체에 대한 보증이 필요하므로, 전통적인 기능 안전과 함께 설계·실행·검증 단계의 안전장치로 AI 소프트웨어를 평가해야 하며 ISO/IEC TS 22440 같은 새 표준이 관련 위험을 다루기 시작했다. 세 번째로 배포 이후에도 소프트웨어와 모델, 작업과 운영 조건이 바뀌므로 중대한 변경에는 추가 안전 시험이 필요할 수 있다. 네 번째로 가능한 시나리오의 수와 복잡성 때문에 실제 시험에 시뮬레이션·합성 데이터 생성·시나리오 재구성을 결합해야 한다. 이 변화들은 안전을 배포 직전의 일회성 점검이 아니라 설계부터 운영과 검증까지 이어지는 활동으로 만들 것을 요구한다.

3. 자율주행을 위한 Halos의 계층별 기반

NVIDIA는 10년 이상의 자율주행 안전 개발 경험을 바탕으로 기능 안전·센서 융합·AI 행동 보증·비전 AI·시뮬레이션·실세계 검증 역량을 축적했으며, NVIDIA Halos를 피지컬 AI 최초이자 유일한 풀스택 안전 시스템이라고 소개한다. 자율주행 하드웨어 계층에서는 DRIVE AGX Thor가 안전을 고려한 가속 컴퓨팅을 제공하고, NVIDIA Hyperion이 레벨 4 자율주행차용 풀스택 차량 플랫폼과 참조 아키텍처를 제공한다. Halos OS는 ASIL-D 인증을 받은 DriveOS를 기반으로 통합 소프트웨어 토대를 제공하며, Halos Core와 Halos Middleware는 시스템 격리·모니터링·결정론적 통신을 지원한다. NVIDIA Alpamayo는 드물고 다양한 롱테일 시나리오에 설명 가능성을 제공하는 개방형 추론 비전·언어·행동 모델을 제공한다. NVIDIA Halos Safety Evaluation Framework는 자동화 수준별 안전 논증을 뒷받침하는 증거 생성 도구와 지침을 제공한다. 이 구성은 클라우드 기반 AI 개발·시뮬레이션과 차량 내 배포를 연결해 차량 수명주기 전반에서 안전 근거를 추적할 수 있도록 돕는다.

4. 로봇 내부와 시설 전체로 확장되는 안전

로봇 분야의 NVIDIA IGX Thor는 가속 컴퓨팅과 기능 안전을 결합한 산업용 모듈로, 전용 Functional Safety Island를 갖추고 IEC 61508·ISO 13849 등의 표준에 따라 개발되는 시스템을 지원하도록 설계됐다. Halos Core for IGX는 고장 감지·모니터링·보고와 함께 센서·액추에이터·기타 안전 구성요소를 연결하는 통신 및 처리 기능을 제공한다. Holoscan Sensor Bridge는 센서 데이터를 AI 및 안전 관련 처리에 연결해 유효하지 않은 정보를 식별하고 정의된 안전 대응을 실행하도록 돕는다. Isaac Lab과 Omniverse 라이브러리는 관련 조건과 예외 상황에서 로봇 행동을 시험해 실제 환경 검증을 보완한다. 오픈소스 NVIDIA Halos Outside-In Safety Blueprint는 외부 카메라와 비전 AI 에이전트를 이용해 탑재 센서 밖으로 인지 범위를 넓히고 시설 수준 모니터링과 기능 안전 활용을 지원한다. 자율주행차와 로봇에 공통으로 적용되는 NVIDIA Halos AI Systems Inspection Lab은 안전·사이버보안·AI 안전 요구사항을 반복 가능한 검사로 전환하고 제3자 기관의 최종 시스템 인증 준비를 돕는다.

5. 차량·로봇 기업과 공급업체의 참여

Halos 생태계는 제품 개발사뿐 아니라 소프트웨어·임베디드 시스템 공급업체, 센서·반도체 기업, 안전 솔루션 개발사와 인증기관을 연결한다. 자율주행 분야에서는 Geely·Isuzu·Wayve 소프트웨어를 사용하는 Nissan·Einride가 Halos OS의 지원을 받아 NVIDIA Hyperion 기반의 레벨 4 대응 차량을 개발하고 있으며, Uber·Grab·Lyft 등도 Hyperion으로 로보택시 개발과 배포를 확대하고 있다. 검사 연구소 회원에는 AUMOVIO·Bosch·Gatik·Hesai·Lucid·MIRA·onsemi·PlusAI·Sony·Valeo·Wayve가 포함되며, 이들은 자율주행 개발부터 센서·반도체·검증·안전 보증까지 여러 영역에 걸쳐 있다. 로봇 분야에서는 acontis와 QNX가 안전 기능의 예측 가능한 실행을 위한 임베디드 소프트웨어를 제공하고, Advantech와 NexCOBOT이 안전을 고려한 NVIDIA IGX 시스템을 구축한다. Infineon·NXP·STMicroelectronics·Texas Instruments는 센서와 안전 마이크로컨트롤러 등 반도체 기술을 제공한다. KION Group은 자율주행 지게차용 기능 안전 에이전트를 개발하고 있으며, Agility는 Digit 5 휴머노이드의 안전 시스템에 NVIDIA IGX Thor와 Halos Core를 통합하고 있다.

6. 독립 평가의 범위와 최종 인증의 구분

자율주행 분야에서 TÜV SÜD는 NVIDIA의 Automotive Product Lifecycle 소프트웨어 프로세스와 DriveOS 6.0을 ISO 26262 ASIL D에 따라 인증했으며, 자동차 엔지니어링 프로세스도 ISO/SAE 21434에 따라 인증했다. TÜV Rheinland는 NVIDIA DRIVE AV에 대해 독립적인 UNECE 안전 평가를 수행했다. 로봇 분야에서는 TÜV SÜD의 Thor SoC·Halos Core에 대한 ISO 26262 검사를 토대로, TÜV Rheinland가 NVIDIA IGX Thor·Halos OS·Holoscan Sensor Bridge의 기능 안전 인증 준비도를 검사하고 있다. ANAB는 NVIDIA Halos AI Systems Inspection Lab을 ISO/IEC 17020 검사기관으로 인정했으며, 이 연구소는 정해진 범위의 Halos 통합 구성을 검사하고 독립된 제3자 기관의 최종 인증 준비를 지원한다. 따라서 완료된 인증, 독립 평가, 인증 준비도 검사와 검사기관 인정은 각각의 대상과 범위에 맞춰 이해해야 한다. 원문은 실제 환경에서 평가·인증·배포되고 신뢰받을 수 있도록 처음부터 기능 안전을 설계하는 것이 시제품과 확장 가능한 솔루션을 가르는 조건이라고 결론짓는다.

🧾 핵심 주장 / 시사점

• 피지컬 AI의 확장 능력은 성능뿐 아니라 변화하는 운영 환경과 AI 행동에 대한 안전 근거를 지속적으로 제시할 수 있는지에 달려 있다는 것이 원문의 핵심 주장이다.
• NVIDIA Halos의 공통 안전 원칙이 자율주행차와 로봇의 표준·입증 자료까지 동일하게 만든다는 뜻은 아니며, 분야별 검증이 필요하다.
• 구성요소의 인증이나 검사기관의 인정은 최종 시스템 인증과 범위가 다르므로, 생태계의 평가 실적을 해석할 때 이 구분이 중요하다.

✅ 액션 아이템

• 소프트웨어·모델 업데이트와 운영 조건 변화가 추가 안전 평가를 요구하는지 검토.
• NVIDIA Halos 적용 시 자율주행차와 로봇 각각의 표준·입증 자료에 맞춰 수명주기 전반의 검증 범위를 구체화.
• 구성요소 인증·인증 준비도 검사·검사기관 인정의 범위를 구분하고 최종 시스템 인증에 필요한 안전 근거를 확인.

❓ 열린 질문

• 소프트웨어·모델 업데이트와 운영 조건 변화 중 어떤 변경이 추가 안전 평가를 요구하는가?
• NVIDIA Halos의 공통 안전 원칙을 적용할 때 자율주행차와 로봇의 표준·입증 자료는 구체적으로 어떻게 달라지는가?
• 구성요소 인증과 인증 준비도 검사 이후 최종 시스템 인증까지 어떤 안전 근거가 추가로 필요한가?