Bringing Robotics AI to Embedded Platforms: Dataset Recording, VLA Fine‑Tuning, and On‑Device Optimizations

🖼️ 인포그래픽

Bringing Robotics AI to Embedded Platforms: Dataset Recording, VLA Fine‑Tuning, and On‑Device Optimizations 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NXP는 로봇 VLA를 임베디드 플랫폼에 배포하기 위해 신뢰도 높은 데이터셋 수집, ACT·SmolVLA 미세조정, i.MX 95에서의 모델 분해·양자화·비동기 추론 최적화가 함께 필요하다고 설명한다.

📌 핵심 요약

글은 VLM에서 VLA로 이어진 멀티모달 모델 발전을 로봇 행동 생성으로 확장하면서도, 임베디드 로봇 플랫폼에서는 연산량, 메모리, 전력, 실시간 제어 요구 때문에 단순 압축만으로는 배포가 어렵다고 설명한다.
데이터셋 수집에서는 많은 데이터보다 일관된 데이터가 중요하며, 고정 카메라, 통제된 조명, 강한 대비, 고정 캘리브레이션, 런타임에서 접근 가능한 입력만 사용하는 원칙을 강조한다.
저자들은 ‘티백을 머그에 넣기’ 과제를 예로 들어 상단·그리퍼·좌측의 3개 카메라를 사용했고, 특히 그리퍼 카메라가 정밀 조작 성공률과 올바른 데이터 수집 관행에 도움이 된다고 설명한다.
미세조정에서는 120개 에피소드, 10개 클러스터, 3개 카메라, 검증용 클러스터 제외 등의 설정을 사용했으며, ACT는 100k~160k 단계에서 정확도·일반화·움직임 부드러움의 균형이 좋았고 SmolVLA는 더 긴 학습 후의 평가가 필요했다고 정리한다.
i.MX 95 최적화에서는 SmolVLA를 비전, LLM 백본, 액션 익스퍼트로 나누고 블록별 양자화와 비동기 추론을 적용했으며, ACT는 FP32 2.86초에서 최적화 후 0.32초까지 지연을 줄였지만 검증 정확도는 낮아지는 트레이드오프를 보였다.

🧩 주요 포인트

글은 VLM에서 VLA로 이어진 멀티모달 모델 발전을 로봇 행동 생성으로 확장하면서도, 임베디드 로봇 플랫폼에서는 연산량, 메모리, 전력, 실시간 제어 요구 때문에 단순 압축만으로는 배포가 어렵다고 설명한다.
데이터셋 수집에서는 많은 데이터보다 일관된 데이터가 중요하며, 고정 카메라, 통제된 조명, 강한 대비, 고정 캘리브레이션, 런타임에서 접근 가능한 입력만 사용하는 원칙을 강조한다.
저자들은 ‘티백을 머그에 넣기’ 과제를 예로 들어 상단·그리퍼·좌측의 3개 카메라를 사용했고, 특히 그리퍼 카메라가 정밀 조작 성공률과 올바른 데이터 수집 관행에 도움이 된다고 설명한다.
미세조정에서는 120개 에피소드, 10개 클러스터, 3개 카메라, 검증용 클러스터 제외 등의 설정을 사용했으며, ACT는 100k~160k 단계에서 정확도·일반화·움직임 부드러움의 균형이 좋았고 SmolVLA는 더 긴 학습 후의 평가가 필요했다고 정리한다.
i.MX 95 최적화에서는 SmolVLA를 비전, LLM 백본, 액션 익스퍼트로 나누고 블록별 양자화와 비동기 추론을 적용했으며, ACT는 FP32 2.86초에서 최적화 후 0.32초까지 지연을 줄였지만 검증 정확도는 낮아지는 트레이드오프를 보였다.

🧠 상세 정리

1. 임베디드 로봇에서 VLA 배포가 어려운 이유

글은 대규모 언어 모델이 텍스트 추론을 넘어 시각을 통합한 VLM, 나아가 로봇 행동을 생성하는 VLA로 발전했다고 출발한다. 그러나 이러한 모델을 임베디드 로봇 플랫폼에 올리는 일은 연산, 메모리, 전력 제약과 실시간 제어 요구 때문에 어렵다. 특히 동기식 제어 파이프라인에서는 모델이 추론하는 동안 로봇 팔이 명령을 기다리며 멈춰 있게 되고, 그 결과 움직임이 끊기거나 보정이 늦어질 수 있다. 저자들은 VLA 배포를 단순한 모델 압축 문제가 아니라, 아키텍처 분해, 지연 시간 인식 스케줄링, 하드웨어에 맞춘 실행이 필요한 시스템 엔지니어링 문제로 규정한다.

2. 비동기 추론과 시간 예산의 핵심 조건

저자들은 동기식 제어의 문제를 완화하기 위한 방법으로 비동기 추론을 제시한다. 비동기 방식에서는 로봇이 현재 액션 청크를 실행하는 동안 다음 청크가 동시에 계산되므로, 움직임이 더 부드럽고 연속적으로 이어질 수 있다. 다만 이 방식이 효과적이려면 전체 추론 지연 시간이 액션 실행 시간보다 짧아야 한다. 즉, 추론 시간이 실행 시간보다 길면 다음 행동을 제때 공급하지 못해 제어 품질이 떨어질 수 있다. 이 시간 제약은 모델 처리량의 상한을 정하며, 임베디드 환경에서는 최적화 목표가 단순 속도 향상을 넘어 제어 주기와 직접 연결된다.

3. 데이터셋 기록에서 일관성이 우선되는 이유

데이터셋 수집 섹션은 ‘더 많지만 지저분한 데이터’보다 품질 높고 일관된 데이터가 낫다는 원칙을 강조한다. 예시 과제는 ‘티백을 머그에 넣기’이며, 저자들은 카메라를 단단히 고정해 자세 변화가 생기지 않도록 해야 한다고 설명한다. 로봇 진동이나 환경 재설정 때문에 카메라가 움직이면 정확도가 크게 떨어질 수 있기 때문이다. 조명도 고정 광원 중심으로 통제하고, 시간에 따라 변하는 햇빛의 영향을 줄여야 한다. 또한 팔, 물체, 배경 사이의 대비를 높이고, 로봇과 원격 조작기 캘리브레이션 백업을 보관해 코드 오류가 나더라도 이전 에피소드를 다시 기록하지 않도록 해야 한다.

4. 런타임과 동일한 관찰 조건을 유지하는 수집 원칙

저자들은 데이터 기록 중 모델이 추론 시 접근할 수 없는 정보를 사용하지 말라고 명확히 경고한다. 작업자가 실제 장면을 직접 눈으로 보며 조작하면, 데이터셋에는 없는 추가 정보가 수집 과정에 들어가게 된다. 이는 학습된 정책이 런타임에서 사용할 수 없는 단서를 전제로 행동하게 만들 수 있다. 따라서 데이터셋 수집은 실제 정책 실행 시 제공될 카메라 입력에만 의존해야 한다. 이 원칙은 단순한 형식상의 제약이 아니라, 훈련 환경과 배포 환경 사이의 차이를 줄이기 위한 핵심 조건으로 제시된다.

5. 그리퍼 카메라와 간단한 하드웨어 개선의 효과

저자들은 장면만 보는 카메라에서 여러 시점을 혼합하는 방식으로 바꾸면 전반적인 정확도가 높아질 수 있다고 설명한다. 다만 카메라 수가 늘어날수록 지연 시간에도 영향을 주기 때문에 적절한 절충이 필요하며, 이 사례에서는 상단, 그리퍼, 좌측의 3개 카메라를 사용했다. 상단 카메라는 전체 장면을 보고, 그리퍼 카메라는 정밀 파지와 정렬에 가까운 시점을 제공하며, 좌측 카메라는 높이와 깊이 정보를 보완한다. 특히 그리퍼 장착 카메라는 미세 조작 작업에서 성공률을 꾸준히 높이고, 작업자가 로봇의 시각 입력만 사용하도록 유도하는 데 가장 효과적이라고 설명한다. 케이블은 벨크로나 스트레인 릴리프 가이드로 고정해 시야를 가리거나 동작 중 분리되지 않도록 해야 한다.

6. 다양성, 검증 분리, 복구 에피소드 설계

데이터 다양성 측면에서는 작업 공간을 시작 위치 클러스터로 나누고, 각 클러스터당 최소 10개 에피소드를 기록하라고 권한다. 예시에서는 로봇 팔의 도달 가능한 작업 공간을 10×10cm 크기의 11개 클러스터로 나누었고, 물체의 위치와 회전을 바꿔 다양성을 추가했다. 정책이 학습 데이터에 쉽게 과적합될 수 있으므로 훈련 세트와 검증 세트를 분리해야 하며, 이 사례에서는 6번 클러스터를 훈련에서 제외해 검증에 사용했다. 작은 VLA 모델은 보지 못한 움직임에 대한 일반화가 제한되므로 가능한 넓은 자유도 범위의 움직임을 기록해야 한다. 또한 정책이 처음에 물체에 도달하지 못하고 다시 접근해야 하는 경우를 대비해 전체 에피소드의 약 20%를 복구 에피소드로 구성하면 전체 성공률 향상에 도움이 된다고 보고한다.

7. ACT와 SmolVLA 미세조정에서의 실제 설정

미세조정 실험의 과제는 ‘티백을 집어 머그에 넣기’였고, 데이터셋은 120개 에피소드로 구성됐다. 구체적으로 10개 클러스터마다 10개의 서로 다른 티백 시작 위치와 2개의 복구 에피소드가 포함됐으며, 상단·그리퍼·좌측 3개 카메라가 640×480 해상도와 30fps로 사용됐다. 6번 클러스터는 검증용으로 제외했고, 배치 크기는 8이었다. 학습에서는 200k 단계 이후 검증 손실이 가장 낮은 체크포인트를 선택했지만, 저자들은 최종 체크포인트를 훈련 손실만으로 고르지 말고 훈련 세트와 검증 세트의 성공률로 평가해야 한다고 강조한다. ACT는 100개 액션 청크 기준으로 100k~160k 단계에서 정확도, 일반화, 움직임 부드러움의 균형이 좋았고, SmolVLA는 50개 액션 청크 기준으로 더 많은 학습 단계 후에 균형이 나타났다.

8. i.MX 95에서의 분해, 양자화, 성능 결과

i.MX 95 SoC는 Arm Cortex-A55 6개, Cortex-M7, Cortex-M33 MCU, Mali GPU, NXP ISP, eIQ Neutron NPU를 통합한 엣지 추론용 프로세서로 소개된다. 저자들은 SmolVLA를 단일 거대 그래프로 실행하지 않고 비전, LLM 백본, 액션 익스퍼트로 나누어 각 블록을 별도로 최적화하고 배치했다. 비전 인코더와 LLM 프리필 양자화는 정확도 영향이 제한적이었지만, 액션 익스퍼트의 반복적 디노이징 흐름을 양자화하면 오류가 누적되어 성능이 크게 저하됐다고 설명한다. 결과 표에서 ACT ONNX FP32는 i.MX 95에서 2.86초 지연, 테스트 정확도 1.00, 검증 정확도 0.90, 전체 정확도 0.96을 기록했다. ACT 최적화 버전은 지연이 0.32초로 줄었지만 검증 정확도는 0.60, 전체 정확도는 0.89였고, SmolVLA ONNX FP32는 29.1초 지연과 전체 정확도 0.47을 보였다.

9. 다음 단계와 재사용 가능한 체크리스트

마지막으로 저자들은 SmolVLA ONNX FP32의 작업 정확도를 개선하는 것을 즉각적인 목표로 제시한다. 이미 기준선을 만들었고, 온보드 최적화 추론 지연 시간 6.15초를 측정했다고 밝힌다. 다음 단계는 NPU에서 더 깊은 최적화를 수행하는 동시에 단일 과제에서 더 긴 지평의 복잡한 시나리오로 이동하는 것이다. 이를 위해 확장 가능한 데이터 생성과 벤치마킹을 위한 시뮬레이션 환경, 정책 개선을 위한 강화학습, 실제 환경과의 격차를 줄이기 위한 시뮬레이션-투-리얼 전이를 도입하겠다고 한다. 체크리스트는 고정 마운트, 카메라 초점과 조명, 그리퍼 파지, 캘리브레이션 백업, 대비 확인, 20k 단계마다 체크포인트 저장, 검증 세트와 정확도·지연 추적 방식 준비 등을 포함한다.

🧾 핵심 주장 / 시사점

임베디드 VLA 배포의 병목은 모델 크기만이 아니라 제어 루프의 시간 예산이며, 추론 지연이 액션 실행 시간보다 짧아야 비동기 추론의 이점이 실제 로봇 동작으로 이어진다.
데이터 품질은 카메라 고정, 조명, 대비, 캘리브레이션, 런타임과 동일한 관찰 조건처럼 물리적 수집 절차에 크게 좌우되며, 그리퍼 카메라는 정밀 조작과 올바른 수집 습관을 동시에 강화한다.
블록별 분해와 선택적 양자화는 지연 시간을 크게 줄일 수 있지만, 반복 디노이징을 수행하는 액션 익스퍼트처럼 오류가 누적되는 부분은 높은 정밀도를 유지해야 안정성과 정확도를 보존할 수 있다.

✅ 액션 아이템

임베디드 로봇 배포를 전제로 계산량·메모리·전력·실시간 제어 기준을 정하고, SmolVLA 분해·양자화·비동기 추론 경로를 함께 설계한다.
데이터 수집은 샘플 수보다 일관성에 집중하고, 고정 카메라·통제 조명·강한 대비·고정 캘리브레이션 및 런타임 접근 입력 제한 조건을 적용한다.
액션 미세조정은 120개 에피소드, 10개 클러스터, 3개 카메라 구성을 기준으로 ACT 100k~160k step 영역에서 정확도·일반화·움직임 부드러움을 점검한다.