🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

L2D는 독일 30개 도시의 운전학원 차량 60대에서 수집한 5,000시간 이상·90테라바이트 이상의 주행 기록을 자연어 지시, 미래 경로점, 차량 제어, 환경 정보와 결합한 대규모 오픈소스 자율주행 데이터셋이다.

📌 핵심 요약

• L2D R4는 100만 개 에피소드, 5,000시간 이상의 주행, 90테라바이트 이상의 데이터를 제공하며, 6대의 주변 카메라와 GPS·IMU·CAN 기반 차량 상태를 함께 포함한다.
• 데이터는 독일 30개 도시의 운전학원 전기차 60대에서 3년에 걸쳐 동일한 센서 구성으로 수집됐고, 운전 강사의 전문가 정책과 학습 운전자의 학생 정책으로 나뉜다.
• 각 에피소드에는 자연어 운전 지시와 독일·유럽 운전 과제 체계에서 파생한 작업 식별자가 부여되며, 앞으로 100미터 구간의 경로점 10개도 제공된다.
• 가속·제동·조향 같은 연속 행동과 기어·방향지시등 같은 이산 행동뿐 아니라 차선 수, 도로 유형, 노면, 제한속도, 강수, 날씨, 조명 조건까지 시간축에 맞춰 정렬한다.
• 원시 주행 기록은 오픈스트리트맵과 오픈소스 라우팅 머신을 이용한 지도 정합 및 경로 과제 부여를 거쳐 검색 가능한 에피소드로 구성되며, LeRobot 학습 파이프라인에서 종단간 공간지능 모델을 훈련하는 데 초점을 둔다.

🧩 주요 포인트

1. L2D R4는 100만 개 에피소드, 5,000시간 이상의 주행, 90테라바이트 이상의 데이터를 제공하며, 6대의 주변 카메라와 GPS·IMU·CAN 기반 차량 상태를 함께 포함한다.
2. 데이터는 독일 30개 도시의 운전학원 전기차 60대에서 3년에 걸쳐 동일한 센서 구성으로 수집됐고, 운전 강사의 전문가 정책과 학습 운전자의 학생 정책으로 나뉜다.
3. 각 에피소드에는 자연어 운전 지시와 독일·유럽 운전 과제 체계에서 파생한 작업 식별자가 부여되며, 앞으로 100미터 구간의 경로점 10개도 제공된다.
4. 가속·제동·조향 같은 연속 행동과 기어·방향지시등 같은 이산 행동뿐 아니라 차선 수, 도로 유형, 노면, 제한속도, 강수, 날씨, 조명 조건까지 시간축에 맞춰 정렬한다.
5. 원시 주행 기록은 오픈스트리트맵과 오픈소스 라우팅 머신을 이용한 지도 정합 및 경로 과제 부여를 거쳐 검색 가능한 에피소드로 구성되며, LeRobot 학습 파이프라인에서 종단간 공간지능 모델을 훈련하는 데 초점을 둔다.

🧠 상세 정리

1. L2D의 규모와 공개 목적

L2D는 자동차 영역의 오픈소스 공간지능 구축을 목표로 Yaak과 허깅페이스의 LeRobot 팀이 공개한 대규모 멀티모달 자율주행 데이터셋이다. R4 기준으로 100만 개 에피소드, 5,000시간 이상의 주행, 90테라바이트 이상의 데이터를 포함하며, 원문은 이를 세계 최대 규모의 오픈소스 자율주행 데이터셋으로 소개한다. 비교표에 제시된 WAYMO, NuScenes, MAN, ZOD, COMMA의 공개 데이터보다 에피소드 수와 주행 시간에서 훨씬 큰 규모이며, 관측뿐 아니라 행동과 과제 지시까지 함께 제공하는 점을 강조한다. 이 데이터셋은 인터넷 이미지·텍스트 말뭉치가 시각언어모델과 대규모 언어모델의 발전을 촉진했던 것처럼, 로봇 및 자동차 분야에서도 고품질 대규모 멀티모달 데이터 부족을 해소하려는 시도다. 또한 전체 1페타바이트 이상의 수집 데이터에서 새로운 에피소드를 검색하고, 검토 대기열을 거쳐 향후 R5 이후 릴리스에 포함하도록 제안할 수 있는 공개적 확장 방식도 제시한다.

2. 운전학원 차량을 이용한 일관된 수집

L2D의 원천 데이터는 독일 30개 도시에서 운행된 운전학원 차량 60대로부터 3년에 걸쳐 수집됐다. 차량은 모두 KIA e-Niro 전기차이며 동일한 센서 구성을 사용했기 때문에, 서로 다른 지역과 운전자를 포괄하면서도 센서 차이로 인한 불일치를 줄인 데이터 구조를 갖는다. 수집 대상은 운전 강사가 차량을 조작한 전문가 정책과 학습 운전자가 조작한 학생 정책으로 구분되며, 두 집단은 같은 지역과 유사한 운전 과제를 다룬다. 운전 과제는 고속도로에서의 고속 차선 변경부터 좁은 보행자 구역 통과, 추월, 회전교차로, 철도 건널목까지 독일과 유럽의 면허 취득 과정에서 요구되는 시나리오를 포함한다. 여기에 공사 구간, 센서 고장, 작동하지 않는 교통신호와 다양한 환경 조건까지 포함해 실제 차량 운용에서 나타나는 상황의 폭을 넓혔다.

3. 전문가 정책과 학생 정책의 병렬 구성

전문가 정책은 최소 1만 시간 이상 학습 운전자를 지도한 운전 강사가 직접 차량을 조작할 때 수집됐으며, 원문에서는 운전 실수가 없는 최적 정책으로 간주한다. 학생 정책은 운전 경험이 약 10시간에서 50시간인 학습 운전자에게서 수집됐고, 경험 차이에 따라 조향과 판단의 비최적성이 실제 기록에 나타난다. 예시에서는 마주 오는 트럭의 차선으로 진입하지 않기 위해 조향을 급격하게 수정한 학생 운전이 제시되며, 이를 부드럽지 못한 조향 처리로 설명한다. 두 정책 집단은 동일한 종류의 운전 과제를 수행하므로 같은 상황에서 숙련된 행동과 비숙련 행동을 나란히 다룰 수 있고, 유사한 시나리오에는 동일한 과제 식별자가 사용된다. R3 이후 릴리스에서는 학생 정책의 비최적 행동에 대해 ‘마주 오는 차량 근처에서의 부정확하고 급격한 조향’과 같은 자연어 이유도 포함하도록 구성됐다.

4. 카메라·차량 상태·행동을 결합한 멀티모달 기록

각 차량에는 주변을 360도로 포착하는 RGB 카메라 6대가 설치되고, GPS는 위치와 진행 방향을, IMU는 차량의 가속과 동역학을 기록한다. 차량의 CAN 인터페이스에서는 속도, 가속페달, 브레이크페달, 조향각, 방향지시등, 기어 상태를 읽어 관측과 실제 운전 행동을 함께 저장한다. 가속·제동·조향은 연속 행동으로, 방향지시등과 기어는 이산 행동으로 표현되며, 자연어 지시와 정책 유형도 에피소드의 과제 정보에 연결된다. 차선 수, 도로 유형, 노면 종류, 최고 제한속도와 함께 강수량, 눈·맑음·비 등의 날씨, 새벽·낮·해질녘의 조명 상태도 포함된다. 이처럼 영상만 수집하는 방식이 아니라 차량 상태, 제어 입력, 도로 맥락, 기상 조건을 동일한 시간축에서 제공해 종단간 주행 모델이 관측에서 행동으로 이어지는 관계를 학습하도록 설계됐다.

5. 시간 정렬과 10헤르츠 데이터 표준화

서로 다른 센서와 정보원은 각자의 유닉스 에포크 타임스탬프를 이용해 전방 좌측 카메라 영상에 맞춰 동기화됐다. 영상은 20밀리초 허용 범위에서 가장 가까운 값을 선택하고, 진행 방향·GPS는 50밀리초, 방향지시등·기어는 100밀리초, 도로 관련 상태는 500밀리초 범위에서 정렬하는 등 데이터 특성에 따라 서로 다른 기준이 적용된다. 속도, 가속도, 가속페달, 브레이크페달, 조향각처럼 연속적으로 변하는 값에는 가능한 경우 보간을 사용해 정밀도를 높였다. 강수·기상·조명처럼 상대적으로 천천히 변하는 조건은 한 시간 범위에서 가장 가까운 상태와 연결되며, 경로점은 거리 기준으로 정렬된다. 최종 데이터는 10헤르츠로 샘플링 빈도를 낮추고 LeRobotDataset v3.0 키 체계에 맞춰 영상, 상태, 행동, 언어 정보를 일관된 이름과 형태로 제공한다.

6. 운전 과제 체계와 자연어 지시

L2D는 독일의 공식 운전 과제 목록을 따라 주행 과제, 하위 과제, 과제 정의를 구분하고 모든 에피소드에 고유한 과제 식별자와 자연어 지시를 부여한다. 전체 에피소드의 공통 LeRobot 과제는 ‘교통 규칙과 규정을 준수하면서 경로점을 따라가라’는 내용으로 설정되지만, 개별 지시는 실제 장면에 맞게 달라진다. 예를 들어 주차된 배송 트럭을 피해 직진하면서 마주 오는 차량에 양보하기, 비보호 좌회전에서 직진 차량에 양보하기, 양보 표지까지 이동한 뒤 회전교차로의 첫 번째 출구로 나가기 같은 지시가 제시된다. 각 예시는 장애물 통과와 추월, 교차로 통과, 회전교차로 주행 등의 상위 과제와 우선권 규칙, 차로 수 같은 세부 정의에 연결된다. 전문가와 학생이 유사한 상황을 주행하면 동일한 과제 식별자를 공유하지만, 에피소드별 도로 배치와 진행 방향을 반영해 자연어 표현은 달라진다.

7. 지도 정합을 통한 미래 경로점 생성

자연어 지시와 미래 경로점은 차량의 GPS 위치, 오픈소스 라우팅 머신, 오픈스트리트맵과 언어모델을 결합한 자동 처리 과정으로 구축된다. 먼저 원시 GPS 궤적을 오픈스트리트맵 도로 그래프에 지도 정합하고, 일반적인 내비게이션의 단계별 안내와 가까운 형태로 주행 지시를 구성한다. 미래 경로점은 현재 차량 위치에서 앞으로 100미터에 해당하는 구간에 등간격으로 10개를 샘플링해 생성하며, 모델이 따라야 할 진행 경로로 사용된다. 원문에는 신호가 녹색으로 바뀌면 트램 선로를 건너 회전교차로를 통과하라는 지시와, 정지 표지까지 직진한 뒤 우선권을 확인하고 왼쪽의 이동 차량 흐름에 합류하라는 지시가 예시로 제시된다. 경로점은 조감도 형태로도 시각화되므로 여섯 방향의 카메라 영상, 현재 차량 위치, 앞으로 이동할 공간적 경로를 함께 확인할 수 있다.

8. 경로 의미 부여와 에피소드 검색·큐레이션

운전학원 차량에서 처음 수집된 멀티모달 로그에는 과제나 자연어 지시 정보가 없는 비정형 기록만 존재하므로, L2D는 검색과 큐레이션을 위해 별도의 의미 보강 과정을 수행한다. GPS 궤적을 오픈소스 라우팅 머신으로 지도 정합한 뒤 오픈스트리트맵의 노드와 길 태그를 연결하고, 경로 특징·제한·주행 기동을 경로 과제로 할당한다. 각 경로 과제에는 차량이 해당 지리적 선이나 지점에 진입하고 빠져나간 시점을 나타내는 시작·종료 타임스탬프가 붙으며, 양보 지점, 철도 건널목, 회전교차로 같은 사건을 주행 기록의 특정 구간과 연결한다. 이렇게 생성한 경로 과제를 이용해 전체 멀티모달 데이터에 의미론적·시공간적 색인을 만들고, 자연어로 설명된 운전 상황에 대응하는 대표 에피소드를 찾을 수 있도록 한다. 결과적으로 L2D는 대용량 로그를 단순 공개하는 데 그치지 않고, 특정 지리·도로 과제·행동 조건을 검색해 학습용 에피소드로 선별하고 향후 공개 데이터에 추가할 수 있는 구조를 제공한다.

🧾 핵심 주장 / 시사점

• 동일한 센서 구성과 동일한 과제 식별자를 적용한 전문가·학생 데이터는 같은 운전 상황에서 최적 행동과 알려진 비최적 행동을 함께 비교할 수 있게 한다.
• 자연어 지시, 미래 경로점, 차량 제어값, 환경 상태가 한 에피소드에 결합돼 있어 영상 인식뿐 아니라 지시 및 경로 조건에 따른 종단간 주행 행동 학습을 지원한다.
• 지도 정합과 시공간 색인은 1페타바이트가 넘는 비정형 원시 기록에서 회전교차로, 양보, 철도 건널목 같은 구체적인 주행 사건을 찾아 공개 에피소드로 큐레이션하는 기반이다.

✅ 액션 아이템

• L2D R4의 100만 에피소드·5천 시간·90TB 규모를 현재 학습 파이프라인 처리량과 대조해 도입 적합성을 산정한다.
• 전문가 정책과 학습자 정책으로 구분된 에피소드 분포를 분리 분석해 정책별 샘플 편향을 점검한다.
• 자연어 지시·경로점·차량 제어·환경 특성의 시간 정렬 일관성을 기준으로 전처리 스키마 정합성 점검 규칙을 정한다.

❓ 열린 질문

• 전문가 정책과 학습자 정책 레이블을 분리 학습했을 때 종단간 공간지능 성능이 실질적으로 얼마나 개선되는가?
• 30개 도시·3년 동안 동일 센서 구성으로 수집된 데이터가 지역·기상 분산성 문제를 충분히 반영하는가?
• OSM 정합과 오픈소스 라우팅 기반 100m 경로점 부여가 6대 카메라, GPS·IMU·CAN 연속/이산 제어 정보와 시간축 정합에서 유지되는 한계는 무엇인가?