OlmoEarth v1.1: A more efficient family of Earth observation models

🖼️ 인포그래픽

OlmoEarth v1.1: A more efficient family of Earth observation models 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OlmoEarth v1.1은 위성영상 토큰의 해상도별 분리를 통합하고 사전학습 방식을 조정해 기존 성능을 대체로 유지하면서 연산 비용을 최대 3분의 1로 줄인 지구관측 모델 제품군이다.

📌 핵심 요약

OlmoEarth v1.1은 맹그로브 변화 추적, 산림 손실 원인 분류, 국가 규모 작물 유형 지도 제작 등 대규모 지구관측 작업의 연산 비용을 낮추기 위해 개발됐다.
트랜스포머의 연산 비용이 토큰 시퀀스 길이에 따라 제곱으로 증가한다는 점에 착안해, 모델 크기뿐 아니라 입력 토큰 수를 줄이는 방향으로 효율을 개선했다.
기존 방식은 Sentinel-2 영상의 각 공간 패치와 시점마다 10m·20m·60m 해상도별 토큰을 만들었지만, v1.1은 모든 밴드를 하나의 토큰으로 통합해 토큰 수를 3분의 1로 줄였다.
단순한 토큰 통합은 m-eurosat kNN에서 10%포인트의 성능 하락을 일으켰으나, 사전학습 절차를 수정해 연산량을 줄이면서 기존 모델과 유사한 수준의 성능을 달성했다.
동일한 데이터셋으로 v1과 v1.1을 학습해 방법론적 변경의 효과를 분리했으며, Base·Tiny·Nano 모델의 가중치와 학습 코드를 공개했다.

🧩 주요 포인트

OlmoEarth v1.1은 맹그로브 변화 추적, 산림 손실 원인 분류, 국가 규모 작물 유형 지도 제작 등 대규모 지구관측 작업의 연산 비용을 낮추기 위해 개발됐다.
트랜스포머의 연산 비용이 토큰 시퀀스 길이에 따라 제곱으로 증가한다는 점에 착안해, 모델 크기뿐 아니라 입력 토큰 수를 줄이는 방향으로 효율을 개선했다.
기존 방식은 Sentinel-2 영상의 각 공간 패치와 시점마다 10m·20m·60m 해상도별 토큰을 만들었지만, v1.1은 모든 밴드를 하나의 토큰으로 통합해 토큰 수를 3분의 1로 줄였다.
단순한 토큰 통합은 m-eurosat kNN에서 10%포인트의 성능 하락을 일으켰으나, 사전학습 절차를 수정해 연산량을 줄이면서 기존 모델과 유사한 수준의 성능을 달성했다.
동일한 데이터셋으로 v1과 v1.1을 학습해 방법론적 변경의 효과를 분리했으며, Base·Tiny·Nano 모델의 가중치와 학습 코드를 공개했다.

🧠 상세 정리

1. 대규모 지구관측에서 효율성이 중요한 이유

Ai2는 2025년 11월 공개한 OlmoEarth v1이 맹그로브 변화 추적, 산림 손실 원인 분류, 국가 규모 작물 유형 지도 제작 등에 활용됐다고 설명한다. 이러한 작업은 국가·대륙·전 지구 규모로 확장될 수 있으며, 수만에서 수십만 제곱킬로미터의 위성영상을 처리해야 한다. 데이터 내보내기, 전처리, 추론, 후처리로 이어지는 전체 실행 과정에서는 연산이 가장 큰 비용을 차지한다. 따라서 모델의 연산 효율을 높이면 OlmoEarth Platform에서 더 많은 협력 기관을 지원할 수 있고, 자체 환경에서 모델을 운영하는 조직도 더 빠르고 저렴하게 기술을 활용할 수 있다. OlmoEarth v1.1은 이 비용 문제를 해결하면서 연구 벤치마크와 협력 기관의 실제 과제에서 v1의 성능을 유지하는 것을 목표로 개발됐다.

2. 토큰 시퀀스 길이를 줄이는 효율화 전략

OlmoEarth는 원격탐사 데이터를 트랜스포머가 처리할 수 있는 토큰 시퀀스로 변환하는 모델이다. 트랜스포머의 효율을 좌우하는 주요 요소는 모델 크기와 토큰 시퀀스 길이이며, 여러 크기의 모델을 제공하는 이유도 사용자가 연산 예산에 맞는 구성을 선택하도록 하기 위해서다. 특히 연산 비용은 토큰 시퀀스 길이에 대해 제곱으로 증가하므로, 토큰 수를 조금만 줄여도 실행 비용을 의미 있게 낮출 수 있다. 글에서는 한 번의 순전파에 필요한 계산량을 추정하는 MACs가 낮을수록 일반적으로 추론이 더 빠르고 저렴하다고 설명한다. v1.1의 핵심은 모델 규모를 무조건 축소하는 것이 아니라, 원격탐사 입력을 표현하는 토큰의 구조를 재설계해 시퀀스 자체를 짧게 만드는 데 있다.

3. 기존 Sentinel-2 토큰화 방식

Sentinel-2 입력은 위도와 경도 방향의 픽셀을 나타내는 높이 H와 너비 W, 시간축 T, 그리고 12개 채널 D로 구성된 텐서로 표현된다. 기존 OlmoEarth는 공간 패치 크기 p를 정한 뒤 전체 영상을 p×p 단위로 나누고, 각 패치에서 시점과 해상도별로 별도의 토큰을 만든다. Sentinel-2에는 10m, 20m, 60m의 세 해상도가 있으므로 시점이 두 개라면 패치 하나당 2×3인 여섯 개의 토큰이 생성된다. 전체 입력의 토큰 수는 H/p×W/p×T×3으로 계산되며, 공간 범위와 시점 수가 늘어날수록 토큰 수가 곱셈 방식으로 증가한다. 해상도마다 독립된 토큰을 사용하는 접근은 Galileo와 SatMAE에서도 채택됐고, SatMAE에서는 이 방식이 성능을 크게 높인 것으로 보고됐다.

4. 해상도 통합의 이점과 초기 성능 저하

모든 모델이 해상도별 토큰을 사용하는 것은 아니며, CROMA는 해상도와 관계없이 모든 밴드를 하나의 토큰으로 처리한다. OlmoEarth에서도 세 해상도를 단일 토큰으로 합치면 기존 방식보다 토큰 수를 세 배 줄일 수 있고, 이에 따라 사전학습·미세조정·추론 전 단계의 연산량을 절감할 수 있다. 그러나 토큰을 단순히 합치는 방식은 성능을 그대로 보존하지 못했다. 원격탐사 모델의 일반적인 벤치마크인 m-eurosat kNN에서 10%포인트의 성능 하락이 나타났다. 연구진은 Sentinel-2 밴드를 서로 다른 토큰으로 분리하는 구조가 모델이 중요한 밴드 간 관계를 학습하는 데 도움을 주기 때문일 수 있다고 보았으며, 성능 저하 없이 토큰을 통합하려면 사전학습 절차까지 함께 변경해야 한다고 판단했다.

5. 사전학습 변경과 개발자를 위한 결과

연구진은 토큰 통합으로 발생한 성능 저하를 해결하기 위해 사전학습 방식을 수정했으며, 구체적인 변경 내용은 기술 보고서에 제시했다. 그 결과 OlmoEarth v1.1은 모든 모델 크기에서 v1보다 최대 세 배 저렴하게 실행되면서, 연구 벤치마크와 협력 기관이 구성한 과제에서 대체로 유사한 성능을 제공한다. 필요한 연산량은 기존 모델의 약 3분의 1이므로, 빈번한 전 지구 규모 지도 갱신과 대규모 미세조정 및 추론의 비용을 낮출 수 있다. 기존 OlmoEarth 사용자는 자신의 과제에서 v1.1을 시험해 보고, 적합할 경우 미세조정과 추론 과정에서 상당한 속도 향상을 얻을 수 있다. 다만 연구진은 일부 과제에서 성능 퇴행을 관찰했다고 명시했으므로, 모든 사용 사례에서 기존 모델을 자동으로 대체할 수 있다고 단정하지 않고 기술 보고서의 세부 결과를 확인하도록 안내한다.

6. 연구 비교의 통제와 공개 자료

사전학습된 원격탐사 모델은 아키텍처, 학습 데이터셋, 사전학습 알고리즘 등 조정 가능한 요소가 많아 성능 변화의 원인을 분리하기 어렵다. OlmoEarth v1.1은 v1과 동일한 데이터셋으로 학습됐기 때문에, 두 버전의 차이는 데이터 변경이 아니라 토큰 설계와 사전학습 방법론의 변화에 초점을 맞춰 비교할 수 있다. 연구진은 이 통제된 비교가 원격탐사 모델 사전학습의 과학적 원리를 이해하는 데 기여하기를 기대한다. 또한 사용자가 결과를 재현하고 모델을 실제 과제에 적용할 수 있도록 모델 가중치와 학습 코드를 공개했다. 공개 범위에는 서로 다른 연산 예산에 대응하는 Base, Tiny, Nano 모델의 가중치가 포함되며, 모델 모음과 기술 보고서 및 사전학습 코드 저장소도 함께 제공된다.

🧾 핵심 주장 / 시사점

v1.1의 효율 향상은 단순한 모델 축소가 아니라, 연산 비용이 시퀀스 길이의 제곱에 비례하는 트랜스포머의 특성을 이용해 토큰 수를 직접 줄인 결과다.
해상도별 토큰을 하나로 합치는 것만으로는 성능을 유지할 수 없었으며, 토큰 표현과 사전학습 알고리즘을 함께 설계해야 연산 절감과 정확도 유지가 양립했다.
v1과 v1.1이 동일한 데이터셋을 사용하므로 방법론적 변화의 효과를 비교하기에 유리하지만, 일부 과제에서는 성능 퇴행이 확인돼 실제 적용 전 과제별 검증이 필요하다.