🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 Vexcel의 다중 시점 항공 이미지를 자연어로 검색 가능한 지식 기반으로 만들기 위해 멀티모달 임베딩, LLM 캡션, 벡터 검색, OpenStreetMap 기반 평가를 조합한 실험과 아키텍처를 설명한다.

📌 핵심 요약

• 항공 이미지 검색은 보험, 부동산, 정부, 인프라, 농업처럼 지리공간 데이터를 쓰는 산업에서 반복적으로 필요한 문제지만, 기존 방식은 사람이 타일별로 보거나 질문마다 별도 컴퓨터 비전 모델을 학습해야 했다.
• Vexcel은 45개 이상 국가와 지역에서 자체 센서와 항공기를 통해 정사영상, 여러 방향의 사선 이미지, 고도 모델을 수집하며, 이 방대한 이미지를 실제 세계에 대한 답변으로 바꾸는 더 빠른 방법이 필요했다.
• 글은 Vexcel과 AWS Generative AI Innovation Center가 임베딩 모델, 다중 시점 융합 전략, LLM 캡션, 메타데이터 필터링, 검색 방식, OpenStreetMap 기반 자동 평가를 함께 검토한 과정을 다룬다.
• 지리공간 이미지는 한 위치가 단일 사진이 아니라 정사영상, 북·남·동·서 사선 이미지, DSM, DTM 등 최대 일곱 관점으로 구성되기 때문에, 어떤 관점을 어떻게 결합할지가 검색 품질의 핵심이 된다.
• 시스템은 AOI 지정, 이미지 수집, 임베딩 및 인덱싱, 자연어 검색, OpenStreetMap 정답 기반 평가의 5단계 파이프라인으로 구성되며, 각 구성요소를 바꿔 실험할 수 있도록 모듈식으로 설계됐다.

🧩 주요 포인트

1. 항공 이미지 검색은 보험, 부동산, 정부, 인프라, 농업처럼 지리공간 데이터를 쓰는 산업에서 반복적으로 필요한 문제지만, 기존 방식은 사람이 타일별로 보거나 질문마다 별도 컴퓨터 비전 모델을 학습해야 했다.
2. Vexcel은 45개 이상 국가와 지역에서 자체 센서와 항공기를 통해 정사영상, 여러 방향의 사선 이미지, 고도 모델을 수집하며, 이 방대한 이미지를 실제 세계에 대한 답변으로 바꾸는 더 빠른 방법이 필요했다.
3. 글은 Vexcel과 AWS Generative AI Innovation Center가 임베딩 모델, 다중 시점 융합 전략, LLM 캡션, 메타데이터 필터링, 검색 방식, OpenStreetMap 기반 자동 평가를 함께 검토한 과정을 다룬다.
4. 지리공간 이미지는 한 위치가 단일 사진이 아니라 정사영상, 북·남·동·서 사선 이미지, DSM, DTM 등 최대 일곱 관점으로 구성되기 때문에, 어떤 관점을 어떻게 결합할지가 검색 품질의 핵심이 된다.
5. 시스템은 AOI 지정, 이미지 수집, 임베딩 및 인덱싱, 자연어 검색, OpenStreetMap 정답 기반 평가의 5단계 파이프라인으로 구성되며, 각 구성요소를 바꿔 실험할 수 있도록 모듈식으로 설계됐다.

🧠 상세 정리

1. 문제의 출발점: 항공 이미지를 자연어로 검색하기

글은 방대한 항공 이미지 라이브러리를 자연어로 검색 가능한 지식 기반으로 바꾸는 문제에서 시작한다. 보험, 부동산, 정부, 인프라, 농업 등 지리공간 데이터를 쓰는 산업에서는 특정 지형, 구조물, 시설을 빠르게 찾아야 하는 수요가 많다. 기존 접근은 사람이 수많은 지도 타일을 하나씩 확인하거나, 새로운 질문이 생길 때마다 별도 컴퓨터 비전 모델을 학습하는 방식이었다. 멀티모달 임베딩, LLM 캡션, 벡터 검색은 한 번 색인한 뒤 자연어 질의로 결과를 찾는 대안으로 제시된다.

2. Vexcel 데이터와 협업의 배경

Vexcel은 세계적으로 큰 항공 이미지 프로그램을 운영하는 항공 이미지 및 지리공간 데이터 제공업체로 소개된다. 자체 센서와 전용 항공기 fleet을 이용해 45개 이상 국가와 지역에서 고해상도 데이터를 수집하며, 정사 모자이크 이미지, 여러 각도의 사선 이미지, 고도 모델을 제공한다. 데이터 자체는 이미 풍부하고 활용 사례도 많지만, 수십억 픽셀을 실제 세계에 대한 답으로 바꾸는 과정은 여전히 병목이었다. 이 협업은 그 병목을 줄이기 위해 임베딩 모델, 융합 전략, 캡션 통합, 검색 방법을 평가하는 데 초점을 맞췄다.

3. 기존 방식의 한계와 Vexcel의 선행 POC

고객이 교외 지역의 수영장을 찾거나, 개발 구역의 도로망을 식별하거나, 도시 전체의 태양광 패널을 세려면 기존에는 사람이 많은 이미지를 타일 단위로 살펴봐야 했다. 다른 방법은 각 기능마다 컴퓨터 비전 모델을 학습하는 것이지만, 이 경우 라벨 데이터, 엔지니어링 시간, 지속적인 재학습이 필요하다. Vexcel은 이미 세 가지 POC를 시도했는데, 이미지와 부동산 데이터를 결합한 에이전트 방식, 유사도 검색용 부동산 임베딩 시스템, LLM 캡션을 포함한 타일 기반 멀티모달 임베딩 파이프라인이 그것이다. 특히 세 번째 방식은 가능성을 보였지만 어떤 임베딩 모델을 쓸지, 여러 시점을 어떻게 처리할지, 캡션이 비용 대비 실제로 도움이 되는지라는 질문을 남겼다.

4. 지리공간 이미지 검색이 일반 사진 검색과 다른 이유

글은 지리공간 이미지 검색이 소비자 사진 검색과 근본적으로 다르다고 설명한다. 일반 이미지 검색에서 ‘swimming pool’을 찾으면 대개 단일 관점의 독립된 사진이 검색되지만, 항공 이미지는 하나의 위치가 여러 보완 관점으로 구성된다. 한 지도 타일에는 위에서 본 정사 RGB 이미지, 북·남·동·서 방향의 사선 사진, 구조물과 식생을 포함한 DSM, 맨땅 높이를 나타내는 DTM이 포함될 수 있다. 따라서 하나의 이미지 표현만으로는 장소의 일부 정보가 빠지고, 일곱 관점을 모두 쓰려면 이들을 결합하는 전략이 필요하다.

5. 일곱 관점이 드러내는 정보 차이

동일한 지리 위치라도 관점에 따라 보이는 정보는 크게 달라진다. 원문은 건물 전면의 키오스크 같은 창이 남쪽 사선 이미지에서만 보이고, 정사영상이나 다른 사선 이미지, 고도 모델에서는 보이지 않는 예를 든다. 반대로 DSM은 RGB 이미지에서 가려질 수 있는 나무 수관을 포착하고, DTM은 식생을 제거한 지형 높이를 보여준다. 이런 차이 때문에 임베딩 모델이 한 관점만 보면 불완전한 정보를 바탕으로 검색하게 되며, 여러 관점을 동시에 고려하는 설계가 검색 품질에 직접 영향을 준다.

6. 정답 데이터와 평가 기준의 어려움

소비자 이미지 검색에는 ImageNet, COCO, Open Images 같은 대규모 라벨 데이터셋이 있지만, 항공 이미지의 대규모 특징 탐지에는 같은 수준의 사전 라벨 말뭉치가 없다고 설명한다. 이 문제를 해결하기 위해 연구팀은 OpenStreetMap을 자동화된 ground truth 원천으로 삼았고, 이 선택이 평가 프레임워크 전체를 형성했다. 또한 ‘정답’의 의미도 모호했다. 예를 들어 수영장이 정사영상에는 보이지만 사선 이미지에는 보이지 않는 경우, 또는 그 반대의 경우를 어떻게 평가할지 정해야 했고, 타일 안에 하나 이상의 대상이 있으면 충분한지 모든 인스턴스를 세야 하는지도 별도 기준이 필요했다.

7. 연구 질문: 모델, 융합, 캡션, 메타데이터, 검색 방식

연구팀은 최적화 코드를 작성하기 전에 평가 harness를 먼저 만들었다고 밝힌다. 이는 측정 기준 없이 아키텍처를 고르면 모든 결정이 의견에 머물기 때문이라는 설명이다. 여섯 가지 핵심 질문은 항공 이미지를 가장 잘 이해하는 임베딩 모델, 일곱 이미지를 처리하는 융합 전략, LLM 생성 캡션의 검색 정확도 개선 여부, 캡션에서 추출한 메타데이터 필터의 효과, 특징 유형별 검색 전략, 공개 ground truth를 이용한 자동 평가 가능성으로 구성됐다. 평가 지역은 시카고 Grant Park였고, benchmark 질의는 ‘swimming pools’와 ‘roads’ 두 가지였으며 약 100개 구성을 테스트했다.

8. 5단계 파이프라인과 모듈식 설계

시스템은 다섯 단계 파이프라인으로 구성된다. 사용자가 지도에서 관심 영역 AOI를 polygon으로 지정하면 이를 Amazon S3에 저장하고, 이후 Vexcel API에서 AOI와 교차하는 지도 타일의 이미지를 가져오며, 각 타일은 최대 일곱 이미지를 제공한다. 이미지들은 선택된 Amazon Bedrock 임베딩 모델을 거치고, 선택적으로 Amazon Nova 2 Lite 또는 Anthropic의 Claude 같은 vision LLM을 통해 구조화된 텍스트 설명을 생성한 뒤 Amazon OpenSearch Serverless 또는 Amazon S3 Vectors에 색인된다. 검색 단계에서는 자연어 질의를 같은 모델로 임베딩하고, 평가 단계에서는 OpenStreetMap ground truth와 비교해 precision, recall, F1을 계산한다. 핵심 설계는 임베딩 모델, 융합 전략, 검색 방법, 벡터 저장소를 공통 인터페이스로 연결해 A/B 실험이 가능하게 한 점이다.

🧾 핵심 주장 / 시사점

• 항공 이미지 검색에서는 ‘이미지 한 장을 잘 이해하는 모델’보다 ‘동일 위치의 여러 관점을 어떻게 결합할지’가 중요한 설계 축으로 제시된다.
• 평가 체계를 먼저 만든 뒤 모델과 검색 방식을 비교한 점이 핵심이다. 원문은 측정 가능한 ground truth와 정답 정의가 없으면 아키텍처 선택이 의견에 머문다고 강조한다.
• LLM 캡션과 키워드 메타데이터는 단순 설명 생성이 아니라 이미지 임베딩, 텍스트 필드, k-NN 필터링과 결합되어 검색 후보를 좁히고 비교 실험할 수 있는 구성요소로 다뤄진다.

✅ 액션 아이템

• Vexcel 방식처럼 정사영상, 사선(4방향), DSM·DTM를 최대 일곱 관점으로 묶어 관점별 가중합 규칙을 정의하고 실험한다.
• 임베딩 모델·멀티모달 융합·LLM 캡션·벡터 검색·메타데이터 필터를 분리 모듈로 설계해 조합별 성능을 비교한다.
• 항공 이미지 파이프라인을 AOI 지정→이미지 수집→임베딩 인덱싱→자연어 검색→OSM 정답 평가의 5단계로 정비해 교체 실험을 반복한다.

❓ 열린 질문

• 질의별로 별도 컴퓨터 비전 모델을 쓰던 방식 대비 멀티모달 임베딩 기반 검색이 어느 범위의 지리공간 질의를 안정적으로 대체할 수 있는가?
• 정사영상·북남동서 사선·DSM·DTM 관점 중 어떤 조합이 보험·부동산·농업 등 산업군별 검색 정확도에 가장 큰 영향을 주는가?
• OSM 정답 기반 자동 평가는 AOI가 확장될 때 어떤 편차가 생기며, 보정은 어떤 주기로 다시 수행할 것인가?