Introducing interactive on-device segmentation in Snapseed

🖼️ 인포그래픽

Introducing interactive on-device segmentation in Snapseed 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google은 Snapseed iOS의 Object Brush에 온디바이스 Interactive Segmenter를 적용해, 사용자가 탭이나 선 긋기만으로 객체를 빠르게 선택하고 선택 편집할 수 있게 했습니다.

📌 핵심 요약

Snapseed의 새 Object Brush는 기존 모바일 사진 편집에서 어려웠던 객체 단위 선택을 단순한 터치 제스처로 바꾸는 기능입니다.
핵심 모델인 Interactive Segmenter는 기기 내에서 실행되며, 탭이나 짧은 선 입력을 바탕으로 사람, 반려동물, 하늘의 구름 같은 객체 경계를 20ms 미만에 감지해 마스크를 생성합니다.
모델 학습은 고품질 수동 마스크로 미세조정한 Teacher 모델과, 지식 증류를 통해 온디바이스 실행에 맞춘 Edge 모델을 만드는 방식으로 진행됐습니다.
품질과 지연시간의 균형을 위해 이미지 이해를 담당하는 무거운 인코더와 프롬프트 기반 마스크 생성을 담당하는 가벼운 인코더-디코더를 분리했습니다.
최종 모델은 8비트 양자화와 LiteRT GPU 가속을 사용하며, 고해상도 편집 품질을 위해 768x768 마스크를 이미지 해상도까지 업샘플링하는 구조를 갖췄습니다.

🧩 주요 포인트

Snapseed의 새 Object Brush는 기존 모바일 사진 편집에서 어려웠던 객체 단위 선택을 단순한 터치 제스처로 바꾸는 기능입니다.
핵심 모델인 Interactive Segmenter는 기기 내에서 실행되며, 탭이나 짧은 선 입력을 바탕으로 사람, 반려동물, 하늘의 구름 같은 객체 경계를 20ms 미만에 감지해 마스크를 생성합니다.
모델 학습은 고품질 수동 마스크로 미세조정한 Teacher 모델과, 지식 증류를 통해 온디바이스 실행에 맞춘 Edge 모델을 만드는 방식으로 진행됐습니다.
품질과 지연시간의 균형을 위해 이미지 이해를 담당하는 무거운 인코더와 프롬프트 기반 마스크 생성을 담당하는 가벼운 인코더-디코더를 분리했습니다.
최종 모델은 8비트 양자화와 LiteRT GPU 가속을 사용하며, 고해상도 편집 품질을 위해 768x768 마스크를 이미지 해상도까지 업샘플링하는 구조를 갖췄습니다.

🧠 상세 정리

1. 모바일 선택 편집의 기존 어려움

원문은 좋은 사진을 더 돋보이게 만드는 핵심이 전체 이미지가 아니라 특정 요소를 선택적으로 조정하는 데 있다고 설명합니다. 예를 들어 전경의 피사체를 밝게 하거나, 하늘을 강화하거나, 재킷 색상을 더 선명하게 만드는 작업은 모두 정확한 선택을 전제로 합니다. 그러나 기존의 피사체, 배경, 하늘, 색상 기반 선택 도구는 특정 요소를 분리하는 과정이 복잡하고 답답할 수 있었습니다. 특히 모바일에서는 터치 입력이 정밀하지 않고 처리 성능에도 제약이 있어 세밀한 선택과 편집이 더 어려웠다는 점이 문제의식으로 제시됩니다.

2. Snapseed Object Brush의 사용자 경험

Google은 Snapseed iOS의 Adjust 도구 안에 새 Object Brush를 도입해 객체 기반 이미지 조정을 빠르고 쉽게 만들었다고 설명합니다. 사용자는 편집하고 싶은 객체 위에 단순히 선을 그은 뒤, 해당 객체만 나머지 이미지와 분리해 원하는 방식으로 조정할 수 있습니다. 이 기능은 복잡한 수동 선택 절차를 줄이고, 사용자가 사진 속 특정 대상에 직접 의도를 표시하는 방식으로 작동합니다. 원문은 이 기능이 앞으로 일주일 동안 순차적으로 배포된다고 안내하며, 선택 편집을 더 직관적인 작업으로 바꾸는 제품 기능으로 소개합니다.

3. 온디바이스 Interactive Segmenter의 작동 방식

Object Brush의 핵심은 기기 안에서 전적으로 실행되는 AI 모델인 Interactive Segmenter입니다. 사용자는 탭을 하거나 짧은 선을 따라 그리는 간단한 제스처만으로 프레임 안의 객체나 사람을 선택할 수 있고, 모델은 20ms 미만에 전체 객체 또는 사람을 감지해 선택합니다. 이 모델은 사람, 반려동물, 하늘의 구름처럼 다양한 대상의 경계에 맞는 마스크를 생성합니다. 실시간 피드백이 제공되므로 사용자는 선택 영역을 즉석에서 보정하며 필요한 부분을 더하거나 제외할 수 있습니다. 이 과정은 MediaPipe와 LiteRT의 GPU 가속을 통해 빠르고 매끄럽게 실행된다고 설명됩니다.

4. 범용 세그멘테이션 모델을 목표로 한 학습 전략

Interactive Segmenter는 특정 객체 종류나 장면에만 제한되지 않는 범용 세그멘테이션 모델로 설계됐습니다. 모든 영역을 포괄하기 위해 대량의 데이터를 직접 주석 처리하는 방식은 비용과 규모 면에서 부담이 크기 때문에, 원문은 Big Transfer 접근을 따랐다고 설명합니다. 즉 일반적인 사전학습 이미지 인코더를 활용하고, 소량의 수동 주석 이미지와 결합해 의사 주석을 보완하는 방식입니다. 이 전략은 작은 모바일 모델을 직접 학습시키기에는 부족한 데이터에서도, 큰 사전학습 모델을 먼저 활용해 높은 정확도의 마스크 예측 능력을 확보하려는 흐름으로 제시됩니다.

5. Teacher 모델과 Edge 모델의 역할 분담

연구진은 먼저 사전학습된 범용 모델을 interactive segmentation에 맞게 미세조정해 Teacher 모델을 만들었습니다. 이를 위해 350개가 넘는 객체 범주에서 샘플을 뽑고, 주석 작업자에게 픽셀 단위로 정밀한 객체 마스크를 만들도록 해 약 3만 개의 고품질 이미지 마스크를 확보했습니다. 이 데이터는 작은 모바일 모델을 직접 학습하기에는 충분하지 않지만, 큰 사전학습 모델을 미세조정해 정확한 마스크를 예측하게 만드는 데는 활용될 수 있었습니다. 다만 Teacher 모델은 품질은 높지만 속도와 크기 때문에 온디바이스 시나리오에 적합하지 않아, 그 지식을 증류해 온디바이스용 Interactive Segmenter: Edge 모델을 개발했습니다.

6. 지식 증류와 현실적인 프롬프트 생성

온디바이스 모델은 훨씬 작기 때문에 일반화 능력이 제한되고, 3만 개의 고품질 주석 이미지만으로 새 모델을 학습하기에는 충분하지 않았습니다. 연구진은 Teacher에서 Edge로 지식을 전달하기 위해 수백 개 범주에 걸쳐 마스크가 포함된 200만 장 이상의 대규모 약한 주석 데이터셋을 활용했습니다. 이 데이터셋의 마스크는 자동 또는 반자동 절차로 만들어져 픽셀 단위로 완벽하지 않지만, 사용자 입력을 흉내 내는 현실적인 프롬프트를 만드는 데는 적합했습니다. 학습 중에는 Teacher가 즉석에서 정답 마스크를 생성하고, Teacher와 Student가 같은 프롬프트를 사용해 모델 간 일관성을 유지했습니다. 또한 전경과 배경을 나타내는 무작위 낙서, 점 입력, 객체 주변 박스 프롬프트를 사용해 실제 사용자가 객체를 선택하는 상황을 시뮬레이션했습니다.

7. 품질과 실시간 지연시간을 동시에 맞춘 아키텍처

원문은 높은 세그멘테이션 품질과 실시간 상호작용에 필요한 낮은 지연시간을 동시에 만족시키는 것이 핵심 과제였다고 설명합니다. 이를 위해 이미지 이해와 프롬프트 이해를 서로 다른 하위 모델로 분리했습니다. 먼저 무겁고 강력한 이미지 인코더가 이미지당 한 번 실행되어 풍부한 의미 특징을 추출하며, 사용자가 interactive segmentation을 사용할 의도가 보이는 시점에 미리 실행해 지연을 사용자에게 드러나지 않게 할 수 있습니다. 이후 가벼운 interactive encoder-decoder가 미리 계산된 특징과 사용자의 터치 프롬프트를 받아 최종 마스크를 생성합니다. 이 분리는 큰 모델의 이미지 이해 능력과 작은 모델의 즉각적인 응답성을 함께 활용하도록 만든 핵심 설계입니다.

8. 온디바이스 실행 최적화와 고해상도 마스크 처리

최종 Student 모델은 인코더와 슈퍼 디코더가 8비트로 양자화되어 있으며, 둘 다 LiteRT GPU 가속에서 실행됩니다. 원문은 iPhone 16 Pro에서 디코더 추론 지연시간이 7.4ms라고 밝히며, 이 성능이 끊김 없는 직관적 이미지 편집을 가능하게 한다고 설명합니다. 또한 고해상도 사진 편집 품질을 유지하려면 고해상도 세그멘테이션 마스크가 필요하기 때문에, 모델은 먼저 768x768 해상도의 마스크를 예측한 뒤 이미지 해상도까지 업샘플링합니다. 이미지 해상도는 단일 GPU 버퍼에 맞도록 4K로 제한되며, 효율적인 GPU 기반 edge-preserving joint-bilateral upsampling 방법을 사용합니다. 지연시간을 줄이기 위해 이 업샘플링은 사용자가 손가락을 들어 제스처를 완료한 뒤 한 번만 적용됩니다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 선택 편집을 더 쉽게 만든 단일 UI 기능 소개가 아니라, 터치 입력·온디바이스 추론·세그멘테이션 품질·지연시간 최적화를 함께 묶은 제품화 사례라는 점입니다.
Teacher 모델과 Edge 모델을 분리한 접근은 고품질 수동 주석이 제한적일 때도 대규모 약한 주석 데이터와 지식 증류를 활용해 모바일 실행 가능한 모델을 만들 수 있음을 보여줍니다.
이미지 인코더와 프롬프트 기반 디코더를 분리한 구조는 사용자가 체감하는 응답성을 확보하면서도 큰 모델의 의미 이해 능력을 활용하려는 설계상의 타협점을 잘 드러냅니다.

✅ 액션 아이템

Object Brush의 탭·선 입력 기반 객체 선택 동작을 기준으로, 사용자 편집 흐름에서 객체 단위 선택 단계가 어디에서 실행되는지 매핑한다.
핵심 모델의 20ms 미만 감지 조건에서 사람·반려동물·구름 클래스별 마스크 생성 정확도와 반응 지연을 함께 점검한다.
Teacher 모델 미세조정 후 지식 증류로 얻은 Edge 모델을 8비트 양자화·LiteRT·768 업샘플링 파이프라인으로 분리해 품질 저하 요인을 단계별로 추적한다.