🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Research와 Google DeepMind는 주로 새와 육상 동물 소리로 학습한 Perch 2.0이 수중 음향, 특히 고래 발성 분류에도 강하게 전이될 수 있음을 실험으로 보였다.

📌 핵심 요약

• 글은 바다 생물과 환경을 이해하는 데 수중 음향이 핵심이며, 아직 정체가 밝혀지지 않은 소리와 새롭게 확인되는 종·노래 유형이 계속 등장한다고 설명한다.
• Google은 고래 모니터링과 보호를 위해 외부 과학자들과 생물음향 모델을 개발해 왔고, 2025년 공개된 Perch 2.0이 수중 오디오 없이도 해양 음향 과제에서 좋은 전이 성능을 보였다고 소개한다.
• Perch 2.0은 오디오 구간을 임베딩으로 바꾼 뒤, 적은 수의 라벨 데이터로 로지스틱 회귀 분류기를 학습하는 전이학습 방식에 사용되어 맞춤형 고래 발성 분류기를 빠르게 만들 수 있게 한다.
• 평가는 NOAA PIPAN, ReefSet, DCLDE 데이터셋에서 수행되었으며, 종 구분, 산호초 소리, 범고래 생태형 구분 같은 과제를 대상으로 여러 사전학습 모델과 비교했다.
• 결과적으로 Perch 2.0은 각 데이터셋과 샘플 수 조건에서 지속적으로 1위 또는 2위권 성능을 보였고, 저자들은 큰 모델과 풍부한 육상 생물음향 학습, 미세한 새소리 구분 학습, 유사한 발성 메커니즘이 전이 성능에 기여했을 가능성을 제시한다.

🧩 주요 포인트

1. 글은 바다 생물과 환경을 이해하는 데 수중 음향이 핵심이며, 아직 정체가 밝혀지지 않은 소리와 새롭게 확인되는 종·노래 유형이 계속 등장한다고 설명한다.
2. Google은 고래 모니터링과 보호를 위해 외부 과학자들과 생물음향 모델을 개발해 왔고, 2025년 공개된 Perch 2.0이 수중 오디오 없이도 해양 음향 과제에서 좋은 전이 성능을 보였다고 소개한다.
3. Perch 2.0은 오디오 구간을 임베딩으로 바꾼 뒤, 적은 수의 라벨 데이터로 로지스틱 회귀 분류기를 학습하는 전이학습 방식에 사용되어 맞춤형 고래 발성 분류기를 빠르게 만들 수 있게 한다.
4. 평가는 NOAA PIPAN, ReefSet, DCLDE 데이터셋에서 수행되었으며, 종 구분, 산호초 소리, 범고래 생태형 구분 같은 과제를 대상으로 여러 사전학습 모델과 비교했다.
5. 결과적으로 Perch 2.0은 각 데이터셋과 샘플 수 조건에서 지속적으로 1위 또는 2위권 성능을 보였고, 저자들은 큰 모델과 풍부한 육상 생물음향 학습, 미세한 새소리 구분 학습, 유사한 발성 메커니즘이 전이 성능에 기여했을 가능성을 제시한다.

🧠 상세 정리

1. 수중 음향이 여는 보이지 않는 해양 세계

글은 바다 생물의 행동과 환경 패턴을 이해하기 위해 수중 소리가 매우 중요하다는 문제의식에서 출발한다. 바닷속은 직접 보기 어려운 공간이기 때문에, 소리 풍경은 해양 종의 존재와 움직임, 생태적 상호작용을 추적하는 단서가 된다. 예시로 NOAA가 최근 브라이드고래와 연결한 미스터리한 ‘바이오트왕’ 소리가 언급되며, 이는 새로운 소리 유형과 종 귀속이 계속 밝혀지는 분야임을 보여준다. 따라서 글의 핵심 질문은 기존 생물음향 AI가 어떻게 빠르게 늘어나는 해양 음향 분석 수요에 대응할 수 있는가에 놓여 있다.

2. 고래 보호 연구에서 Perch 2.0으로 이어진 흐름

Google은 오래전부터 외부 과학자들과 협력해 고래를 모니터링하고 보호하기 위한 생물음향 연구를 진행해 왔다고 설명한다. 기존에는 혹등고래 분류를 감지하는 연구 모델과 2024년에 공개된 다종 고래 모델이 대표 사례로 제시된다. 이후 새롭게 발견되는 소리와 해양 생태 연구의 속도에 맞추기 위해, Google의 생물음향 AI 접근법은 더 빠르게 과학적 통찰로 연결될 수 있는 방향으로 진화하고 있다. 그 흐름 속에서 2025년 8월 Google DeepMind가 공개한 Perch 2.0은 주로 새와 다른 육상 발성 동물로 학습했음에도 해양 검증 과제에서 좋은 임베딩 기반 전이 성능을 보인 모델로 소개된다.

3. 새소리 기반 모델의 뜻밖의 해양 전이

Perch 2.0의 가장 두드러진 점은 학습 데이터에 수중 오디오가 포함되지 않았는데도 해양 음향 문제에서 유용하게 작동했다는 데 있다. 글은 Google Research와 Google DeepMind의 공동 논문인 “Perch 2.0 transfers 'whale' to underwater tasks”를 통해 이 결과를 자세히 다룬다고 설명한다. 이 연구는 NeurIPS 2025의 비인간 동물 커뮤니케이션을 위한 AI 워크숍에서 발표되었으며, 특히 고래 발성 분류를 중심으로 수중 해양 생태계에 대한 통찰을 확장할 수 있음을 보인다. 또한 NOAA NCEI Passive Acoustic Data Archive와 Google Cloud를 활용해 Perch 2.0으로 맞춤형 고래 발성 분류기를 만드는 Google Colab 튜토리얼도 함께 제공된다고 밝힌다.

4. 생물음향 분류와 전이학습의 작동 방식

글은 이미 필요한 라벨을 갖고 있고 연구자 데이터셋에서 잘 작동하는 사전학습 분류 모델이 있다면, 그 모델을 직접 사용해 오디오 데이터에 점수와 라벨을 붙일 수 있다고 설명한다. 하지만 새롭게 발견된 소리를 분류하거나 새로운 데이터에서 정확도를 높이려면 처음부터 모델을 만드는 대신 전이학습을 활용할 수 있다. 이 방식에서는 Perch 2.0 같은 사전학습 모델이 오디오의 각 시간 구간을 임베딩으로 바꾸고, 이 임베딩이 큰 오디오 데이터를 훨씬 작은 특징 배열로 압축한다. 이후 연구자는 이 특징을 입력으로 삼아 로지스틱 회귀 분류기를 학습하므로, 심층신경망 전체를 다시 학습하는 것보다 시간과 계산 자원을 크게 줄일 수 있다.

5. 평가 데이터셋과 비교 대상 모델

연구진은 Perch 2.0을 해양 과제에서 few-shot linear probe 방식으로 평가했으며, 수염고래 종 구분이나 범고래 하위 개체군 구분 같은 문제를 포함했다. 비교 대상은 Perch Hoplite 저장소에서 지원되는 Perch 2.0, Perch 1.0, SurfPerch, 다종 고래 모델이었다. 수중 데이터 평가에는 세 가지 데이터셋이 사용되었는데, NOAA PIPAN은 NOAA 태평양 제도 수산과학센터 녹음에서 나온 주석 데이터로 여러 수염고래 종 라벨을 포함한다. ReefSet은 산호초의 생물학적 소리와 특정 종·속, 인간 기원 소음과 파도 라벨을 포함하고, DCLDE는 종 구분, 확실한 생물 라벨, 범고래 생태형 구분이라는 세 가지 라벨 세트로 평가되었다.

6. 소수 라벨 예시로 측정한 분류 성능

평가 절차는 각 대상 데이터셋의 라벨 데이터를 놓고 후보 모델들이 먼저 임베딩을 계산하는 방식으로 진행되었다. 그 다음 각 클래스에서 4개, 8개, 16개 또는 32개의 예시를 고정적으로 선택해, 임베딩 위에 단순한 다중 클래스 로지스틱 회귀 모델을 학습했다. 이렇게 만든 분류기의 성능은 AUC_ROC로 측정되었으며, 값이 1에 가까울수록 클래스 사이를 더 잘 구분한다는 의미로 설명된다. 이 프로토콜은 실제 연구자가 적은 수의 라벨 예시만으로 사전학습 임베딩 모델을 활용해 맞춤형 분류기를 만드는 상황을 모사한다.

7. Perch 2.0의 성능과 다른 모델과의 비교

결과는 클래스당 예시 수가 늘어날수록 대부분의 모델 성능이 개선되는 경향을 보였다고 정리된다. 다만 ReefSet 데이터에서는 다종 고래 모델을 제외한 모든 모델이 클래스당 4개 예시만으로도 이미 높은 성능을 보였다는 예외가 제시된다. 특히 Perch 2.0은 각 데이터셋과 샘플 수 조건에서 일관되게 최고 또는 두 번째로 높은 성능을 기록했다. 추가 비교에서는 Earth Species Project의 AVES-bird, AVES-bio와 Cornell Lab of Ornithology의 BirdNet v2.3도 함께 다뤄졌으며, Perch 2.0은 대부분의 수중 과제에서 AVES 계열 모델보다 나은 성능을 냈지만, 수중 오디오로 학습하지 않은 다른 사전학습 모델들 역시 좋은 성능을 보일 수 있음이 함께 언급된다.

8. 왜 새소리 학습이 고래 소리에도 통했는가

저자들은 Perch 2.0이 주로 새 데이터를 학습했는데도 수중 소리에 강하게 전이된 이유를 몇 가지 가능성으로 설명한다. 첫째, 많은 훈련 데이터를 사용한 큰 모델은 일반화 능력이 더 좋아서 학습 데이터에 포함되지 않은 종과 소리를 분류하는 하위 과제에서도 좋은 성능을 낼 수 있다고 본다. 둘째, 비슷한 새 울음소리를 구분해야 하는 과제는 모델이 세밀한 음향 특징을 학습하도록 만들며, 북미의 14종 비둘기가 각기 미묘하게 다른 ‘coo’ 소리를 낸다는 예시가 제시된다. 셋째, 새와 해양 포유류를 포함한 여러 종이 유사한 발성 수단을 진화시켰다는 점도 서로 다른 종 사이의 특징 전이에 관련될 수 있다고 설명한다.

9. 임베딩 시각화와 향후 활용 방향

글은 좋은 임베딩 모델이라면 목표 클래스에 대해 정보가 풍부하고 선형적으로 분리 가능한 표현을 만들어야 한다고 설명한다. 이를 보여주기 위해 연구진은 tSNE 절차로 각 모델의 임베딩을 시각화했으며, 색상은 서로 다른 클래스를 나타낸다. DCLDE의 범고래 생태형 데이터에서 Southern Resident와 Southern Alaskan Resident 범고래는 여러 모델에서 어느 정도 군집이 보였지만, Northern Resident, Transient, Offshore 범고래는 AVES-bio, AVES-bird, SurfPerch에서는 섞이는 경향이 있었고 BirdNet v2.3과 Perch 2.0에서는 더 명확히 구분되었다. 마지막으로 글은 Google DeepMind Perch 팀, Google Research, 외부 파트너들이 적은 라벨 예시로 몇 시간 안에 맞춤형 분류기를 만드는 애자일 모델링 접근법을 발전시켰으며, NOAA 데이터와 Perch Hoplite 임베딩 데이터베이스를 활용하는 엔드투엔드 데모를 제공한다고 마무리한다.

🧾 핵심 주장 / 시사점

• Perch 2.0 사례는 생물음향 모델의 유용성이 학습된 생태 영역에만 고정되지 않을 수 있으며, 적절한 임베딩은 전혀 다른 환경의 소리 분류에도 재사용될 수 있음을 보여준다.
• 연구의 실용적 핵심은 거대한 새 모델 자체보다, 적은 라벨 예시와 단순한 로지스틱 회귀만으로 새 고래 발성 분류기를 만들 수 있는 작업 흐름에 있다.
• 수중 생물음향 연구에서는 새로운 소리와 종 귀속이 계속 등장하기 때문에, 고정된 완성형 분류기보다 빠르게 맞춤형 모델을 구성할 수 있는 전이학습 기반 접근이 특히 중요하게 제시된다.

✅ 액션 아이템

• 수중 음향 분류 과제에서 Perch 2.0 기반 임베딩-로지스틱 회귀 흐름을 재현해 고래 발성 분류 성능을 확인한다.
• NOAA PIPAN, ReefSet, DCLDE의 종 구분·산호초·범고래 과제에서 Perch 2.0과 타 모델의 상위권 성능을 샘플 수 구간별로 점검한다.
• 모델 규모, 새 소리 미세 구분 학습, 발성 메커니즘 유사성의 기여도를 분리해 전이 성능 향상 요인을 정량적으로 비교한다.

❓ 열린 질문

• 해양 음향에서 수중 오디오가 없어도 전이가 유지되는 핵심 원리는 어떤 특성으로 설명할 수 있는가?
• NOAA PIPAN, ReefSet, DCLDE에서 샘플 수가 줄어들 때 성능 상위권이 깨지는 임계점은 어디인가?
• 고래 종별·생태형 분류에서 크게 작동한 전이 요인은 모델 규모인지, 새소리 미세 구분 학습인지, 발성 유사성인지 어떻게 판별할 것인가?