Towards passive heart health monitoring via smartphone camera

🖼️ 인포그래픽

Towards passive heart health monitoring via smartphone camera 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글 리서치는 스마트폰 전면 카메라가 일상적 사용 중 얼굴 영상을 포착해 심박수와 안정시 심박수를 수동적으로 추정하는 PHRM 연구 시스템을 제시하고, 다양한 피부 톤과 실제 사용 환경에서 웨어러블 수준의 정확도를 검증했다.

📌 핵심 요약

PHRM은 스마트폰 얼굴 잠금 해제 직후 전면 카메라로 8초 길이의 얼굴 영상을 수집하고, 온디바이스 파이프라인과 딥러닝 모델을 통해 심박수와 일일 안정시 심박수를 추정하는 연구 시스템이다.
연구진은 심박수와 안정시 심박수가 활동, 스트레스, 질병, 장기 심혈관 위험과 관련된 중요한 생체 지표라는 점에서, 웨어러블 기기보다 더 널리 보급된 스마트폰을 건강 추적의 접근성 확대 수단으로 보았다.
PHRM은 350,000개 이상의 영상 클립과 약 700명의 다양한 동의 기반 연구 참여자 데이터를 활용했으며, Monk Skin Tone scale을 사용해 밝은 피부, 중간 피부, 어두운 피부 그룹을 균형 있게 포함하도록 설계됐다.
실험실 조건과 실제 생활 조건 모두에서 PHRM은 ECG 기준 심박수 대비 MAPE 10% 미만을 달성했고, 15개의 주요 기존 rPPG 모델보다 우수했으며, 모든 피부 톤 그룹에서 기준을 충족한 유일한 모델로 보고됐다.
안정시 심박수 추정에서는 Fitbit Charge 6의 일일 RHR과 비교해 전체 MAE 4.39bpm을 기록해 사전 목표인 5bpm 미만을 충족했으며, 연구진은 데이터와 사전학습 모델을 자격을 갖춘 연구자에게 공개해 후속 연구를 촉진하겠다고 밝혔다.

🧩 주요 포인트

PHRM은 스마트폰 얼굴 잠금 해제 직후 전면 카메라로 8초 길이의 얼굴 영상을 수집하고, 온디바이스 파이프라인과 딥러닝 모델을 통해 심박수와 일일 안정시 심박수를 추정하는 연구 시스템이다.
연구진은 심박수와 안정시 심박수가 활동, 스트레스, 질병, 장기 심혈관 위험과 관련된 중요한 생체 지표라는 점에서, 웨어러블 기기보다 더 널리 보급된 스마트폰을 건강 추적의 접근성 확대 수단으로 보았다.
PHRM은 350,000개 이상의 영상 클립과 약 700명의 다양한 동의 기반 연구 참여자 데이터를 활용했으며, Monk Skin Tone scale을 사용해 밝은 피부, 중간 피부, 어두운 피부 그룹을 균형 있게 포함하도록 설계됐다.
실험실 조건과 실제 생활 조건 모두에서 PHRM은 ECG 기준 심박수 대비 MAPE 10% 미만을 달성했고, 15개의 주요 기존 rPPG 모델보다 우수했으며, 모든 피부 톤 그룹에서 기준을 충족한 유일한 모델로 보고됐다.
안정시 심박수 추정에서는 Fitbit Charge 6의 일일 RHR과 비교해 전체 MAE 4.39bpm을 기록해 사전 목표인 5bpm 미만을 충족했으며, 연구진은 데이터와 사전학습 모델을 자격을 갖춘 연구자에게 공개해 후속 연구를 촉진하겠다고 밝혔다.

🧠 상세 정리

1. 연구의 목표와 문제의식

이 글은 스마트폰 전면 카메라를 이용해 일상적인 사용 중 심박수와 안정시 심박수를 수동적으로 측정하는 연구 시스템 PHRM을 소개한다. 심박수는 활동, 스트레스, 급성 및 만성 질환 등 다양한 생리적 상태를 반영하는 주요 활력 징후로 설명된다. 특히 안정시 심박수는 심혈관 건강과 장기 건강 위험을 보여주는 핵심 바이오마커이며, 높은 안정시 심박수나 시간이 지남에 따른 증가는 주요 심혈관 사건과 전체 사망률 증가와 관련된다고 제시된다. 연구진은 이미 웨어러블 기기가 이런 지표 추적을 가능하게 했지만, 보급률과 접근성 측면에서는 여전히 개선 여지가 있다고 본다.

2. 스마트폰을 건강 추적 장치로 보는 이유

연구진은 스마트폰이 건강 추적 접근성을 넓힐 수 있는 독특한 기회라고 설명한다. 전 세계 약 50억 명이 이미 강력한 센서를 갖춘 스마트폰을 보유하고 있기 때문에, 별도 웨어러블을 착용하지 않아도 심장 건강 지표를 측정할 가능성이 있다는 것이다. 구글은 2022년에 손가락을 카메라 위에 올려 온디맨드 방식으로 심박수를 측정하는 방법을 시연했고, 이후 해당 신호가 심혈관 질환 예측에 어떻게 쓰일 수 있는지도 연구했다. 이번 PHRM은 한 단계 더 나아가 사용자가 별도로 측정 행동을 하지 않아도 스마트폰 사용 중 배경에서 심박수와 안정시 심박수를 추적하는 방향을 제시한다.

3. PHRM의 작동 방식

PHRM은 얼굴 잠금 해제 직후 몇 초 동안 전면 카메라가 사용자의 얼굴 영상을 포착하는 방식으로 작동한다. 이 시스템은 8초 길이의 얼굴 영상 클립을 처리하는 온디바이스 소프트웨어 파이프라인을 사용하며, 계산 효율적인 temporal shift convolutional neural network를 통해 심박수와 예측 신뢰도 점수를 산출한다. 측정 원리는 웨어러블, 산소포화도 측정기, 이전 스마트폰 심박수 연구와 마찬가지로 PPG에 기반한다. 즉, 혈액이 피부를 통과할 때 빛과 피부의 상호작용이 미세하게 달라지는 변동을 감지해 심박수를 추정한다. 이후 하루 동안의 심박수 예측값을 신뢰도 점수와 칼만 필터링으로 통합해 일일 안정시 심박수를 계산한다.

4. 기존 rPPG 연구의 한계와 포용성 설계

원격 PPG, 즉 rPPG를 위한 컴퓨터 비전 모델은 약 20년 동안 존재했지만, 기존 연구는 대체로 통제된 환경의 소규모 연구에 머물러 일반화 가능성이 제한됐다. 또 어두운 피부를 가진 참여자가 크게 과소대표됐다는 점도 중요한 한계로 제기된다. 멜라닌은 카메라가 PPG 신호를 감지하기 어렵게 만들 수 있으며, 최근 연구들은 어두운 피부 참여자에서 정확도가 현저히 낮아지는 문제를 더 면밀히 확인했다. 이는 산소포화도 측정기 등 다른 PPG 기반 기술에서 나타난 문제와 유사한 흐름으로 설명된다. PHRM 연구는 이런 한계를 의식해 피부 톤별 성능 차이를 줄이는 것을 핵심 검증 목표로 삼았다.

5. 데이터 규모와 피부 톤별 대표성

PHRM은 실험실과 실제 생활 환경에서 수집한 350,000개 이상의 영상 클립과 거의 700명에 달하는 다양한 동의 기반 연구 참여자 데이터를 바탕으로 개발됐다. 연구진은 색채 측정 방법과 Monk Skin Tone scale을 활용해 밝은 피부 그룹, 중간 피부 그룹, 어두운 피부 그룹을 명확히 구분했다. 밝은 피부와 중간 피부 참여자가 각각 데이터셋의 최소 25%를 차지하도록 했고, 어두운 피부 참여자는 최소 33%를 차지하도록 설계했다. 이는 이후 FDA가 제안한 피부 톤 코호트와도 정렬되는 방식이라고 설명된다. 또한 각 피부 톤 그룹의 심박수 MAPE 차이가 다른 그룹과 5%포인트 미만이어야 한다는 비열등성 기준을 세워, 단순 평균 정확도뿐 아니라 집단 간 형평성까지 검증했다.

6. 실험실 조건에서의 심박수 성능

연구진은 다양한 조명 조건과 활동 상태에서 365명의 다양한 참여자로부터 얼굴 영상과 동시 ECG 데이터를 기록해 PHRM을 학습시켰다. 별도의 104명 테스트 세트에서는 최소 신뢰도 점수로 게이팅을 적용한 뒤, 모든 피부 톤 그룹에서 MAPE가 10%보다 유의하게 낮은 결과를 얻었다. 이는 실험 환경이 단일하고 통제된 조건에 머물지 않았다는 점에서 기존 연구보다 현실적 조건을 더 많이 반영한다. 또한 PHRM은 동일 테스트 세트에서 15개의 주요 공개 rPPG 모델보다 게이팅 전후 모두에서 유의하게 우수한 성능을 보였다. 특히 모든 피부 톤에서 MAPE 10% 미만을 달성한 모델은 PHRM이 유일했다고 제시된다.

7. 실제 생활 환경 연구와 심박수 검증

PHRM의 실제 사용 가능성을 검증하기 위해 연구진은 이른바 ‘free-living’ 연구를 수행했다. 231명의 다양한 참여자가 개인 스마트폰에 맞춤형 데이터 수집 앱을 설치하고, ECG 가슴 스트랩과 Fitbit Charge 6를 착용한 상태로 8일 동안 평소처럼 스마트폰을 사용했다. 앱은 얼굴 잠금 해제 직후마다 8초 영상 클립과 ECG 데이터를 기록했으며, 하루 평균 231개의 클립을 수집했다. 참여자들은 매일 종료 시 자신의 클립을 검토해 민감한 내용이나 다른 사람의 얼굴이 제외됐는지 확인한 뒤, 명시적으로 보안 암호화 서버 업로드를 승인했다. 보류된 101명 검증 하위 집합에서 PHRM은 신뢰도 게이팅 후 전체 MAPE 6.09%를 달성했고, 피부 톤 그룹별로도 5.04%, 5.12%, 7.84%를 기록해 모두 10% 기준과 비열등성 목표를 충족했다.

8. 안정시 심박수 추정과 건강 위험 방향성

연구진은 하루에 하나 이상의 날에서 최소 20개 이상의 심박수 측정값이 있는 참여자를 대상으로 PHRM의 안정시 심박수 알고리즘을 적용했다. 해당 조건을 충족한 90명에서 PHRM은 참여자-일 기준 73.6%에 대해 안정시 심박수를 성공적으로 추정했다. Fitbit Charge 6의 일일 안정시 심박수와 비교했을 때 전체 MAE는 4.39bpm으로, 사전에 정한 5bpm 목표보다 유의하게 낮았다. Bland-Altman 분석에서는 PHRM이 안정시 심박수를 평균 0.1bpm 낮게 추정했으며, 측정 일이 늘어날수록 오차가 감소했다. 피부 톤 그룹별 MAE는 Group 3을 제외하고 모두 5bpm 미만이었지만, 칼만 필터가 수렴하면서 Group 3도 3일 차 이후에는 5bpm 미만으로 낮아졌다. 또한 PHRM 기반 안정시 심박수가 높은 참여자는 공변량 통제 후에도 높은 BMI와 낮은 VO2max를 가질 가능성이 더 높아, 심혈관 위험 방향성을 올바르게 포착한 것으로 해석됐다.

9. 의의, 한계, 향후 과제

연구진은 PHRM이 일상적 스마트폰 사용 중 수동적으로 심박수와 일일 안정시 심박수를 모니터링한 첫 대규모 시연이라고 설명한다. 예측 불가능한 실제 환경에서도 모든 피부 톤에 대해 심박수 정확도 기준을 충족한 유일한 rPPG 방법이며, rPPG로 일일 안정시 심박수를 추정해 웨어러블 수준 정확도를 달성한 첫 사례로 제시된다. 다만 피부 톤별 정확도 기준은 충족했어도 측정 성공률은 Group 2에서 낮고 Group 3에서 가장 낮았으며, 이는 어두운 피부에서 PPG 신호 감지가 더 어렵기 때문일 가능성이 있다고 밝힌다. 향후에는 카메라 노출 최적화, 추가 샘플링 시도, 영상 안정화, 가속도계 기반 게이팅을 통해 말하기나 머리 움직임으로 인한 이상 오차를 줄일 수 있다고 제안한다. 또 얼굴 인증과 안전한 온디바이스 처리를 통해 데이터 무결성과 개인정보 보호를 강화할 수 있다고 덧붙인다.

10. 데이터 공개와 연구 윤리

연구진은 후속 연구를 촉진하기 위해 대규모 데이터와 모델링 자원을 자격을 갖춘 연구자에게 제공한다고 밝혔다. 공개 대상에는 연구용으로 사용할 수 있는 스마트폰 영상 데이터셋과 사전학습된 PHRM-mini 모델이 포함되며, 접근하려는 연구자는 IRB 승인을 보유하고 데이터 보호 요건을 충족해야 한다. 참여자 개인정보 보호를 위해 모든 영상은 IRB 승인 아래 수집됐고, 명시적 참여자 동의에 따라 처리됐다. 이 데이터셋은 전적으로 비상업적 연구 용도로 제한되며, 접근 권한을 받은 연구자는 개인 재식별을 시도하거나 원본 영상 자산을 공개적으로 표시하는 것이 엄격히 금지된다. 글의 마지막에서는 이 작업이 7년 이상의 노력의 결실이라고 밝히며 공동 저자와 주요 기여자들에게 감사를 전한다.

🧾 핵심 주장 / 시사점

PHRM의 핵심 의의는 스마트폰을 별도 착용 장치의 대체재가 아니라, 이미 일상적으로 쓰이는 보편적 센서를 활용한 심장 건강 추적 인프라로 재해석했다는 점이다.
이 연구는 평균 정확도만 제시하지 않고 피부 톤별 대표성과 비열등성 기준을 명시해, 생체 신호 AI 모델에서 포용적 검증 설계가 성능 자체만큼 중요하다는 점을 보여준다.
실제 생활 환경에서 얼굴 잠금 해제 직후의 짧은 영상만으로 심박수와 안정시 심박수를 추정했다는 결과는 유망하지만, 어두운 피부에서 낮은 측정 성공률과 움직임 기반 이상 오차를 줄이는 것이 다음 연구 과제로 남아 있다.