SensorFM: Towards a general intelligence and interface for wearable health data

🖼️ 인포그래픽

SensorFM: Towards a general intelligence and interface for wearable health data 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

SensorFM은 500만 명의 비식별 웨어러블 센서 데이터 1조 분 이상을 자기지도 방식으로 학습해 다양한 건강 예측, 결측 데이터 복원, 적은 라벨을 활용한 적응, 개인 건강 에이전트의 생리학적 근거 제공을 지원하는 범용 파운데이션 모델이다.

📌 핵심 요약

웨어러블 데이터는 심박수, 움직임, 피부 온도, 혈중 산소, 수면 등을 장기간 기록하지만 개인별 생리 차이가 크고 진단·검사 같은 고품질 라벨이 부족해 기존의 개별 질환별 지도학습 모델로는 폭넓게 활용하기 어려웠다.
SensorFM은 연구 활용에 동의한 500만 명으로부터 수집한 1조 분 이상의 비식별 데이터를 바탕으로 5개 센서 모달리티에서 산출한 34개 분 단위 특성을 학습하며, 실제 웨어러블 환경의 결측을 학습 과정에 직접 포함한다.
데이터 규모와 모델 용량을 함께 확대한 결과 사전학습 손실과 후속 건강 과제 성능이 지속적으로 개선됐으며, 가장 큰 SensorFM-B는 35개 과제 중 33개에서 다른 모델 변형보다 우수했다.
동결된 SensorFM 인코더에 가벼운 선형 예측기만 붙인 평가에서도 35개 중 34개 과제에서 수작업 특성 기반 지도학습 기준선을 앞섰고, 적은 라벨만으로도 빠르게 경쟁력 있는 성능을 확보했다.
LLM 에이전트들이 예측 헤드 코드를 반복적으로 생성·시험·개선하는 ‘교실’과 개인 건강 에이전트 실험을 통해, SensorFM 표현을 자동으로 전문화하고 사용자 생리 신호에 근거한 건강 요약을 개선할 가능성이 확인됐다.

🧩 주요 포인트

웨어러블 데이터는 심박수, 움직임, 피부 온도, 혈중 산소, 수면 등을 장기간 기록하지만 개인별 생리 차이가 크고 진단·검사 같은 고품질 라벨이 부족해 기존의 개별 질환별 지도학습 모델로는 폭넓게 활용하기 어려웠다.
SensorFM은 연구 활용에 동의한 500만 명으로부터 수집한 1조 분 이상의 비식별 데이터를 바탕으로 5개 센서 모달리티에서 산출한 34개 분 단위 특성을 학습하며, 실제 웨어러블 환경의 결측을 학습 과정에 직접 포함한다.
데이터 규모와 모델 용량을 함께 확대한 결과 사전학습 손실과 후속 건강 과제 성능이 지속적으로 개선됐으며, 가장 큰 SensorFM-B는 35개 과제 중 33개에서 다른 모델 변형보다 우수했다.
동결된 SensorFM 인코더에 가벼운 선형 예측기만 붙인 평가에서도 35개 중 34개 과제에서 수작업 특성 기반 지도학습 기준선을 앞섰고, 적은 라벨만으로도 빠르게 경쟁력 있는 성능을 확보했다.
LLM 에이전트들이 예측 헤드 코드를 반복적으로 생성·시험·개선하는 ‘교실’과 개인 건강 에이전트 실험을 통해, SensorFM 표현을 자동으로 전문화하고 사용자 생리 신호에 근거한 건강 요약을 개선할 가능성이 확인됐다.

🧠 상세 정리

1. 웨어러블 건강 데이터가 안고 있던 한계

수십억 대의 웨어러블 기기는 심박수, 움직임, 피부 온도, 혈중 산소, 수면 같은 생리·행동 정보를 며칠에서 수개월에 걸쳐 연속적으로 기록한다. 그러나 같은 센서 패턴도 개인의 평상시 생리 상태, 생활 방식, 건강 상태에 따라 의미가 달라질 수 있어 단순한 공통 규칙으로 해석하기 어렵다. 더구나 확진 결과, 검사실 수치, 검증된 설문처럼 모델 학습에 필요한 라벨은 수집 비용과 시간이 크고 과거 시점에 소급해 확보하기도 사실상 어렵다. 이 때문에 기존 웨어러블 건강 모델은 하나의 결과를 예측하기 위한 별도의 지도학습 파이프라인으로 만들어지는 경우가 많았고, 다른 질환이나 사용자 집단으로 일반화하는 데 한계가 있었다.

2. 500만 명과 1조 분으로 구축한 사전학습 데이터

SensorFM은 개별 결과마다 별도 모델을 만드는 대신, 라벨이 없는 대규모 웨어러블 데이터에서 재사용 가능한 인간 생리 표현 하나를 학습하도록 설계됐다. 사전학습 자료는 건강·웰니스 연구 목적의 데이터 사용에 동의한 500만 명이 2024년 9월부터 2025년 9월까지 생성한 비식별 데이터에서 표본을 추출해 구성했다. 자료는 100개가 넘는 국가와 미국 50개 주, 20종 이상의 Fitbit 및 Pixel Watch 기기를 포괄하며, 각 참여자에게서 수 주 분량의 기록을 확보했다. 전체 규모는 20억 시간을 넘어 1조 분 이상에 이르며, 연구진은 이를 현재까지 웨어러블 모델 학습에 사용된 자료 가운데 가장 크고 다양한 데이터셋으로 설명한다.

3. 다중 센서 입력과 결측 인식 자기지도 학습

모델은 광용적맥파, 가속도, 피부전기활동, 피부 온도, 고도계라는 5개 센서 모달리티에서 도출한 34개의 1분 단위 집계 특성을 하루 24시간 범위로 입력받는다. 여기에는 심박수와 심박변이도, 혈중 산소포화도, 수면 단계, 움직임과 걸음 수, 피부 전도도, 온도 등이 포함된다. 학습에는 LSM-2를 바탕으로 한 적응형·상속형 마스킹 프레임워크인 AIM이 사용되며, 모델은 라벨 대신 가려진 센서 정보를 복원하는 자기지도 과제를 수행한다. 핵심은 기기 미착용, 전원 절환, 절전 모드, 센서 작동 중단 등으로 생긴 실제 결측과 학습 목적으로 인위적으로 가린 부분을 동등하게 취급한다는 점이다. 따라서 불완전한 구간을 임의로 채워 편향을 만들거나 버리지 않고, 현실의 단절된 기록 자체를 활용해 결측을 인식하는 표현을 학습한다.

4. 데이터와 모델을 함께 확장한 결과

연구진은 규모가 실제 능력 향상으로 이어지는지 확인하기 위해 사전학습 데이터량을 약 200만 센서 시간에서 20억 센서 시간까지, 모델 크기를 10만 개에서 1억 개 매개변수까지 네 자릿수 범위로 변화시켰다. 데이터와 모델 용량이 커질수록 사전학습 손실은 예측 가능한 방향으로 감소했고, 이 개선은 후속 건강 과제의 성능 향상으로도 이어졌다. 500만 명 전체 자료로 학습한 최대 모델 SensorFM-B는 최소 변형보다 복원 손실을 31% 줄였으며, 분류 과제의 AUC는 평균 9%, 회귀 과제의 피어슨 상관계수는 평균 21% 향상됐다. 특히 데이터와 모델 용량을 비례해 동시에 늘렸을 때 생성형 사전학습과 판별형 후속 과제에서 거의 선형에 가까운 개선이 나타났고, 관찰된 범위에서는 포화 징후가 없었다. 모델 변형들을 비교한 결과 SensorFM-B는 전체 35개 과제 중 33개에서 가장 좋은 성능을 기록했다.

5. 35개 건강 과제에서 확인한 범용 표현

표현의 범용성을 평가하기 위해 연구진은 기관생명윤리위원회의 승인을 받은 독립적인 전향적 연구 3건에서 총 1만3985명의 자료를 활용했다. 평가 대상은 심혈관 건강, 대사 위험, 정신 건강, 수면, 인구통계, 생활 방식의 6개 범주에 걸친 35개 판별 과제였다. SensorFM 인코더는 고정한 채 그 위에 가벼운 선형 예측기만 학습했는데도, 수작업 특성으로 훈련한 지도학습 기준선을 35개 과제 중 34개에서 앞섰다. 연령과 성별 같은 인구통계 특성을 추가하면 성능이 소폭 높아졌지만 모델 규모가 커질수록 그 추가 이득은 줄어들어, 큰 모델이 생리적으로 관련된 개인 특성을 사전학습 과정에서 간접적으로 포착했을 가능성을 보여줬다. 다만 이 결과는 정해진 연구 과제에서의 예측 성능을 나타내며, 그 자체가 임상적 진단 능력이나 의료적 유효성을 확정하는 것은 아니다.

6. 정신 건강 신호와 라벨 효율성

확장된 사전학습의 이점은 우울과 불안처럼 사람마다 양상이 크게 다르고 센서 데이터에는 약한 흔적으로만 나타나는 상태에서 특히 두드러졌다. 연구진의 해석에 따르면 SensorFM은 공통 신호를 가릴 수 있는 개인차를 표현하면서도 여러 사람에게 걸쳐 유지되는 패턴을 구별하는 방향으로 학습됐다. 또한 라벨이 붙은 사례 중 일부만 사용한 상황에서도 SensorFM은 인구통계 정보만 활용한 기준선과 수작업 특성 기반 기준선을 빠르게 넘어섰다. 이는 확진, 검사 결과, 검증된 설문처럼 품질 높은 정답을 대량 확보하기 어려운 건강 연구에서 중요한 특성이다. 즉, 대규모 비라벨 사전학습으로 공통 생리 표현을 먼저 만든 뒤 제한된 라벨로 새로운 과제에 적응하는 방식이 과제별 모델 개발 부담을 줄일 수 있음을 보여준다.

7. 예측 헤드를 자동 설계하는 에이전트 교실

범용 임베딩이 있어도 새로운 건강 결과마다 강력한 예측기를 만들려면 보통 특성 설계, 모델 구조 선택, 하이퍼파라미터 조정이 필요하며 과제 수가 늘수록 이 작업은 부담이 커진다. 연구진은 이를 자동화하기 위해 여러 LLM 에이전트가 협력하고 경쟁하면서 SensorFM 임베딩용 예측 헤드의 실행 코드를 생성·시험·개선하는 에이전트형 ‘교실’을 구축했다. 이 시스템은 실험 과정에서 3만 개가 넘는 후보 해법을 탐색했으며, 에이전트가 설계한 헤드는 분류 20개 중 16개, 회귀 15개 중 12개 과제에서 단순 선형 예측기보다 우수했다. 탐색이 진행될수록 해법의 품질은 지속적으로 개선됐고, 기반 LLM의 역량이 높을수록 더 나은 결과가 나왔다. 아울러 에이전트 간 협력은 상대적으로 역량이 낮은 모델이 성능 격차를 줄이는 데 도움을 줘, 범용 센서 표현의 전문화를 자동화할 가능성을 제시했다.

8. 개인 건강 에이전트의 생리학적 근거로 활용

연구진은 SensorFM을 개인 건강 에이전트에 통합해 사용자의 실제 생리 자료에 근거한 건강 요약을 생성할 수 있는지도 평가했다. 31명의 실제 참여자 프로필을 대상으로 인구통계와 일일 웨어러블 지표에 SensorFM 예측을 더한 조건, 실제 측정값을 더한 조건, 추가 정보가 없는 기준 조건을 비교했다. 어떤 조건인지 모르는 임상의 패널은 맥락, 관련성, 정당화 가능성, 개인화, 잠재적 위해의 5개 기준으로 40시간 이상 평가해 총 1860개의 평점을 만들었다. SensorFM 예측을 추가한 요약은 모든 평가 기준에서 기준 조건보다 유의하게 개선됐으며, SensorFM 예측을 제공한 조건과 실제 측정값을 제공한 조건 사이에는 통계적으로 유의한 차이가 없었다. 이 실험은 SensorFM의 추론 결과가 해당 요약 과제에서 실제 라벨과 비슷한 수준으로 에이전트의 근거가 될 수 있음을 보여주지만, 의료 전문가의 판단이나 실제 측정을 대체한다고 입증한 결과는 아니다.

🧾 핵심 주장 / 시사점

SensorFM의 핵심 전환은 개별 질환별 지도학습 모델을 반복해서 만드는 방식에서 벗어나, 비라벨 생리 데이터를 한 번 대규모로 학습한 뒤 다양한 건강 과제에 재사용하는 범용 표현을 구축했다는 데 있다.
웨어러블 기록의 결측을 제거해야 할 오류로만 보지 않고 학습 대상의 자연스러운 일부로 다룬 AIM 설계는, 불완전한 현실 데이터에서도 정보 손실과 임의 보간의 편향을 줄이려는 접근이라는 의미가 있다.
동결된 표현의 폭넓은 전이 성능, 적은 라벨로 가능한 적응, 에이전트 기반 예측기 자동 설계, 개인 건강 요약 개선은 하나의 센서 파운데이션 모델이 분석 모델과 사용자 인터페이스를 연결할 가능성을 보여주지만 임상적 안전성과 유효성은 별도로 검증돼야 한다.