Apple Watch 데이터로 수면 단계를 추정한 연구용 모델은 무엇을 보여 줬을까?

먼저 Apple의 기본 기능과 구분해야 합니다

Apple의 기본 수면 단계 기능은 Apple Watch 가속도계 신호를 입력으로 사용하고 깨어 있음, REM, 코어, 깊은 수면의 네 상태를 추정합니다. Apple은 이 기능의 기술 보고서를 공개했으며, 독립 연구도 Apple Watch Series 8과 PSG를 비교했습니다.

우리의 내부 분석은 다릅니다. 공개 Apple Watch 데이터의 심박수 유래 정보와 주변 시간 정보를 이용해 깨어 있음, N1, N2, N3, REM의 다섯 단계를 추정하는 연구용 모델을 평가했습니다. 구체적인 특성 설계, 전처리, 모델 구조는 공개하지 않습니다. 입력과 단계 정의가 Apple 기본 기능과 다르므로 결과를 Apple의 검증 결과 대신 사용할 수 없습니다.

기준은 무엇이고 어떤 데이터를 사용했나요?

기준으로 수면다원검사(PSG)의 수면 단계를 사용했습니다. PSG는 뇌 활동, 눈 움직임, 근육 활동 등 여러 신호를 기록하며 훈련된 판독자가 30초 단위 구간마다 단계를 지정합니다.

Apple Watch 실험은 Walch 연구진이 공개한 같은 밤의 Watch·PSG 데이터 중 31명, 25,813개 구간을 사용했습니다. 별도 임상 ECG 실험은 HMC 참가자 35명을 사용했습니다. 둘 다 참가자 단위로 묶은 5겹 평가를 했지만, 참가자와 신호가 서로 다른 별도 실험입니다.

결과 1: 두 소규모 실험의 점추정치는 가까웠습니다

두 점추정치는 가까웠지만, 같은 참가자에게 Apple Watch와 임상 ECG를 동시에 기록한 직접 비교가 아닙니다. 차이의 신뢰구간을 계산하지 않았고 동등성 또는 비열등성 검정도 하지 않았습니다. 따라서 Apple Watch 심박수가 임상 ECG와 동등하다고 결론 내릴 수 없습니다.

Cohen의 κ는 우연히 기대되는 일치를 고려한 일치도입니다. “좋음”이나 “충분함” 같은 고정 등급을 붙이지 않고 값을 그대로 제시합니다. 특정 용도에 적합한지는 불확실성과 단계별 성능까지 평가해야 합니다.

• 임상 PSG 유래 HRV: macro AUROC 0.711, 일치도 κ 0.244
• 공개 Apple Watch 데이터: macro AUROC 0.708, 일치도 κ 0.221

결과 2: 주변 시간 정보가 이 모델에 도움이 됐습니다

연구용 모델에서 주변 시간 정보를 포함한 경우와 포함하지 않은 경우를 비교했습니다. 시간 맥락을 포함했을 때 일치도가 더 높았으며, 구체적인 범위와 입력 방식은 공개하지 않습니다.

• 임상 PSG 유래 HRV, 맥락 있음 → 없음: κ 0.244 → 0.119
• 공개 Apple Watch 데이터, 시간 맥락 있음 → 없음: κ 0.221 → 0.092

결과 3: 67개 밤 요약은 별도의 임상 ECG 분석이었습니다

다음으로 임상 ECG 기록 67개에서 예측된 밤 전체 수면 단계를 요약했습니다. HMC 35개, CAP 15개, MIT-BIH Polysomnographic Database 17개였습니다. 이 분석에는 Apple Watch 기록이 하나도 포함되지 않았습니다. PSG 요약과의 Pearson 상관계수를 미리 정한 내부 목표와 비교했으며, 목표의 구체값은 공개하지 않습니다.

• 수면 시작 후 각성(WASO): r = 0.42
• 깊은 수면 비율(N3%): r = 0.32
• 수면 효율: r = 0.30
• 수면 잠복기: r = −0.007
• REM 수면 비율: r = 0.003

결과 4: 세 보류 코호트의 범위를 그대로 제시합니다

세 임상 ECG 코호트 중 두 개로 학습하고 남은 하나에서 시험하는 leave-one-dataset-out(LODO) 평가도 했습니다. 보류 AUROC는 HMC 0.621, CAP 0.647, SLPDB 0.649였고, 해당 κ는 0.117, 0.172, 0.107이었습니다.

0.028은 가장 큰 보류 AUROC와 가장 작은 값 사이의 범위입니다. 같은 영역 성능에서 외부 데이터로 이동할 때 측정한 “성능 하락”이 아닙니다. 세 코호트의 점추정치가 비슷하다고 해서 과적합이 없거나 새로운 사용자에게 같은 성능을 낸다는 뜻도 아닙니다.

결론 낼 수 있는 것과 없는 것

이 작은 공개 데이터셋 안에서는 심박수 유래 특성과 주변 시간 정보로 자체 모델이 수면 단계를 제한적으로 구분했습니다. EEG 없이 얻은 일치도는 제한적이었고, 별도 임상 ECG 분석의 밤 요약값은 내부 목표에 도달하지 못했습니다.

이 연구는 Apple 기본 기능의 정확도, Apple Watch와 임상 ECG의 동등성, 웨어러블 전반의 REM 비율 정확도 또는 수면 질환 진단 능력을 입증하지 않습니다. 각각은 해당 제품, 신호, 모집단에 맞게 설계된 별도 연구가 필요합니다.

투명성과 한계

• Feelmo가 수행한 미심사 내부 2차 분석이며 독립 연구자가 재현하지 않았습니다
• 평가 기준은 내부 자료에서 미리 정했지만 구체적인 목표는 공개하지 않으며, 결과 확인 전에 제3자 서비스에 공개 사전등록하지 않았습니다
• Apple Watch 실험은 31명, 임상 ECG 실험은 35명, 밤 요약 분석은 67개 기록이었으며 신뢰구간을 포함한 불확실성을 충분히 제시하지 못했습니다
• Apple Watch와 임상 ECG 결과는 참가자·신호·특성이 달라 두 방식의 직접 비교가 아닙니다
• LODO AUROC 범위 0.028은 과적합이 없다는 증거가 아닙니다
• 모든 평가는 공개 데이터셋을 사용했고 Feelmo 사용자 데이터는 사용하지 않았습니다
• 수면 질환 진단, 치료 결정 또는 Apple 기본 수면 단계 기능 평가를 위한 분석이 아닙니다