Jawaban singkat
Pada data Apple Watch publik dari 31 peserta, model penelitian yang memakai informasi turunan detak jantung dan konteks waktu mencapai kesesuaian κ=0.221 dengan PSG pada lima tahap. Eksperimen EKG klinis terpisah pada 35 peserta mencapai κ=0.244, tetapi orangnya berbeda, sehingga kedua sinyal tidak dapat dianggap setara. Analisis rangkuman malam dengan 67 rekaman memakai EKG klinis, bukan Apple Watch. Hasil ini tidak dapat memberi tahu ketepatan fitur bawaan Apple atau apakah persentase REM aplikasi perangkat pakai secara umum akurat.
Poin utama
- Ini mengevaluasi model penelitian dengan informasi turunan detak jantung dan konteks waktu, bukan fitur Tahap Tidur bawaan Apple; rancangan terperincinya belum dipublikasikan
- Kesesuaian adalah κ=0.221 pada 31 peserta Apple Watch dan κ=0.244 dalam kohort EKG klinis terpisah dengan 35 peserta; kohort terpisah tidak memastikan kesetaraan
- Menghilangkan informasi waktu sekitar menurunkan κ menjadi 0.092 dan 0.119, mengisyaratkan konteks waktu membantu model ini
- Analisis rangkuman malam 67 rekaman memakai EKG klinis dan tidak menguji persentase REM dari Apple Watch
- AUROC pada data yang disisihkan di tiga kohort adalah 0.621–0.649, rentang 0.028; ini tidak membuktikan model bebas dari overfitting
- Hasil merupakan analisis sekunder internal yang belum ditinjau, tanpa prapendaftaran eksternal publik
Pertama, pisahkan ini dari fitur bawaan Apple
Fitur Tahap Tidur bawaan Apple memakai sinyal akselerometer Apple Watch sebagai masukan dan memperkirakan empat keadaan: Terjaga, REM, Inti, dan Dalam. Apple telah menerbitkan laporan teknis tentang fitur itu, dan studi independen telah membandingkan Apple Watch Series 8 dengan PSG.
Analisis internal kami berbeda. Kami memakai informasi turunan detak jantung dan informasi waktu sekitar dari dataset Apple Watch publik dalam model penelitian yang memperkirakan lima tahap: Terjaga, N1, N2, N3, dan REM. Rancangan fitur khusus, prapemrosesan, dan arsitektur model belum dipublikasikan. Masukan dan definisi tahapnya berbeda dari fitur bawaan Apple, sehingga hasilnya tidak dapat menggantikan hasil validasi Apple sendiri.
Apa acuannya dan data mana yang digunakan?
Kami memakai tahap tidur dari polisomnografi (PSG) sebagai acuan. PSG merekam beberapa sinyal, termasuk aktivitas otak, gerakan mata, dan aktivitas otot, dan penilai terlatih menetapkan tahap untuk setiap epok 30 detik.
Eksperimen Apple Watch memakai 31 peserta dan 25,813 epok dari dataset publik yang diterbitkan Walch dan rekan, yang merekam data Watch dan PSG pada malam yang sama. Eksperimen EKG klinis terpisah memakai 35 peserta HMC. Keduanya memakai evaluasi lima lipatan yang dikelompokkan per peserta, tetapi merupakan eksperimen terpisah dengan peserta dan sinyal berbeda.
Hasil 1: perkiraan titik berdekatan dalam dua eksperimen kecil
Dua perkiraan titik berdekatan, tetapi ini bukan perbandingan peserta yang sama memakai Apple Watch sambil EKG klinis direkam. Kami tidak memperkirakan interval kepercayaan perbedaan atau menjalankan uji kesetaraan maupun noninferioritas. Karena itu, kami tidak dapat menyimpulkan detak jantung Apple Watch setara dengan EKG klinis.
κ Cohen mengukur kesesuaian setelah memperhitungkan kesesuaian yang diharapkan karena kebetulan. Kami melaporkan nilai langsung alih-alih memberi label tetap seperti "baik" atau "memadai". Kesesuaian untuk penggunaan tertentu juga membutuhkan perkiraan ketidakpastian dan kinerja per tahap.
- HRV turunan PSG klinis: AUROC makro 0.711, kesesuaian κ 0.244
- Dataset Apple Watch publik: AUROC makro 0.708, kesesuaian κ 0.221
Hasil 2: informasi waktu sekitar membantu model
Kami membandingkan model penelitian dengan dan tanpa informasi waktu sekitar. Kesesuaian lebih tinggi ketika konteks disertakan; rentang konteks yang persis dan cara masuknya ke model belum dipublikasikan.
- HRV turunan PSG klinis, dengan konteks → tanpa konteks: κ 0.244 → 0.119
- Dataset Apple Watch publik, dengan konteks waktu → tanpa konteks waktu: κ 0.221 → 0.092
Hasil 3: 67 rangkuman malam berasal dari analisis EKG klinis terpisah
Selanjutnya kami merangkum tahap yang diprediksi sepanjang malam dalam 67 rekaman EKG klinis: 35 dari HMC, 15 dari CAP, dan 17 dari MIT-BIH Polysomnographic Database. Tidak ada rekaman Apple Watch yang disertakan dalam analisis ini. Kami membandingkan korelasi Pearson dengan rangkuman turunan PSG terhadap target internal yang ditetapkan sebelumnya; rincian target belum dipublikasikan.
- Terjaga setelah mulai tidur (WASO): r = 0.42
- Proporsi tidur dalam (N3%): r = 0.32
- Efisiensi tidur: r = 0.30
- Latensi tidur: r = −0.007
- Proporsi tidur REM: r = 0.003
Hasil 4: melaporkan rentang di tiga kohort yang disisihkan
Untuk tiga kohort EKG klinis, kami juga melatih pada dua kohort dan menguji pada kohort sisanya, evaluasi yang disebut leave-one-dataset-out atau LODO. AUROC pada kohort yang disisihkan adalah 0.621 untuk HMC, 0.647 untuk CAP, dan 0.649 untuk SLPDB. Nilai κ yang sesuai adalah 0.117, 0.172, dan 0.107.
Selisih 0.028 adalah rentang antara AUROC tertinggi dan terendah pada kohort yang disisihkan. Ini bukan "penurunan kinerja" terukur dari hasil dalam domain ke dataset eksternal. Perkiraan titik serupa di tiga kohort ini tidak membuktikan model bebas dari overfitting atau akan berkinerja sama pada pengguna baru.
Yang dapat dan tidak dapat disimpulkan
Dalam dataset publik kecil ini, fitur turunan detak jantung ditambah informasi waktu dekat memungkinkan model khusus kami membedakan tahap tidur sampai tingkat terbatas. Kesesuaian tanpa EEG tetap terbatas, dan rangkuman malam dalam analisis EKG klinis terpisah tidak mencapai target internal.
Studi tidak memastikan ketepatan fitur bawaan Apple, kesetaraan Apple Watch dan EKG klinis, ketepatan persentase REM perangkat pakai secara umum, atau kemampuan mendiagnosis gangguan tidur. Setiap pertanyaan tersebut membutuhkan studi yang dirancang untuk produk, sinyal, dan populasi khusus itu.
Transparansi dan keterbatasan
- Ini merupakan analisis sekunder internal Feelmo yang belum ditinjau dan belum direproduksi peneliti independen
- Kriteria evaluasi ditetapkan dalam materi internal, tetapi target terperinci belum dipublikasikan dan tidak didaftarkan secara publik pada layanan pihak ketiga sebelum hasil diperiksa
- Eksperimen Apple Watch memiliki 31 peserta, eksperimen EKG klinis 35, dan analisis rangkuman malam 67 rekaman; analisis tidak menjelaskan ketidakpastian sepenuhnya dengan interval kepercayaan
- Hasil Apple Watch dan EKG klinis memakai peserta, sinyal, dan fitur berbeda, sehingga bukan perbandingan langsung kedua modalitas
- Rentang AUROC LODO 0.028 tidak membuktikan ketiadaan overfitting
- Semua evaluasi memakai dataset publik dan tidak memakai data pengguna Feelmo
- Analisis tidak dirancang untuk mendiagnosis gangguan tidur, memandu pengobatan, atau mengevaluasi fitur Tahap Tidur bawaan Apple
Referensi
- Estimating Sleep Stages from Apple Watch (laporan teknis fitur bawaan) — Apple
- Accuracy of Three Commercial Wearable Devices for Sleep Tracking in Healthy Adults — Sensors
- Sleep stage prediction with raw acceleration and PPG heart rate data — Sleep
- Motion and heart rate from a wrist-worn wearable and labeled sleep from PSG — PhysioNet
- Haaglanden Medisch Centrum sleep staging database — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet