Vad visade vår forskningsmodell om att uppskatta sömnstadier från Apple Watch-data?

Skilj först detta från Apples inbyggda funktion

Apples inbyggda funktion för sömnstadier använder signaler från Apple Watchs accelerometer som indata och uppskattar fyra tillstånd: Vaken, REM, Bassömn och Djupsömn. Apple har publicerat en teknisk rapport om funktionen, och en oberoende studie har jämfört Apple Watch Series 8 med PSG.

Vår interna analys är annorlunda. Vi använde information härledd från puls och omgivande tidsinformation från en offentlig Apple Watch-datamängd i en forskningsmodell som uppskattade fem stadier: Vaken, N1, N2, N3 och REM. Den specifika utformningen av variabler, förbehandlingen och modellarkitekturen är opublicerade. Dess indata och definitioner av stadier skiljer sig från Apples inbyggda funktion, så dess resultat kan inte ersätta Apples egna valideringsresultat.

Vad var referensen och vilka data användes?

Vi använde sömnstadier från polysomnografi (PSG) som referens. PSG registrerar flera signaler, bland annat hjärnaktivitet, ögonrörelser och muskelaktivitet, och utbildade bedömare tilldelar ett stadium till varje 30-sekundersepok.

Apple Watch-experimentet använde 31 deltagare och 25,813 epoker från den offentliga datamängd som Walch och kollegor publicerade, där Watch- och PSG-data registrerades under samma nätter. Det separata experimentet med kliniskt EKG använde 35 HMC-deltagare. Båda använde femfaldig utvärdering grupperad efter deltagare, men det var separata experiment med olika deltagare och signaler.

Resultat 1: punktestimaten låg nära varandra i två små experiment

De två punktestimaten låg nära varandra, men detta var ingen jämförelse där samma deltagare bar Apple Watch samtidigt som kliniskt EKG registrerades. Vi uppskattade inget konfidensintervall för skillnaden och genomförde inget test av likvärdighet eller icke-underlägsenhet. Därför kan vi inte dra slutsatsen att puls från Apple Watch är likvärdig med kliniskt EKG.

Cohens κ mäter överensstämmelse efter att hänsyn tagits till den överensstämmelse som kan förväntas av slumpen. Vi rapporterar värdena direkt i stället för att ge dem en fast etikett som ”bra” eller ”tillräcklig”. Lämplighet för ett visst användningsområde skulle också kräva osäkerhetsuppskattningar och prestanda för varje stadium.

• HRV härlett från klinisk PSG: makro-AUROC 0.711, överensstämmelse κ 0.244
• Offentlig Apple Watch-datamängd: makro-AUROC 0.708, överensstämmelse κ 0.221

Resultat 2: omgivande tidsinformation hjälpte modellen

Vi jämförde forskningsmodellen med och utan omgivande tidsinformation. Överensstämmelsen var högre när sammanhanget inkluderades; det exakta tidsfönstret och hur det fördes in i modellen är opublicerade.

• HRV härlett från klinisk PSG, med sammanhang → utan sammanhang: κ 0.244 → 0.119
• Offentlig Apple Watch-datamängd, med tidsmässigt sammanhang → utan tidsmässigt sammanhang: κ 0.221 → 0.092

Resultat 3: de 67 nattliga sammanfattningarna kom från en separat analys med kliniskt EKG

Därefter sammanfattade vi förutsagda stadier över en natt i 67 kliniska EKG-registreringar: 35 från HMC, 15 från CAP och 17 från MIT-BIH Polysomnographic Database. Inga Apple Watch-registreringar ingick i denna analys. Vi jämförde Pearson-korrelationer med sammanfattningar härledda från PSG mot ett i förväg specificerat internt mål; målets detaljer är opublicerade.

• Vakenhet efter insomnande (WASO): r = 0.42
• Andel djupsömn (N3%): r = 0.32
• Sömneffektivitet: r = 0.30
• Insomningstid: r = −0.007
• Andel REM-sömn: r = 0.003

Resultat 4: redovisa spannet över tre undanhållna testkohorter

För de tre kohorterna med kliniskt EKG tränade vi också på två kohorter och testade på den återstående, en utvärdering som kallas leave-one-dataset-out, eller LODO. AUROC på undanhållna testdata var 0.621 för HMC, 0.647 för CAP och 0.649 för SLPDB. Motsvarande κ-värden var 0.117, 0.172 och 0.107.

Skillnaden 0.028 är spannet mellan högsta och lägsta AUROC på undanhållna testdata. Det är ingen uppmätt ”prestandaförlust” från ett resultat inom samma domän till en extern datamängd. Liknande punktestimat över dessa tre kohorter bevisar inte att modellen är fri från överanpassning eller kommer att fungera på samma sätt för nya användare.

Vad man kan och inte kan dra för slutsatser

Inom dessa små offentliga datamängder gjorde variabler härledda från puls tillsammans med närliggande tidsinformation att vår egen modell kunde skilja sömnstadier åt i begränsad utsträckning. Överensstämmelsen utan EEG förblev begränsad, och de nattliga sammanfattningarna i den separata analysen med kliniskt EKG nådde inte det interna målet.

Studien fastställer inte noggrannheten hos Apples inbyggda funktion, likvärdighet mellan Apple Watch och kliniskt EKG, noggrannheten hos REM-andelar från bärbara enheter i allmänhet eller förmågan att diagnostisera en sömnstörning. Var och en av dessa frågor behöver en studie utformad för just den produkten, signalen och populationen.

Transparens och begränsningar

• Detta är en ogranskad intern sekundäranalys av Feelmo och har ännu inte reproducerats av oberoende forskare
• Utvärderingskriterier specificerades i interna underlag, men de detaljerade målen är opublicerade och registrerades inte offentligt hos en tredje part innan resultaten granskades
• Apple Watch-experimentet hade 31 deltagare, experimentet med kliniskt EKG hade 35 och analysen av nattliga sammanfattningar hade 67 registreringar; analysen ger ingen fullständig redovisning av osäkerheten med konfidensintervall
• Apple Watch- och EKG-resultaten använde olika deltagare, signaler och variabler, så de är ingen direkt jämförelse av de två mätmetoderna
• LODO-spannet för AUROC på 0.028 bevisar inte att överanpassning saknas
• Alla utvärderingar använde offentliga datamängder och inga data från Feelmo-användare
• Analysen utformades inte för att diagnostisera sömnstörningar, vägleda behandling eller utvärdera Apples inbyggda funktion för sömnstadier