Het korte antwoord
In openbare Apple Watch-gegevens van 31 deelnemers bereikte een onderzoeksmodel met uit hartslag afgeleide informatie en tijdscontext een overeenstemming van κ=0.221 met PSG over vijf fasen. Een afzonderlijk klinisch ECG-experiment bij 35 deelnemers bereikte κ=0.244, maar dit waren niet dezelfde mensen, zodat de twee signalen niet als gelijkwaardig kunnen worden beschouwd. De analyse van nachtelijke samenvattingen van 67 registraties gebruikte klinisch ECG, geen Apple Watch. Deze resultaten kunnen niet vertellen hoe nauwkeurig Apples ingebouwde functie is of of REM-percentages uit draagbare apps in het algemeen nauwkeurig zijn.
Belangrijkste punten
- Dit beoordeelt een onderzoeksmodel met uit hartslag afgeleide informatie en tijdscontext, niet Apples ingebouwde functie Slaapfasen; het gedetailleerde ontwerp is niet gepubliceerd
- De overeenstemming was κ=0.221 bij 31 Apple Watch-deelnemers en κ=0.244 in een afzonderlijk klinisch ECG-cohort van 35 deelnemers; de afzonderlijke cohorten stellen geen gelijkwaardigheid vast
- Het verwijderen van omliggende tijdsinformatie verlaagde κ naar 0.092 en 0.119, wat suggereert dat tijdscontext dit model hielp
- De analyse van nachtelijke samenvattingen van 67 registraties gebruikte klinisch ECG en testte geen REM-percentages uit Apple Watch
- AUROC bij evaluatie op achtergehouden gegevens over drie cohorten was 0.621–0.649, een bereik van 0.028; dit bewijst niet dat het model vrij is van overfitting
- De resultaten zijn een niet beoordeelde interne secundaire analyse zonder openbare externe preregistratie
Maak eerst onderscheid met Apples ingebouwde functie
Apples ingebouwde functie Slaapfasen gebruikt signalen van de Apple Watch-versnellingsmeter als invoer en schat vier toestanden: Wakker, REM, Kern en Diep. Apple publiceerde een technisch rapport over die functie en een onafhankelijk onderzoek vergeleek Apple Watch Series 8 met PSG.
Onze interne analyse is anders. We gebruikten uit hartslag afgeleide informatie en omliggende tijdsinformatie uit een openbare Apple Watch-dataset in een onderzoeksmodel dat vijf fasen schatte: Wakker, N1, N2, N3 en REM. Het specifieke kenmerkontwerp, de voorbewerking en modelarchitectuur zijn niet gepubliceerd. Invoer en fasedefinities verschillen van Apples ingebouwde functie, zodat de resultaten Apples eigen validatieresultaten niet kunnen vervangen.
Wat was de referentie en welke gegevens zijn gebruikt?
We gebruikten slaapfasen uit polysomnografie (PSG) als referentie. PSG registreert verschillende signalen, waaronder hersenactiviteit, oogbewegingen en spieractiviteit, en getrainde beoordelaars wijzen iedere epoche van 30 seconden een fase toe.
Het Apple Watch-experiment gebruikte 31 deelnemers en 25,813 epochen uit de openbare dataset gepubliceerd door Walch en collega's, waarin Watch- en PSG-gegevens tijdens dezelfde nachten werden geregistreerd. Het afzonderlijke klinische ECG-experiment gebruikte 35 HMC-deelnemers. Beide gebruikten vijfvoudige evaluatie met groepering per deelnemer, maar waren afzonderlijke experimenten met verschillende deelnemers en signalen.
Resultaat 1: de puntschattingen lagen dicht bij elkaar in twee kleine experimenten
De twee puntschattingen lagen dicht bij elkaar, maar dit was geen vergelijking waarin dezelfde deelnemers een Apple Watch droegen terwijl klinisch ECG werd geregistreerd. We schatten geen betrouwbaarheidsinterval voor het verschil en voerden geen gelijkwaardigheids- of non-inferioriteitstest uit. Daarom kunnen we niet concluderen dat Apple Watch-hartslag gelijkwaardig is aan klinisch ECG.
Cohens κ meet overeenstemming na correctie voor overeenstemming die door toeval wordt verwacht. We rapporteren de waarden rechtstreeks in plaats van een vast label als "goed" of "voldoende" toe te kennen. Geschiktheid voor een bepaald gebruik vereist ook onzekerheidsschattingen en prestaties per fase.
- Klinische PSG-afgeleide HRV: macro-AUROC 0.711, overeenstemming κ 0.244
- Openbare Apple Watch-dataset: macro-AUROC 0.708, overeenstemming κ 0.221
Resultaat 2: omliggende tijdsinformatie hielp het model
We vergeleken het onderzoeksmodel met en zonder omliggende tijdsinformatie. De overeenstemming was hoger wanneer die context werd meegenomen; het exacte contextbereik en hoe dit het model inging zijn niet gepubliceerd.
- Klinische PSG-afgeleide HRV, met context → zonder context: κ 0.244 → 0.119
- Openbare Apple Watch-dataset, met tijdscontext → zonder tijdscontext: κ 0.221 → 0.092
Resultaat 3: de 67 nachtelijke samenvattingen kwamen uit een afzonderlijke klinische ECG-analyse
Daarna vatten we voorspelde fasen gedurende een nacht samen in 67 klinische ECG-registraties: 35 uit HMC, 15 uit CAP en 17 uit de MIT-BIH Polysomnographic Database. In deze analyse zaten geen Apple Watch-registraties. We vergeleken Pearson-correlaties met uit PSG afgeleide samenvattingen met een vooraf vastgelegd intern doel; de details van het doel zijn niet gepubliceerd.
- Wakkertijd na inslapen (WASO): r = 0.42
- Aandeel diepe slaap (N3%): r = 0.32
- Slaapefficiëntie: r = 0.30
- Inslaaptijd: r = −0.007
- Aandeel REM-slaap: r = 0.003
Resultaat 4: rapporteer het bereik over drie achtergehouden cohorten
Voor de drie klinische ECG-cohorten trainden we ook op twee cohorten en testten op het resterende cohort, een evaluatie genaamd leave-one-dataset-out of LODO. AUROC bij achtergehouden gegevens was 0.621 voor HMC, 0.647 voor CAP en 0.649 voor SLPDB. De bijbehorende κ-waarden waren 0.117, 0.172 en 0.107.
Het verschil van 0.028 is het bereik tussen de grootste en kleinste AUROC bij achtergehouden gegevens. Het is geen gemeten "prestatiedaling" van een resultaat binnen het domein naar een externe dataset. Vergelijkbare puntschattingen over deze drie cohorten bewijzen niet dat het model vrij is van overfitting of op dezelfde manier zal presteren bij nieuwe gebruikers.
Wat wel en niet kan worden geconcludeerd
Binnen deze kleine openbare datasets lieten uit hartslag afgeleide kenmerken plus nabije tijdsinformatie ons eigen model slaapfasen in beperkte mate onderscheiden. Overeenstemming zonder EEG bleef beperkt en nachtelijke samenvattingen in de afzonderlijke klinische ECG-analyse bereikten het interne doel niet.
Het onderzoek stelt niet de nauwkeurigheid van Apples ingebouwde functie vast, gelijkwaardigheid tussen Apple Watch en klinisch ECG, de nauwkeurigheid van REM-percentages uit draagbare apparaten in het algemeen of het vermogen om een slaapstoornis te diagnosticeren. Elk van die vragen vereist een onderzoek ontworpen voor dat specifieke product, signaal en die populatie.
Transparantie en beperkingen
- Dit is een niet beoordeelde interne secundaire analyse door Feelmo en deze is nog niet gereproduceerd door onafhankelijke onderzoekers
- Evaluatiecriteria werden vastgelegd in interne documenten, maar de gedetailleerde doelen zijn niet gepubliceerd en werden niet openbaar bij een externe dienst geregistreerd voordat de resultaten werden bekeken
- Het Apple Watch-experiment had 31 deelnemers, het klinische ECG-experiment had 35 en de analyse van nachtelijke samenvattingen had 67 registraties; de analyse geeft geen volledig beeld van onzekerheid met betrouwbaarheidsintervallen
- De Apple Watch- en klinische ECG-resultaten gebruikten verschillende deelnemers, signalen en kenmerken, zodat ze geen rechtstreekse vergelijking van beide modaliteiten zijn
- Het LODO-AUROC-bereik van 0.028 bewijst geen afwezigheid van overfitting
- Alle evaluaties gebruikten openbare datasets en geen Feelmo-gebruikersgegevens
- De analyse was niet ontworpen om slaapstoornissen te diagnosticeren, behandeling te sturen of Apples ingebouwde functie Slaapfasen te beoordelen
Bronnen
- Slaapfasen schatten met Apple Watch (technisch rapport over de ingebouwde functie) — Apple
- Nauwkeurigheid van drie commerciële draagbare apparaten voor slaapregistratie bij gezonde volwassenen — Sensors
- Slaapfasevoorspelling met ruwe versnellingsgegevens en PPG-hartslaggegevens — Sleep
- Beweging en hartslag uit een aan de pols gedragen apparaat en gelabelde slaap uit PSG — PhysioNet
- Haaglanden Medisch Centrum-slaapfaseringsdatabase — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet