Kurz gesagt
In öffentlichen Apple-Watch-Daten von 31 Personen erreichte ein Forschungsmodell mit herzfrequenzabgeleiteten Informationen und zeitlichem Kontext über fünf Stadien eine Übereinstimmung von κ=0,221 gegenüber PSG. In einem getrennten Versuch mit klinischem EKG bei 35 anderen Personen lag κ bei 0,244. Da nicht dieselben Personen verglichen wurden, lässt sich daraus keine Gleichwertigkeit der Signale ableiten. Die Analyse von 67 nächtlichen Zusammenfassungen verwendete klinisches EKG, nicht Apple Watch. Die Ergebnisse sagen weder, wie genau Apples eigene Funktion ist, noch wie genau REM-Anteile aus Wearable-Apps allgemein sind.
Die wichtigsten Punkte
- Bewertet wurde ein Forschungsmodell mit herzfrequenzabgeleiteten Informationen und zeitlichem Kontext, nicht Apples eigene Schlafstadien-Funktion; die genaue Ausgestaltung ist nicht veröffentlicht
- Die Übereinstimmung betrug κ=0,221 bei 31 Apple-Watch-Teilnehmenden und κ=0,244 in einer getrennten klinischen EKG-Kohorte mit 35 Personen; getrennte Kohorten belegen keine Gleichwertigkeit
- Ohne Informationen aus den umliegenden Zeitabschnitten sank κ auf 0,092 beziehungsweise 0,119; der zeitliche Kontext half diesem Modell
- Die 67 nächtlichen Zusammenfassungen stammten aus klinischem EKG und prüften keine REM-Anteile der Apple Watch
- Die held-out AUROC lag über drei Kohorten zwischen 0,621 und 0,649, also in einer Spannweite von 0,028; das beweist nicht, dass das Modell frei von Überanpassung ist
- Die Ergebnisse stammen aus einer nicht begutachteten internen Sekundäranalyse ohne öffentliche externe Präregistrierung
Zuerst: von Apples eigener Funktion unterscheiden
Apples eigene Schlafstadien-Funktion nutzt Beschleunigungssignale der Apple Watch als Eingabe und schätzt vier Zustände: Wach, REM, Kernschlaf und Tiefschlaf. Apple hat dazu einen technischen Bericht veröffentlicht; außerdem verglich eine unabhängige Studie die Apple Watch Series 8 mit PSG.
Unsere interne Analyse ist davon getrennt. Ein Forschungsmodell nutzte aus der Herzfrequenz abgeleitete Informationen und zeitlichen Kontext aus einem öffentlichen Apple-Watch-Datensatz, um fünf Stadien zu schätzen: Wach, N1, N2, N3 und REM. Die konkrete Merkmalsgestaltung, Vorverarbeitung und Modellarchitektur sind nicht veröffentlicht. Eingabe und Stadieneinteilung unterscheiden sich von Apples Funktion. Die Ergebnisse dürfen deshalb nicht als deren Validierung gelesen werden.
Welche Referenz und welche Daten wurden verwendet?
Als Referenz dienten Schlafstadien aus der Polysomnografie (PSG). PSG zeichnet unter anderem Hirnaktivität, Augenbewegungen und Muskelaktivität auf; geschulte Auswertende ordnen jedem 30-Sekunden-Abschnitt ein Stadium zu.
Der Apple-Watch-Versuch verwendete 31 Personen und 25.813 Epochen aus dem öffentlichen Datensatz von Walch und Kollegen, in dem Watch und PSG in denselben Nächten aufzeichneten. Der getrennte klinische EKG-Versuch umfasste 35 HMC-Teilnehmende. Beide Versuche verwendeten eine nach Personen gruppierte Fünffach-Evaluation, waren aber getrennte Experimente mit anderen Teilnehmenden und Signalen.
Ergebnis 1: Die Punktschätzungen zweier kleiner Versuche lagen nahe beieinander
Die beiden Punktschätzungen lagen nahe beieinander. Es war jedoch kein Vergleich, bei dem dieselben Personen gleichzeitig eine Apple Watch trugen und ein klinisches EKG erhielten. Für die Differenz wurde kein Konfidenzintervall berechnet und es gab weder einen Äquivalenz- noch einen Nichtunterlegenheitstest. Daher können wir nicht schließen, dass Apple-Watch-Herzfrequenz und klinisches EKG gleichwertig sind.
Cohens κ misst Übereinstimmung unter Berücksichtigung der zufällig erwartbaren Übereinstimmung. Wir nennen die Werte direkt, statt sie pauschal als „gut“ oder „ausreichend“ zu bewerten. Für einen bestimmten Einsatzzweck wären zusätzlich Unsicherheitsintervalle und die Leistung je Schlafstadium nötig.
- Aus klinischem PSG abgeleitete HRV: Makro-AUROC 0,711, Übereinstimmung κ 0,244
- Öffentlicher Apple-Watch-Datensatz: Makro-AUROC 0,708, Übereinstimmung κ 0,221
Ergebnis 2: Informationen aus der umliegenden Zeit halfen dem Modell
Wir verglichen das Forschungsmodell mit und ohne Informationen aus dem zeitlichen Umfeld. Mit diesem Kontext war die Übereinstimmung höher; die genaue Reichweite und Einbindung sind nicht veröffentlicht.
- Aus klinischem PSG abgeleitete HRV, mit Kontext → ohne Kontext: κ 0,244 → 0,119
- Öffentlicher Apple-Watch-Datensatz, mit zeitlichem Kontext → ohne zeitlichen Kontext: κ 0,221 → 0,092
Ergebnis 3: Die 67 nächtlichen Zusammenfassungen stammten aus einer getrennten klinischen EKG-Analyse
Anschließend fassten wir geschätzte Stadien über eine Nacht in 67 klinischen EKG-Aufzeichnungen zusammen: 35 aus HMC, 15 aus CAP und 17 aus der MIT-BIH Polysomnographic Database. Diese Analyse enthielt keine Apple-Watch-Aufzeichnung. Wir verglichen Pearson-Korrelationen mit den aus PSG berechneten Zusammenfassungen gegen ein vorab festgelegtes internes Ziel; die Einzelheiten des Ziels sind nicht veröffentlicht.
- Wachzeit nach dem Einschlafen (WASO): r = 0,42
- Anteil Tiefschlaf (N3 %): r = 0,32
- Schlafeffizienz: r = 0,30
- Einschlaflatenz: r = −0,007
- Anteil REM-Schlaf: r = 0,003
Ergebnis 4: Die Spannweite über drei zurückgehaltene Kohorten
Bei den drei klinischen EKG-Kohorten trainierten wir außerdem jeweils auf zwei Kohorten und testeten auf der verbleibenden. Diese Auswertung heißt Leave-one-dataset-out (LODO). Die held-out AUROC betrug 0,621 für HMC, 0,647 für CAP und 0,649 für SLPDB. Die zugehörigen κ-Werte waren 0,117, 0,172 und 0,107.
Die Differenz von 0,028 ist die Spannweite zwischen größter und kleinster held-out AUROC. Sie ist kein gemessener „Leistungsabfall“ von internen auf externe Daten. Ähnliche Punktschätzungen in diesen drei Kohorten beweisen weder, dass das Modell frei von Überanpassung ist, noch dass es bei neuen Nutzenden gleich abschneidet.
Was sich daraus schließen lässt — und was nicht
In diesen kleinen öffentlichen Datensätzen konnte unser eigenes Modell Schlafstadien anhand herzfrequenzbasierter Merkmale und naher Zeitinformationen in begrenztem Umfang unterscheiden. Die Übereinstimmung ohne EEG blieb begrenzt, und die nächtlichen Zusammenfassungen der getrennten klinischen EKG-Analyse erreichten das interne Ziel nicht.
Die Untersuchung belegt weder die Genauigkeit von Apples eigener Funktion noch die Gleichwertigkeit von Apple Watch und klinischem EKG, die Genauigkeit allgemeiner REM-Anteile aus Wearables oder die Fähigkeit zur Diagnose einer Schlafstörung. Jede dieser Fragen erfordert eine Studie, die für das jeweilige Produkt, Signal und die Zielgruppe geplant ist.
Transparenz und Grenzen
- Dies ist eine nicht begutachtete interne Sekundäranalyse von Feelmo und wurde noch nicht von unabhängigen Forschenden reproduziert
- Bewertungskriterien waren in internen Unterlagen vorab festgelegt; die detaillierten Ziele sind nicht veröffentlicht und wurden vor Sichtung der Ergebnisse nicht öffentlich bei einem Drittanbieter präregistriert
- Der Apple-Watch-Versuch umfasste 31 Personen, der klinische EKG-Versuch 35 und die Analyse nächtlicher Zusammenfassungen 67 Aufzeichnungen; eine vollständige Unsicherheitsbewertung mit Konfidenzintervallen liegt nicht vor
- Apple-Watch- und klinische EKG-Ergebnisse stammen von anderen Teilnehmenden, Signalen und Merkmalen und sind kein direkter Vergleich der Modalitäten
- Die LODO-AUROC-Spannweite von 0,028 beweist nicht, dass keine Überanpassung vorliegt
- Alle Auswertungen nutzten öffentliche Datensätze und keine Feelmo-Nutzerdaten
- Die Analyse war weder zur Diagnose von Schlafstörungen oder Behandlungsentscheidung noch zur Bewertung von Apples eigener Schlafstadien-Funktion ausgelegt
Quellen
- Estimating Sleep Stages from Apple Watch (technischer Bericht zur nativen Funktion) — Apple
- Accuracy of Three Commercial Wearable Devices for Sleep Tracking in Healthy Adults — Sensors
- Sleep stage prediction with raw acceleration and PPG heart rate data — Sleep
- Motion and heart rate from a wrist-worn wearable and labeled sleep from PSG — PhysioNet
- Haaglanden Medisch Centrum sleep staging database — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet