Que montre notre modèle de recherche sur l’estimation des stades du sommeil avec des données Apple Watch ?

D’abord, distinguer ce modèle de la fonction native d’Apple

La fonction native Stades du sommeil d’Apple utilise comme entrée les signaux de l’accéléromètre de l’Apple Watch et estime quatre états : Éveil, sommeil paradoxal, sommeil léger et sommeil profond. Apple a publié un rapport technique sur cette fonction, et une étude indépendante a comparé l’Apple Watch Series 8 à la PSG.

Notre analyse interne est différente. Un modèle de recherche a utilisé des informations dérivées de la fréquence cardiaque et le contexte temporel d’un jeu de données public Apple Watch pour estimer cinq stades : éveil, N1, N2, N3 et sommeil paradoxal. La conception précise des caractéristiques, le prétraitement et l’architecture du modèle ne sont pas publiés. Les entrées et les définitions des stades diffèrent de la fonction native d’Apple ; les résultats ne peuvent donc pas remplacer ceux de la validation d’Apple.

Quelle était la référence et quelles données ont été utilisées ?

Nous avons utilisé comme référence les stades du sommeil déterminés par polysomnographie (PSG). La PSG enregistre plusieurs signaux, notamment l’activité cérébrale, les mouvements oculaires et l’activité musculaire ; des évaluateurs formés attribuent ensuite un stade à chaque époque de 30 secondes.

L’expérience Apple Watch reposait sur 31 participants et 25 813 époques du jeu de données public de Walch et ses collègues, avec des enregistrements simultanés de la montre et de la PSG. L’expérience distincte sur ECG clinique incluait 35 participants de HMC. Les deux expériences employaient une évaluation en cinq plis regroupée par participant, mais concernaient des personnes et des signaux différents.

Résultat 1 : les estimations ponctuelles étaient proches dans deux petites expériences

Les estimations ponctuelles étaient proches, mais il ne s’agissait pas d’une comparaison dans laquelle les mêmes participants portaient une Apple Watch pendant un enregistrement ECG clinique. Nous n’avons ni estimé l’intervalle de confiance de la différence, ni réalisé de test d’équivalence ou de non-infériorité. Nous ne pouvons donc pas conclure que la fréquence cardiaque de l’Apple Watch équivaut à un ECG clinique.

Le κ de Cohen mesure l’accord après prise en compte de l’accord attendu par hasard. Nous rapportons les valeurs telles quelles, sans leur attribuer une étiquette fixe comme « bon » ou « suffisant ». Pour juger l’aptitude à un usage précis, il faudrait aussi des estimations d’incertitude et les performances stade par stade.

• VFC dérivée de la PSG clinique : AUROC macro 0,711, accord κ 0,244
• Jeu de données public Apple Watch : AUROC macro 0,708, accord κ 0,221

Résultat 2 : le contexte temporel aidait le modèle

Nous avons comparé le modèle de recherche avec et sans contexte temporel environnant. L’accord était supérieur lorsque ce contexte était inclus ; son étendue exacte et son mode d’intégration ne sont pas publiés.

• VFC dérivée de la PSG clinique, avec contexte → sans contexte : κ 0,244 → 0,119
• Jeu de données public Apple Watch, avec contexte temporel → sans contexte temporel : κ 0,221 → 0,092

Résultat 3 : les 67 résumés nocturnes provenaient d’une analyse distincte sur ECG clinique

Nous avons ensuite résumé les stades prédits sur une nuit dans 67 enregistrements d’ECG clinique : 35 de HMC, 15 de CAP et 17 de la MIT-BIH Polysomnographic Database. Aucun enregistrement Apple Watch n’était inclus dans cette analyse. Nous avons comparé les corrélations de Pearson avec les résumés tirés de la PSG à un objectif interne fixé à l’avance ; le détail de cet objectif n’est pas publié.

• Éveil après l’endormissement (WASO) : r = 0,42
• Part de sommeil profond (N3 %) : r = 0,32
• Efficacité du sommeil : r = 0,30
• Latence d’endormissement : r = −0,007
• Part de sommeil paradoxal : r = 0,003

Résultat 4 : présenter l’étendue entre trois cohortes tenues à l’écart

Pour les trois cohortes d’ECG clinique, nous avons aussi entraîné le modèle sur deux cohortes puis testé la troisième, selon une évaluation dite leave-one-dataset-out, ou LODO. L’AUROC sur la cohorte tenue à l’écart était de 0,621 pour HMC, 0,647 pour CAP et 0,649 pour SLPDB. Les valeurs correspondantes de κ étaient de 0,117, 0,172 et 0,107.

La différence de 0,028 est l’étendue entre l’AUROC la plus élevée et la plus faible sur les cohortes tenues à l’écart. Ce n’est pas une « baisse de performance » mesurée entre un résultat interne et un jeu de données externe. La proximité de ces estimations dans trois cohortes ne prouve ni l’absence de surapprentissage ni une performance identique chez de nouveaux utilisateurs.

Ce que l’on peut conclure, et ce que l’on ne peut pas conclure

Dans ces petits jeux de données publics, des caractéristiques dérivées de la fréquence cardiaque associées au contexte temporel ont permis à notre modèle personnalisé de distinguer les stades du sommeil dans une certaine mesure. Sans EEG, l’accord restait limité, et les résumés nocturnes de l’analyse distincte sur ECG clinique n’ont pas atteint l’objectif interne.

L’étude n’établit ni la précision de la fonction native d’Apple, ni l’équivalence entre Apple Watch et ECG clinique, ni la précision générale des pourcentages de sommeil paradoxal des appareils portables, ni la capacité à diagnostiquer un trouble du sommeil. Chacune de ces questions exige une étude conçue pour le produit, le signal et la population concernés.

Transparence et limites

• Il s’agit d’une analyse secondaire interne de Feelmo, non évaluée par les pairs et non reproduite à ce jour par des chercheurs indépendants
• Des critères d’évaluation figuraient dans des documents internes ; les objectifs détaillés ne sont pas publiés et n’ont pas été préenregistrés publiquement auprès d’un service tiers avant l’examen des résultats
• L’expérience Apple Watch comptait 31 participants, l’expérience sur ECG clinique 35, et l’analyse nocturne 67 enregistrements ; l’analyse ne fournit pas un compte rendu complet de l’incertitude avec des intervalles de confiance
• Les résultats Apple Watch et ECG clinique reposaient sur des participants, signaux et caractéristiques différents ; ils ne constituent pas une comparaison directe des deux modalités
• L’étendue LODO de 0,028 pour l’AUROC ne prouve pas l’absence de surapprentissage
• Toutes les évaluations utilisaient des jeux de données publics, sans données d’utilisateurs de Feelmo
• L’analyse n’était pas conçue pour diagnostiquer un trouble du sommeil, orienter un traitement ou évaluer la fonction native Stades du sommeil d’Apple