En corto
En datos públicos de Apple Watch de 31 participantes, un modelo de investigación con información derivada de la frecuencia cardíaca y contexto temporal logró una concordancia κ=0,221 con la PSG en cinco fases. Otro experimento, realizado con ECG clínico en 35 participantes distintos, logró κ=0,244. Como no eran las mismas personas, no puede afirmarse que ambas señales sean equivalentes. El análisis de 67 registros con resúmenes nocturnos usó ECG clínico, no Apple Watch. Estos resultados no indican la precisión de la función nativa de Apple ni la exactitud general de los porcentajes REM de las apps para wearables.
Puntos clave
- Se evalúa un modelo de investigación con información derivada de la frecuencia cardíaca y contexto temporal, no la función nativa de Apple; el diseño detallado no se publica
- La concordancia fue κ=0,221 en 31 participantes con Apple Watch y κ=0,244 en otra cohorte de 35 participantes con ECG clínico; estas cohortes separadas no demuestran equivalencia
- Al retirar la información temporal circundante, κ bajó a 0,092 y 0,119, lo que sugiere que el contexto temporal ayudó a este modelo
- El análisis de 67 resúmenes nocturnos usó ECG clínico y no puso a prueba los porcentajes REM del Apple Watch
- El AUROC en tres cohortes reservadas para prueba fue de 0,621–0,649, un rango de 0,028; esto no demuestra que el modelo esté libre de sobreajuste
- Son resultados de un análisis secundario interno no revisado, sin prerregistro externo público
Primero, hay que separarlo de la función nativa de Apple
La función nativa Fases del sueño de Apple usa como entrada las señales del acelerómetro del Apple Watch y estima cuatro estados: vigilia, REM, esencial y profundo. Apple ha publicado un informe técnico sobre esa función, y un estudio independiente comparó el Apple Watch Series 8 con PSG.
Nuestro análisis interno es distinto. Un modelo de investigación utilizó información derivada de la frecuencia cardíaca y contexto temporal de un conjunto público de Apple Watch para estimar cinco fases: vigilia, N1, N2, N3 y REM. El diseño concreto de las características, el preprocesamiento y la arquitectura del modelo no se publican. La entrada y las definiciones de fases difieren de la función nativa de Apple, por lo que estos resultados no pueden sustituir los de la validación de Apple.
¿Cuál fue la referencia y qué datos se usaron?
Usamos como referencia las fases asignadas mediante polisomnografía (PSG). La PSG registra varias señales, entre ellas la actividad cerebral, los movimientos oculares y la actividad muscular, y profesionales formados asignan una fase a cada época de 30 segundos.
El experimento con Apple Watch incluyó 31 participantes y 25.813 épocas del conjunto público publicado por Walch y colaboradores, que registró el reloj y la PSG durante las mismas noches. El experimento independiente con ECG clínico incluyó a 35 participantes de HMC. Ambos usaron una evaluación de cinco particiones agrupada por participante, pero fueron experimentos separados, con personas y señales diferentes.
Resultado 1: las estimaciones puntuales fueron cercanas en dos experimentos pequeños
Las dos estimaciones puntuales fueron cercanas, pero no se trató de una comparación en la que las mismas personas llevasen Apple Watch mientras se registraba un ECG clínico. No calculamos un intervalo de confianza para la diferencia ni hicimos una prueba de equivalencia o no inferioridad. Por ello, no podemos concluir que la frecuencia cardíaca del Apple Watch sea equivalente al ECG clínico.
La κ de Cohen mide la concordancia una vez descontada la que cabría esperar por azar. Informamos los valores directamente, sin asignarles una etiqueta fija como «buena» o «adecuada». Determinar si sirven para un uso concreto también exigiría estimaciones de incertidumbre y resultados por cada fase.
- HRV derivada de PSG clínica: AUROC macro 0,711, concordancia κ 0,244
- Conjunto público de Apple Watch: AUROC macro 0,708, concordancia κ 0,221
Resultado 2: la información temporal circundante ayudó al modelo
Comparamos el modelo de investigación con y sin información temporal circundante. La concordancia fue mayor al incluir ese contexto; no se publican su alcance exacto ni cómo entró en el modelo.
- HRV derivada de PSG clínica, con contexto → sin contexto: κ 0,244 → 0,119
- Conjunto público de Apple Watch, con contexto temporal → sin contexto temporal: κ 0,221 → 0,092
Resultado 3: los 67 resúmenes nocturnos procedían de otro análisis con ECG clínico
Después resumimos las fases predichas a lo largo de la noche en 67 registros de ECG clínico: 35 de HMC, 15 de CAP y 17 de MIT-BIH Polysomnographic Database. Este análisis no incluyó ningún registro de Apple Watch. Comparamos las correlaciones de Pearson con los resúmenes obtenidos de la PSG frente a un objetivo interno fijado de antemano; sus detalles no se publican.
- Vigilia tras el inicio del sueño (WASO): r = 0,42
- Proporción de sueño profundo (N3%): r = 0,32
- Eficiencia del sueño: r = 0,30
- Latencia del sueño: r = −0,007
- Proporción de sueño REM: r = 0,003
Resultado 4: hay que informar el rango en tres cohortes reservadas para prueba
En las tres cohortes de ECG clínico también entrenamos con dos y probamos con la restante, una evaluación llamada leave-one-dataset-out o LODO. El AUROC en la cohorte reservada fue 0,621 para HMC, 0,647 para CAP y 0,649 para SLPDB. Los valores de κ correspondientes fueron 0,117, 0,172 y 0,107.
La diferencia de 0,028 es el rango entre el AUROC mayor y el menor en las cohortes reservadas. No es una «caída de rendimiento» medida desde un resultado interno a un conjunto externo. Que las estimaciones puntuales sean parecidas en estas tres cohortes no demuestra que el modelo esté libre de sobreajuste ni que vaya a rendir igual en nuevos usuarios.
Qué se puede concluir y qué no
En estos pequeños conjuntos públicos, las características derivadas de la frecuencia cardíaca, junto con información temporal cercana, permitieron a nuestro modelo propio distinguir las fases del sueño de forma limitada. La concordancia sin EEG siguió siendo limitada y los resúmenes nocturnos del análisis separado con ECG clínico no alcanzaron el objetivo interno.
El estudio no establece la precisión de la función nativa de Apple, la equivalencia entre Apple Watch y ECG clínico, la exactitud general de los porcentajes REM de los wearables ni la capacidad de diagnosticar un trastorno del sueño. Cada pregunta exige un estudio diseñado para ese producto, esa señal y esa población concretos.
Transparencia y limitaciones
- Es un análisis secundario interno de Feelmo, no revisado por pares y todavía no reproducido por investigadores independientes
- Los criterios de evaluación se fijaron en materiales internos; los objetivos detallados no se publican ni se preinscribieron públicamente en un servicio externo antes de examinar los resultados
- El experimento de Apple Watch tuvo 31 participantes, el de ECG clínico 35 y el análisis de resúmenes nocturnos 67 registros; el análisis no ofrece una descripción completa de la incertidumbre mediante intervalos de confianza
- Los resultados de Apple Watch y ECG clínico proceden de personas, señales y características diferentes, por lo que no son una comparación directa entre modalidades
- El rango LODO de AUROC de 0,028 no demuestra ausencia de sobreajuste
- Todas las evaluaciones usaron conjuntos públicos y ningún dato de usuarios de Feelmo
- El análisis no fue diseñado para diagnosticar trastornos del sueño, orientar tratamientos ni evaluar la función nativa Fases del sueño de Apple
Referencias
- Estimating Sleep Stages from Apple Watch (informe técnico sobre la función nativa) — Apple
- Accuracy of Three Commercial Wearable Devices for Sleep Tracking in Healthy Adults — Sensors
- Sleep stage prediction with raw acceleration and PPG heart rate data — Sleep
- Motion and heart rate from a wrist-worn wearable and labeled sleep from PSG — PhysioNet
- Haaglanden Medisch Centrum sleep staging database — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet