In breve
Nei dati pubblici di 31 partecipanti con Apple Watch, un modello di ricerca che usa informazioni derivate dalla frequenza cardiaca e contesto temporale ha raggiunto un accordo di κ=0,221 con la polisonnografia (PSG) su cinque fasi. Un esperimento clinico ECG separato su altri 35 partecipanti ha raggiunto κ=0,244; non essendo le stesse persone, i due segnali non possono essere considerati equivalenti. L’analisi dei riepiloghi notturni su 67 registrazioni usava ECG clinico, non Apple Watch. Questi risultati non indicano quanto sia accurata la funzione nativa di Apple né se siano accurati, in generale, i valori percentuali di sonno REM degli indossabili.
Punti chiave
- La valutazione riguarda un modello di ricerca che usa informazioni derivate dalla frequenza cardiaca e contesto temporale, non la funzione nativa di Apple; il disegno dettagliato non è pubblico
- L’accordo era κ=0,221 in 31 partecipanti Apple Watch e κ=0,244 in una coorte clinica ECG separata di 35 partecipanti; le due coorti non stabiliscono equivalenza
- Rimuovendo le informazioni temporali circostanti, κ è sceso a 0,092 e 0,119, suggerendo che il contesto temporale aiutasse questo modello
- L’analisi dei 67 riepiloghi notturni usava ECG clinico e non ha valutato le percentuali REM di Apple Watch
- L’AUROC in tre coorti tenute fuori dall’addestramento era 0,621–0,649, con un intervallo di 0,028; questo non prova l’assenza di sovra-adattamento
- I risultati provengono da un’analisi secondaria interna non sottoposta a revisione paritaria e senza preregistrazione esterna pubblica
Prima di tutto, distinguiamo il modello dalla funzione nativa di Apple
La funzione nativa Fasi del sonno di Apple usa come input i segnali dell’accelerometro di Apple Watch e stima quattro stati: Veglia, REM, Sonno leggero e Sonno profondo. Apple ha pubblicato un rapporto tecnico sulla funzione e uno studio indipendente ha confrontato Apple Watch Series 8 con la PSG.
La nostra analisi interna è diversa. Un modello di ricerca ha usato informazioni derivate dalla frequenza cardiaca e il contesto temporale di un set di dati pubblico Apple Watch per stimare cinque fasi: veglia, N1, N2, N3 e REM. Il disegno preciso delle caratteristiche, la pre-elaborazione e l’architettura del modello non sono pubblici. Input e definizioni delle fasi differiscono dalla funzione nativa di Apple, quindi i risultati non possono sostituire quelli della validazione di Apple.
Qual era il riferimento e quali dati sono stati usati?
Abbiamo usato come riferimento le fasi del sonno determinate con polisonnografia (PSG). La PSG registra più segnali, tra cui attività cerebrale, movimenti oculari e attività muscolare; valutatori formati assegnano poi una fase a ogni epoca di 30 secondi.
L’esperimento Apple Watch usava 31 partecipanti e 25.813 epoche del set pubblico pubblicato da Walch e colleghi, con registrazioni contemporanee di orologio e PSG. L’esperimento clinico ECG separato includeva 35 partecipanti HMC. Entrambi impiegavano una valutazione a cinque blocchi raggruppata per partecipante, ma erano esperimenti separati con persone e segnali diversi.
Risultato 1: le stime puntuali erano vicine in due piccoli esperimenti
Le stime puntuali erano vicine, ma non si trattava di un confronto in cui gli stessi partecipanti indossavano Apple Watch durante una registrazione ECG clinica. Non abbiamo stimato un intervallo di confidenza della differenza né eseguito un test di equivalenza o non inferiorità. Non possiamo quindi concludere che la frequenza cardiaca di Apple Watch sia equivalente all’ECG clinico.
Il κ di Cohen misura l’accordo tenendo conto di quello atteso per caso. Riportiamo direttamente i valori senza assegnare etichette fisse come «buono» o «adeguato». Per valutare l’idoneità a un uso specifico servirebbero anche stime dell’incertezza e prestazioni per ciascuna fase.
- HRV derivato dalla PSG clinica: AUROC macro 0,711, accordo κ 0,244
- Set di dati pubblico Apple Watch: AUROC macro 0,708, accordo κ 0,221
Risultato 2: il contesto temporale aiutava il modello
Abbiamo confrontato il modello di ricerca con e senza informazioni temporali circostanti. L’accordo era maggiore quando il contesto era incluso; la sua estensione esatta e il modo in cui entrava nel modello non sono pubblici.
- HRV derivato dalla PSG clinica, con contesto → senza contesto: κ 0,244 → 0,119
- Set di dati pubblico Apple Watch, con contesto temporale → senza contesto temporale: κ 0,221 → 0,092
Risultato 3: i 67 riepiloghi notturni provenivano da un’analisi clinica ECG separata
Abbiamo poi riassunto le fasi predette nell’arco della notte in 67 registrazioni di ECG clinico: 35 da HMC, 15 da CAP e 17 dal MIT-BIH Polysomnographic Database. L’analisi non includeva registrazioni Apple Watch. Abbiamo confrontato le correlazioni di Pearson con i riepiloghi derivati dalla PSG rispetto a un obiettivo interno definito in anticipo; i dettagli dell’obiettivo non sono pubblici.
- Veglia dopo l’inizio del sonno (WASO): r = 0,42
- Quota di sonno profondo (N3%): r = 0,32
- Efficienza del sonno: r = 0,30
- Latenza di addormentamento: r = −0,007
- Quota di sonno REM: r = 0,003
Risultato 4: riportare l’intervallo tra tre coorti tenute fuori
Per le tre coorti di ECG clinico abbiamo anche addestrato il modello su due coorti e testato quella restante, in una valutazione chiamata leave-one-dataset-out, o LODO. L’AUROC nella coorte tenuta fuori era 0,621 per HMC, 0,647 per CAP e 0,649 per SLPDB. I corrispondenti valori κ erano 0,117, 0,172 e 0,107.
La differenza di 0,028 è l’intervallo tra l’AUROC più alta e quella più bassa nelle coorti tenute fuori. Non è un «calo di prestazione» misurato tra un risultato interno e un set esterno. Stime puntuali simili in queste tre coorti non provano che il modello sia privo di sovra-adattamento o che funzioni allo stesso modo in nuovi utenti.
Che cosa si può concludere e che cosa no
In questi piccoli set di dati pubblici, caratteristiche derivate dalla frequenza cardiaca insieme al contesto temporale hanno permesso al nostro modello personalizzato di distinguere in misura limitata le fasi del sonno. Senza EEG l’accordo restava limitato, e i riepiloghi notturni dell’analisi clinica ECG separata non hanno raggiunto l’obiettivo interno.
Lo studio non stabilisce l’accuratezza della funzione nativa di Apple, l’equivalenza tra Apple Watch ed ECG clinico, l’accuratezza generale delle percentuali REM degli indossabili o la capacità di diagnosticare un disturbo del sonno. Ognuna di queste domande richiede uno studio progettato per lo specifico prodotto, segnale e popolazione.
Trasparenza e limiti
- È un’analisi secondaria interna di Feelmo, non sottoposta a revisione paritaria e non ancora riprodotta da ricercatori indipendenti
- I criteri di valutazione erano specificati in materiali interni; gli obiettivi dettagliati non sono pubblici e non erano preregistrati presso un servizio terzo prima dell’esame dei risultati
- L’esperimento Apple Watch aveva 31 partecipanti, quello su ECG clinico 35 e l’analisi dei riepiloghi 67 registrazioni; l’analisi non fornisce un resoconto completo dell’incertezza con intervalli di confidenza
- I risultati Apple Watch ed ECG clinico usavano partecipanti, segnali e caratteristiche diversi, quindi non sono un confronto diretto tra le due modalità
- L’intervallo LODO di 0,028 per l’AUROC non prova l’assenza di sovra-adattamento
- Tutte le valutazioni usavano set di dati pubblici e nessun dato degli utenti Feelmo
- L’analisi non era progettata per diagnosticare disturbi del sonno, guidare trattamenti o valutare la funzione nativa Fasi del sonno di Apple
Riferimenti
- Stima delle fasi del sonno da Apple Watch (rapporto tecnico sulla funzione nativa) — Apple
- Accuratezza di tre dispositivi indossabili commerciali nel monitoraggio del sonno di adulti sani — Sensors
- Predizione delle fasi del sonno con accelerazione grezza e frequenza cardiaca PPG — Sleep
- Movimento e frequenza cardiaca da un dispositivo da polso con sonno etichettato tramite PSG — PhysioNet
- Database delle fasi del sonno del Haaglanden Medisch Centrum — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet