Resposta curta
Em dados públicos de Apple Watch de 31 participantes, um modelo de pesquisa com informações derivadas da frequência cardíaca e contexto temporal alcançou concordância κ=0,221 com a PSG em cinco estágios. Um experimento separado com ECG clínico em 35 outros participantes alcançou κ=0,244. Como não eram as mesmas pessoas, os dois sinais não podem ser considerados equivalentes. A análise de 67 registros com resumos noturnos usou ECG clínico, não Apple Watch. Esses resultados não informam a precisão do recurso nativo da Apple nem a exatidão geral dos percentuais de REM mostrados por apps de wearables.
Pontos principais
- A avaliação é de um modelo de pesquisa com informações derivadas da frequência cardíaca e contexto temporal, não do recurso nativo da Apple; o desenho detalhado não é publicado
- A concordância foi κ=0,221 em 31 participantes com Apple Watch e κ=0,244 em outra coorte de 35 participantes com ECG clínico; essas coortes separadas não demonstram equivalência
- Remover a informação temporal ao redor reduziu κ para 0,092 e 0,119, sugerindo que o contexto temporal ajudou este modelo
- A análise dos 67 resumos noturnos usou ECG clínico e não testou os percentuais de REM do Apple Watch
- O AUROC em três coortes reservadas para teste foi de 0,621–0,649, um intervalo de 0,028; isso não prova que o modelo esteja livre de sobreajuste
- Os resultados vêm de uma análise secundária interna não revisada, sem pré-registro externo público
Primeiro, separe isto do recurso nativo da Apple
O recurso nativo Estágios do Sono da Apple usa como entrada sinais do acelerômetro do Apple Watch e estima quatro estados: Acordado, REM, Essencial e Profundo. A Apple publicou um relatório técnico sobre esse recurso, e um estudo independente comparou o Apple Watch Series 8 com PSG.
Nossa análise interna é diferente. Um modelo de pesquisa usou informações derivadas da frequência cardíaca e contexto temporal de um conjunto público de Apple Watch para estimar cinco estágios: Vigília, N1, N2, N3 e REM. O desenho específico das características, o pré-processamento e a arquitetura do modelo não são publicados. A entrada e as definições de estágio diferem do recurso nativo da Apple, portanto os resultados não substituem os resultados da validação da Apple.
Qual foi a referência e quais dados foram usados?
Usamos como referência os estágios do sono atribuídos por polissonografia (PSG). A PSG registra vários sinais, incluindo atividade cerebral, movimentos oculares e atividade muscular, e profissionais treinados atribuem um estágio a cada época de 30 segundos.
O experimento com Apple Watch usou 31 participantes e 25.813 épocas do conjunto público de Walch e colegas, que registrou o relógio e a PSG nas mesmas noites. O experimento separado com ECG clínico incluiu 35 participantes da HMC. Ambos usaram avaliação em cinco partições agrupada por participante, mas foram experimentos separados, com pessoas e sinais diferentes.
Resultado 1: as estimativas pontuais foram próximas em dois pequenos experimentos
As duas estimativas pontuais foram próximas, mas esta não foi uma comparação em que os mesmos participantes usavam Apple Watch enquanto o ECG clínico era registrado. Não estimamos um intervalo de confiança para a diferença nem fizemos teste de equivalência ou não inferioridade. Portanto, não podemos concluir que a frequência cardíaca do Apple Watch seja equivalente ao ECG clínico.
O κ de Cohen mede a concordância descontando a esperada pelo acaso. Informamos os valores diretamente, sem atribuir um rótulo fixo como «boa» ou «adequada». A aptidão para um uso específico também exigiria estimativas de incerteza e desempenho por estágio.
- HRV derivada de PSG clínica: AUROC macro 0,711, concordância κ 0,244
- Conjunto público de Apple Watch: AUROC macro 0,708, concordância κ 0,221
Resultado 2: a informação temporal ao redor ajudou o modelo
Comparamos o modelo de pesquisa com e sem informação temporal ao redor. A concordância foi maior quando esse contexto foi incluído; seu alcance exato e a forma de entrada no modelo não são publicados.
- HRV derivada de PSG clínica, com contexto → sem contexto: κ 0,244 → 0,119
- Conjunto público de Apple Watch, com contexto temporal → sem contexto temporal: κ 0,221 → 0,092
Resultado 3: os 67 resumos noturnos vieram de outra análise com ECG clínico
Em seguida, resumimos os estágios previstos ao longo da noite em 67 registros de ECG clínico: 35 da HMC, 15 da CAP e 17 do MIT-BIH Polysomnographic Database. Nenhum registro de Apple Watch entrou nessa análise. Comparamos as correlações de Pearson com os resumos derivados da PSG a uma meta interna definida de antemão; os detalhes dessa meta não são publicados.
- Vigília após o início do sono (WASO): r = 0,42
- Proporção de sono profundo (N3%): r = 0,32
- Eficiência do sono: r = 0,30
- Latência do sono: r = −0,007
- Proporção de sono REM: r = 0,003
Resultado 4: informe o intervalo entre três coortes reservadas para teste
Para as três coortes de ECG clínico, também treinamos em duas e testamos na terceira, avaliação chamada leave-one-dataset-out ou LODO. O AUROC na coorte reservada foi 0,621 para HMC, 0,647 para CAP e 0,649 para SLPDB. Os valores correspondentes de κ foram 0,117, 0,172 e 0,107.
A diferença de 0,028 é o intervalo entre o maior e o menor AUROC nas coortes reservadas. Não é uma «queda de desempenho» medida entre um resultado interno e um conjunto externo. Estimativas pontuais semelhantes nessas três coortes não provam que o modelo esteja livre de sobreajuste nem que terá o mesmo desempenho em novos usuários.
O que pode e o que não pode ser concluído
Nesses pequenos conjuntos públicos, características derivadas da frequência cardíaca, junto com informação temporal próxima, permitiram ao nosso modelo próprio distinguir estágios do sono de modo limitado. A concordância sem EEG permaneceu limitada, e os resumos noturnos da análise separada com ECG clínico não atingiram a meta interna.
O estudo não estabelece a precisão do recurso nativo da Apple, equivalência entre Apple Watch e ECG clínico, a exatidão geral dos percentuais de REM de wearables nem a capacidade de diagnosticar um distúrbio do sono. Cada pergunta exige um estudo criado para aquele produto, sinal e população específicos.
Transparência e limitações
- Esta é uma análise secundária interna do Feelmo, ainda não revisada por pares nem reproduzida por pesquisadores independentes
- Os critérios de avaliação foram definidos em materiais internos; as metas detalhadas não são publicadas nem foram pré-registradas publicamente em um serviço externo antes de os resultados serem examinados
- O experimento com Apple Watch teve 31 participantes, o de ECG clínico teve 35 e a análise de resumos noturnos teve 67 registros; a análise não apresenta uma descrição completa da incerteza com intervalos de confiança
- Os resultados do Apple Watch e do ECG clínico usaram participantes, sinais e características diferentes, portanto não são uma comparação direta entre modalidades
- O intervalo LODO de AUROC de 0,028 não demonstra ausência de sobreajuste
- Todas as avaliações usaram conjuntos de dados públicos e nenhum dado de usuários do Feelmo
- A análise não foi criada para diagnosticar distúrbios do sono, orientar tratamento nem avaliar o recurso nativo Estágios do Sono da Apple
Referências
- Estimating Sleep Stages from Apple Watch (relatório técnico sobre o recurso nativo) — Apple
- Accuracy of Three Commercial Wearable Devices for Sleep Tracking in Healthy Adults — Sensors
- Sleep stage prediction with raw acceleration and PPG heart rate data — Sleep
- Motion and heart rate from a wrist-worn wearable and labeled sleep from PSG — PhysioNet
- Haaglanden Medisch Centrum sleep staging database — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet