Câu trả lời ngắn
Trong dữ liệu Apple Watch công khai từ 31 người, mô hình nghiên cứu dùng thông tin suy ra từ nhịp tim và bối cảnh thời gian đạt mức phù hợp κ=0.221 với PSG qua năm giai đoạn. Thí nghiệm ECG lâm sàng riêng trên 35 người đạt κ=0.244, nhưng không phải cùng người, nên không thể xem hai tín hiệu tương đương. Phân tích tóm tắt đêm gồm 67 bản ghi dùng ECG lâm sàng, không phải Apple Watch. Kết quả không cho biết tính năng sẵn có của Apple chính xác ra sao hay tỷ lệ REM của ứng dụng thiết bị đeo nói chung có chính xác không.
Những điểm chính
- Đây là đánh giá mô hình nghiên cứu dùng thông tin suy ra từ nhịp tim và bối cảnh thời gian, không phải tính năng Giai đoạn ngủ sẵn có của Apple; thiết kế chi tiết chưa công bố
- Mức phù hợp là κ=0.221 ở 31 người dùng Apple Watch và κ=0.244 trong đoàn hệ ECG lâm sàng riêng gồm 35 người; các đoàn hệ riêng không xác nhận sự tương đương
- Bỏ thông tin thời gian xung quanh làm κ giảm còn 0.092 và 0.119, gợi ý bối cảnh thời gian giúp mô hình này
- Phân tích tóm tắt đêm gồm 67 bản ghi dùng ECG lâm sàng và không kiểm tra tỷ lệ REM từ Apple Watch
- AUROC trên ba đoàn hệ giữ riêng là 0.621–0.649, phạm vi 0.028; điều này không chứng minh mô hình không bị quá khớp
- Kết quả là phân tích thứ cấp nội bộ chưa bình duyệt, không có đăng ký trước công khai bên ngoài
Trước tiên, tách biệt với tính năng sẵn có của Apple
Tính năng Giai đoạn ngủ sẵn có của Apple dùng tín hiệu gia tốc kế Apple Watch làm đầu vào và ước tính bốn trạng thái: Thức, REM, Cốt lõi và Sâu. Apple đã công bố báo cáo kỹ thuật về tính năng này, và nghiên cứu độc lập đã so Apple Watch Series 8 với PSG.
Phân tích nội bộ của chúng tôi khác. Chúng tôi dùng thông tin suy ra từ nhịp tim và thông tin thời gian xung quanh từ bộ dữ liệu Apple Watch công khai trong mô hình nghiên cứu ước tính năm giai đoạn: Thức, N1, N2, N3 và REM. Thiết kế đặc trưng, tiền xử lý và kiến trúc mô hình cụ thể chưa công bố. Đầu vào và định nghĩa giai đoạn khác tính năng sẵn có của Apple, nên kết quả không thể thay thế kết quả xác nhận của Apple.
Tham chiếu là gì và dùng dữ liệu nào?
Chúng tôi dùng giai đoạn ngủ từ đa ký giấc ngủ (PSG) làm tham chiếu. PSG ghi nhiều tín hiệu, gồm hoạt động não, chuyển động mắt và hoạt động cơ; người chấm được đào tạo gán giai đoạn cho mỗi đoạn 30 giây.
Thí nghiệm Apple Watch dùng 31 người và 25,813 đoạn từ bộ dữ liệu công khai của Walch và cộng sự, ghi dữ liệu Watch và PSG trong cùng các đêm. Thí nghiệm ECG lâm sàng riêng dùng 35 người HMC. Cả hai dùng đánh giá năm phần chia theo nhóm người tham gia, nhưng là thí nghiệm riêng với người và tín hiệu khác nhau.
Kết quả 1: ước lượng điểm gần nhau trong hai thí nghiệm nhỏ
Hai ước lượng điểm gần nhau, nhưng đây không phải so sánh trong đó cùng người đeo Apple Watch khi ghi ECG lâm sàng. Chúng tôi không ước tính khoảng tin cậy của chênh lệch hay làm kiểm định tương đương hoặc không thua kém. Vì vậy không thể kết luận nhịp tim Apple Watch tương đương ECG lâm sàng.
κ của Cohen đo mức phù hợp sau khi tính đến mức phù hợp kỳ vọng do ngẫu nhiên. Chúng tôi báo giá trị trực tiếp thay vì gán nhãn cố định như ‘tốt’ hay ‘đủ’. Phù hợp với mục đích cụ thể cũng cần ước tính bất định và hiệu năng từng giai đoạn.
- HRV suy ra từ PSG lâm sàng: AUROC vĩ mô 0.711, mức phù hợp κ 0.244
- Bộ dữ liệu Apple Watch công khai: AUROC vĩ mô 0.708, mức phù hợp κ 0.221
Kết quả 2: thông tin thời gian xung quanh giúp mô hình
Chúng tôi so mô hình nghiên cứu có và không có thông tin thời gian xung quanh. Mức phù hợp cao hơn khi có bối cảnh đó; phạm vi bối cảnh chính xác và cách đưa vào mô hình chưa công bố.
- HRV suy ra từ PSG lâm sàng, có bối cảnh → không bối cảnh: κ 0.244 → 0.119
- Bộ dữ liệu Apple Watch công khai, có bối cảnh thời gian → không bối cảnh thời gian: κ 0.221 → 0.092
Kết quả 3: 67 tóm tắt đêm đến từ phân tích ECG lâm sàng riêng
Tiếp theo, chúng tôi tóm tắt giai đoạn dự đoán qua đêm trong 67 bản ghi ECG lâm sàng: 35 từ HMC, 15 từ CAP và 17 từ MIT-BIH Polysomnographic Database. Không có bản ghi Apple Watch trong phân tích này. Chúng tôi so tương quan Pearson với tóm tắt suy ra từ PSG theo mục tiêu nội bộ định trước; chi tiết mục tiêu chưa công bố.
- Thức sau khi bắt đầu ngủ (WASO): r = 0.42
- Tỷ lệ ngủ sâu (N3%): r = 0.32
- Hiệu suất giấc ngủ: r = 0.30
- Thời gian chờ ngủ: r = −0.007
- Tỷ lệ ngủ REM: r = 0.003
Kết quả 4: báo phạm vi qua ba đoàn hệ giữ riêng
Với ba đoàn hệ ECG lâm sàng, chúng tôi còn huấn luyện trên hai đoàn hệ rồi kiểm tra trên đoàn hệ còn lại, cách đánh giá gọi là giữ lại một bộ dữ liệu, hay LODO. AUROC trên phần giữ riêng là 0.621 cho HMC, 0.647 cho CAP và 0.649 cho SLPDB. Giá trị κ tương ứng là 0.117, 0.172 và 0.107.
Chênh lệch 0.028 là phạm vi giữa AUROC lớn nhất và nhỏ nhất trên phần giữ riêng. Đó không phải ‘mức giảm hiệu năng’ được đo từ kết quả cùng miền sang bộ dữ liệu bên ngoài. Ước lượng điểm giống nhau qua ba đoàn hệ không chứng minh mô hình không bị quá khớp hay sẽ hoạt động tương tự trên người dùng mới.
Có thể và không thể kết luận gì
Trong những bộ dữ liệu công khai nhỏ này, đặc trưng suy ra từ nhịp tim cùng thông tin thời gian lân cận cho phép mô hình tùy chỉnh phân biệt giai đoạn ngủ ở mức hạn chế. Mức phù hợp khi không có EEG vẫn hạn chế, và tóm tắt đêm trong phân tích ECG lâm sàng riêng không đạt mục tiêu nội bộ.
Nghiên cứu không xác nhận độ chính xác tính năng sẵn có của Apple, sự tương đương giữa Apple Watch và ECG lâm sàng, độ chính xác tỷ lệ REM của thiết bị đeo nói chung hay khả năng chẩn đoán rối loạn giấc ngủ. Mỗi câu hỏi cần nghiên cứu thiết kế riêng cho sản phẩm, tín hiệu và dân số cụ thể.
Minh bạch và giới hạn
- Đây là phân tích thứ cấp nội bộ chưa bình duyệt của Feelmo và chưa được nhà nghiên cứu độc lập tái lập
- Tiêu chí đánh giá được quy định trong tài liệu nội bộ, nhưng mục tiêu chi tiết chưa công bố và không đăng ký công khai với dịch vụ bên thứ ba trước khi xem kết quả
- Thí nghiệm Apple Watch có 31 người, thí nghiệm ECG lâm sàng có 35 và phân tích tóm tắt đêm có 67 bản ghi; phân tích không mô tả đầy đủ bất định bằng khoảng tin cậy
- Kết quả Apple Watch và ECG lâm sàng dùng người, tín hiệu và đặc trưng khác nhau, nên không phải so sánh trực tiếp hai phương thức
- Phạm vi AUROC LODO 0.028 không chứng minh không có quá khớp
- Mọi đánh giá dùng bộ dữ liệu công khai, không có dữ liệu người dùng Feelmo
- Phân tích không được thiết kế để chẩn đoán rối loạn giấc ngủ, hướng dẫn điều trị hay đánh giá tính năng Giai đoạn ngủ sẵn có của Apple
Tài liệu tham khảo
- Ước tính giai đoạn ngủ từ Apple Watch (báo cáo kỹ thuật về tính năng sẵn có) — Apple
- Độ chính xác của ba thiết bị đeo thương mại khi theo dõi giấc ngủ ở người trưởng thành khỏe mạnh — Sensors
- Dự đoán giai đoạn ngủ từ dữ liệu gia tốc thô và nhịp tim PPG — Sleep
- Chuyển động và nhịp tim từ thiết bị đeo cổ tay cùng giấc ngủ được gán nhãn từ PSG — PhysioNet
- Cơ sở dữ liệu phân giai đoạn ngủ Haaglanden Medisch Centrum — PhysioNet
- CAP Sleep Database — PhysioNet
- MIT-BIH Polysomnographic Database — PhysioNet