อ่านอารมณ์จาก HRV เพียงอย่างเดียวได้หรือไม่ — สิ่งที่ตรวจสอบใน 3 cohort

ความแปรปรวนของอัตราการเต้นหัวใจ (HRV) มีเบาะแสเกี่ยวกับการทำงานของระบบประสาทอัตโนมัติ แต่หากส่งเพียงตัวเลขนี้ให้ AI จะทายอารมณ์ขณะนั้น เช่น “มีความสุข” หรือ “เป็นทุกข์” ได้หรือไม่

ข้อสรุปจากงานวิจัยภายในครั้งนี้มีขอบเขตจำกัดดังนี้

ข้อมูลจาก HRV และแบบจำลองวิจัยที่เราทดลองในครั้งนี้ ไม่สามารถทำนายอารมณ์ของบุคคลที่แบบจำลองไม่เคยเห็นด้วยความแม่นยำที่ใช้งานได้ เมื่อทดสอบข้าม 3 cohort สาธารณะ

ผลนี้ไม่ได้พิสูจน์ว่า “HRV ไม่มีข้อมูลเกี่ยวกับอารมณ์เลย” ต่อไปนี้จะอธิบายตามลำดับว่าเราตรวจสอบถึงไหนแล้ว และยังไม่รู้อะไรบ้าง

ก่อนอื่น HRV กับอารมณ์ไม่ใช่สิ่งเดียวกัน

HRV แสดงว่าช่วงเวลาระหว่างการเต้นแต่ละครั้งผันแปรมากเพียงใด โดยได้รับอิทธิพลจากหลายปัจจัย เช่น การหายใจ ท่าทาง การออกกำลังกาย การนอนหลับ ช่วงเวลา ยา และสภาพร่างกาย

ส่วนอารมณ์มองได้อย่างน้อย 2 มิติ

• valence: รู้สึกพึงพอใจหรือไม่พึงพอใจ
• arousal: รู้สึกสงบหรือตื่นตัว

ตัวอย่างเช่น แม้อัตราการเต้นหัวใจจะเร็วขึ้นและ HRV เปลี่ยนแปลง สาเหตุอาจเป็น “ความตื่นเต้นยินดี” หรืออาจเป็น “ความวิตกกังวล” “การออกกำลังกาย” หรือ “คาเฟอีน” ก็ได้ ปฏิกิริยาทางร่างกายแบบเดียวกันอาจมีหลายความหมาย การระบุชื่ออารมณ์จาก HRV เพียงอย่างเดียวจึงเป็นปัญหาที่ยาก

ตรวจสอบอย่างไร

เราใช้ชุดข้อมูลสาธารณะ 3 ชุดที่มีทั้งป้ายกำกับอารมณ์และสัญญาณการเต้นหัวใจ

Cohort	สัญญาณหลัก	วิธีชักนำอารมณ์
CASE	ECG (คลื่นไฟฟ้าหัวใจ)	วิดีโอ
AMIGOS	ECG (คลื่นไฟฟ้าหัวใจ)	วิดีโอสั้นและยาว
DEAP	PPG ที่ปลายนิ้ว (การวัดการเปลี่ยนแปลงปริมาตรเลือดด้วยแสง)	มิวสิกวิดีโอ

เราได้ข้อมูลหลายรายการจากช่วงเวลาระหว่างการเต้น และแบ่งข้อมูลเพื่อไม่ให้ข้อมูลของคนเดียวกันปะปนอยู่ทั้งฝั่งฝึกกับฝั่งประเมิน จากนั้นให้แบบจำลองทำนาย valence และ arousal ของคนที่ไม่เคยเห็นระหว่างการฝึก การ “ประเมินข้ามบุคคล” นี้สำคัญ เพราะหากจำได้เพียงลักษณะเฉพาะของคนเดิม ก็ยังไม่อาจเรียกว่าเป็นแบบจำลองที่ใช้กับผู้ใช้ใหม่ได้

เราทดลองหลายโจทย์ เช่น การถดถอยค่าต่อเนื่อง การจำแนกสองกลุ่ม และการจำแนกวิดีโอหลายกลุ่ม แล้วรวมผลจากแต่ละ cohort ทางสถิติ รายละเอียดการนำไปใช้ เช่น การเลือกคุณลักษณะ การประมวลผลล่วงหน้า โครงสร้างแบบจำลอง และเงื่อนไขการฝึก เป็นเทคโนโลยีเฉพาะของ Feelmo จึงไม่เปิดเผย การที่บุคคลภายนอกไม่สามารถทำซ้ำแบบจำลองเดียวกันได้ทั้งหมดจึงเป็นข้อจำกัดของงานวิจัยด้วย

อ่านผลอย่างไรสำหรับผู้เริ่มต้น

ผลรวมของ valence คือ R² = −0.40 (ช่วง 95% อ้างอิงจากการวิเคราะห์ภายใน −0.61〜−0.19) จำนวนคนตามชื่อชุดข้อมูลคือ CASE 30 คน, AMIGOS 40 คน และ DEAP 32 คน รวม 102 คน แต่ fold ที่วิเคราะห์ของ CASE มี 29 คน (ผลผลิตภายในไม่ได้บันทึกเหตุผลที่ 1 คนไม่ถูกรวม) จึงมี fold ระดับผู้เข้าร่วมที่ใช้รวมผลทั้งหมด 101 และมี cohort ต้นทางเพียง 3 ชุด (k=3) ช่วงนี้คำนวณด้วยการประมาณแบบปกติจากความแปรปรวน R² ของแต่ละ LOSO fold ซึ่งไม่ทนทานนักเมื่อมี cohort น้อยหรือการกระจาย R² เบ้ จึงควรมองเป็นค่าอ้างอิง ไม่ใช่ความแน่นอนสำหรับประชากรที่หลากหลาย

R² เป็นตัวชี้วัดว่า “แบบจำลองอธิบายความแปรปรวนของอารมณ์ได้มากเพียงใด” ยิ่งใกล้ 1 ยิ่งดี ส่วน 0 หมายถึงใกล้เคียงกับวิธีง่าย ๆ ที่ตอบค่าเฉลี่ยให้ทุกคน R² ติดลบไม่ได้หมายถึงอารมณ์ด้านลบ แต่หมายถึงการทำนายแย่กว่าวิธีที่ตอบเพียงค่าเฉลี่ย

ผลจากทั้ง 3 cohort ไปในทิศทางเดียวกัน แสดงว่าข้อมูลจาก HRV และแบบจำลองวิจัยครั้งนี้ไม่สามารถใช้ได้ทั่วไปกับบุคคลที่ไม่เคยเห็นระหว่างการฝึก อย่างไรก็ตาม การทดสอบความเท่าเทียมแบบสองด้านอย่างเคร่งครัดไม่ได้สำเร็จในการวิเคราะห์ทุกชุด จึงไม่อาจสรุปว่า “ผลจริงเป็นศูนย์อย่างแน่นอน” หรือ “AI ทุกชนิดทำไม่ได้”

สิ่งที่งานวิจัยนี้บอกได้และบอกไม่ได้

สิ่งที่บอกได้

• ข้อมูลจาก HRV และแบบจำลองวิจัยที่ทดลองครั้งนี้ไม่สามารถใช้ได้ทั่วไปในเงื่อนไขที่ไม่เคยเห็นบุคคลนั้นมาก่อน เมื่อประเมินข้าม 3 cohort ได้แก่ CASE, AMIGOS และ DEAP
• แม้รวม PPG ไม่ใช่เพียง ECG ก็ยังทำนาย valence ไม่ถึงระดับใช้งานได้ภายใต้เงื่อนไขการวิเคราะห์เดียวกัน
• การออกแบบผลิตภัณฑ์ที่ดูเฉพาะ HRV แล้วระบุชื่ออารมณ์ควรทำด้วยความระมัดระวัง

สิ่งที่บอกไม่ได้

• ไม่อาจกล่าวว่า HRV ไม่มีข้อมูลที่สัมพันธ์กับอารมณ์เลย
• ไม่อาจกล่าวว่าคุณลักษณะอื่น foundation model หรือข้อมูลขนาดใหญ่กว่าในอนาคตก็ทำไม่ได้
• ผลนี้ไม่ได้ปฏิเสธการประเมินภายในบุคคลที่รวมค่าฐานระยะยาวของเจ้าตัว การหายใจ การเคลื่อนไหว เสียง บริบท และบันทึกด้วยตนเอง
• ผลนี้ไม่ได้หมายความว่า HRV ใช้เป็นเบาะแสเพื่อพิจารณาภาวะทางสรีรวิทยา เช่น การนอน การฟื้นตัว หรือความเครียดไม่ได้

การตรวจสอบที่จำเป็นต่อไป

การทำแบบจำลองให้ใหญ่ขึ้นอย่างเดียวไม่พอสำหรับเพิ่มความแม่นยำ ต้องตรวจสอบตามลำดับดังนี้

1. ติดตามคนเดิมในระยะยาว และเรียนรู้การเปลี่ยนแปลงเทียบกับภาวะปกติของเจ้าตัว
2. บันทึกบริบทที่เปลี่ยน HRV ไปพร้อมกัน เช่น การนอน การหายใจ การเคลื่อนไหว ช่วงเวลา และคาเฟอีน
3. เก็บการรายงานด้วยตนเองว่า “พึงพอใจ／ไม่พึงพอใจ” ในเวลาเดียวกับการวัด
4. ตรวจสอบประสิทธิภาพซ้ำในคน อุปกรณ์ และสภาพแวดล้อมที่ไม่รวมอยู่ในการฝึก
5. เปิดเผยไม่เพียงความแม่นยำ แต่รวมถึงการสอบเทียบ ตัวอย่างความล้มเหลว และความไม่แน่นอน

นำไปใช้กับการออกแบบ Feelmo อย่างไร

Feelmo ใช้การประมวลผลเฉพาะบนอุปกรณ์เพื่อสรุปข้อมูลจาก HRV ที่ใช้ได้ร่วมกับแนวโน้มในอดีตของเจ้าตัว เป็นข้อมูลแสดงผลสำหรับทบทวน โดยไม่เปิดเผยรายละเอียด Feelmo ไม่ได้อนุมานอารมณ์ที่เฉพาะเจาะจงโดยตรงจาก HRV

สิ่งสำคัญคือไม่วางผลแสดงของ AI ไว้เหนือความรู้สึกของเจ้าตัว Feelmo ไม่ระบุชื่ออารมณ์อย่างเด็ดขาด แต่ใช้ผลแสดงในผลิตภัณฑ์เป็นจุดเริ่มต้นให้ผู้ใช้ตรวจสอบความรู้สึกและสถานการณ์จริงของตนเอง

เอกสารการวิจัย

• การวิเคราะห์ภายใน: Paper 1 (ยังไม่ผ่านการประเมินโดยผู้ทรงคุณวุฒิและยังไม่เปิดเผยต่อสาธารณะ) จะไม่เปิดเผยโค้ดวิเคราะห์และผลผลิตระหว่างทางระดับบุคคลจนกว่าการตรวจสอบการทำซ้ำ ใบอนุญาต และความเป็นส่วนตัวจะเสร็จสิ้น
• CASE: Sharma K, et al. A dataset of continuous affect annotations and physiological signals for emotion analysis. Scientific Data. 2019. doi:10.1038/s41597-019-0209-0
• AMIGOS: Miranda-Correa JA, et al. AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups. IEEE Transactions on Affective Computing. 2021. doi:10.1109/TAFFC.2018.2884461
• DEAP: Koelstra S, et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 2012. doi:10.1109/T-AFFC.2011.15
• บททบทวน HRV กับอารมณ์: Kreibig SD. Autonomic nervous system activity in emotion: A review. Biological Psychology. 2010. doi:10.1016/j.biopsycho.2010.03.010

※ งานวิจัยภายในนี้ไม่ได้ทดสอบประสิทธิผลของแอป Feelmo