HRV만으로 감정을 읽을 수 있을까? — 3개 코호트에서 확인한 결과

심박변이도(HRV)에는 자율신경 작용에 관한 단서가 들어 있습니다. 그렇다면 이 수치만 AI에 주면 “즐겁다”, “괴롭다” 같은 현재 감정까지 맞힐 수 있을까요?

이번 내부 연구의 결론은 제한적입니다.

이번에 시험한 HRV 유래 정보와 연구용 모델은 3개 공개 코호트에 걸쳐, 학습에서 보지 못한 사람의 감정을 실용적인 정확도로 예측하지 못했습니다.

이것은 “HRV에 감정 정보가 전혀 없다”는 증명이 아닙니다. 무엇을 확인했고 무엇이 아직 불분명한지 차례로 설명합니다.

먼저, HRV와 감정은 같은 것이 아닙니다

HRV는 박동과 박동 사이 간격이 얼마나 달라지는지를 나타냅니다. 호흡, 자세, 운동, 수면, 시간대, 약물, 몸 상태 등 여러 요인의 영향을 받습니다.

한편 감정은 적어도 다음 두 축으로 볼 수 있습니다.

• 감정가(valence): 쾌한가, 불쾌한가
• 각성도(arousal): 차분한가, 흥분했는가

예를 들어 심박이 빨라지고 HRV가 변해도 그 이유는 “기대감”일 수도, “불안”, “운동”, “카페인”일 수도 있습니다. 같은 신체 반응에 여러 의미가 있을 수 있어 HRV만으로 감정의 이름을 정하기는 어렵습니다.

어떻게 확인했나요?

감정 라벨과 심박 신호가 포함된 공개 데이터 세 가지를 사용했습니다.

코호트	주요 신호	감정을 유도한 방법
CASE	ECG(심전도)	영상
AMIGOS	ECG(심전도)	짧은·긴 영상
DEAP	손가락 PPG(광용적맥파)	음악 영상

심박 간격에서 여러 HRV 유래 정보를 만들고, 한 사람의 데이터가 학습과 평가에 섞이지 않도록 나눈 뒤, 학습에서 보지 못한 사람의 감정가와 각성도를 예측했습니다. 이런 “사람 간 평가”가 중요합니다. 같은 사람의 습관만 외운 모델은 새 사용자에게 쓸 수 있는 모델이라고 보기 어렵기 때문입니다.

연속값 회귀, 이진 분류, 영상 다중 클래스 분류 등 여러 과제를 시험했습니다. 각 코호트의 결과는 통계적으로 통합했습니다. 특징 선택, 전처리, 모델 구성, 학습 조건 등의 구현 세부 사항은 Feelmo의 독자 기술로 공개하지 않습니다. 따라서 제3자가 같은 모델을 완전히 재현할 수 없다는 점도 이 연구의 한계입니다.

결과를 처음 보는 사람도 이해할 수 있게 읽기

감정가의 통합 결과는 **R² = −0.40(내부 분석 참고 95% 구간 −0.61~−0.19)**이었습니다. 원자료의 명목 참가자 수는 CASE 30명, AMIGOS 40명, DEAP 32명으로 총 102명이지만 CASE의 분석 fold는 29였습니다(1명이 포함되지 않은 이유는 내부 산출물에 기록되어 있지 않습니다). 통합된 참가자 fold는 총 101개입니다. 또한 통합한 코호트는 3개(k=3)에 불과합니다. 이 구간은 각 LOSO fold의 R² 분산을 사용한 정규 근사이며, 코호트 수가 적거나 R² 분포가 치우친 경우에 취약합니다. 따라서 폭넓은 집단에 대한 확실성이 아니라 참고값으로 봐야 합니다.

R²는 “감정의 변이를 모델이 얼마나 설명했는가”를 나타내는 지표입니다. 1에 가까울수록 좋고, 0이면 “모두에게 평균값을 답하는 단순한 방법”과 비슷합니다. 음의 R²는 부정적인 감정을 뜻하지 않습니다. 평균값만 답하는 방법보다 예측이 나빴다는 뜻입니다.

3개 코호트에서 결과 방향이 같았고, 이번 HRV 유래 정보와 연구용 모델이 학습에서 보지 못한 사람에게 일반화되지 않았음을 보여 줬습니다. 하지만 모든 분석에서 엄격한 양측 동등성 검정이 성립한 것은 아닙니다. 따라서 “참효과가 정확히 0이다” 또는 “어떤 AI로도 불가능하다”고 결론 내릴 수 없습니다.

이 연구로 말할 수 있는 것과 없는 것

말할 수 있는 것

• 이번에 시험한 HRV 유래 정보와 연구용 모델은 CASE·AMIGOS·DEAP 3개 코호트의 개인 미관측 조건에 일반화되지 않았습니다
• ECG뿐 아니라 PPG를 포함해도 같은 분석 조건에서는 실용적인 감정가 예측에 이르지 못했습니다
• HRV만 보고 감정 이름을 단정하는 제품 설계에는 주의가 필요합니다

말할 수 없는 것

• HRV에 감정과 관련된 정보가 전혀 없다고 말할 수는 없습니다
• 미래의 다른 특징, 기반 모델, 더 큰 데이터로도 불가능하다고 말할 수는 없습니다
• 개인의 장기 기준선, 호흡, 움직임, 목소리, 상황, 자기 기록을 결합한 개인 내 추정까지 부정한 결과는 아닙니다
• HRV가 수면, 회복, 스트레스 같은 생리 상태를 생각하는 단서가 될 수 없다는 결과도 아닙니다

다음에 필요한 검증

정확도를 높이려면 모델을 키우는 것만으로는 충분하지 않습니다. 다음 순서로 확인해야 합니다.

1. 같은 사람을 장기간 추적해 그 사람의 평소 값에서 생기는 변화를 학습하기
2. 수면·호흡·움직임·시간대·카페인 등 HRV를 바꾸는 맥락을 함께 기록하기
3. “즐겁다/불쾌하다”는 자기 보고를 측정과 같은 시각에 수집하기
4. 학습에 포함되지 않은 사람·기기·환경에서 성능을 다시 검증하기
5. 정확도뿐 아니라 보정, 실패 사례, 불확실성도 공개하기

Feelmo 설계에는 어떻게 반영하나요?

Feelmo는 이용 가능한 HRV 유래 정보와 본인의 과거 경향을 기기 내 독자 처리로 요약해 돌아보기 위한 화면에 표시합니다. 세부 사항은 공개하지 않습니다. HRV에서 특정 감정을 직접 추정하는 기능이 아닙니다.

중요한 점은 AI 표시를 본인의 감정보다 우선하지 않는 것입니다. Feelmo는 감정 이름을 단정하지 않으며, 사용자가 제품 내 표시를 계기로 실제 느낌과 상황을 직접 확인하도록 돕습니다.

연구 자료

• 내부 분석: Paper 1(동료평가 전·일반 공개 전). 분석 코드와 개인 단위 중간 산출물은 재현성·라이선스·개인정보 보호 감사를 마칠 때까지 공개하지 않습니다
• CASE: Sharma K, et al. A dataset of continuous affect annotations and physiological signals for emotion analysis. Scientific Data. 2019. doi:10.1038/s41597-019-0209-0
• AMIGOS: Miranda-Correa JA, et al. AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups. IEEE Transactions on Affective Computing. 2021. doi:10.1109/TAFFC.2018.2884461
• DEAP: Koelstra S, et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 2012. doi:10.1109/T-AFFC.2011.15
• HRV와 감정에 관한 리뷰: Kreibig SD. Autonomic nervous system activity in emotion: A review. Biological Psychology. 2010. doi:10.1016/j.biopsycho.2010.03.010

※ 이 내부 연구는 Feelmo 앱의 효과를 검증한 것이 아닙니다.