Lassen sich Emotionen allein aus HRV ablesen? — Eine Prüfung in 3 Kohorten

Die Herzratenvariabilität (HRV) enthält Hinweise auf die autonome Regulation. Kann eine KI aber allein aus diesen Zahlen erkennen, ob jemand gerade „fröhlich“ oder „unwohl“ ist?

Das Ergebnis dieser internen Forschung ist begrenzt:

Mit den hier getesteten HRV-bezogenen Informationen und Forschungsmodellen konnten Emotionen unbekannter Personen nicht mit praktisch brauchbarer Genauigkeit über 3 öffentliche Kohorten hinweg vorhergesagt werden.

Das beweist nicht, dass HRV überhaupt keine Informationen im Zusammenhang mit Emotionen enthält. Im Folgenden wird Schritt für Schritt erklärt, was geprüft wurde und was offenbleibt.

HRV und Emotion sind nicht dasselbe

HRV beschreibt, wie stark die Abstände von Herzschlag zu Herzschlag schwanken. Sie wird von Atmung, Haltung, Bewegung, Schlaf, Tageszeit, Medikamenten, Gesundheitszustand und vielen weiteren Faktoren beeinflusst.

Emotionen lassen sich mindestens entlang 2 Dimensionen betrachten:

• Valenz (valence): angenehm oder unangenehm
• Aktivierung (arousal): ruhig oder erregt

Auch wenn die Herzfrequenz steigt und sich die HRV verändert, kann der Grund Freude, Angst, Bewegung oder Koffein sein. Da dieselbe Körperreaktion mehrere Bedeutungen haben kann, ist es schwierig, allein aus HRV einen Emotionsnamen festzulegen.

Wie wurde das geprüft?

Verwendet wurden 3 öffentliche Datensätze mit Emotionslabels und Herzsignalen.

Kohorte	Wichtigstes Signal	Methode zum Auslösen von Emotionen
CASE	EKG	Videos
AMIGOS	EKG	kurze und lange Videos
DEAP	PPG am Finger	Musikvideos

Aus den Herzintervallen wurden mehrere HRV-bezogene Informationen gebildet. Die Daten wurden so geteilt, dass keine Person gleichzeitig in Trainings- und Bewertungsdaten vorkam. Anschließend wurden Valenz und Aktivierung für Personen vorhergesagt, die das Modell im Training nicht gesehen hatte. Diese Bewertung über Personen hinweg ist entscheidend: Ein Modell, das nur persönliche Eigenheiten wiedererkennt, ist noch nicht für neue Nutzende geeignet.

Geprüft wurden mehrere Aufgaben, darunter Regression kontinuierlicher Werte, binäre Klassifikation und Mehrklassenklassifikation der Videos. Die Ergebnisse der Kohorten wurden statistisch zusammengeführt. Implementierungsdetails wie Merkmalsauswahl, Vorverarbeitung, Modellaufbau und Trainingsbedingungen sind als proprietäre Feelmo-Technik nicht öffentlich. Dass Dritte dasselbe Modell daher nicht vollständig reproduzieren können, ist eine Einschränkung der Studie.

Ergebnisse einfach erklärt

Das zusammengeführte Ergebnis für Valenz war R² = −0.40 (interne orientierende 95%-Spanne −0.61 bis −0.19). Die Datensätze enthalten nominell CASE 30, AMIGOS 40 und DEAP 32 Personen, insgesamt also 102. In CASE umfasste die Analyse jedoch 29 Folds; warum 1 Person fehlte, ist in den internen Artefakten nicht dokumentiert. Insgesamt flossen 101 personenbezogene Folds ein. Zudem gab es nur 3 Kohorten (k=3). Die Spanne ist eine Normalapproximation auf Basis der R²-Varianz der einzelnen LOSO-Folds. Sie ist bei wenigen Kohorten und schiefen R²-Verteilungen empfindlich und sollte deshalb nur als Orientierung, nicht als Sicherheit für eine breite Bevölkerung gelesen werden.

R² beschreibt, wie viel der Streuung der Emotion das Modell erklären konnte. Werte nahe 1 sind besser; 0 bedeutet ungefähr dieselbe Leistung wie die einfache Methode, für alle den Mittelwert vorherzusagen. Ein negatives R² bedeutet keine negative Emotion. Es bedeutet, dass die Vorhersage schlechter war als die bloße Ausgabe des Mittelwerts.

Die Richtung war in allen 3 Kohorten ähnlich. Die getesteten HRV-bezogenen Informationen und Forschungsmodelle ließen sich damit nicht auf Personen verallgemeinern, die beim Training unbekannt waren. Strenge zweiseitige Äquivalenztests waren jedoch nicht in allen Analysen erfüllt. Daher lässt sich weder schließen, dass der wahre Effekt exakt null ist, noch dass jede denkbare KI scheitern muss.

Was lässt sich aus der Studie sagen — und was nicht?

Das lässt sich sagen

• Die getesteten HRV-bezogenen Informationen und Forschungsmodelle generalisierten in den 3 Kohorten CASE, AMIGOS und DEAP nicht über unbekannte Personen hinweg
• Auch mit EKG und PPG wurde unter denselben Analysebedingungen keine praktisch brauchbare Valenzvorhersage erreicht
• Produktdesigns sollten Emotionen nicht allein anhand der HRV benennen

Das lässt sich nicht sagen

• Die Studie beweist nicht, dass HRV keinerlei Information im Zusammenhang mit Emotion enthält
• Sie beweist nicht, dass zukünftige Merkmale, Basismodelle oder größere Datensätze ebenfalls scheitern
• Sie schließt keine personenbezogene Schätzung aus, die einen langfristigen persönlichen Ausgangsverlauf mit Atmung, Bewegung, Stimme, Kontext und Selbsteinträgen kombiniert
• Sie bedeutet auch nicht, dass HRV keinerlei Hinweis beim Nachdenken über physiologische Zustände wie Schlaf, Erholung oder Stress geben kann

Welche Prüfungen wären als Nächstes nötig?

Ein größeres Modell allein genügt nicht. Folgende Schritte wären in dieser Reihenfolge zu prüfen:

1. Dieselben Personen langfristig begleiten und Veränderungen gegenüber ihrem persönlichen Ausgangsverlauf untersuchen
2. Gleichzeitig Kontext erfassen, der HRV verändert, etwa Schlaf, Atmung, Bewegung, Tageszeit und Koffein
3. Selbstberichtete Angaben wie „angenehm/unangenehm“ zum selben Zeitpunkt wie die Messung erfassen
4. Leistung bei Personen, Geräten und Umgebungen erneut prüfen, die nicht im Training enthalten waren
5. Neben Genauigkeit auch Kalibrierung, Fehlerfälle und Unsicherheit veröffentlichen

Wie beeinflusst das Feelmos Design?

Feelmo fasst verfügbare HRV-bezogene Informationen und den bisherigen persönlichen Verlauf durch proprietäre Verarbeitung auf dem Gerät zu einer Anzeige für den Rückblick zusammen. Details sind nicht öffentlich. Bestimmte Emotionen werden nicht direkt aus HRV geschätzt.

Eine KI-Anzeige sollte nicht über dem tatsächlichen Erleben der Person stehen. Feelmo legt keinen Emotionsnamen als Tatsache fest, sondern bietet eine Produktanzeige als Anlass, das eigene Empfinden und den Kontext selbst zu prüfen.

Forschungsmaterialien

• Interne Analyse: Paper 1 (nicht begutachtet, vor allgemeiner Veröffentlichung). Analysecode und personenbezogene Zwischenergebnisse werden erst nach Abschluss von Reproduzierbarkeits-, Lizenz- und Datenschutzprüfungen veröffentlicht
• CASE: Sharma K, et al. A dataset of continuous affect annotations and physiological signals for emotion analysis. Scientific Data. 2019. doi:10.1038/s41597-019-0209-0
• AMIGOS: Miranda-Correa JA, et al. AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups. IEEE Transactions on Affective Computing. 2021. doi:10.1109/TAFFC.2018.2884461
• DEAP: Koelstra S, et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 2012. doi:10.1109/T-AFFC.2011.15
• Übersicht zu HRV und Emotion: Kreibig SD. Autonomic nervous system activity in emotion: A review. Biological Psychology. 2010. doi:10.1016/j.biopsycho.2010.03.010

※ Diese interne Forschung prüft nicht die Wirksamkeit der Feelmo-App.