基于心率变异性分析的睡眠音乐推荐系统

彭 程，常相茂，仇 媛

（南京航空航天大学计算机科学与技术学院，南京211106）

（∗通信作者电子邮箱pengchenggold@163.com）

0 引言

随着生活节奏的加快，越来越多的人被睡眠问题所困扰。传统的睡眠监测通过用户身体连接至多导睡眠监测仪进行评估，随着传感器技术的发展，移动设备麦克风、加速度计以及光敏传感器被用来进行睡眠信息的采集，一些机器学习的方法也被用于信号的分析［1-6］，例如文献［6］使用序列连通度分析提取信号特征，利用最小二乘支持向量机进行睡眠分期。心率变异性分析在分析人的精神状况以及睡眠分期取得了不错的效果。然而，当前的研究大多依靠专业医疗设备，并且方向主要停留在信息的获取上，例如对精神状况以及睡眠阶段分期的评估，缺乏对信息的实时利用即改善睡眠或缓解压力的具体措施，因此，使用舒适、简便的传感器进行睡眠监测以及通过具体措施对信息实时利用具有很重要的研究意义。

现代医学认为，心率信号作为重要的生理指标之一，包含了人的精神状况以及生理状态等重要信息。研究者通过对心率变异性（Heart Rate Variability，HRV）信号进行分析，提取包括时域以及频域多种特征，对用户在不同环境以及任务下的情感、精神压力状况以及生理状况进行评估。例如孙微［7］通过心率变异性分析构建支持向量机对睡眠阶段进行分期；Widasarie等［8］提取心率变异性不同频带标准化后能量，使用决策树-支持向量机对睡眠阶段进行分期；Okamura等［9］通过吸附在人体身体上传感器采集的信号，分析人的入睡以及醒来时的时间；Hernando等［10］同时采集光电扫描计信号（PhotoPlethysmoGraphy， PPG） 以 及 心 电 图 信 号（ElectroCardioGram，ECG），评估了在精神高压环境下的心率变异性变化情况。虽然以上研究都取得了较好的分析效果，但都需要用户佩戴专业的ECG设备进行信号采集，同时也仅停留在实验后对信息的分析，缺乏实时性以及对信息的利用，例如睡眠质量的评估以及精神状况的调整。

Phasukkit等［11］通过比较人正常睡眠时以及聆听音乐放松时的脑电图（ElectroEncephaloGram，EEG）信号，判断音乐推荐对人睡眠质量的改善作用；France等［12］则统计了非传统方法对儿童以及年轻人睡眠的影响，结果表明音乐推荐在大多数人群的睡眠中起到了积极的作用。然而以上研究都是基于群体的睡眠表现，并没有针对个体的睡眠和精神状况作出专门的音乐推荐。

为了克服以上缺陷，本文将基于心率变异性分析的精神状况分析以及睡眠分期相结合，提出了一种实时调整精神状况以及改善睡眠质量的睡眠音乐推荐系统。首先，相对于其他心率变异性研究需要使用专业设备进行采集的ECG信号，使用更加易于获取的PPG信号进行心率变异性分析，并且在公开数据集上验证了睡眠分期以及精神状况分析方法的准确性；然后，针对当前心率变异性分析只停留在信息获取的问题上，使用滑动窗口的方法将使用不同时程的睡眠分期和精神状况分析相联系，根据实时的信息变化进行睡眠音乐的推荐以及调整，达到缓解精神压力以及改善睡眠质量的目的；最后，通过实验评估系统性能。结果证明，本文方法在使用移动平台下更易获取的PPG信号代替ECG信号的情况下，能够准确进行睡眠分期以及精神状况分析，同时利用这两种信息，使用音乐缓解精神压力以及改善睡眠质量。

1 系统概述

本文提出了一种基于心率变异性分析的音乐推荐系统，如图1所示，用户通过佩戴智能手表采集PPG信号，手表通过蓝牙将采集到的信号传输到手机。手机对心率进行实时计算，同时提取时域以及频域特征，每30 s对用户进行睡眠分期以及精神状况分析。根据用户的睡眠以及精神状况，进行音乐的播放以及实时调整。最终根据用户整晚的睡眠分期时长分布，进行睡眠质量分析，评估音乐与用户个体的适应程度，进行音乐推荐。

图1 睡眠音乐推荐系统流程Fig.1 Flowchart of sleep music recommendation system

2 PPG信号

在本章中，主要介绍如何使用PPG信号进行HRV分析，同时将PPG信号与ECG信号在HRV计算上进行对比。PPG是一种光学测量技术，可用于检测组织微血管中的血容量变化，并被广泛认为可提供有关心血管系统的有价值信息。PPG波形由脉搏生理波形组成，主要包括由每次心跳造成心脏血容量的变化的交流信号，以及由于呼吸、交感神经系统活动和体温调节的各种较低频率分量缓慢变化的直流信号［13］。本文通过对信号做频谱分析，对信号进行带通滤波后保留包含心率信息部分的信号。

2.1 信号预处理

本部分实验数据来源于MESA（Multi-Ethnic Study of Atherosclerosis）数据库［14-15］。使用了共计50个夜晚的实验数据，使用多导睡眠图（PolySomnoGraphy，PSG）中的ECG信号（采样率为256 Hz）以及PPG信号（采样率为256 Hz），以及睡眠阶段标注为使用信号。数据集由医学专家进行标注，用作实验分析的真值。

2.1.1 带通滤波

PPG信号是非稳态的微弱信号，为进行心率以及心跳间隔的计算，需要对原始信号进行滤波。图2所示为原始信号时域图以及快速傅里叶变换后的频谱分布，信号存在高频部分（如电源）以及低频部分（如毛细血管密度和静脉血容量的变化、温度变化等）噪声。为消除噪声干扰，使用带通滤波器进行滤波。正常人群安静状况下心率范围在每分钟40～160次，为此滤波器通阻带设置为4 Hz，阶数为4。

图2 原始信号时域波形以及频谱Fig.2 Original signal’s time domain waveform and spectrum

图3所示为滤波后信号时域图以及频谱分布，信号滤波后，高频部分的噪声得到消除。

图3 滤波后信号时域波形以及频谱Fig.3 Filtered signal’s timedomain waveform and spectrum

2.1.2 移动平均

目标信号为从原始PPG信号中计算心率以及心跳间隔，为了方便峰值检测以及测量峰值之间间隔，对信号进行移动平均处理，即原始信号减去K个采样点均值，如式（1）所示：

图4 移动平均后信号波形Fig.4 Signal waveform after moving average

2.2 心率变异性计算以及性能对比

2.2.1 基于PPG的心率变异性计算

心率变异性又称为心率波动性，指的是逐次心跳周期差异的变化情况或者说是指心跳快慢的变化情况，由两个相邻的R-R间期时间长短决定，即从第一次心动周期至下一次心动周期间的微小差异。通过测试个体的心率变异性各种指标，能够提供有关睡眠分期、精神状况等方面的信息，本文使用局部最大值法找出0.5 s的滑动窗口内波峰，用于计算每次心跳之间的间隔。标记出的波峰如图5所示。

图5 标记波峰Fig.5 Marked peaks

2.2.2 性能对比

现有研究的HRV计算主要使用ECG，用户在使用心电图机时，需要在人体不同的部位放置电极，在佩戴舒适度上以及使用方便程度上表现较差。而PPG信号可以通过智能手表采集，使用简单且佩戴舒适，二者使用对比如图6所示。

图6 采集方式对比Fig.6 Comparison of acquisition methods

通过ECG信号进行HRV计算的方法与使用PPG信号相似，对信号进行滤波处理后，通过人工或者机器识别的方式标记R峰，通过计算R峰间隔来计算心跳间隔。本文使用MESA数据库进行验证，比较使用ECG信号以及PPG信号计算HRV的性能。其中30 s的计算结果如图7所示，与使用ECG进行HRV计算相比，使用PPG计算结果相差极小，证明在HRV计算上，PPG是一种有效的方式，并且在佩戴舒适度以及使用方便性上有很大优势。

图7 HRV计算结果对比Fig.7 Comparison of HRV calculation results

2.3 时域特征分析

HRV的时域特征是通过分析心跳间隔（R wave intervals，RR）序列的一些指标来完成的。根据RR间期的持续时间长短，HRV时域分析分为短时程指标和长时程指标。为实时分析音乐对精神状况的影响，使用短时程指标，间期大小为30 s，与睡眠阶段的划分窗口大小相同。时域分析大体通过以下两个方向进行分析：一方面直接从RR间隔以及瞬时心率得出；另一方面从相邻RR间隔差值得出。

时域分析统计指标如下：1）心率时间序列平均数（mean of RR intervals，meanRR）；2）心跳间隔平均数（mean of Normalto-Normal intervals，meanNN）；3）心跳间隔标准差（Standard Deviation of Normal-to-Normal intervals，SDNN）；4）统计间期内正常窦性心搏（Normal to Normal intervals，NN）间期差值的均方根（root mean Square Successive Difference，rmSSD）。

2.4 频域特征分析

HRV的频域分析有快速傅里叶变换（Fast Fourier Transform，FFT）和自回归模型谱分析法（AutoRegressive model spectrum estimation，AR）两类方法。通过对一定时间内连续RR间期进行FFT或AR，得出到以频率为横坐标、功率谱能量为纵坐标的心率功率谱，它提供了能量随频率变化分布的基本信息。医学上将功率谱频带划分为3个频段，各频段下的面积可作为功率谱能量的测定值，其大小与HRV成正比，可用于评估波形所对应的各个频率频段的相对功率。

频域分析在短时程和长时程上分析的结果意义差异很大，短时程5 min频域分析应使用户在平卧休息状态下，控制用户以及环境条件，避免其他因素对用户精神状况以及神经活动的干扰。长时程24 h频域分析则是针对用户全天的心率变化状况进行分析，因此无法做到对其余干扰因素的消除，是对全天整体的大致分析。因此本文选择对用户进行短时程频域分析评估音乐对睡眠的影响。

频域分析统计指标如下：1）总功率（Total Power，TP），频段0～0.4 Hz；2）极低频功率（Very Low Frequency，VLF），频段0.003～0.04 Hz；3）低频功率（Low Frequency，LF），频段0.04～0.15 Hz；4） 标 准 化 低 频 功 率（normalized Low Frequency，LFnorm），计算方法如式（2）所示；5）高频功率（High Frequency，HF），频段 0.15～0.4 Hz；6）标准化高频功率（normalized High Frequency，HFnorm），计算方法如式（3）所示；7）低高频功率比（Low Frequency/High Frequency，LF/HF）。

3 睡眠分期

睡眠作为一个非匀质过程，由快速眼动阶段（Rapid-Eye-Move，REM）以及3个非快速眼动阶段（Non-Rapid-Eye-Move，NREM）交替循环组成。睡眠研究的标准仪器是多导睡眠图（PSG），它要求患者在睡眠实验室中睡觉，其中有一系列传感器连接至身体的不同部位，由专业医疗人员根据监测参数对处于哪个睡眠阶段进行划分。研究者将研究重点放在使用尽可能少的传感器信号进行睡眠阶段诊断，而睡眠阶段划分基本上均涉及EEG频谱分析，因此大部分研究都使用单通道EEG信号进行睡眠阶段诊断。现有HRV分析大多使用ECG信号进行睡眠阶段诊断，提取HRV相关时域频域特征，使用神经网络对每30 s的数据进行睡眠阶段分类。

本文使用支持向量机分类器，一种可用于分类的监督机器学习算法来对睡眠阶段进行分类。它使用内核方法分析多维数据，在有限的样本数据中，支持向量机具有较好的表现。对于50个夜晚数据，在去除损失信号后，共有27468个30 s波形，提取2.3节以及2.4节中所述时域和频域特征后，原始数据以及特征被随机分为50%的训练集数据用于分类器训练，50%的测试集数据用于评估测试集表现。睡眠阶段共划分为醒着、轻度睡眠（N1、N2）、深度睡眠（N3）以及REM。最终分类准确率如表1所示。

表1 睡眠阶段分类准确率 单位：%Tab.1 Classification accuraciesof sleep stages unit：%

从表1可以看出，分类器在数据集上的深度睡眠以及快速眼动阶段具有较高的分类准确率，对于醒着以及轻度睡眠的划分，分类的准确率在可接受范围类，对于睡眠音乐推荐，较高的睡眠阶段识别准确率具有很大帮助。睡眠音乐推荐系统使用在数据集上训练后的支持向量机分类器对用户的睡眠状况进行实时分析。智能手表采集PPG信号，经蓝牙传输至手机，每30 s计算2.3节以及2.4节所述时域以及频域特征，将原始信号以及特征输入支持向量机中对当前睡眠阶段进行识别。若用户处于入睡状态（N1、N2、N3、REM），则停止当前音乐播放，若用户处于醒着状态，则进入用户精神状况评估。

4 精神状况分析

自主神经系统控制着大多数器官的功能，并与应激反应相关。如果人处于紧张状态，自主神经系统就会被触发，引发一系列反应，例如心率增加、血管收缩、瞳孔及肺部细支血管扩张和汗液分泌等。在人的精神压力状况发生变化时，交感神经系统以及副交感神经系统的兴奋以及放松会导致许多HRV特征的显著变化，因此，通过对HRV的短时程特征进行分析，能够反映用户的实时精神压力。

精神紧张会导致人心脏负担加重，大脑处于兴奋状态，为满足人体所需能量肝脏负荷加重，从而导致肝功能下降，且由于长时间紧张对人体各部分机能消耗大，影响人体入眠并使睡眠质量下降。SDNN值代表全体NN间期的标准偏差，SDNN的值越大，说明心率信号变化的复杂程度越高，若SDNN的值下降，则代表人体自主神经系统调节能力低下，精神处于焦虑紧张状态；同样RMSSD值代表邻近NN间期之差的均方根，是评估副交感神经系统活性的较常用参数，SDNN的下降，常伴随RMSDD值下降。本文对数据库中50个夜晚，监测者入眠前（进入睡眠阶段）5 min以及入眠后5 min HRV进行分析，如图8、9所示。

图8 入睡后5 min的SDNN散点图Fig.8 SDNN scatter diagram at 5 min after goingtosleep

图9 入睡后5 min的RMSSD散点图Fig.9 RMSSDscatter diagramat 5 min after goingtosleep

图8，9中每个点纵坐标代表该用户入睡前5 min SDNN，RMSSD的值，横坐标代表该用户入睡后5 min SDNN，RMSSD的值。入睡前后5 min的SDNN以及RMMSD散点基本都落在方程Y=X上方，代表入睡后5 min SDNN以及RMMSD值均有上升，精神处于更加放松的状态。

在HRV的频域分析中，LF属于相对的低频成分，可用来代表人体副交感神经系统的活性，但大部分情况是作为交感神经系统活性指标来利用；HF作为相对高频的成分，是与呼吸运动相关的成分，是评估副交感神经系统活性的指标。二者比值LF/HF，代表交感神经系统与副交感神经系统之间，即整个自主神经系统的平衡性。当交感神经系统处于强势时，机体往往处于焦虑、恐怖、易怒、注意力散漫、过度警觉的状态。同样对监测者入眠前后5 min LF/HF进行分析，如图10所示。

图10 入睡后5 min的LF/HF散点图Fig.10 LF/HFscatter diagramat 5 min after goingtosleep

图10中每个点横坐标代表用户入睡后5 min LF/HF值，纵坐标代表该用户入睡前5 min LF/HF的值。入睡前后5 min LF/HF散点基本都落在方程Y=X下方，这代表入睡后LF/HF值处于下降状态，精神状况更加放松。对于本实验的样本来说，统计之后共有9个点不符合下降趋势，92%的样本在入眠后LF/HF都呈下降趋势。

根据数据库样本的HRV分析，用户在进入睡眠后，精神趋于放松状态，即SDNN以及RMSSD值上升，LF/HF值下降。因此在本音乐推荐系统中，采集的PPG信号经蓝牙传输至手机后，进行HRV分析，在大小为5 min的滑动窗口每30 s计算SDNN、RMSSD以及LF/HF值，若SDNN、RMSSD值呈上升趋势，LF/HF值呈下降趋势，则代表推荐音乐对用户精神起到促进放松作用，反之则代表该音乐对用户精神未起到促进放松作用，需要对音乐进行音量下调或切换音乐。

5 睡眠音乐推荐

听音乐会影响脑电波甚至增加α波的能量，而α波能量增加则代表更好的精神状况以及更加放松的身体。而当为了休息闭上眼睛时也会出现相同的情况，α波能量增加，身体因休息而放松。可以看出，听音乐是为了缓解紧张情绪，放松，甚至与休息具有相同的功能。本文提出了一种基于HRV分析的睡眠音乐推荐框架，通过HRV分析用户的实时睡眠状态以及精神状况来对音乐进行实时调整，最后根据整晚的睡眠质量评估音乐对个体的适应性，系统框架如图11所示。

图11 睡眠音乐推荐系统Fig.11 Sleep music recommendation system

如图11所示，用户智能手表采集PPG信号，传输至手机计算心率以及HRV分析。每30 s对用户当前睡眠阶段进行分析（S1，S2，…，S11），若用户已入睡，则关闭音乐播放，继续记录心率以及HRV分析，结束睡眠后根据总睡眠时长以及各睡眠阶段时长对音乐与该用户适性进行分析；若用户未入睡，则手机播放音乐，在5 min的滑动窗口内每30 s对用户精神状况进行评估，若窗口2中用户精神与窗口1相比更加紧张，则需要对音乐进行音量调低或音乐切换；若用户精神放松，则继续对用户入睡状态进行监测，直至用户入睡。

6 系统性能实验

为了评估系统功效，选取7名在校大学生进行实验，实验个体均无相关睡眠疾病，实验期间保持相同作息以及避免使用任何影响睡眠类药品，佩戴华为Watch2采集相关信号，使用经哈佛医学院CDB中心测试认证的华为TruSleep技术作为睡眠质量真值。每位实验个体进行连续5个夜晚的睡眠监测，实验个体在实验前3天中，仅佩戴智能手表进行睡眠监测，每晚记录浅度睡眠、深度睡眠以及快速眼动阶段时长。在实验后两天中，用户佩戴智能手表进行睡眠监测，采集PPG信号传输至手机，手机的睡眠音乐推荐系统分析睡眠阶段以及精神状况，同时进行音乐播放以及调整，记录每晚浅度睡眠，深度睡眠以及快速眼动阶段时长。

图12为用户某晚整体睡眠时长以及具体睡眠阶段时长分布，用户在上午12：28分入睡，8：30分醒来。总睡眠时长7 h 19 min，其中深度睡眠2 h 10 min，浅度睡眠3 h 47 min，快速眼动阶段1 h 22 min。

图12 用户整晚睡眠阶段分布Fig.12 Distribution of user’s sleep stages through the night

图13所示为7位用户实验期间的平均睡眠总时长变化情况。在无音乐的前3天，睡眠时长在7 h左右，且时长分布稳定。使用音乐推荐系统后，第4天的睡眠时长明显高于前3天，且保持稳定，睡眠时长稳定增长，约7.5 h。

图13 用户实验期间平均睡眠总时长变化Fig.13 Average change of user’stotal sleep timeduring experiment

如图14所示为用户有无音乐推荐下各睡眠阶段平均时长对比，音乐推荐系统主要使用户的浅度睡眠以及快速眼动时长增加，对深度睡眠影响较小。用户使用睡眠音乐推荐系统前，平均快速眼动、浅度睡眠以及深度睡眠时长分别为86 min、220 min和117 min。在使用音乐推荐系统后，平均快速眼动、浅度睡眠、深度睡眠时长对比使用系统前分别增长16 min、22 min、3 min，总体睡眠时长对比使用系统前增长11.0%。

图14 用户有无音乐下各睡眠阶段平均时长变化Fig.14 Averageduration changesof user’seach sleep stagewith and without music

图15所示为用户实验期间，各睡眠阶段平均时长的变化情况。其中，在使用音乐推荐系统后，用户的浅度睡眠时长以及快速眼动时长明显增长，且使用后时长持续增长，而深度睡眠时长则基本保持不变。实验结果证明系统主要使用户的浅度睡眠以及快速眼动阶段时长增加，而对深度睡眠的时长影响较小。

图15 用户实验期间内各睡眠阶段平均时长变化Fig.15 Averageduration changesof user’s each sleep stage during experiment

7 结语

本文提出了一种使用PPG信号代替ECG信号进行HRV分析，并根据分析得出的精神状况以及睡眠阶段，使用音乐缓解精神压力以及辅助睡眠，同时对音乐进行动态调整的系统。在现有数据集上的实验结果表明，PPG信号在HRV计算上的结果与ECG信号相近，并且获取方法简单，舒适度高。此外，音乐推荐系统能够有效改善实验个体睡眠质量，使用系统后，睡眠总时长对比使用系统前增长11%。在未来的工作中，计划将本系统在不同年龄用户群体使用以及扩大实验样本数量，目标是在能改善各年龄层次的多数用户的睡眠质量；同时，优化特征提取以及特征选择，提高PPG信号在睡眠分期以及精神状况的准确性，使用多种传感器验证结果。