视频中提取光电容积脉搏波的盲信号估计方法

王 楠，王 霞，付晓静，王蒙军

（河北工业大学 电子信息工程学院，天津300401）

视频中提取光电容积脉搏波的盲信号估计方法

王 楠，王 霞，付晓静，王蒙军

（河北工业大学 电子信息工程学院，天津300401）

从人脸彩色视频图像序列中能够分离出光电容积脉搏波（PPG）信号，进而提取人体的心率值，为了保证提取心率值的实时性和准确性，降低对外界光照环境的依赖性，研究使用对角累积量算法和Robust ICA算法用于彩色视频提取PPG信号，并转化成人体心率。通过对角累积量算法、Robust ICA算法与传统视频提取心率算法，即联合近似特征对角化（JADE）算法的彩色视频提取心率结果的对比分析实验，得出对角累积量算法提取的心率结果与实际心率的误差更小，准确率更高，Robust ICA算法提取心率的运行时间达到0.2 s以内，实时性更强。

光电容积脉搏波；心率检测；对角累积量算法；联合近似特征对角化；Robust ICA

无创、长时间监测人体生理信号是家庭健康医疗的重要方向之一。传统的心率测量仪器，往往要使用探针和传感器，长期的佩戴会引起身体上的不适，也会增加传播感染的风险[1]，利用普通摄像头采集人脸视频提取心率是一种无接触，低成本的方法，它通过检测人脸的肤色变化提取光电容积脉搏波信号，再通过快速傅里叶变换转换成人体心率。这种基于视频的心率提取方法有着重要的研究价值。

通过面部视频检测PPG信号最早是由Pavlidis[2]等人假设提出的，并通过面部热视频分析后证实。2010年，Poh[3-4]等人利用网络摄像头和独立成分分析(ICA)算法成功提取出血液脉搏波，并转换成心率值。ICA从某种程度上可以减少运动所带来的噪声影响。2012年，Kwon[5]等人利用智能手机的摄像头非接触的实现了心率的检测。Lan Wei[6]等人提出了基于非线性混合假设的拉普拉斯特征值的方法从视频中提取光电容积脉搏波，并通过计算心搏间期（IBIs）来提取心率，实验证明该方法优于ICA、主成分分析（PCA）等方法，对IBIs的过滤和预处理可以提高心率结果的准确性。2013年，法国的Bousefsaf[7]实现了从网络摄像头获取人脸视频通过小波变换实时的检测人体心跳。

文中使用3种盲信号估计算法，即JADE、对角累积量和Robust ICA算法，从彩色视频中提取PPG信号。JADE[8-10]算法是通过四阶累积量矩阵的联合对角化来最大化概率密度函数的峭度。对角累积量[11]算法是一种自适应盲源分离算法，通过监控分离矩阵的变化，明确的控制分离是否成功的执行。Robust ICA[12]是一种基于最优步长的算法，该算法在求解最优步长过程中利用数学方法直接求出方程的根，避免了复杂的迭代求解过程，运算效率明显提高，分离特性好。文中使用这3种方法对视频中提取的心率结果作了详细的对比分析，讨论了实验结果的准确性和时间复杂度。

1 PPG信号的提取实验

人脸彩色视频中肤色随时间变化的信号即为观察信号，提取观察信号的步骤如图1所示。

图1 提取肤色观察信号框图

假设观测信号是原始PPG信号的线性组合，可恢复的源信号的数量等于观测信号的数量，盲源分离的目的是找到解混矩阵，最大化每个源信号的非高斯性，分解出独立分量。对观察信号分别使用JADE、对角累积量和Robust ICA算法进行盲源分离，得到估计的PPG信号。提取PPG信号的过程如图2所示。

图2 采用盲信号估计方法盲源分离过程

对三组估计的PPG信号成分进行FFT变换得到其功率谱，在心率范围（正常心率范围在[0.75，4] Hz，即[45，240]次/分钟）内最大功率谱所对应的频率即为估计的心率。

2 心率结果的对比分析

针对同一段长为30s的视频，分别使用JADE、对角累积量和Robust ICA算法估计PPG信号，采用长为15 s的滑动窗口，以1秒的增量对估计信号进行FFT变换，求取心率。同时使用脉搏血氧仪记录下人体的心率作为参考心率值。

在不同波长的光照下，血液吸收的光和反射光会有细微的变化，表现为PPG信号振幅的变化[13]。血液对波长为550 nm的光的吸收能力最强，对应绿光或黄光，对红色、蓝色的光吸收能力相对较弱，其中，血液对红色光的吸收能力最弱，因此R、G、B传感器采集到的观察信号中，红色通道的信号信噪比较小，由于盲源分离之后得到的估计脉搏波信号是无序的，且信号振幅发生变化，为筛选出最佳的PPG信号将盲源分离后的估计信号分别与观察信号中的红色分量混合信号进行相关性分析，判断各个估计信号分量与红色分量观察信号的相似性，筛选出与其相似性最小的估计信号分量，作为后续提取心率的信号。计算信号之间的相关性系数。以一组数据为例做相关性分析，得到的相关性系数的绝对值分别为0.758 2，0.517 8，0.396 2，由此可见，与红色通道的观察信号相似性最低的是估计信号的第三个分量。采用JADE、对角累积量和Robust ICA 3种方法提取的人体心率与参考心率值的对比结果如图3所示。采用盲源分离方法提取出的心率值在图中用符号‘+’标出，脉搏血氧仪记录的参考心率值用‘o’标出。

图3 采用3种盲源分离方法提取的人体心率与参考心率值的对比

从图3中，可以看出使用JADE算法恢复出的心率值与参考心率值重合的点是9个，与参考心率误差在±2范围内的点有4个；使用对角累积量算法恢复出的心率值与参考心率值重合的点是9个，与参考心率误差在±2范围内的点有6个；使用Robust ICA算法恢复出的心率值与参考心率值重合的点是9个，与参考心率误差在±2范围内的点有4个。由此可见，对角累积量筛选出来的估计PPG信号恢复出的心率值与实际心率更接近。

采用统计的方法，分析使用3种盲源分离算法得到心率值的统计特征，根据心率值与脉搏血氧仪测得的参考心率值差的绝对值，计算出均值（M），标准方差（SD）和均方根误差（RMSE）。为了对比3种方法恢复心率的平均性能，统计数据包括估计出的全部信号分量，不做筛选。分别在上午、中午、下午时段，针对3个人录制4段视频，表1到表4为4段视频提取心率结果的统计特征。

表1 视频1估计心率值的统计参数结果

表2 视频1估计心率值的统计参数结果

利用Bland-Altman图的差值法[14]分析4段视频的提取心率结果，每段视频测量出3组数据，每组数据包含16个心率值，4段视频一共有192对结果，如图4所示。图4中表示采用盲源分离算法提取的心率值与参考心率值的差值，Sd是差值的标准差用来表示的变异情况，假设差值的分布服从正态分布，则95%的差值应该位于dm-1.96Sd和dm+1.96Sd之间，这个区间称为95%的一致性界限，大多数的差值应该位于该区间。

从图4中可以看出在95%的置信区间内，JADE算法恢复出的心率值与参考心率值的差值浮动范围是从-50到50 bpm，对角累积量算法对应差值的浮动范围是从-20到20 bpm，浮动范围明显减小。Robust ICA算法对应差值的浮动范围是从-40到50 bpm。由此可以看出，对角累积量算法恢复出的心率值与参考心率值表现出更好的一致性。3种方法的估计运行时间如表5所示。

表3 视频3估计心率值的统计参数结果

表4 视频4估计心率值的统计参数结果

图4 采用3种盲源分离方法提取视频心率结果的Bland-Altman一致性分析

表5 3种盲源分离算法方法的运行时间

从表5中可以看出，Robust ICA算法的时间复杂度最低，对角累积量的运行时间相对较长，但是通过调整参数值，可以使对角累积量算法迭代快速收敛，收敛的迭代次数可从几千次下降到几百次，而结果的准确性变化不大，通过选择合适的参数，可使对角累积量算法的时间复杂度控制在1 s之内，基本满足快速实时提取心率的要求[15]。

3 结束语

研究从可见光谱视频中用盲源分离方法提取光电容积脉搏波，再通过FFT变换转化成人体心率。本文从心率准确性和时间复杂性上对比了JADE、对角累积量和Robust ICA算法。得出以下结论：提取心率的精度从高到低排序所使用的算法依次是对角累积量算法，Robust ICA算法，JADE算法。而计算速率从高到低排序依次是Robust ICA算法，JADE算法，对角累积量算法。由此可见，3种方法在视频提取心率问题上表现出不同的优点，实际应用中，可以根据具体情况，具体要求，选择3种算法其中之一。

[1]Haan G de，Jeanne V，Robust pulse-rate from chrominance-based rPPG[J],IEEE Transaction on Biomedical Engineering,2013，60（10）:2878-2886.

[2]Pavlidis I，Dowdall J，Sun N，et al.Interacting with human physiology[J].Computer Vision and Image Understanding,2007，108（1）:150-170.

[3]Poh M Z，McDuff D J，Picard R W.Non-contact, automated cardiac pulse measurements using video imaging and blind source separation[J].Optics Express,2010，18（10）:10762-10774.

[4]Poh M Z，McDuff D J，Picard R W.Advancements in noncontact,multiparameter physiological measurements using a webcam[J].Biomedical Engineering，IEEE Transactions on,2011，58（1）:7-11.

[5]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[6]Wei L，Tian Y，Wang Y，et al.Automatic webcambased human heartrate measurements using laplacianeigenmap[M].Computer Vision-ACCV 2012.Springer Berlin Heidelberg,2013:281-292.

[7]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[8]Peng F，Zhang Z，Gou X，et al.Motion artifact removal from photoplethysmographic signals by combining temporally constrained independent component analysis and adaptive filter[J]. Biomedical engineering online，2014，13（1）:50.

[9]BousefsafF，MaaouiC，PruskiA.Continuous wavelet filtering on webcam photoplethysmographic signals to remotely assess the instantaneous heart rate[J].Biomedical Signal Processing and Control, 2013，8（6）:568-574.

[10]Cardoso J F.High-order contrasts for independent component analysis[J].Neural computation,1999，11（1）:157-192.

[11]刘琚，孙建德，许宏吉.盲信号处理理论与应用[M].北京:科学出版社，2013.

[12]Zarzoso V，Comon P.Robust independent component analysis by iterative maximization of the kurtosis contrast with algebraic optimal step size[J].IEEE Transactions on Neural Networks,2010，21（2）: 248-261.

[13]Humphreys K，Ward T，Markham C.Noncontact simultaneousdualwavelength photoplethy-smography:a further step toward noncontact pulse oximetry[J].Reviewofscientificinstruments，2007，78（4）:044-304.

[14]Bland J M，Altman D G.Statistical methods for assessing agreementbetween two methodsof clinical measurement[J].International Journal of Nursing Studies，2010，47（8）:931-936.

[15]王蒙军，王楠，王霞，等.由可见光谱视频中提取心率的对角累积量法[J].光学精密工程，2015，23（9）:2698-2707.

Extracting Photoplethysmography from video based on blind signal estimation algorithm

WANG Nan，WANG Xia，FU Xiao-jing，WANG Meng-jun
（School of Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Photoplethysmography（PPG）signal can be extracted from an image sequence of human face in color video，and then human's heart rate is extracted.In order to ensure real-time and accuracy，make less dependence on external light conditions，research on using diagonal cumulant algorithm and robust ICA algorithm for extracting PPG from color video，and transformed into human heart rate.By comparative analysis experiment of the heart rate results using diagonal cumulant algorithm，robust ICA algorithm and the traditional algorithm，i.e.the joint approximate diagonalization algorithm for extracting PPG from color video，the error between heart rate results using diagonal cumulant algorithm and the actual heart rate is smaller，thus higher accuracy，the running time of robust ICA algorithms to extract heart rate less than 0.2s，thus more real-time.

Photoplethysmography；heart rate detection；diagonal cumulant algorithm；JADE；Robust ICA

TN929.1

：A

：1674－6236（2017）03-0176-05

2016-01-19稿件编号：201601162

国家自然科学基金（ZD20131043）

王 楠（1988—），女，天津人，硕士研究生。研究方向：数字图像处理。