非接触式心率测量研究初步

冯 军 汤文明 曹剑剑 余 瑛#∗

（江西中医药大学计算机学院，南昌 330004）

非接触式心率测量研究初步

冯 军1汤文明2曹剑剑3余 瑛1#∗

（江西中医药大学计算机学院，南昌 330004）

基于Matlab软件平台，通过图像光电容积脉搏波描记法（iPPG），提取心率波信号。结合人脸检测与跟踪技术，选取脸部三角区域作为感兴趣区域（ROI），从中分析提取iPPG信号，然后采用快速傅里叶变换计算出心率。通过对20名志愿者的实验，结果显示在不同颜色通道（R、G、B）提取出的心率信号的信噪比不同，其中G通道的心率信号最强。分析数据显示，与医用心电测量仪相比，该方法测量的平均误差为1.73 beat/min。采用光容积成像技术检测方法，可进一步实现血液灌注三维可视化，能检测动脉血氧饱和度、呼吸率、神经系统的生理活动和新生儿监护，甚至能应用于家庭移动医疗、运动检测等大众场合，提高便捷性，降低医疗成本。

图像光电容积脉搏波描记法（iPPG）；非接触；心率；人脸检测；跟踪

引言

心率是人体最重要的生理参数之一，在临床诊断与病人的健康监护上起很大作用。心率异常是多种心血管疾病的高危因素，通过监测心率，可以提前预防很多心血管疾病的发生［1］。同时，心率也是指导体育锻炼的重要指标，运动科学研究表明，心率是生理变化较为灵敏的参数之一［2］。在刑侦手段（如测谎）中，心率也有重要应用。传统的心率测量设备大部分都需要直接接触人体才能运行，对被测量者有很大的束缚性，并且有些设备价格昂贵，远远无法满足大众对健康监测的需求。基于此，本研究提出了一种非接触式、轻量化的心率监测方法，使健康的检测更为方便。

目前，基于视觉设备的非接触感知在许多领域的应用越来越广泛，如机器视觉、视频监控、车辆或人脸的识别与跟踪、体感游戏等［3］。图像光电容积脉搏波描记法（imaging photoplethysmograph，iPPG）技术，通过采集人体皮肤颜色的细微变化，实现心率测量［4］。皮肤的光学属性主要是由皮下水分、血红蛋白、黑色素等对光的吸收所引起，相比之下，血液对光的吸收高于其他吸收因子［5］。当光线进入皮下组织时，血液的周期性灌注会影响光线反射的强度，其中血液灌注形成光信号的交流成分，周围组织、血管反射的光线形成直流成分［6］。通过成像设备对光线的捕捉，可观察到毛细血管网反射的光信号变化［7］；分析其中的交流成分，可获取人体相关的生理参数，如心率、血压等［8］。

在iPPG领域的早期研究中，Wu、Blazek和Schmitt［8］使用 660、810 和 940nm 的窄频段光波对前臂皮肤照射，解析出了反射光信号的心率成分，在频谱上与手指的PPG信号相似，同时伴有低频的呼吸率［9］。Wieringa、Mastik、和 Van der Steen 等首次在时域和频域上同时对比了ECG、手指的iPPG与PPG信号的差异，结果表明iPPG在临床上的应用还有待突破［10］。几乎同时，Humphreys、Ward 和Markham用760和880nm波长的激光对手臂皮肤进行照射，提出使用Bland-Altman的分析方法，使iPPG信号与手指的PPG信号有很高的吻合度［11］。Poh、Mc Duff和Picard做了更多复杂的研究，通过对图像的R、G、B三颜色通道进行独立成分分析，提高了iPPG信号的质量［12-13］。目前对iPPG的研究主要集中在解决一些实际问题上，如图像质量［14］、帧率［15］、ROI的选取［16］、运动伪差［17］和在临床的试验与应用［18-20］。由于iPPG信号来源于皮肤毛细血管对光的反射，所以不可避免地会受到运动所造成的伪差影响，以及光源不稳定造成的信噪比低。在以往的研究中，并无明显降低此类伪差的相关研究。

1 材料和方法

1.1 实验设计

实验操作流程如图1所示。邀请20位志愿者，平均分为2组，分昼夜两个时期进行实验，包括3个步骤。

图1 实验流程概要（包括等待与测量2个阶段）Fig.1 Thesummaryofexperimentalprocess，including 2 parts between waiting and measurement

步骤1：详细地向志愿者介绍实验流程，按规范连接心电测量仪的电极片，引导志愿者静坐于摄像头前1 m处，平静呼吸。实验场景如图2所示。

图2 实验场景Fig.2 The scene of the experiment

步骤2：启动心电测量仪与Matlab测量程序，等待至显示结果同步并且稳定。

步骤3：间隔5 s同时记录1次志愿者的iPPG数据与心电图数据，每人记录10组数据。

继续对其他的志愿者进行上述实验，直到所有志愿者都测试完毕，并在白天与晚上对两组志愿者进行相同的测试。

1.2 材料

iPPG是借助皮肤反射光检测人体组织中血液容积变化的一种无创检测方法。本研究采用罗技公司生产的CMOS相机（Logitech HD 720p）作为捕光设备，设置相机采样帧率为10 fps，分辨率为640像素×480像素，返回RGB颜色空间，颜色深度为12位，各参数恒定，并使用自然光作为入射光源。

心率信号的采集采用BLOCK IMAGING公司的心电采集设备Cardiac Trigger Monitor 3100，按参考图连接人体，用于检测人体的心电图。

采集的iPPG信号通过USB数据线输入电脑（Window10，64 位系统），使用 MathWorks公司的Matlab软件进行在线处理。

1.3 预处理操作

预处理操作是将原始视频图像转化为一维离散的iPPG信号，该信号包含了皮肤血液灌注的特征信号。通过人脸检测与跟踪算法，准确定位图像中人脸的位置；按照人体面部“三庭五眼”的比例关系，设置算法自动选取含丰富毛细血管的三角区域作为ROI（是一种自适应选取）；将ROI的G颜色分量分解，并做空间均值处理，获得iPPG信号。由于使用人脸检测与跟踪技术，从而使信号具有更高的信噪比。预处理操作流程如图3所示。

图3 预处理的详细算法流程Fig.3 A detailed algorithmic flow chart for preprocessing

1.4 心率信号提取

通过采集装置，对志愿者进行iPPG信号与心率信号的同步采集，获得实验数据。采样模式一般设置为连续不断采集，并从中截取10 s的数据用于数据分析。采用归一化函数premnmx，对iPPG信号进行归一化，去除信号中的高斯噪声和直流分量。同时，针对信号的低频与高频干扰现象，采用目前较为普遍的巴特沃斯滤波器进行带通滤波处理，获得0.7～4 Hz的通带信号。对截取的iPPG信号进行频谱分析，并在频域中寻找信号峰值，表示为

式中，xac（t）为归一化后的信号，F（ω）为iPPG的频域显示，cord为模拟频率，value为坐标值，HR为心率。

采集到的iPPG信号如图4所示，心率提取的详细算法流程如图5所示。

图4 原始iPPG信号处理。（a）加矩形窗；（b）时域xac（t）；（c）频域 F（ω）Fig.4 The process of the original IPPG signal.（a）Adding the window of rectangle.（b）The time-domin xac（t）.（c）The frequency-domin F（ω）.

图5 心率提取的详细算法流程Fig.5 A detailed algorithmic flow chart for heart rate extraction

2 结果

如图6所示，无论是从G通道构造出的iPPG信号，还是从R、B通道构造出的iPPG信号，在波形上都有一定的相似性，但从中可以初步判定，从G通道构造出的iPPG信号具有更高的信噪比，更有利于心率的估算及相关的信号分析。

图6 R、G、B三通道分离Fig.6 The separation of channels of R，G，B

将采集得到的心率与计算得到的心率进行对比，得到分析结果见表1。可以看出，从心电测量仪采集的心率与从iPPG信号中计算的心率具有良好的一致性，其绝对误差在允许范围之内，且平均绝对误差仅为1.73 beat/min。

3 讨论

目前，临床上采用的心电图法成本较高，操作繁琐。若从iPPG信号中提取出心率信号，将会使心率监护更加便捷。近年来，利用iPPG信号提取出心率的相关信息，进行了大量的研究。由于iPPG信号受光线与运动的影响较大，欲从中获得稳定强健的心率信号一直是目前研究的难点。因此，本研究加入了新的技术——人脸检测与跟踪算法，提高了iPPG信号的鲁棒性和信噪比。对第一帧视频图像进行人脸检测，并以此为参考追踪后续视频中的人脸，从中提取脸部三角区作为ROI，选择G通道构造出iPPG信号，使用快速傅里叶变化计算出心率，然后对计算获得的心率与采集获得的心率进行对比。实验数据表明，该方法对心率信号有良好的提取效果，并且与心电测量仪采集的心率信号有较高的一致性。在实验数据中，计算的白天第4组与第9组的误差较大，这是由于志愿者在测量过程中面部不自主运动所导致的。研究证明，该方法能适当提高心率信号的信噪比，并且由于人脸图像的像素变化能直接反映iPPG信号的变化，如果能对图像像素变化进行追踪，将极大改善iPPG信号的信噪比。下一步的研究重点是：如何追踪人脸图像像素的变化，如何对不均匀的光线进行补偿，并考虑各种场合下不同通道iPPG信号的信噪比。

表1 iPPG与ECG采集结果Tab.1 The result of iPPG and ECG

4 结论

本研究试图从iPPG信号中提取出心率，并采用人脸检测与跟踪技术来提高iPPG信号的信噪比，然后采用快速傅里叶变换计算出心率。实验数据分析的结果表明，该方法能有效地从iPPG信号中提取出心率，且计算出来的心率与原始的心率有很高的一致性，其平均误差为1.73 beat/min。同时，由于皮肤图像的像素变化能直接反映iPPG信号的变化，使提高iPPG信号信噪比的研究有了新的突破口，这对于临床中非接触式生理信号测量具有指导意义。

［1］ Kannel WB，Kannel C.Heart rate and cardiovascular mortality［J］.American Heart Journal，1987，113（6）：1489-1494.

［2］ Fjortoft I，Kristoffersen B，Sageie J.Children in schoolyards：tracking movement patterns and physical activity in schoolyards using global positioning system and heart rate monitoring.［J］.Landscape ＆ Urban Planning，2009，93（3-4）：210-217.

［3］ 李鹏飞，陈朝武，李晓峰.智能视频算法评估综述［J］.计算机辅助设计与图形学学报，2010，22（2）：352-360.

［4］ Zheng J，Hu S，Chouliaras V，et al.Feasibility of imaging photoplethysmography ［C］ //International Conference on Biomedical Engineering＆ Informatics.Sanya：IEEE，2008，2：72-75.

［5］ Allen J.Photoplethysmography and its application in clinical physiological measurement. ［J］.Physiological Measurement，2007，28（3）：R1-R39.

［6］ Wukitsch MW，Petterson MT，Tobler DR，et al.Pulse oximetry：analysis of theory，technology，and practice.［J］.Journal of Clinical Monitoring and Computing，1988，4（4）：290-301.

［7］ Wu T，Blazek V，Schmitt HJ. Imaging：A new photoplethysmography noninvasive and noncontact method for mapping of the dermal perfusion changes［J］.Proc Spie，2000，4163：62-70.

［8］ Zhu H，Zhao Y，Dong L.Non-contact detection of cardiac rate based on visible light imaging device［J］.Proc Spie，2012，8498：06.

［9］ Wieringa FP，Mastik F，AfVDS. Contactless multiple wavelength photoplethysmographic imaging：a first step toward“SpO2 camera＂ technology［J］. Annals ofBiomedical Engineering，2005，33（8）：1034-1041.

［10］ Takano C，Ohta Y.Heart rate measurement based on a timelapse image ［J］.Medical Engineering ＆ Physics，2007，29（8）：853-857.

［11］ Humphreys K，Ward T，Markham C.Noncontact simultaneous dual wavelength photoplethysmography：A further step toward noncontact pulse oximetry［J］.Review of Scientific Instruments，2007，78（4）：44304.

［12］ Poh MZ，Mcduff DJ，Picard RW.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE Transactions on Biomedical Engineering，2011，58（1）：7-11.

［13］ Cardoso JF，Souloumiac A.Blind Beamforming for non Gaussian Signals［J］.Radar＆ Signal Processing Iee Proceedings F，1993，140（6）：362-370.

［14］ Sun Y，Papin C，Azorin-Peris V，et al.Use of ambient light in remote photoplethysmographic systems：comparison between a high-performance camera and a low-cost webcam.［J］.Journal of Biomedical Optics，2012，17（3）：37005.

［15］ Sun Y，Hu S，Azorin-Peris V，et al.Noncontact imaging photoplethysmography to effectively access pulse rate variability［J］.Journal of Biomedical Optics，2013，18（6）：61205.

［16］ Lempe G，Zaunseder S，Wirthgen T，et al.ROI Selection for Remote Photoplethysmography ［M］//Berlin：Springer Berlin Heidelberg，2013：99-103.

［17］ Wang W，Stuijk S，De HG.Exploiting spatial redundancy of image sensor for motion robust rPPG［J］.IEEE transactions on Biomedical Engineering，2015，62（2）：415-25.

［18］ De Haan G，Jeanne V.Robust pulse rate from chrominance-Based rPPG［J］.IEEE Transactions on Biomedical Engineering，2013，60（10）：2878-2886.

［19］ Aarts LA，Jeanne V，Cleary JP，et al.Non-contact heart rate monitoring utilizing camera photoplethys-mography in the neonatal intensive care unit-A pilot study. ［J］.Early Human Development，2013，89（12）：943-948.

［20］ Tarassenko L，Villarroel M，Guazzi A，et al.Non-contact videobased vital sign monitoring using ambient light and autoregressive models. ［J］.Physiological Measurement，2014，35（5）：807-831.

A Preliminary Study on Non-Contact Heart Rate Measurement

Feng Jun1Tang Wengming2Cao Jianjian3Yu Ying1#∗
Jiangxi University of Traditional Medicine，Nanchang330004，China）

imaging photoplethysmograph（iPPG）；non-contact；heart rate；face detection；tracking

R318 文献标志码：D 文章编号：0258-8021（2017）05-0627-05

10.3969 /j.issn.0258-8021.2017.05.017

2017-04-01，录用日期：2017-09-03

江西中医药大学校级课题（2014jzzdxk021，2014jzyb-3，2016jzgy-06）

∗通信作者（Corresponding author），E-mail：59920079@qq.com

（致谢：诚挚感谢参加实验的20位志愿者提供的帮助）