一种基于人脸视频的非接触式心率测量系统

张 祺

（杭州萧山技师学院，浙江 杭州 311201）

0 引言

随着人们生活质量的提高，心脑血管疾病患者数量逐年上升，而心率作为人体最重要的生命体征之一，与心脑血管疾病有密切的关系[1]。监测心率信号可以及时了解自身的健康状况，对心脑血管疾病的预防有非常重要的作用[2]。目前，现有的监测心率的方法主要有接触式检测和非接触式检测，接触式心率监测方法操作复杂且需要与皮肤接触，不适用于皮肤烧伤、有开放式创口、手脚抖动、行动不便的老年以及不适合接触式监测的新生儿等患者。

随着图像识别技术的发展，基于光电容描记术和图像识别技术的非接触式心率检测成为十分热门的研究方向，该方法通过人脸视频即可提取心率信号，具有成本低、与人体无接触以及可实现居家实时监测心率等优点。但是现有的方法仍存在一些问题，例如在对人脸区域的提取过程中会受到头发等非皮肤区域的干扰，在测量过程中易受到光照等干扰，因此，该文提出了将基于深度学习的语义分割技术应用到人脸皮肤区域的分割，以减少头发等其他非皮肤区域的干扰，减少不同肤色或光线过暗造成的皮肤区域提取的误差，同时对现有的基于皮肤正交模型的POS 算法进行改进，以提高系统对光照变化的抗干扰能力。试验证明，该方法的准确性和抗干扰性比传统方法高，对今后通过人脸视频提取更多的具有价值的医学信号有非常重要的意义。

1 系统设计方案

该文系统设计方案流程如图1所示，具体实现步骤如下：1） 图像采集和预处理。利用消费级摄像头采集人脸视频进行图像预处理，将视频图像转化为RGB空间。2） 人脸检测。采用人脸检测精度更高的基于深度学习的MTCNN方法进行人脸检测，并框选出离检测装置最近的人脸区域。3） 区域提取。采用基于深度学习的语义分割方法去除头发遮挡的区域和部分背景区域，分离出人脸皮肤区域，将该区域定义为系统感兴趣区域。4） 数据处理。对系统感兴趣区域的像素RGB三通道的值进行均值归一化处理，选取背景图像中稳定、无干扰的区域，对该背景区域的像素RGB三通道的值进行均值归一化处理。5） 心率信号提取。将均值归一化后的人脸皮肤区域RGB值与选取的均值归一化后的背景区域RGB值相除，得到去除光照影响后的RGB值，采用改进的基于皮肤正交模型的POS算法提取心率信号。6） 心率计算。采用功率谱估算心率值，使用Welch方法对心率信号进行离散时间傅里叶变换，采用通带频率为 0.75 Hz～4 Hz的Hamming窗口带通滤波去除不在心率范围内的高频和低频噪声，求出最大峰值处的频率f，其所代表的心率为60f。

图1 系统设计方案流程图

2 方法

2.1 光电容积描记法原理

光电容积描记法（Photoplethysmography，PPG）是一种利用光电技术检测人体血液容积变化的技术，可以获取人体生理信号[3]。该技术广泛应用于临床医学领域，例如血压、血氧以及心率等信号的检测和提取。

由于皮肤是一层半透膜，皮肤对光有一定的吸收和反射作用，当外界光源照射到皮肤表面时，经过一系列的反射和折射，一部分光反射至相机传感器。皮肤对光的吸收和反射是一个复杂的过程，主要由反射和散射2个部分构成，当光源照射到皮肤表皮时，95%的光线进入皮肤表皮，剩余的光线直接被镜面发射。表皮层中含有黑色素，吸收和散射了一部分的入射光线，其余的光线将透过表皮层折射到真皮层。真皮层中的血管中的血色素对入射光有吸收和反射作用，反射的光反向穿过表皮层，传递至相机传感器。当皮肤中的黑色素一定时，相机传感器接收到的反射光与血管中的血色素具有相关性。

心脏在周期性的收缩和舒张的过程中会引起动脉血管同周期的收缩和舒张，从而引起真皮层血管中血量的周期性变化，血量容积的周期性变化导致血色素数量也呈同周期的变化，经过血色素的反射光也具有周期性，虽然这种周期性变化非常微弱，人眼难以察觉，但是目前常见的消费级彩色摄像头可以捕捉到反射光线周期性的强弱变化。根据奈奎斯特采样定律可知，在模拟信号与数字信号的转换中，当采样频率大于信号中最高频率的2倍时，采样后的数字信号就能完整地保留原始信号中的信息[4]。在实际情况下，考虑信号的频谱不是锐截止的，一般选取采样频率为信号最高频率的 3～4倍。而人类的心率通常为40次/min～240 次/min[5]，频率大致为0.7 Hz～4 Hz，因此要不失真的恢复心率信号，采样频率应满足至少为信号最高频率4 Hz的4倍，即16 Hz。而目前市面上常见的彩色摄像头、手机和电脑端自带的摄像头等录制视频的帧率都可以达到30帧/s以上，远远满足这一要求。因此，通过普通彩色相机传感器分析反射光线的周期性变化可以实现测量生理信号的作用。

2.2 基于Linknet 的语义分割

为了降低非皮肤区域对信号提取的干扰，在人脸检测后，需要进一步缩小ROI区域，通常采用的方法有2种：1） 额头区域提取和皮肤检测的方法。由于额头区域含有丰富的毛细血管，因此提取额头区域为ROI区域，但是该方法易受头发、人脸角度等因素的干扰，使信号提取存在不确定因素。2） 皮肤检测的方法。在光照和对比度均变化的条件下，皮肤检测非常困难，皮肤检测的方法需将图片转化为HSV颜色空间，生成图像直方图，应用分类器来确定给定像素被皮肤着色的概率，从而确定图像中的皮肤区域，但是人类肤色在颜色空间中跨度非常大，而且并不是连续的，再考虑光照、白平衡等因素，肤色的检测非常不准确，往往只能识别标准的肤色，因此心率信号的提取也有存在偏差的可能性。因此，该文提出采用基于深度学习的语义分割技术对ROI区域进行分割，使皮肤分割既不受头发等非皮肤区域的干扰，又不受肤色、光照以及白平衡等条件的约束。

该文采用了由Chaurasia等[6]在2018年提出的基于LinkNet的模型方法。具体过程如下：首先，对不同肤色的人脸图像进行语义标注，通过程序读取数据内容并对数据进行预处理，以构建训练数据集。其次，搭建Linknet训练网络进行模型训练，并对训练好的模型进行验证和保存。最后，用训练好的模型对输入图像进行像素级语义分割，分离出皮肤区域，经过语义分割后分离出的人脸区域如图2所示。

图2 语义分割分离出的人脸区域图

2.3 基于皮肤正交模型的POS算法

基于皮肤正交模型的POS（Plane-Orthogonal-to-Skin）算法最早由Wang等人在2017年提出，该方法将相机采集到RGB图像中每个皮肤的像素的数学模型定义为一个与时间相关的时变函数，如公式（1）所示。

式中：t为时间序列；C（t）为检测区域RGB信号的平均值，包括RGB三通道像素值，即C（t）=[R（t），G（t），B（t）]T；I（t）为光源的光照强度；uc·c0为镜面反射和漫反射中的不随时间变化的固定部分；uc为皮肤反射的单位颜色矢量；c0为反射强度；us为光谱的单位颜色矢量；s（t）为由于运动随时间而引起镜面反射的变化量；up为 RGB 通道中的相对心率信号强度；p（t）为随时间变化的心率信号。

该模型假定光源的光照强度I（t）恒定，为了消除I（t）的影响，将信号采集一段时间内的RGB信号进行标准化处理，如公式（2）所示。式中：T为信号采集周期。

由于镜面反射不包括任何生理信息，且在皮肤随时间变化而产生的颜色变化中占主要部分，因此先去除镜面反射。在白光的照射下，镜面反射对各个通道的影响是相同的，可等效为1个加性因子的影响，通过构建肤色正交平面去除镜面反射，由于在RGB三通道中，皮肤心率信号通常在G通道中最大，其次是B通道和R通道，因此投影轴如公式（3）所示。

投影到皮肤正交平面后的信号如公式（4）所示。

最后一步是在前一步定义的有界区域内调整精确的投影方向提取心率信号h，如公式（5）所示。

2.4 改进的基于皮肤正交模型的POS算法

将RGB投影到肤色正交平面能最大限度地提取心率信号，因此该文采用的基本算法为基于肤色正交模型的 POS算法，但是在实际应用场景中，自然光源往往并不稳定，会影响心率信号的提取，因此在此基础上改进POS算法，以提高对光源变化的抗干扰性。

在POS算法中，对光源光照变化的处理为假定在采集信号的一段范围内光源是稳定的，通过将信号采集一段时间内的RGB信号进行标准化处理，以减小光照变化的影响，为了更好地解决光源变化对系统造成的影响，以皮肤反射模型为基础，该文提出建立非皮肤区域反射模型，通过非皮肤区域的模型与皮肤区域模型相结合，减少光照强度变化对心率信号的干扰，具体过程如下。

由于选取的背景区域为固定区域，不含由运动引起的镜面反射部分的变化和由心脏跳动引起的漫反射部分的变化，因此背景区域的数学模型如公式（6）所示。

式中：Cback（t）为选择的背景区域RGB信号的平均值，包括RGB三通道像素值；uc，back为背景区域反射的单位颜色矢量；c0为反射强度。

由于在人脸区域和背景区域的光照强度I（t）变化相同，因此可以将C（t）与Cback（t）相除，以消除光照强度变化造成的信号干扰，因此改进后的模型Ch（t）如公式（7）所示。

其中，uc，back·c为常系数，设则公式（7）可改写为公式（8）。

去除了随时间变化的光照强度的变化量I（t），将Ch（t）投影到投影轴为公式（3）的皮肤正交平面，去除镜面反射的影响后，再代入公式（4）中提取心率信号。

3 试验与结果

为了验证该文提出方法的有效性，共设计了以下3组试验，分别验证该文提出的方法在一段连续的人脸视频上的心率测量表现情况、语义分割与额头区域分割和皮肤检测的方法对比以及改进的基于皮肤正交模型的POS算法在不同光源和是否运动的条件下与其他方法的效果对比。为了了解该文采用的非接触式心率测量方法预测出的心率与接触式心率测量方法测量出的真实心率之间的误差值，采用平均误差（ME）、平均绝对误差（MAE）、标准差（STDE）、均方根误差（RMSE）、平均误差百分比（MER）和皮尔逊相关系数（PCC）6种评判标准，每组试验的具体过程和结果分析如下。

3.1 试验一

该试验采用的人脸视频图像为UBFC-RPPG数据集中一位测试者在室内稳定光源、头部保持不动条件下时长为68 s的视频，该视频的帧率为 30 帧/s，同时该测试者的数据集中包括采用接触式心率测量仪检测的脉搏血容量，每秒真实心率与预测心率的折线图如图3所示。试验一表明，该方法测得的心率值与接触式心率测量的心率值呈相同的变化趋势，与此同时，使用散点图来可视化预测心率与真实心率之间的差异（图4）。由图4可知，预测心率数值与真实心率数值在全部心率范围分布内均可以保持良好的一致性，因此该文提出的非接触式心率测量的方法可以有效达到心率测量的目的。

图4 一段连续的人脸视频上的心率测量散点图

3.2 试验二

该试验选用测试者头发遮挡额头的人脸视频，该视频在室内稳定光源下、测试者头部保持静止状态时拍摄，额头头发遮挡下额头区域提取、皮肤检测提取和语义分割提取3种方法的试验结果见表1。由于额头区域被头发遮挡，当采用框选额头区域进行非接触式心率检测时，在该检测区域没有皮肤组织，因此该方法的各项评价指标表现很差，皮肤检测和语义分割出人脸区域的方法表现良好。

表1 额头头发遮挡下3种方法的试验结果

因此在试验二中，当测试者额头区域有头发遮挡时，额头区域提取的方法不适用于非接触式人脸检测，该文提出的采用基于深度学习的语义分割的方法分离出人脸皮肤区域表现稳定。

3.3 试验三

该试验为改进的基于皮肤正交模型的POS算法在不同光源和是否运动的条件下与其他方法的效果对比，对比分析了该文提出的方法与PCA算法、ICA算法以及基于皮肤正交模型的POS算法在各项指标上的表现。试验三中共有4个试验任务，采用控制变量法分别对比了在室内稳定光源、室外变化光源下各方法对光照变化和轻微晃动的抗干扰能力。

测试者在室内稳定光源下各方法的试验结果见表2，测试者在室外变化光源下各方法的试验结果见表3。对比试验结果可知，在相同光源的情况下，基于皮肤正交模型的POS算法优于传统的PCA算法和ICA算法，因此基于皮肤正交模型的POS 算法对运动有较好的鲁棒性。

表2 室内稳定光源下各方法的试验结果

表3 室外变化光源下各方法的试验结果

4 结语

该文针对现有的基于人脸视频的非接触式心率检测在对人脸区域的提取过程中会受头发等非皮肤区域的干扰以及在测量过程中存在易受光照干扰等缺点，提出结合基于深度学习的语义分割技术提高了人脸图像ROI区域提取的准确性，避免头发等其他非皮肤区域的干扰，减少不同肤色或光线过暗造成的皮肤区域提取的误差。该文提出了一种改进基于皮肤正交模型的POS算法，提高了系统对光照变化的抗干扰性和心率信号提取的准确性。试验证明，该方法的准确性和抗干扰性比传统方法高，对今后通过人脸视频提取更多的具有价值的医学信号有非常重要的意义。