基于视频的人体睡眠状态下心率及呼吸率的检测

刘鸿程，王笑梅，陈桂安



基于视频的人体睡眠状态下心率及呼吸率的检测

刘鸿程，王笑梅，陈桂安

（上海师范大学，上海 200000）

心率和呼吸率是人体的基本生理特征之一，两者都是反应人体生理健康的一个重要参数。婴幼儿在睡眠时的检测异常困难，既要不影响病人休息，又要随时检测呼吸异常的情况。大多数呼吸检测都采用接触式检测，如果对患者进行实时监控，则需要患者一直穿戴检测设备，这样会给患者带来不便，尤其会影响患者的休息。提出了一种非接触式的检测方法，利用欧拉视频放大技术，实时监控病人睡眠时的人体生理特征，而且成本较低，操作简单，不仅可以用在临床医疗，也便于患者在家自我检测，防止意外发生。

心率检测；呼吸检测；视频放大；非接触式检测

1 引言

随着科技的进步和技术的发展，视频监控在现代生活中越来越普及。如何智能提取视频中所需信息，并做出相关判断越来越受到人们的重视。在医学领域，心率和呼吸率是反映人体健康状况的重要指标。对长期癫痫患者、被烧伤的患者、睡眠中患者等特殊情况进行检测，传统的接触式测量都会引起诸多不便。远距离、非接触式的生理测量方法不仅不会造成患者身体的不适，还可以应用在以上列举的特殊情况下的监测和治疗。

光电容积描记技术（PPG）是一种低花费的、通过传输反射光变化来测量人体血压及心率的方法[1-2]，文献[3]在传统PPG的基础上提出了一种新的方法，这种方法用红外光照射皮肤表面，通过接收反射光，并通过计算每一帧图像上的感兴趣区域的灰度均值变化波形，可以得到反映测量皮肤区域血流变化的PPG信号。

非接触式的人体生理特征检测在国内外已经有许多研究，正在逐渐成为热点课题。比如文献[4]和[5]提出的用普通摄像头，远距离的心率测量。文献[6]提出用热感图像，检测人体局部的血液流动、心率以及呼吸率。文献[7]中需要用红外图像来检测红外视频，成本太高。文献[8]提出用多普勒雷达光谱来进行远距离、非接触式的心率、呼吸率的测量。文献[9-11]提出一种基于欧拉视频放大算法和人脸识别的算法测量人体心率，这种方法可以在自然光下使用普通摄像头进行心率测量。文献[12]提出一种基于视频分析的呼吸检测算法。本文主要介绍一种以数字图像处理为基础，基于欧拉放大算法，主要测量人体睡眠时的心率和呼吸率的算法。

2 基于普通摄像头的心率呼吸率检测系统的实现

2.1 欧拉视频放大算法

欧拉视频放大算法（EVM）是由麻省理工学院计算机科学与人工智能实验室Hao-Yu提出的，欧拉视频放大算法可以放大视频中细微的运动和颜色改变。欧拉颜色放大是在所有像素点上考虑时域中的颜色值并且放大在感兴趣的频域序列上的颜色变化。欧拉视频放大不仅可以放大颜色的变化也可以放大低振幅的运动[13-14]。本文呼吸检测主要使用欧拉运动放大，用来放大人体呼吸时胸腹部较低振幅的运动。心率检测则使用欧拉颜色变化，通过放大血液流过毛细血管时的面部颜色变化来判断心率。

欧拉视频放大假定整幅图像都在变，只是变化的频率和振幅不同，只需放大我们感兴趣的运动频率和振幅再和原视频合成即可。欧拉视频放大主要有空间滤波；时域滤波；放大滤波结果；视频合成四个步骤。

2.1.1 空间滤波

欧拉视频放大算法可以用拉普拉斯金字塔和高斯金字塔进行滤波，如果放大动作变化应使用拉普拉斯金字塔，如果放大颜色变化，应使用高斯金字塔。在本论文中，我们既要放大动作变化，又要放大颜色变化。传统的拉普拉斯金字塔图像融合的核心思想是通过构建分辨率逐层递减的金字塔，对各层金字塔按照一定的规则进行信息提取，并利用上层信息逐层重构最终得到融合的图像[15]。

2.1.2 时域滤波

欧拉视频放大算法需要在每个空间带上进行时域滤波，在频域上考虑时间序列的相关性，并且通过频域滤波来获取感兴趣的频带和频率特征，即为感兴趣信号，感兴趣信号将会在第三步中进行放大。而我们所需的呼吸信号则是其中视频的某一段频段，所以采用二阶IIR带通滤波器。二阶IIR滤波器的输出形式为：

（）=0n+1n-1+2n-2－（1n+2n-2）. （1）

式（1）中：（）为输出图像；0，1，2，1，2为二阶IIR滤波器的系数；n，n-1，n-2为输入图像。

2.1.3 放大和合成

经过前面的步骤，我们已经找出了视频中所需要变化的部分，接下来是如何放大这个变化。这里以放大一维信号为例，假定现在有个信号，（，），在任意时间，得出公式：

（，）=[+（）]，>0. （2）

（，0）=（），=0. （3）

式（3）中：（）为变化信号，我们希望这个变化放大倍以后的结果。即：

（，）=[+（1+）（）]. （4）

我们用一阶泰勒级数展开来逼近公式（2）和（3）表示的信号：

最后再把放大后的图像与原图进行叠加，就可以得到我们需要的放大视频。

2.2 帧差法

帧差法是一种常见的视频分析技术，其优点是原理简单，速度快，可实现实时分析。由于人体平静状态下的呼吸阻力主要为弹性阻力[16]，所以在呼吸运动呼吸交替时胸腹腔运动变化较小，而在呼和吸过程中胸腔运动变化较大。正常成年人的单次呼吸时长为3～6 s。因此在每秒30帧的视频上，每两次呼吸之间会有一段相对较长的静止期，此时没有像素点运动，所以我们使用帧差法检测呼吸间隔，也就是使用帧差法以后所得到的移动像素连续为0的帧，并根据不同的患者设定不同的呼吸间隔阈值，当检测出的呼吸间隔过大或过小均视为呼吸异常，将采取紧急措施。

2.3 心率检测方法介绍

2.3.1 心率检测主要实现步骤

本文中的心率检测主要使用欧拉颜色放大来实现。主要步骤如下：①利用Adaboost算法锁定目标视频中的人面部图像；②利用欧拉颜色放大算法放大步骤①中人面部视频图像作为后续处理心率信号的提取区域；③将在被欧拉视频处理后的图像从RGB颜色空间转换为Lab颜色空间；④对提取出的信号进行归一化和带通滤波处理，以消除噪声的影响；⑤在b通道信号进行FFT变换，计算对应的功率谱密度，选取最大功率对应的频率作为预测频率。测试者1睡眠时心率的功率谱密度如图1所示。

2.3.2 人脸检测技术

摄像头拍摄一段视频后，需要用人脸检测来确定人脸位置，我们采用现在常见的AdaBoost人脸检测技术来做人脸定位[17-18]。

AdaBoost人脸检测方法是一种基于积分图，具有鲁棒性强、检测率高、实时性等特点。利用帧差法获得的呼吸时胸腹运动的像素点如图2所示。

图1 测试者1睡眠时心率的功率谱密度

图2 利用帧差法获得的呼吸时胸腹运动的像素点

3 实验与数据

实验利用matlab2015b编程软件来实现。成人心率和呼吸率测试视频都选用时长约20 s，每秒30帧的视频。我们做三组实验，第一组实验光照采用自然光，测量5个成年人的心率及呼吸率。另有两组对比实验。第二组实验光照为日光灯（弱光源），第三组实验拍摄实验者的侧面，第二、三组实验测量5名成年人的心率值，其中第一组数据分别对RGB颜色空间G通道实验和Lab颜色空间的b通道实验进行对比。实验视频通过普通手机拍摄，拍摄时尽量保证手机稳定，以减少不必要的干扰。呼吸率参考值的测量我们采用计数的方式，心率参考值我们通过手环来测量。并对本文所述心率及呼吸率检测结果和传统的测量方法的检测结果进行Bland-Altman一致性评估，以评估本文提出的基于人脸视频图像心率检测方法的有效性。

3.1 实验数据

3.1.1 自然光照下的正面视频

参考值指用传统方法测得的心率、呼吸率的值，测量值指的是用本文给出的方法测量的值。自然光下正面视频心率值如表1所示。自然光下的呼吸值测量如表2所示。

由定义可知，在心率检测中两种方法差值的均值1=﹣0.33，标准差1=2.39，因此95%的置信区间为﹣5.01～4.35.由公式（1）所得每次实验结果一致性分析如图3所示。

表1 自然光下正面视频心率值

实验者编号心率参考平均值心率测量平均值心率平均误差/（%）心率误差标准差 188.487.51.011.99 263.263.80.952.49 36868.220.322.26 485.486.421.192.93 576.477.10.922.78

表2 自然光下的呼吸值测量

实验者编号呼吸参考平均值呼吸测量平均值呼吸率平均误差/（%）呼吸率误差标准差 120.219.24.950.76 216.215.91.850.57 317.416.83.450.42 420.820.41.920.65 519.419.82.060.65

图3 欧拉视频放大和传统手环检测结果的Bland-Altman图

而在呼吸检测中两种方法的差值的均值2=﹣0.38，方差2=0.681，因此95%的置信区间为﹣1.74～0.98.欧拉视频放大和传统呼吸率检测结果对比如图4所示。

图4 欧拉视频放大和传统计数方法检测呼吸率的Bland-Altman图

由于呼吸率的特殊性，有部分实验数据点重复，在误差所允许的范围内。由Bland-Altman图可以看出大部分实验结果都处于95%的置信区间内，所以实验证明，本文所述方法可以达到日常检测呼吸率的要求。

3.1.2 弱光源下的正面视频心率值

弱光源下正面视频心率值如表3所示。

表3 弱光源下正面视频心率值

实验者编号心率参考平均值心率测量平均值心率平均误差/（%）心率误差标准差 168.870.82.914.01 287.6880.463.11 363.464.51.741.71 472.070.42.222.64 578.879.40.763.26

由表3可以看出，虽然弱光源下的检测结果较之自然光下的检测结果误差较大，但仍在可接受的范围内。

3.1.3 自然光下侧脸视频心率值

自然光下侧面视频心率值如表4所示。

表4 自然光下侧面视频心率值

实验者编号心率参考平均值心率测量平均值心率平均误差/（%）心率误差标准差 168.670.42.593.33 263.264.11.423.36 388.889.50.792.94 471.672.51.262.20 579.079.91.391.27

由于不能用AdaBoost人脸检测技术预先截取人体的侧脸视频，所以在这组实验中，我们对全部视频画面进行处理。通过对这组数据的比对我们可以看出，使用侧脸视频进行心率提取，虽然较之第一组实验有较大误差，但仍在可接受的范围内。

3.2 颜色空间域的改进

传统的检测方法中采用的是RGB颜色空间中的G通道。由于Lab空间域主要表示与设备无关的彩色模型，其中b通道表示从黄色到蓝色的范围，其值对BVP信号较为敏感，检测精确度更高。我们复原了传统的RGB空间域的G通道来作为对比。自然光下正面视频的心率值RGB空间如表5所示。由对比实验可以看出Lab颜色空间下的b通道测量得出的心率值比RGB颜色空间下的G通道测量值得出的更为准确。

表5 自然光下正面视频的心率值RGB空间

实验者编号心率参考平均值心率测量平均值心率平均误差/（%）心率误差标准差 188.486.22.52.35 263.265.84.12.69 36869.82.652.66 485.488.53.621.69 576.477.41.302.52

4 结论

本文以欧拉影像放大技术为基础，利用图像金字塔，可以实时进行呼吸及心率的检测，其原理简单，满足实时性要求，对硬件的要求较低，可应用于人体睡眠时的呼吸率和心率检测。改进了接触式的心率、呼吸率检测方法，在精度要求不是很高的情况下，可以实现随时监控患者的呼吸及心率，并在患者出现身体特征异常的时候及时报警，避免意外情况发生。但是，此方法并没有很好的排除干扰，比如当人体在睡眠中翻身、无意识抽动等，面部或胸腹部的遮挡都会一定程度上影响我们的检测，具体解决办法还需要进一步的研究和实验。

［1］Allen J.Photoplethysmography and its application in clinical physiological measurement［J］.Physiological Measurement，2007，28（3）.

［2］Takano C，Ohta Y.Heart rate measurement based on a time-lapse image［J］.Medical Engineering & Physics，2007，29（8）：853-857.

［3］Hu S，Zheng J，Chouliaras V，et al.Feasibility of Imaging Photoplethysmography［M］.出版社不详，2008.

［4］Poh M Z，Mcduff D J，Picard R W.Non-contact，automated cardiac pulse measurements using video imaging and blind source separation［J］.Optics Express，2010，18（10）.

［5］Poh M Z，Mcduff D J，Picard R W.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE transactions on bio-medical engineering，2011，58（1）：7-11.

［6］Garbey M，Sun N， Merla A，et al.ontact-free measurement of cardiac pulse based on the analysis of thermal imagery［J］.IEEE transactions on bio-medical engineering，2007，54（8）：1418.

［7］陈永康，侯振杰，陈宸，等.基于深度图像的非接触式呼吸检测算法研究［J］.计算机测量与控制，2017，25（7）：213-217.

［8］Kazemi S，Ghorbani A，Amindavar H，et al.Cyclostationary approach to Doppler radar heart and respiration rates monitoring with body motion cancelation using Radar Doppler System［J］.Biomedical Signal Processing & Control，2014，13（11）：79-88.

［9］万铮结.基于人脸视频图像的心率检测研究［D］.杭州：浙江工业大学，2014.

［10］刘祎，欧阳健飞，闫勇刚.基于普通摄像头的心率测量方法研究［J］.计算机工程与应用，2016，52（7）：210-214.

［11］马良，刘琚.自然光条件下使用普通摄像头实现心率测量［J］.信号处理，2017（Suppl 1）：73-78.

［12］潘今一，李杰，申瑜.基于视频分析的呼吸检测算法［J］.浙江工业大学学报，2017，45（2）：163-167.

［13］Wu H Y，Shih E，Shih E，et al.Eulerian video magnification for revealing subtle changes in the world［J］.Acm Transactions on Graphics，2012，31（4）：65.

［14］LIU C，TOORRALBA A，FREEMAN W T，et al.Motion magnification［J］.ACM transactions on graphics，2005，24（24）：519-526.

［15］余美晨，孙玉秋，王超.基于拉普拉斯金字塔的图像融合算法研究［J］.长江大学学报（自科版），2016，13（34）：21-26.

［16］陈华艳，刘最茂，黄溢华，等.人体呼吸系统物理建模与仿真［J］.医学信息，2010，23（1）：27-29.

［17］Viola P，Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features［C］//Computer Vision and Pattern Recognition，2001.

［18］Lienhart R，Maydt J.An extended set of Haar-like features for rapid object detection［C］//International Conference on Image Processing，2002.

［19］史周华.医学统计学［M］.北京：人民卫生出版社，2012.

［20］Altman D G，Bland J M.Measurement in Medicine：The Analysis of Method Comparison Studies［J］.Journal of the Royal Statistical Society，1983，32（3）：307-317.

［21］Bland，Martin J，Altman，et al.Statistical methods for assessing agreement between two methods of clinical measurement［J］.Lancet，1986，327（8476）：307-310.

2095－6835（2019）05－0001－04

TP391.41

A

10.15913/j.cnki.kjycx.2019.05.001

〔编辑：严丽琴〕