基于深度相机的老年跌倒监护系统

申代友，库洪安，皮红英，刘联琦，袁克虹

1.清华大学深圳研究生院生物医学工程中心，广东深圳518055；2.解放军总医院门诊&护理部，北京100853；3.广州市老人院，广东广州510550

前言

据2014年全国疾病监测系统的死因监测结果显示，我国65岁及以上的老年人中每10万人发生跌倒的死亡人数约为44人，因跌倒死亡是65岁及以上人群因伤害致死的第一位因素［1］。随着我国老龄化的加剧，老年人的安全监护问题日益严峻，特别是独居老人和子女不能时刻照顾的老人，如何对其进行有效的安全监护已经成为社会的一大难题。老人跌倒常常伴随着骨折、软组织伤害和脑部伤害等症状，跌倒后的老人不及时治疗容易造成严重的并发症，常常引起中风、心肌梗死、肺部感染等，严重者还会引起呼吸衰竭进而导致死亡。及时对发生跌倒的老人进行救治，有助于挽救老人生命、减轻因跌倒造成的后遗症伤害、减轻跌倒造成的子女护理及经济压力等。本研究通过对老年人的日常行为进行监测并将跌倒行为从普通生活行为中分离出来，一旦发生意外能及时通知子女或社区护工尽快送至医院，为老年人提供及时的医疗救护，减少跌倒造成二次伤害的可能性。

1 相关研究

作为一种新兴技术，近几年跌倒检测受到越来越多的研究者关注，国内外学者对此作了大量的有益研究［2］。国内方面，秦晓华等［3］设计了一种针对老年人的移动监护系统，利用多传感器节点获取老人的ECG信号和加速度信号，采用多指标联合阈值判断老人是否跌倒。朱勇等［4］建立了一种基于人体倾角的跌倒算法，通过角度阈值判断人体位姿状态。曹荟强等［5］将人体跌倒的加速度信号提取为加速度观测序列，建立跌倒过程的隐马尔可夫模型概率模型进行跌倒检测。国外方面，Sie等［6］利用智能手机内置的加速度单元将人体运动的时域信息编码成字符串单元，并使用字符串匹配算法检测跌倒事件。Zigel等［7］使用地板震动和环境声音相结合的方法，采用冲击响应谱（SRS）和Mel频率倒谱系数作为区分跌倒事件和其他事件的分类标准。Mercuri等［8］设计一种结合雷达和无线通信技术的完全非接触式室内监护系统，利用雷达探测人体的位置并使用leastsquare-SVM对人体活动进行分类从而提取跌倒特征。Mirmahboub等［9］利用背景分割算法提取视频序列中人体轮廓区域并送入SVM分类器，最终得到二分类的结果。Ma等［10］提取每一帧的曲率尺度空间特征，使用词向量表征人体形态，利用极端学习机分类器识别来自跌倒动作的BoCSS。Fan等［11］将卷积神经网络引入跌倒检测领域，通过提取多帧间的场景动态特征以此判断各动作类别的概率。Akagunduz等［12］提出了一种基于形状序列SOV描述子的人体姿态特征抽取算法，利用K聚类和朴素贝叶斯进行人体活动分类。

与基于可穿戴式技术和基于环境布设技术的跌倒检测相比，基于视频图像分析的跌倒检测不要求监测者佩戴或者配备专业传感器设备，且不易受环境因素和传感器因素影响，鲁棒性较高。然而目前基于视频图像的跌倒检测大多使用传统的图像处理技术并且集中于2D图像。受2D成像技术工作原理的限制，传统相机没有尺度信息，只能获得被测物体的平面信息，深度信息的缺失损失了人眼的双目特性，不能准确地反映人体的姿态变化，无法对人体进行准确建模，在真实场景中实用性和准确性受到一定影响。

2 本研究工作

通过计算机视觉技术可以模拟生物的视觉特性并进行类脑计算，而利用深度相机模拟人眼的双目特性，通过维度提升不但能获取常规相机所能拍摄的X、Y平面信息，而且能同时获取人体的深度信息（Z轴），使得更加精确地对人体姿态进行3D建模成为可能。

2.1 深度相机的标定

根据测量原理的不同，深度相机可分为基于立体视觉的双目相机、基于激光编码的结构光相机和基于飞行时间（Time of Flight,TOF）的TOF相机。相较于双目相机和结构光相机，TOF相机抗干扰性能好、视角更宽、精度较高、体积小且价格低廉、不受物体表面灰度特征影响。综合比较各种相机的特性，本系统采用的深度相机是微软公司于2014年推出的人机交互体感设备Kinect 2.0。Kinect 2.0的外观和内部结构示意图如图1所示，其包括一排麦克风阵列、一个IR红外线发射器、一个IR红外线接收器和一个RGB相机。Kinect 2.0利用飞行时间原理，将IR红外线发射器和IR红外线接收器共同组成了一个可以主动测量物体深度的IR相机。由于制造工艺误差、安装误差和材料形变误差等［13］，Kinect的出厂设计值与实际物理世界的真实值相差较大，不能较好地反应彩色图和深度图的对齐关系。因此要得到彩色成像结果和深度成像结果的位置关系，必须先获取两相机的内参，并在实际中对两相机进行立体匹配。

图1 Kinect 2.0的外观与内部结构示意图Fig.1 The internal and external structures of Kinect 2.0

2.1.1 RGB相机和IR相机的内参数标定 相机拍摄过程是一个光学成像的过程，从3D世界中的某一点成像到一张彩色图片要经历4个坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。运用相机模型可以简化光学成像系统过程，常见的针孔相机成像模型如图2所示。

设空间中某点世界坐标系为Pworld(X,Y,Z)，相机坐标系为Pcam(x,y,z)，图像像素坐标为(u,v)，则根据针孔相机成像模型可得到：

其中，s是尺度因子，fx和fy是每单位像素表示的焦距长度，cx和cy是相机成像中心偏移量，R|t为世界坐标到相机坐标的旋转和平移矩阵。内参矩阵K表示由相机坐标系下空间中某一点投影到图像像素坐标系上的对应关系，单个相机的标定即为求解相机内参矩阵。另外由于相机存在径向畸变与切向畸变，所以在恢复相机模型过程中必须考虑这二者的因素，相机畸变系数矩阵可表示为：

图2 针孔相机模型Fig.2 Pinhole camera model

为得到RGB相机和IR相机的内参矩阵，本系统首先制作一张6×8的棋盘格，如图3所示。每个棋盘格长度为40 mm，然后从不同角度、不同距离拍摄80～100张含有角点的标定图像，最后利用张氏标定算法对Kinect进行标定。

图3 相机标定图Fig.3 Camera calibration

标定结果如表1和表2所示。表1为标定后的RGB相机内参，其标定重投影误差为0.21个像素，表2是标定后的IR相机内参，其标定重投影误差为0.12个像素，两者重投影误差均小于0.5个像素，说明标定结果优异，达到标定预期目标。

表1 RGB相机内参Tab.1 Intrinsic parameters of RGB camera

表2 IR相机内参Tab.2 Intrinsic parameters of IR camera

2.1.2 两相机的立体标定 得到两个相机的内参即可得到空间中某一点分别投影到两个像素坐标的位置关系，但如果要得到两个像素坐标的一一对应关系，并获得准确的深度信息和3D场景的彩色-深度关系，则需要进行两相机的立体标定并求得相机外参R和T，其中R为从IR相机坐标系旋转到RGB相机坐标系的3×3旋转矩阵，T为相应的3×1平移矩阵。

设空间中一点在RGB相机坐标系下为Prgb，在IR相机坐标系下为Pir，则两相机坐标关系可表示为：

根据三维空间刚性变换，两相机的相对位置关系可用下述关系表示：

为得到RGB相机和IR相机的外参矩阵并减小内参对标定过程的影响，需再次利用RGB相机和IR相机同时拍摄多张标定图片，设共拍摄图片数量为n，每张图片含有m个角点，则相机外参矩阵可通过以下公式最小化重投影误差Err进行求解：

图4 Kinect 2.0立体标定结果Fig.4 Stereo calibration result of Kinect 2.0

2.2 基于卷积神经网络的关节点定位

得益于最近几年深度学习的快速发展，卷积神经网络［14］和全卷积网络［15］在图像识别、信息抽取、机器翻译、自然语言处理等领域取得了极大突破。为利用Kinect 2.0准确地对人体进行姿态建模，本系统设计了一种利用卷积神经网络检测人体关节点的算法，主要由3个部分组成：基于卷积神经网络的人物二分类算法、基于深度卷积网络的人体框轮廓定位算法、基于全卷积网络的关节点分割算法，检测流程如图5所示。

对于一幅给定的图片，人物分类部分检测该图片的某一特定矩形区域内是否含有人物实体，人体轮廓框定位部分则是确定包含单个人物的边界框位置。经过以上两个网络判断某一ROI区域属于实际的人体轮廓框后，使用多级深度全卷积网络生成N×M×M大小的预测图，其中N为关节点数量，M为特征图大小，然后再经过线性插值将特征图映射回原图，得到关于每个关节点的空间概率分布图，最后使用softmax-loss迭代求得每个关节点的最大概率值所在位置。图6为综合以上3个阶段对于典型的站立姿势的人体，给出的最终定位结果与相应的ROI区域内的概率分布情况，其中灰度值表示归一化后的概率，为节省篇幅仅列出人体左侧区域。

图5 关节点检测流程Fig.5 Detection of multijoint positions

2.3 基于3D场景的平面分割

老人发生跌倒后，大多数会匍匐或者躺在地面上，因此检测地平面并且结合关节点的运动特征和空间立体分布能极大地提高整个系统的检测精度。根据欧式几何，3D场景的地平面可用如下公式表示：

其中A、B、C、D是地平面参数系数。利用2.1节Kinect 2.0获得的关于老人生活场景的室内3D点云图后，本系统使用以下算法进行随机一致性采样提取平面：

（1）随机在脚踝关节点附近选择一组点集Sin并初始化模型参数A、B、C、D，设置平面内点阈值dmax。

（2）从点云集S中选择一组子集S′，且S′⋂Sin=∅，计算P′⊂S′到脚踝所在平面的距离是否小于dmax，如是加入内点集Sin。

（3）计算内点集Sin的法线方程系数A、B、C、D，并存储。

（4）重复迭代步骤（2）、（3），直到最大迭代次数或者Sin点集数量达到临界值。

（5）选择包含2个脚踝关节点的平面模型参数作为地平面参数。

3 基于关节点运动特征和3D场景信息的跌倒检测

对于视频序列的每一帧使用前述模块获得人体位姿的关节点并将人体模型抽象为位姿描述后，本系统设计了一种基于立体空间场景的跌倒检测算法。设关节点三维坐标为P(xi,yi,zi)，地平面法线系数A、B、C、D，则整个序列的关节点位置模型可表述为：

图6 人体左侧关节点空间概率分布图Fig.6 Probability distribution of left joints in a standing human

利用上述位姿模型，可计算各个关节点的运动特征和静态特征。其中关节点的运动特征可用如下公式表示：

静态特征中，各个关节点的高度特征可用如下公式表示：

简化后的人体模型如图7所示，设人体的肩部中心为S（x,y,z），臀部中心为H（x,y,z），臀部中心在地面上的投影点为G（x,y,z），两脚踝中心点为A（x,y,z）。

图7 人体倾斜角示意图Fig.7 Schematic diagram of a tilted human body

人体的上肢倾斜角度可用如下公式表示：

人体的下肢倾斜角度可用如下公式表示：

3.1 跌倒检测分类流程

利用公式（8）～（11）得到关节点在3D空间中的运动特征和静态特征后，本系统使用以下步骤对视频序列进行判断：

（1）首先判断人体的倾斜角度是否达到阈值，若达到阈值则将潜在跌倒CFall计数器加1，否则减1。

（2）否则计算关节点的运动特征和静态特征中的关节点高度，并将其送入Pose-SVM分类器。

（3）若Pose-SVM分类器判断老人发生跌倒，则将潜在跌倒的Fall Frame计数器CFall加1，否则减1。

（4）如果CFall计数器达到阈值则触发报警装置，否则重复步骤（1）～（3），进行长时间的连续监测。

3.2 评价指标

为判断跌倒检测算法的有效性，跌倒检测的实验结果可使用以下4个指标参数进行评价，分别是灵敏度、特异度、准确度、错误率。灵敏度代表整个系统能正确检出跌倒行为的能力，特异度代表整个系统正确检测出日常行为的能力，准确度代表整个系统正确判断跌倒和日常行为的能力，错误率代表整个系统错误判断的能力。

3.3 实验与结果分析

为验证本算法的有效性，系统使用Kinect 2.0采集了100个正常生活片段与100个跌倒片段，每个片段包含30～100张图片序列，并按照训练集train、验证集val、测试集test按照10:2:1比例进行分类器的训练，其中阈值Τβ取值为70°，Τα取值为60°，最后利用前述算法流程对序列中的每一帧进行人体姿态分析，其中每一帧的实验结果（即CFall=1）如表3所示。

表3 跌倒检测系统的实验结果（%）Tab.3 Results of fall detection system for Kinect 2.0(%)

为不失一般性，本文还在公开数据集UR Fall Detection Dataset［16］做了算法验证，该数据集利用Kinect采集了30个跌倒序列和40个正常序列，每个序列包含20～200张图片。由于该数据集没有进行立体相机标定，故实验中采用人工对齐的方式，其中每一帧（即CFall=1）的验证结果如表4所示。

表4 基于UR Fall Dataset的测试结果（%）Tab.4 Results of fall detection system for UR Fall Dataset(%)

以上两个实验表明本算法均能在CFall=1时有效地检测到人体的跌倒行为，相比于可穿戴式技术和环境布设技术严重依赖于传感器的瞬时信号特征，本算法对动态特征依赖较少，结合静态特征可以准确地持续估计人体位姿行为，适用范围大大增加。另外，跌倒检测系统在实际使用过程中，可通过设置不同的CFall阈值来达到不同的目的。如果要尽可能地检测到跌倒行为，可将CFall设置在较小数值；若要提高整个系统跌倒检测的正确率，则可将CFall设置在较大数值。

4 总结

针对家庭监护领域的老人跌倒行为，本研究设计了一种主要面向老年人的跌倒检测系统，该系统利用深度相机的维度提升特性，通过提取人体关节点的三维结构信息对人体姿态进行准确描述，并结合3D场景对人体活动行为进行综合分析，设计了一种基于关节点运动特征、静态特征和基于SVM分类器的检测算法。实验结果表明该算法能较好地反应人体的姿态变化和生活特征，对检测对象的跌倒行为具有较高准确性和灵敏性。相比于其他检测方式，本系统鲁棒性强、适用性广，有助于减轻老龄社会环境下的子女和社区护理照看压力。