基于深度数据分析的室内老人摔倒检测方法

杨 磊，张文强，任衍允

(上海大学 机电工程与自动化学院 上海市电站自动化技术重点实验室，上海 200072)

0 引 言

全球正以惊人速度奔向老龄化。欧洲较早进入老龄化社会，其中德国被称为“欧洲养老院”。中国于2000年已正式跨入老龄化社会，据民政部发布数据表明，截至2015年底60岁以上人口占总人口比例为16.1%，是全世界老龄人口最多、老龄化速度发展最快的一个国家。无论是欧美日发达国家还是中国，人口老龄化带来的社会问题日益突显。摔倒是老年护理和生活中面临的一个重要问题。摔倒给老人自身带来生理、心理以及经济负担，也增加了社会、政府关于老年医疗、料理、保险等费用。Noury等的研究显示，老年人摔倒后如能得到及时救助，可以有效降低80%的死亡风险和26%的住院长期治疗风险[1]。若及时发现老人的摔倒事件，对其相关行为进行检测和处理，则可以有效减少摔倒的各种后果。随着模式识别与人工智能、计算机视觉、物联网、多传感器技术的发展，老人摔倒检测呈现自动化、智能化和远程化。通常老人摔倒检测系统前端采用图像、声音、加速度计等传感器对摔倒过程的各种信息进行采集，然后使用模式识别方法对摔倒进行判断，如果发生摔倒事件即刻触发报警设备或远程呼叫[2-3]。国内外老人摔倒检测系统中主要使用三类传感器：以重力与加速度计为感知量的便携式设备，以声、电磁、震动等为感知量的环境检测设备，以及以图像与视频为处理对象的监控检测设备。针对基于穿戴传感器、环境传感器和计算机视觉的摔倒检测系统的不足，文中提出了一种基于深度数据分析的室内老人摔倒检测方法。

1 相关研究

对于不同的应用，采用不同类型的传感设备和不同的摔倒检测算法可构建不同的摔倒检测系统。依据前端使用传感设备的不同，摔倒检测的主流方法可分为三类：基于可穿戴传感器的方法、基于环境传感器的方法和基于计算机视觉的方法[4-13]。下面简要分析不同类型摔倒检测的特点。

基于可穿戴传感器的摔倒检测系统通过穿戴在老年人身体上的传感器来确定他们的运动状态或位置信息[4-6]。多数穿戴传感器(如加速度计、陀螺仪等)比环境传感器便宜、精确度高且易于操作，但其具有高度侵入性，这是其最大的缺点[6]。基于环境传感器的方法将传感器布置在环境周围，一般是室内。用于检测的信号包括压力、震动、音频和红外阵列等[7-9]。大多数基于环境设备的方法是使用压力传感器来检测和跟踪对象。由于它能感知对象周围的一切压力变化，这就容易产生错误的警报，降低摔倒检测的准确性。随着计算机视觉和数字图像处理技术的发展，基于视觉的摔倒检测成为一类重要方法[10-14]。基于视觉的检测方法按摄像机个数可分为单摄像机和多摄像机检测。相对于其他两类方法，基于视觉的方法对老人的侵入性较低，拥有较高的精度和鲁棒性。基于灰度或彩色图像的摔倒检测系统包含人的面部信息，涉及个人隐私问题。同时，由于成像模型投影的限制，使该类方法难以检测发生在摄像机光轴方向上的摔倒行为[11]。对此可选择避免采用面部特征的方法，如捕捉环境信息或使用深度图像来检测摔倒行为。

由上述研究可知，基于穿戴传感器、环境传感器和计算机视觉的摔倒检测系统具有高入侵性、低精度、鲁棒性差以及受环境影响大等缺点。相对于彩色或灰度图像，深度图像可以更好地反映场景中目标空间位置关系，其不仅包含了特定目标的位置信息，也包含了目标的形状、运动轨迹等信息。但早期的深度传感器因价格高、准确性差等原因使得深度图像在研究领域并未得到广泛应用。微软的Kinect传感器具有廉价、准确、稳定性好等优点，并可以实时获取深度图像，其在运动目标检测、障碍物识别、路径规划、摔倒检测等领域都具有很好的应用前景[14-16]。

利用Kinect传感器采集的深度信息，文中提出一种基于深度数据分析的室内老人摔倒检测方法。首先对背景和目标图像通过中值滤波器进行深度图像预处理；进而采用高斯模型完成对运动目标的检测；然后通过最小二乘法估计地面方程并将深度图转换为视差图；最后分析人体对象的动态信息，计算人体重心与地面之间的距离。当人体重心到地面的距离低于阈值时，判定摔倒行为发生。

2 提出的摔倒检测方法

2.1 方法概述

文中提出一种在室内场景下基于三维深度图像分析的独居老人摔倒检测方法。首先，在预处理阶段，对采集的深度图像进行滤波，并使用高斯模型法提取场景中的运动人体目标。然后，通过统计背景图像中的水平方向直方图得到场景V视差图，然后对V视差图使用Otsu法及最小二乘法拟合提取地面方程参数。使用一系列图像中的运动部分来分析人体形态信息，当人体重心高度小于规定阈值时，判断人体摔倒。

2.2 深度图像运动目标提取

运动检测方法主要包括背景差分、帧间差分、光流方法、高斯概率模型等[15-17]。由于目标所处的室内环境中，对于深度图像，室内场景的背景数据不会变化或变化很小，因此使用单高斯模型对所采集图像进行预处理和前景提取。首先对背景模型进行初始化，选取50幅背景图像对背景模型进行训练。

(1)

(2)

其中，μ(i,j)为背景参数均值；σ(i,j)为背景参数标准差；Depth(i,j)为深度数据。

如图1(a)所示，文中选取的目标场景为室内一角；(b)为Kinect采集的原始深度图像；(c)为经过均值滤波处理的背景均值数据图像。可以看出，处理过后的背景图像更加平滑，一定程度上起到了抑制噪声的效果。

预处理后需要对前景点和背景点进行判断，对每一个像素的深度数据建立高斯模型，通过比较实时采集的深度数据与背景模型的均值差值和阈值的大小关系，即可判断出实时采集的像素点为前景点或背景点。选取2.5倍标准差作为消噪的阈值，获得了比较理想的效果。前景点、背景点的判别公式如下：

Object(i,j)=

(3)

其中，Object(i,j)为像素点的标记值，前景点标记为1，背景点标记为0。

图1 目标检测的背景图像

由此可初步提取出运动目标，但由于各种噪声的干扰，需对检测结果做形态学滤波处理。图2是深度图像运动的人体检测结果。由图2可知，文中方法可对运动目标完成精确检测。

图2 运动的人体信息提取结果

2.3 地面信息提取

通过建立摄像机成像模型，利用视差图可以估计出地面平面参数[17]。如果获得人体的重心位置，再采用阈值方法则可以对摔倒进行判断。Kinect的深度数据输出由红外投影机和红外摄像机的视差获得。对于Kinect透视投影图像模型，建立图像坐标系点(x,y)与世界坐标系点(X,Y,Z)的转换关系：

(4)

其中，(cx,cy)为图像主点；f为焦距。

在检测老年人的室内环境中，地面是场景中的主要部分，所以使用Otsu方法来分割地面信息。由于存在测量误差，所以认为在地面±dt范围内的点也属于地面，即如果在视差图中第y行的深度值为dy，则该行内所有深度值d∈(dy-dt,dy+dt)的点都被判定为地面。大部分的地面信息可以通过V视差图进行有效提取，然后通过最小二乘法可以获得地面的平面方程。如图3(a)所示，V视差图中包含一条线段，该线段的起点和斜率与Kinect传感器的高度和倾角有关，线段的长度对应着地面深度图像和视差图的位置关系。假设Xi，Yi和Zi为地面点在世界坐标系中的三维坐标值，则地面点可用(Xi,Yi,Zi)来表示。在使用V视差图得到地面点的三维坐标后，可使用唯一确定平面方程AXi+BYi+CZi=1来表示地面。为了使得到的平面方程系数误差最小，可以对初步判定为地面的点使用最小二乘法拟合，设地面点的平面方程为：

(5)

对式(5)使用最小二乘法求近似解得：

(6)

为了减少测量过程带来的噪声，对于距离求得平面小于0.05的点，都可判定为地面上的点，即

|AX+BY+CZ-1|<0.05

(7)

图3是经过V视差图得到的地面估计结果，可以看出，地面被准确地提取出来。

图3 地面信息提取

2.4 摔倒检测

(8)

为了检测摔倒事件发生，以人体和地面的距离作为判据。当检测到连续10帧深度图像中人体重心高度小于高度阈值0.4 m时，判定人摔倒。

3 实验结果

为了验证该方法的有效性，对不同方向的摔倒进行检测实验。图4给出了一个典型的摔倒视频序列。在每一帧深度图像中，标记出了人体的重心，同时使用椭圆拟合出人体部分。在视频序列的每一帧中，都提取出人体的重心部分，并计算出其与地面的距离，该距离和设定的深度阈值做比较，将比较结果作为判据应用在摔倒检测判定中。最后一列是被判定为摔倒的图像帧。

图4 沿光轴方向摔倒事件检测结果

图5给出了视频序列中的人体重心高度曲线，深色曲线即为摔倒检测结果。实验中，高度阈值设定为0.4 m。

如图4和图5可见，提出的摔倒检测方法能稳定、准确地检测到摔倒行为。图4实际是一个沿着摄像头光轴方向的摔倒过程。对于灰度图像或彩色图像，一般不能准确检测发生在视觉传感器光轴方向上的摔倒行为。实验结果表明，图4(b)所示的摔倒发生在Kinect传感器光轴方向上，该方法依然能准确对摔倒进行检测。

图5 视频序列中的人体重心高度曲线

4 结束语

提出了一种在室内环境中通过分析人体深度图像形态的摔倒检测方法。首先对背景图像和目标图像经过滤波预处理以减少测量噪声对该方法的影响；然后由视差图和最小二乘法获得场景地面信息及地面方程参数，通过分析深度图像中的人体形态信息，比较人体重心高度与高度阈值的结果判定人体是否摔倒。通过设定阈值来进行摔倒检测，当场景地面信息提取后，人体高度信息容易得到，因此该方法简单有效。通过在包含不同摔倒方向的数据上进行摔倒实验，验证了该方法的有效性，为智能摔倒检测的实现和应用提供了一种新途径。

参考文献:

[1] IIO T,SHIOMI M,KAMEI K,et al. Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home[J].Advanced Robotics,2016,30(3):190-205.

[2] DELAHOZ Y S,LABRADOR M A.Survey on fall detection and fall prevention using wearable and external sensors[J].Sensors,2014,14(10):19806-19842.

[3] KOSHMAK G,LINDEN M,LOUTFI A.Challenges and issues in multisensor fusion approach for fall detection:review paper[J].Journal of Sensors,2015,5(8):837459.

[4] YANG Lei,REN Yanyun,ZHANG Wenqiang.3D depth image analysis for indoor fall detection of elderly people[J].Digital Communications and Networks,2016,2(1):24-34.

[5] YANG Lei,REN Yanyun,HU Huosheng,et al.New fast fall detection method based on spatio-temporal context tracking of head by using depth images[J].Sensors,2015,15(9):23004-23019.

[6] CHENG Juan,CHEN Xiang,SHEN Minfen.A framework for daily activity monitoring and fall detection based on surface electromyography and accelerometer signals[J].IEEE Journal of Biomedical & Health Informatics,2013,17(1):38-45.

[7] ZIGEL Y,LITVAK D,GANNOT I.A method for automatic fall detection of elderly people using floor vibrations and sound proof of concept on human mimicking doll falls[J].IEEE Transactions on Bio-medical Engineering,2009,56(12):2858-2567.

[8] RIMMINEN H,LINDSTRÖM J,LINNAVUO M,et al.Detection of falls among the elderly by a floor sensor using the electric near field[J].IEEE Transactions on Information Technology in Biomedicine,2010,14(6):1475-1476.

[9] SAZONOV E S,BUMPUS T,ZEIGLER S,et al.Classification of plantar pressure and heel acceleration patterns using neural networks[C]//IEEE international joint conference on neural networks.[s.l.]:IEEE,2005:3007-3010.

[10] FENG W,LIU R,ZHU M.Fall detection for elderly person care in a vision-based home surveillance environment using a monocular camera[J].Signal,Image and Video Processing,2014,8(6):1129-1138.

[11] YU M,YU Y,RHUMA A,et al.An online one class support vector machine-based personspecific fall detection system for monitoring an elderly individual in a room environment[J].IEEE Journal of Biomedical & Health Informatics,2013,17(6):1002-1014.

[12] CHUA J L,CHANG Y C,LIM W K.A simple vision-based fall detection technique for indoor video surveillance[J].Signal,Image and Video Processing,2015,9(3):623-633.

[13] 靳海伟,彭 力,卢晓龙.基于轮廓跟踪的摔倒检测算法[J].江南大学学报:自然科学版,2015,14(2):172-177.

[14] 罗 凯,金小峰.基于Kinect的跌倒行为识别算法[J].延边大学学报:自然科学版,2016,42(2):156-160.

[15] 陈凤东,洪炳镕.基于动态阈值背景差分算法的目标检测方法[J].哈尔滨工业大学学报,2005,37(7):883-884．

[16] 杨 磊，任衍允，蔡纪源.一种基于深度数据的高斯模型运动目标检测方法[J].计算机技术与发展,2015,25(9):27-30.

[17] 黄露丹,严利民.基于Kinect深度数据的人物检测[J].计算机技术与发展,2013,23(4):119-121．