基于KinectV2的跌倒行为检测与分析

李文阳 马行 穆春阳

关键词： Kinect V2; RGB?D; 骨骼图像; 阈值分析; 意外跌倒; 实时检测

中图分类号： TN911.23?34                      文献标识码： A                      文章编号： 1004?373X（2019）06?0142?04

Abstract： The Kinect V2 somatosensory equipment is used to detect and identify the fall behavior of the elderly， so as to reduce the casualties caused by falls of the elderly as much as possible. The human body skeleton image and position information are obtained by processing the RGB?D images acquired by the Kinect camera. The skeleton tracking technology is used to select skeleton points such as the center point of the human body， center point of two hips， and right foot sole， so as to calculate the parameters such as the center point spatial position of the human body， body movement speed， position of the center point of two hips， and height of the center point of two hips from the ground in real time. The speed threshold and height threshold during the falling are emphatically analyzed in this paper. A large number of verification experiments were carried out. The results show that the algorithm proposed in this paper has a high real?time performance in the indoor environment， can overcome the problems of low detection rate and poor real?time performance of the traditional video detection technology， effectively protect the privacy of the elderly during the detection process， and perform real?time detection continuously， which can provide security assurance for accidental falls of the elderly.

Keywords： Kinect V2; RGB?D; skeleton image; threshold analysis; accidental fall; real?time detection

0  引  言

随着我国人口老龄化进程的加速，根据数据显示预计到2050年，中国老龄化人口将达到4.5亿人，约占总人口[1]的[13]。然而跌倒已成为我国伤害死亡的第四位原因，在65岁以上的老年人中占首位，并且死亡率随着年龄增加而急剧上升，此外还可能导致大量残疾，影响身心健康。根据Noury等人的研究[2]，如果老年人在跌倒后能得到有效的救助，可以有效降低老年人死亡的风险，因此在室内对老年人跌倒检测是一项具有实际意义的事情。传统的对老人跌倒检测方法有以下3种方法：

1） 利用穿戴式传感器来检测人体跌倒[3];

2） 视频图像分析法[4];

3） 基于Android手机内置传感器检测法[5]。

本文将Kinect V2用于室内人体检测，利用骨骼跟踪技术和RGB?D相结合的方法可以进行24 h实时检测，可以克服外界光照条件的变化带来的影响，提高跌倒检测的准确度，能够对跌倒行为进行及时处理，保证老年人的安全。

1  骨骼数据获取

Kinect V2提供了人体骨架中的25个关节点，所有关节点依靠深度图像技术[6]都可以通过空间三维坐标（x，y，z）表示。其中RGB摄像头提供x和y的坐标值，红外摄像头提供z向深度值。本文跌倒检测算法主要选用了25个关节点中的3个关节点用于算法的判别，分别为人体中心点、两髋中心点、右脚掌。

Kinect V2获取的关节点坐标与深度图像空间坐标不同，获取的骨骼点数据的单位是m。从Kinect V2感应器的视角来看，它的空间坐标系如图1所示。

2  跌倒行为的检测

Kinect V2获取人体在环境中的骨骼数据信息和深度数据信息，本文采取的算法主要是利用所获取的骨骼数据来判定人体是否发生跌倒行为。由于人体骨骼之间存在的一些关系，采用两种判定方式：一是人体中心点运动的速度v;二是两髋中心点的空间位置d。当同时满足这两种判定方式，就认为跌倒事件发生，跌倒检测算法流程如图2所示。

2.1  判定条件一（人体中心点运动的速度）

当人体做出不同的动作时，人体动作与骨骼关节点的空间位置，相对位置位移有着极大的关系，所以当做不同动作时，可以根据对骨骼点数据的处理来判别所做的动作。本文的跌倒检测就是根据人体站立的姿态到跌倒的空间位移变化来判断的，由于从站立姿态到跌倒姿态是一个非常短暂的过程，所用时间非常短，因此本文实验中每相邻10帧检测1次。以当前帧和之前的10帧之间的位置信息进行比较，Kinect V2通常以30 f/s的速度进行更新，时间间隔为每10帧0.33 s。假设在空间坐标系中人体中心点在测试环境中的坐标第fx的坐标为（x1，y1，z1），此时的时间戳为t1，第fx+10帧的坐标为（x2，y2，z2），此时的时间戳為t2，所选两帧图像的人体中心点下降的位移由空间欧氏距离d决定。

从图3中能发现当人正常行走时，人体中心点的位移几乎没有发生变化，因此0～70帧、90～140帧、180～220帧、250～300帧，这些时间内，位移变化不显著，人体下降的速度非常小。当跌倒事件发生时，人体中心点的位移发生急剧的变化，下降的速度就会有一个比较大的峰值，在图中，第80帧、150帧、240帧的时刻，就是人体跌倒发生的时刻。通过图3可以发现，跌倒时刻的速度峰值速度都集中在1.2 m/s以上。为了进一步地研究峰值速度的取值范围，对实验数据进行了处理，只获取跌倒时刻的速度，然后研究vL的取值范围，如图4所示。

3位实验者采取快速向前跌倒、快速向后跌倒、快速侧倒、缓慢向前跌倒、缓慢向后跌倒、缓慢侧倒等姿势，对获取的数据进行处理后，只对各种场景下跌倒时刻的速度进行展示，得到如图5所示的柱状图。在图中不难发现，跌倒时刻的峰值取值范围为1.2～1.8 m/s。为了降低老人跌倒带来的损失，选择较小的vL合理，因此vL设定为1.2 m/s。

当老人摔倒在地时，两髋中心点和右脚掌之间的垂直距离会发生急剧的变化。在Kinect的空间坐标系中，假设跌倒瞬间两髋中心点的坐标为（x3，y3，z3），右脚掌的坐标为（x4，y4，z4）。考虑到右脚掌和两髋中心点之间的位移会受到跌倒在地姿势的影响[8?9]，本文选择两髋中心点和右脚掌之间的垂直距离作为参考就可以避免姿势造成的影响，即在调用坐标数据时，dL=y3-y4。

为了研究dL的取值范围，实验选取3个不同身高的实验者模拟老年人摔倒的场景。经过大量的实验，得到如图5所示的两髋中心点和右脚掌之间的垂直高度差与获取帧数之间的关系。

图中：线条1代表身高175 cm的实验者;线条2代表身高170 cm的实验者;线条3代表165 cm的实验者。当实验者在正常行走时，两髋中心和右脚掌之间的距离几乎没有变化，保持在一个相对稳定的值，如图5所示。线条1的折线中从开始到110帧时，高度差基本没有发生改变，当突然跌倒时，这个值就会从0.8 m降到0.3 m以下;线条2的折线同样在120帧之前还基本稳定，当突然跌倒时数值就急剧下降，直到降到0.3 m以下;线条3的折线在90帧之前高度差变化不怎么明显，当发生跌倒时高度差就发生变化，直到最后小于0.3 m。从实验数据分析可以得到，当老年人跌倒在地时，两髋中心点和右脚掌之间的距离都会小于0.3 m，因此高度差阈值就可以设定为0.3 m，即当d<0.3 m时，认为满足跌倒事件发生的第二个条件。

3  实验结果与分析

为了验证检测系统的有效性，实验设置了6个实验场景，分别为快速向前跌倒、快速向后跌倒、快速侧面跌倒、缓慢向前跌倒、缓慢向后跌倒、缓慢侧面跌倒，实验者为3位。每个人在不同的场景中做了20次跌倒实验，在不同场景中的识别率如表1所示。

通过对总共的360次试验分析，可以从表1的识别率发现快速向前和缓慢向后的识别率高于其他4种跌倒方式。其中尤其是缓慢侧面跌倒的识别率的误差率高，通过研究发现可能是由于缓慢侧面跌倒时，人体的两髋中心和右脚掌之间的垂直距离在跌倒瞬间不能严格达到本文的阈值，还有可能是人体在跌倒过程借助了辅助物品（比如桌子、椅子等）。为了研究缓慢侧面跌倒识别率低的情况，文章下一步研究的方向可能是在老年人身边有支撑物时的跌到行为。

本文采取的算法与前面所讲述的相比较。文献[3]利用穿戴式传感器来检测人体跌倒，这种方法用户需要佩戴加速度传感器、角传感器或者压力传感器等装置，对运动具有阻碍性，极其不方便，且误报率为12%。文献[4]采用视频图像分析法，这种方法通过摄像机的连续监控，借助图像处理技术，实时地分析目标图像的信息，检测跌倒事件的发生，不会妨碍使用者的正常生活。但是普通的摄像头容易受外界环境的影响，识别率为90%，尤其是不能在夜间进行实时监控，并且容易泄漏老年人的隐私。文献[5]基于Android手机内置传感器检测法，这种方法比其他几种检测方法的识别率要高，识别率为95%，但使用者必须每时每刻携带者手机，对运动具有阻碍性且不适用于老年人。

4  结  语

本文采取跌倒速度与高度差相结合的方法，能够很大程度上减少因跌倒而造成的损失，算法识别率为92.7%。所使用的设备为微软第二代Kinect，避免了穿戴式设备所造成的困扰，能够全天24 h监测老年人，用骨架信息和RGB?D图进行实时监测，能够最大程度地保护老年人的隐私和安全。实验存在的不足在于，Kinect V2 的视角并不能完全覆盖整个区域，以及老人在行走过程当中可能或存在身体部分的遮挡，使实验结果不够精确。文章下一步的研究在于能否使用多个Kinect V2进行监测，分为不同区域进行交叉监测。

注：本文通讯作者为马行。

参考文献

[1] 彭希哲，胡湛.公共政策视角下的中国人口老龄化[J].中国社会科学，2011（3）：121?138.

PENG Xizhe， HU Zhan. Aging population in China from the perspective of public policy [J]. Chinese social science， 2011（3）： 121?138.

[2] NOURY N， FLEURY A， RUMEAU P， et al. Fall detection： principles and methods [C]// Proceedings of 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Lyon： IEEE， 2007： 1663?1668.

[3] 蔡靖，樊毅尧，董子健，等.基于穿戴式平台的老人摔倒监测系统设计[J].传感器与微系统，2017，36（7）：130?133.

CAI Jing， FAN Yiyao， DONG Zijian， et al. Design of elderly tumble monitoring system based on wearable platform [J]. Transducer and microsystem technologies， 2017， 36（7）： 130?133.

[4] SHI X， XIONG Q Y， LEI L N. Research on fall detection system based on pressure sensor [J]. Chinese journal of scientific instrument， 2010（3）： 237?242.

[5] 程一风，李达，张翔晨.基于Android手机多传感器的老人跌倒检测技术研究与实现[J].电子设计工程，2016，24（14）：181?183.

CHENG Yifeng， LI Da， ZHANG Xiangchen. Research and implementation of fall detection based on Android phone [J]. Electronic design engineering， 2016， 24（14）： 181?183.

[6] 蓝箭，孙娟，杨裕炳，等.基于Kinect骨骼追踪的控制方法的研究[J].仪表技术，2014（8）：20?22.

LAN Jian， SUN Juan， YANG Yubing， et al. Research on control method based on Kinect skeletal tracking [J]. Instrumentation technology， 2014（8）： 20?22.

[7] XIA L， CHEN C C， AGGARWAL J K. Human detection using depth information by Kinect [C]// Proceedings of Computer Vision and Pattern Recognition Workshops. Colorado Springs： IEEE， 2011： 15?22.

[8] HENRY P， KRAININ M， HERBST E， et al. RGB?D mapping： using Kinect?style depth cameras for dense 3D modeling of indoor environments [J]. International journal of robotics research， 2012， 31（5）： 647?663.

[9] 朱国刚，曹林.基于Kinect传感器骨骼信息的人体动作识别[J].计算机仿真，2014，31（12）：329?333.

ZHU Guogang， CAO Lin. Human motion recognition based on skeletal information of Kinect sensor [J]. Computer simulation， 2014， 31（12）： 329?333.

[10] 黄文静，马力.基于Kinect手势识别的研究与应用[J].电子设计工程，2017，25（24）：166?169.

HUANG Wenjing， MA Li. A gesture recognition research and application based on Kinect [J]. Electric design engineering， 2017， 25（24）： 166?169.