基于关节点提取的多特征融合人体摔倒检测

邵晓雷

(安徽建筑大学电子与信息工程学院，安徽 合肥 230601)

1 引言(Introduction)

根据国家统计局2022 年2 月底发布的统计报告[1]显示：2021 年末我国的65 周岁及以上人口已经达到20,056万，占总人口比重的14.2%，超过社会深度老年化14%的界限[2]。根据世界卫生组织统计：每年直接或间接因摔倒死亡的人数达64.6万[3]，统计发现对于摔倒伤害的程度受限于救助的时间。因此，研究能实时高效识别摔倒动作的检测系统，提醒使用者及时做出反应，对最大限度地减少摔倒带给老年人的伤害具有重要意义。

目前，主流的人体摔倒检测方法有基于穿戴式检测、基于环境监测及基于计算机视觉检测三类。穿戴式检测方法[4-7]通过人体腰间或手腕等身体部位佩戴的传感设备进行运动信号收集，并将收集的数据进行分析处理后判断人体是否有摔倒行为，但缺点是设备穿戴不便和易脱落，而且需要人体随时佩戴；环境检测方法[8-10]需提前在检测区域内布置和安装特定的数据传感器进行检测，对如压力、声音、加速度计和红外传感器等异常数据进行捕获和分析，但缺点是易受其他异常噪声影响且维修成本高等；计算机视觉检测方法[11-13]主要是对摄像机拍摄的视频内容进行检测，主要步骤有图像分割、目标对象提取、特征获取、特征分析和结果检测等。随着深度学习与硬件技术的快速发展，基于计算机视觉的检测方法逐渐成为主流，这种检测方法只需在安全检测区域安装具有一定功能的摄像机即可实现覆盖检测，并且对环境要求低，不影响人的正常生活。

2 摔倒检测方法(Fall detection method)

本研究提出的摔倒检测方法与现有的基于计算机视觉方法相比具有以下优点：使用目标检测和Open Pose算法提取人体骨骼关键点，精确度更高；利用二维坐标系模型量化人体骨骼关节点的向量距离，为人体检测提供特征依据；采用的是关节点特征和运动学特征相融合的方法，将人体外接矩形的宽高比、质心节点的下降速度、头部关节点到地面的距离、人体各躯干与地面呈现的夹角等运动学特征作为人体摔倒检测的判断条件。

本研究提出的摔倒检测方法能对视频数据进行相关处理，获取视频中人体骨骼关键点数据，把人体骨骼关节点数据放入直角坐标系模型中，通过分析关节点坐标的动态特征分析人体运动姿态。主要技术思路是利用目标检测方法检测视频中的人体各个部分，再利用骨架提取算法提取人体骨骼关节点。为进一步提高判断摔倒动作的准确性，减少误判，设置关节点特征和运动学特征相融合作为判断摔倒动作的条件。体摔倒检测方法流程图如图1所示。

图1 人体摔倒检测方法流程图Fig.1 Flowchart of human fall detection method

3 目标检测和骨架提取算法(Object detection and skeleton extraction algorithms)

在进行骨架提取之前，先对视频中的人体进行目标检测，定位视频中人体所在位置，这一操作也可以使后续的骨架提取更加准确。目前，检测视频中目标人体的方法主要分为两大类：一类是one-stage检测方法，另一类是two-stage检测方法，这里主要使用two-stage的Yolo5检测算法。

Yolo5算法的思想主要包括两个部分：第一部分把图片分成m×n个网格。对图片中的每个网格生成三个候选区域，三个候选区域是预先设定好的三种尺寸的先验框，根据设定好的先验框确定图片预测框，再根据先验框和预测框确定人体真实框；第二部分采用模型中的卷积层、池化层等提取人体特征，预测人体位置并分类，可以达到真实检测人体目标位置的目的。

检测完视频中的人体位置之后，需要提取出人体的骨骼关节点信息，这里使用Open Pose算法提取人体骨架数据，这一骨架提取方法是由卡内基梅隆大学提出的以caffe为框架的开源库，它采用自顶向下的动作检测方法，利用亲和域场和置信度图把人体关节点正确地连接起来，在人体姿态识别方面可以实时进行姿态估计，实现从二维图像上提取人体骨骼的关键点。从二维RGB图像中获取18 个关节点在直角坐标系中对应坐标图(图2)。为便于表示，这里把所有的关节点表示为，将节点i在时间t的位置定义为，其中。

图2 人体骨骼关节点示意图Fig.2 Schematic diagram of the joint-point

人体摔倒与其正常活动具有明显不同：当人摔倒时，人体最小外接矩形的长度和宽度的比值有所不同；人体摔倒过程中身体质心点的下降速度会有明显变化；人在站立和摔倒时身体质心离地面的距离是明显不同的；在摔倒过程中，人体的主躯干、腿部和手部与地面之间的夹角也会有显著变化。根据这些特征，下文逐一进行分析。

3.1 人体外接矩形的宽高比

人体摔倒动作和其他正常动作相比，其外接矩形的宽度和高度不同，人体站立时，外部矩形宽度和高度的比值远小于人体摔倒后外部矩形的宽度和高度的比值，可以把人体外部矩形的宽高比作为一个判断摔倒动作的决策条件，根据各动作的测试特征值，把宽高比阈值设置为1。人体在站立时宽高比小于1，人体摔倒之后的宽高比大于1。人体宽高比的计算如公式(1)。

人体在站立和摔倒时的人体宽高比的模拟示意如图3所示。

图3 人体不同姿态示意图Fig.3 Schematic diagram of different postures of the human body

3.2 上体质心的下降速度

人在正常活动时其身体竖直方向的速度不会发生明显变化，一旦发生摔倒行为，其身体竖直方向的速度会瞬间发生明显变化，并且会超过某个速度值。可以把人体质心竖直方向的速度作为一个决策条件，这里选择图2中的1 号关节点近似表示人体上半身质心。获取人体质心的坐标?时刻和时刻的纵坐标分别可以表示为的时间差及速度变化如公式(2)和公式(3)所示，根据各动作的测试特征值，可以把质心竖直方向速度的阈值设定为

人体摔倒动作和其他动作的质心速度变化特征拟合曲线图如图4所示。

图4 质心速度下降趋势图Fig.4 Downward trend chart of centroid velocity

3.3 头部与地面间的距离

检测视频中是否发生摔倒事件时，人体的行为不同，头部离地面的距离也不同，人体在摔倒过程中，头部离地面的距离是逐渐变小的，用头部离地面的距离可以很好地表示人体摔倒特性，这里把人的鼻子位置近似表示为人体头部的中心，中心点坐标是，视频中人体出现摔倒动作时，人体头部中心点离地面的距离会突然减小，并逐渐小于某个值。这里定义,这些时刻，对应的中心点纵坐标是，如果检测的中心点纵坐标满足临界阈值，则可认为满足这一决策条件。根据各动作的测试特征值，可以把距离的阈值范围设置为。不同动作中心点离地面距离的特征拟合曲线图如图5所示。

图5 中心点离地面距离变化图Fig.5 Distance variation chart of the center point from the ground

3.4 人体倾斜角变化

人体出现摔倒动作一般是躯干失衡导致的。摔倒动作这一过程中，人体躯干、腿部及胳膊与地面之间的夹角不断减小，直到摔倒之后人体与地面接触，这时处于稳定状态，夹角就不再发生大幅度变化。这里选取图2中的10 号和13 号关节点的中点为，连接和1 号关节点，这个连线作为人体躯干的中心线。定义为向量，2 号与4 号节点的连线作为右胳膊中心线。定义为向量，5 号和7 号关节的连线作为左胳膊中心线，定义为向量，8 号与10 号节点的连接作为右腿的中心线，定义为向量，11号与13 号关节的连线作为左腿的中心线，定义为向量。主躯干与地面之间的夹角可以表示为，同理左、右手臂和左、右胳膊也是同样的表示方法。当各部分与地面之间的夹角小于一定值时，可以认为满足判断摔倒动作的决策条件，根据各动作测试特征值，把这一阈值设定为45°。人体主躯干和四肢与地面之间的夹角特征拟合曲线图分别如图6和图7所示。

图6 主躯干与地面之间夹角变化趋势图Fig.6 Change trend chart of included angle between main torso and the ground

图7 四肢与地面之间夹角变化曲线图Fig.7 Change trend chart of included angle between limbs and the ground

4 实验结果与分析(Experimental results and analysis)

在摔倒测试中，会有四种可能的结果出现，第一种情况是实际发生了摔倒事件，检测为摔倒的结果(TP)；第二种情况是实际没有发生摔倒事件，检测为摔倒的结果(FP)；第三种情况是实际发生摔倒事件，检测为没有摔倒的结果(TN)；第四种情况是实际没有发生摔倒事件，检测为没有摔倒的结果(FN)。使用以下三种参数评价本研究提出的检测方法性能的好坏。

其中，灵敏性评估摔倒的性能：

特异性评估非摔倒的性能：

准确性评估摔倒和非摔倒的性能：

为验证本研究提出的检测方法的准确性和随机性，文中对摔倒事件进行相应的测试。该实验具有一定的误差和偶然性。文中在人体摔倒动作的相关公开数据集le2i、UR Fall Detection Dataset、Multiple cameras fall dataset里随机抽取相关动作视频，构成40 个摔倒测试样本和60 个非摔倒视频测试样本，总数达到100 个的数据集：非摔倒动作这里分为站立、行走、坐下及弯腰。实验使用的测试视频的动作分类和样本数量如表1所示。

表1 测试动作分类Tab.1 Test action classification

实验得出的结果中，灵敏性达到97.5%、特异性达到95%、准确性达到96%，取得了不错的效果，可以有效地区分摔倒动作和正常行为动作；实验得出的灵敏性、特异性、准确性结果如表2所示。

表2 文中性能测试结果Tab.2 Performance test results in the text

将本研究提出的检测方法与其他检测方法进行比较，文献[11]提出帧间差分法和ViBe算法对人体目标进行分离，然后结合人体运动过程中的各种特性进行判断，该算法灵敏度较低。文献[12]使用背景减除法获取运动目标，与人体不同动作特征进行融合，该算法受环境影响较大且准确性低。文献[13]通过提取人体关键点，利用关节点特征进行判断，该方法对关节点的提取不准确，判断条件使用不准确。本研究提出的检测方法便于实现、成本较低、受环境因素影响较小，并且其灵敏性、特异性、准确性都取得了不错的实验效果。几种不同的方法对比结果如表3所示。

表3 与其他方法实验对比Tab.3 Experimental comparison with other methods

5 结论(Conclusion)

本研究提出一种使用人体外接矩形的宽高比，质心节点的下降速度，头部关节点与地面之间的距离，人体主躯干、左右腿、左右胳膊与地面之间的夹角等运动学特征融合人体骨架特征进行摔倒动作进行检测的方法。实验结果表明：这种检测方法的灵敏性、特异性、准确性分别达到97.5%、95%、96%。但是，本次实验使用的数据集样本数量偏少，运动目标动作偏少，因此在下一步的研究中将增加实验数据集样本和动作分类，综合考虑多人环境下的人体检测，以期进一步提升检测效果。