红外图像中基于多特征提取的跌倒检测算法研究

杨任兵，程文播，钱 庆，章 强，钱 俊，潘宇骏



红外图像中基于多特征提取的跌倒检测算法研究

杨任兵1，程文播2，钱 庆2，章 强2，钱 俊2，潘宇骏2

（1. 上海大学 通信与信息工程学院，上海 200444；2. 中国科学院苏州生物医学工程技术研究所，江苏 苏州 215163）

研究表明跌倒是我国老年人伤害的主要原因，而且超过一半的跌倒发生在家中。如果我们能及时发现老人跌倒并进行有效处理，就会降低跌倒对老人的伤害。因此为了检测老年人室内跌倒行为，本文从低分辨率的红外图像中，提取出4种对跌倒敏感的特征，同时使用K近邻算法进行分类来判断是否发生跌倒。另外，本文还设计了一套基于该算法的老年人跌倒检测系统，它具有保护隐私、准确度高、安装方便的优点。最后通过实验测试表明该跌倒检测算法的准确率高达91.25%。

跌倒检测；红外传感器；K近邻算法；多特征提取

0 引言

我国老龄人口越来越多，老年人的安全也牵系许多普通家庭的心。研究调查表明，老年人意外伤害的首要原因就是跌倒[1]。60岁以上老人中，34%的人每年至少发生一次摔倒行为，其中有一半以上的摔倒发生在家中（64.4%），而且随着年龄增加，发生在家中的摔倒伤害病例比例有所增加，80岁以上的调查病例中71.19%的摔倒发生在家中[2]。2013年全国疾病监测系统死因监测结果显示，年龄在65岁以上的老年人跌倒死亡率为44.30/10万，因跌倒而死亡是该人群伤害致死的第一位死因[3]。除导致死亡外，跌倒还能造成老年人活动受限、功能受限、残疾等非致死性后果。如果能及时地救助跌倒的老年人，将大大降低伤残率和死亡率。然而现状是家庭中的子女无法照顾老人，造成空巢老人越来越多[4]，使得老年人跌倒后得到及时救助变得愈加艰难。因此研究出一种用于室内的老年人跌倒检测系统显得尤为必要，系统自动检测到老年人跌倒后立即发出报警求助，缩短从跌倒到救治的时间，有效减少由跌倒造成的意外伤害，提高老年人生活品质，同时也减少了需要花在老年人看护上的人力成本。

目前国内外有不少在跌倒检测系统和算法方面的研究，按照检测方法可以分为3类：基于穿戴式的跌倒检测系统、基于声学的跌倒检测系统和基于视频的跌倒检测系统，它们都有其各自的优势和不足。基于穿戴式的跌倒检测系统是通过在人体手臂、腰部、头部或者腿部穿戴上安装有加速度[5]、躯干角速度[6]、压力等传感器的专用设备，提取出躯体位置和运动的关键特征，然后进行模式识别分类来检测人体跌倒。这类系统具有成本低、安装简单、易于操作等优点，但是使用者需要将设备全程穿戴在身体的特定部位，带给使用者不舒适感，特别是老年群体感受强烈，限制了这类系统的推广和应用。另一类基于声学的跌倒检测系统则是通过分析跌倒时对地面的冲击状况，比如跌倒产生的声音特征[7]、与地板的震动特征[8]等，事实上，日常生活中很多物体发出的声响都会成为系统的干扰源，因此系统的特异性有待提高，而无法获得满意的准确度。最后一类基于视频的跌倒检测系统是直接分析视频图像中人体的轮廓[9]、姿态[10]以及运动特征[11]来实现的，具有高准确度、能够同时检测多个事件、不影响人们日常生活等突出优点，而被越来越多的应用在家庭看护中[12]。但是基于视频的系统所带有的问题是在光照不足时准确度会大大降低，并且清晰的视频图像暴露了个人的隐私，可能会危及使用者的安全。

为了改善上述问题，有人提出使用人体红外热成像的方式来检测跌倒，因为红外热信号反映的是探测范围内温度分布情况，用这种方式来检测跌倒，不仅不受环境光强弱的影响，而且没有暴露出图像内清晰的细节，还能获得很高的准确度。Mastorakis G.等人使用微软的Kinect红外摄像头，获取红外图像中人体姿势的宽、高、深度信息，通过决策树算法来判决是否跌倒，最后记录48次跌倒、112次非跌倒数据进行评估实验，准确无误地检测出里面全部的跌倒数据[13]。在本文中使用的红外阵列传感器，其价格不足微软Kinect的1/3，体积只有药丸大小，具有成本较低、体积小的优点，而且获取的红外图像的分辨率仅为8×8像素大小，更好地保护了个人隐私。基于这些优点，本文提出一种新型的跌倒检测算法，原理是通过从该红外图像中提取出4种特征，然后使用K近邻算法（K-Nearest Neighbor, KNN）进行分类，来判断是否跌倒，根据该算法所设计的系统，通过实验评测表明跌倒检测的准确率达到91.25%。

1 跌倒检测系统设计

1.1 红外阵列传感器简介

本文使用的是松下半导体公司的一款高精度、低分辨率的Grid-EYE系列红外线阵列传感器[14]，它在一个8×8网格式布局内含有64个热电堆元件，能够在不接触被测物体的前提下探测物体表面的绝对温度，如图1所示。由于这款传感器分辨率低，从温度分布图像中无法直接辨别出探测的物体，另外，实际上人体时时刻刻都在向周围环境辐射红外线，即使在黑暗条件下，也丝毫不影响Grid-EYE传感器获取到人体的温度分布图像。

在性能参数上，Grid-EYE系列传感器在60°探测视野角内，能够探测最远为5m的目标，而且它设有I2C外部数字接口，方便将温度分布数据传输到电脑上，封装尺寸还非常小。表1中列举出Grid-EYE传感器的主要参数。

图1 红外阵列传感器：(a) 松下Grid-EYE传感器实物图；(b) Grid-EYE输出的温度分布图

表1 Grid-EYE传感器的主要参数

1.2 系统组成

本文所设计的跌倒检测系统如图2所示，首先需要将Grid-EYE红外阵列传感器安装在房间屋顶上，从上往下采集出传感器检测范围内的温度分布信息，并以I2C的方式将温度信息发送到单片机上，这里使用的是TI公司的MSP430F5529单片机，完成信号采集后，单片机通过无线蓝牙将信息发送到电脑监控台，电脑从温度分布数据中提取出4种特征，再与训练数据进行对比，最后使用KNN分类器检测出是否有跌倒行为。

2 跌倒检测算法

本文提出的跌倒检测算法流程图如图3所示，整个算法可分为3部分：活动人体检测、特征提取以及KNN分类。电脑上位机软件收到温度分布数据后，首先计算出最大温度分布方差，根据该方差的大小来确定被检测区域内是否有人活动，如果是处在无人活动状态，算法自动判断检测结果为无人跌倒，继续接收下一帧数据，否则从中提取出4种对跌倒敏感的特征，再分别求取与训练数据之间的欧式距离，最后利用KNN分类器判决出这4种特征属于跌倒类还是非跌倒类，当属于跌倒类时软件需要弹出提示信息，并响起警报请求人员迅速前去救助。

2.1 活动人体检测

一般来说，在检测区域没有人在的情况下，Grid-EYE检测的是周围环境温度分布，而这种状态温度分布较为均匀，随时间发生的变化很小。但当有人靠近时，温度分布就不再均匀变化，因为人体表面的温度与背景环境温度有明显的温差存在，此时温度分布数据主要受人体的运动、姿态变化所影响。

图2 系统方案设计

Fig.2 System design diagram

图3 跌倒检测算法流程图

Fig.3 Flowchart of fall detection algorithm

为了研究人体的靠近对红外线温度分布数据产生的影响，首先定义a表示在第帧时刻，温度分布数据中第行列的像素点的温度值。因此从Grid-EYE传感器获得的每一帧红外线温度图像都可以用数学矩阵这样表示：

2.2 特征提取

跌倒检测算法中至关重要的步骤就是从杂乱无序的8×8像素点的温度分布数据中提取出4种对跌倒敏感的特征，这是因为原始的温度分布数据中包含大量与跌倒检测无关的信息，也被称为“噪声”信息[15]。本文通过特征提取的方式不仅去除掉这些“噪声”，增强跌倒检测的敏感性，同时也对原始数据进行特征降维，降低了分类时计算的开销。

mov＝end－start＋1 (5)

该特征表示的是温度分布发生变化的时间长短，检测区域内没人的情况下，这个值较小，当人在检测区域内来回走动，这个值会变大，当人跌倒时，这个值也会变大，但不高于人在来回走动的情况，如图4。

最大像素点数max：指的是在第start帧～end帧之间，每帧中64个单像素点的方差超过阈值最多的像素点数。这个特征表示的是温度分布发生变化的像素点的个数，当有人跌倒的时候这个特征会发生变大，因为跌倒后人体在检测区域内的表面积变大，从而引起更多的像素点方差发生变化。

高温区域的形态特征max：如图5所示，人在站立时，红外线温度图像中形成的是一块方形区域，当人跌倒后，人体横躺在地面，在红外线图像中形成的则是长条形区域，并且该区域的面积大于方形区域。为了表现人体跌倒前后这一变化，算法从温度分布数据中提取高温区域的形态特征max。

图4 10s内4种特征在不同状态下的变化，方差阈值取0.8

图5 站立和平躺时在红外线温度分布图像中高温区域的形状和面积不一样

首先特征指的是高温点集中区域的面积与长宽比的乘积，其中高温点是指温度值大于高温均值的像素点，这里高温均值定义如下：

一帧红外线温度分布图像中，64个温度值中最大值为max，最小值为min，从中计算出一个临界温度值th，如图6所示，方法是把最小值和最大值线段分成左右两部分，并且左边占总长的1/3，然后舍弃低于临界温度值的像素点，计算其余存留下来的温度值的平均值，这个平均值就称为高温均值，公式计算如下：

然后统计高温点在8×8像素的图像中分布位置，并使用bwlabel函数选取其中最大的4连通区域，也就是位置相邻的高温点数量最多的区域，并计算该区域的面积、长度以及宽度，则计算公式如下：

最后特征max就取在第start帧到end帧之间的最大值。

2.3 分类器

本系统中使用近邻分类器进行数据分类，它是一种有监督的机器学习方法，分类原理是在特征空间下，寻找训练样本里面与待分类样本距离最近的个近邻，根据这个近邻的类别确定待分类样本归属，这里的距离一般由欧式距离来度量[10]。其中有两个因素会直接影响KNN分类器的性能，一个是特征空间的选取，另一个是值的选取。由前文特征提取的内容以及图4可以反映出，本文选取的4种特征直接与人体活动变化紧密相关，因此选取合适的值在本文中是影响KNN分类器性能最关键的因素。如果值取得过小，则算法易受噪声的影响，使分类结果不稳定，值取得过大，则会增加算法的时间复杂度[16]。本文使用目前常用的交叉验证的方法来确定合适的值，通过实验确定“值-准确率”的变化，选取准确率最高的情况下的值，本文将在第3章进行详细介绍。

3 算法实验评测

3.1 实验装置及环境

为了评测跌倒检测算法的性能，本文利用Grid-EYE传感器设计配套的软硬件系统，如图7所示，右上图是基于Grid-EYE传感器的红外线温度分布数据采集和发送装置，该装置使用3节5号电池供电，方便安装，通过搭载MSP430F5529单片机，红外线温度分布数据可以被读取并由HC-06蓝牙模块实时发送到电脑上，用于上位机软件进行跌倒检测。右下图就是使用MATLAB 2013b软件编写的上位机操作界面，该界面不仅能够实时显示采集到的红外线温度分布图像以及所提取的4种特征值，当软件检测到跌倒时，能够弹窗提醒给在旁人员前去救助，并发出报警铃声。

本文中的实验是在图7左图所示的环境下进行，实验装置固定在检测区域正上方的天花板上，天花板距离地面3.1m，室温23℃左右。实验人员需要根据要求完成指定动作，来对本文所提出的跌倒检测算法的效果进行评测。

3.2 Vth的选取

温度分布方差阈值th直接影响跌倒检测算法的性能，如果选取过低，不仅会增加算法检测的计算量，误判率也会提高，如果选取过高，漏检率又会上升，因此选取合适的阈值th对整个检测系统来说至关重要。

在本文中，阈值th的检测方法是在检测区域没有人的情况下，整个装置连续运行10min，记录下这段时间内的最大温度分布方差，重复该过程3次，选取3次实验中的最大值作为阈值th。通过实验，本文中选取的阈值th为0.8。

图6 求取高温均值时确定临界温度值示意图

图7 实验装置及环境。左图为室内的实验环境，右上图为基于文中提出的算法设计的硬件系统，右下图为Matlab编写的跌倒检测界面

3.3 训练数据

本文中邀请5名人员（4男1女）进行实验，以获得训练数据。在实验过程中，要求实验人员在检测区域内完成表2所要求的4种动作，每种动作完成10次，实验记录人员保存每次动作完成过程时提取到的4种特征数据，最后共获得200组数据（非跌倒类100组，跌倒类100组），作为本文中的训练数据。

表2 动作要求

3.4 选取最优K值

本文使用常用的交叉验证的方法来选取最优的值。首先将前面得到的训练数据作为数据集，按不同比例分成训练集和测试集进行实验，然后以3为初始值，2为步长选取相应的值进行分类，最后计算出每次的分类准确率，准确率最高的情况即为最优的值。表3显示的是交叉验证的结果，从中可以看出最优的值为3。

3.5 实验结果和分析

为了全面评测算法的鲁棒性，另外邀请3名人员参与实验，共8名实验人员（6男2女），设定温度分布方差阈值th为0.8，分类器的值为3，要求实验人员进行实验，按照上面一样动作，每种动作每人完成5次，实验结果如表4所示。

表3 交叉验证结果

表4 实验结果准确率

由评测结果我们可以看到，本系统对真实的人体跌倒检测准确率比较高，可以达到93.75%，整个系统的准确率为91.25%，这说明我们从温度分布数据中提取到的特征确实与人体跌倒相关联。但同时也可以看出该系统也有较高的虚警率，其中主要部分是将坐下的动作误分类成跌倒动作，这是因为坐下和跌倒这两个动作在最大分布方差和运动帧数上表现得较为相似，从而造成分类出错。为了解决这一问题，本文下一步方案计划增加一个红外线阵列传感器，安装在侧面墙体上，用于检测跌倒时垂直方向上红外线温度分布的变化。

4 结论

本文采用一款具有低成本、低分辨率特点的红外线阵列传感器，提出一套适用于老年人室内跌倒检测的算法，创新地从红外线温度分布数据中提取出对跌倒敏感的4种特征，并且还设计出实验系统对该算法进行性能评估，与基于其他跌倒检测算法的系统相比，该算法所实现的系统具有保护隐私、准确度高、安装方便的优点，实验证明基于本文所提出的4种特征然后进行KNN分类，跌倒检测的准确率达到91.25%。从原理上来说，通过增加一个红外线阵列传感器，跌倒检测的准确率还能进一步提高，有待以后进行实验验证。

[1] 耳玉亮, 段蕾蕾, 叶鹏鹏, 等. 2014年全国伤害监测系统老年跌倒/坠落病例特征分析[J]. 中华流行病学杂志, 2016, 37(1): 24-28.

ER Yuliang, DUAN Leilei, YE Pengpeng, et al. Epidemiologic characteristics of fall in old population: Results from national injury surveillance in China, 2014[J]., 2016, 37(1): 24-28.

[2] 朱月妹, 袁浩斌, 陈雷. 老年人跌倒危险因素的调查[J]. 护理实践与研究, 2007, 4(10): 5-7.

ZHU Yuemei, YUAN Haobin, CHEN Lei. Investigation the risk factors of fall for the aged[J]., 2007, 4(10): 5-7.

[3] 中国疾病预防控制中心慢性非传染性疾病预防控制中心, 国家卫生和计划生育委员会统计信息中心. 全国疾病监测系统死因监测数据集2013[M]. 北京: 科学普及出版社, 2015.

National Center for Chronic and Non-communicable Disease Control and Prevention, Chinese Center for Disease Control and Prevention, Statistical Information Center of the National Health and Family Planning Commission.2013 [M]. Beijing: Popular Science Press, 2015.

[4] 刘腊梅, 路丽娜. 城市老年空巢家庭现状及对策分析[J]. 护士进修杂志, 2011, 26(18): 1707-1709.

LIU Lamei, LU Lina. Analysis on the present situation and countermeasures of urban old-age empty Nest family[J]., 2011, 26(18): 1707-1709.

[5] 刘鹏, 卢潭城, 吕愿愿, 等. 基于MEMS三轴加速度传感器的摔倒检测[J]. 传感技术学报, 2014(4): 570-574.

LIU Peng, LU Tancheng, LV Yuanyuan, et al. MEMS tri-axial accelerometer based fall detection [J]., 2014(4): 570-574.

[6] Bourke A K, Lyons G M. A threshold-based fall-detection algorithm using a bi-axial gyroscope sensor[J]., 2008, 30(1): 84-90.

[7] ZHUANG X, HUANG J, Potamianos G, et al. Acoustic fall detection using Gaussian mixture models and GMM super vectors[C]//,,, 2009: 69-72.

[8] Zigel Y, Litvak D, Gannot I, et al. A method for automatic fall detection of elderly people using floor vibrations and sound—proof of concept on human mimicking doll falls[J]., 2009, 56(12): 2858-2867.

[9] Foroughi H, Aski B S, Pourreza H. Intelligent video surveillance for monitoring fall detection of elderly in home environments[C]//, 2008: 219-224.

[10] LIU C L, LEE C H, LIN P M. A fall detection system using k-nearest neighbor classifier[J]., 2010, 37(10): 7174-7181.

[11] FU Z, Culurciello E, Lichtsteiner P, et al. Fall detection using an address-event temporal contrast vision sensor[C]//, 2008: 424-427.

[12] YU X. Approaches and principles of fall detection for elderly and patient[C]//,, 2008: 42-47.

[13] Mastorakis G, Makris D. Fall detection system using Kinect’s infrared sensor[J]., 2014, 9(4): 635-646.

[14] 松下电器机电（中国）有限公司. 红外线阵列传感器Grid-EYE [EB/OL]. https://industrial.panasonic.cn/ ea/ products/ sensors/ built- in-sensors/grid-eye.

Panasonic Corporation. Infrared Array Sensor Grid-EYE[EB/OL]. Available: https://industrial.panasonic.com/ea/products/sensors/ built -in-sensors/grid-eye.

[15] 奉国和, 吴敬学. KNN分类算法改进研究进展[J]. 图书情报工作, 2012, 56(21): 97-100.

FENG Guohe, WU Jingxue. A literature review on the improvement of KNN algorithm[J]., 2012, 56(21): 97-100.

[16] 李洪奇, 杨中国, 朱丽萍, 等. 基于数据集特征的KNN最优K值预测方法[J]. 计算机应用与软件, 2016, 33(6): 54-58.

LI Hongqi, YANG Zhongguo, ZHU Liping, et al. Prediction method of optimal k value in KNN based on dataset features[J]., 2016, 33(6): 54-58.

Fall Detection Algorithm Based on Multi Feature Extraction in Infrared Image

YANG Renbing1，CHENG Wenbo2，QIAN Qing2，ZHANG Qiang2，QIAN Jun2，PAN Yujun2

(1.,,200444,;2.,,215163,)

Falling is reported to be the major cause of injury in the elderly population in China. More than half of the falls this population experienced occurred at home. If we can get timely messagesduring the event of a fall, and process these effectively, we can reduce the potential for harm. Therefore, in order to detect indoor falls of the elderly, this study extracts four fall-sensitive featuresin low-resolution infrared images, after which the k-nearest neighbor algorithm is used to determine whether a fallhas occurred or not. Moreover, this paper also designs a complete fall detection system for the elderly based on the proposed algorithm, which offers the advantages of privacy protection, high accuracy, and convenient assembly.Results of experiments show that the accuracy of the fall detection system is as high as 91.25%.

fall detection，infrared sensors，KNN，multi feature extraction

TP391.4

A

1001-8891(2017)12-1131-08

2017-05-15；

2017-06-23.

杨任兵（1993-），男，硕士研究生，研究方向：光电信号和生物医学信号处理。E-mail：yangrenbing2014@163.com。

程文播（1984-），男，副研究员，硕士生导师，主要从事床旁诊断技术以及微弱光电信号处理方面的研究。E-mail：chengwb@sibet.ac.cn。

江苏省科技支撑计划项目（BE2014639）；中国科学院科技服务网络计划（KFJ-STS-SCYD-007）；苏州市科技计划项目（SYS201664）。