基于红外阵列传感器的人体行为识别系统研究

王召军，许志猛，陈良琴

基于红外阵列传感器的人体行为识别系统研究

王召军，许志猛，陈良琴

（福州大学 物理与信息工程学院，福建 福州 350108）

随着人口老龄化的到来，为了避免发生意外事故，对老人日常活动行为进行识别和监测的安全监护系统的需求不断增长。传统的基于摄像头拍摄或者穿戴式传感器的活动状态监测系统存在着隐私保护和使用不方便等不足。为此，本文设计一种基于红外阵列传感器的人体行为识别系统。该系统通过检测环境中的温度分布和变化情况识别人体行为，不需要在老人身上佩戴任何设备，尺寸小易于安装，在黑暗环境中可正常工作，且由于采集到的是低分辨率信息，不会造成隐私泄露，对比传统方案具有明显优势。从采集到的温度分布信息中提取特征并采用K最近邻（K-Nearest Neighbor, KNN）算法实现了“走”、“坐”和“跌倒”3种状态的识别。实验结果表明平均准确率可达到95%，其中跌倒准确率为97.5%，行走准确率高达100%，坐下准确率为92.5%。

行为识别；红外阵列传感器；多特征提取；K-近邻算法

0 引言

随着科学和医疗技术快速发展，人类的整体寿命逐渐延长，人口老龄化成了全球问题。随着老人的身体机能慢慢减弱，跌倒及其引起的伤害已成为老年人健康和安全的重要威胁[1]。在中国有1.3亿老年人，每年出现超过2500万次跌倒事故[2]。如何保障老人的日常生活安全已成为家庭和社会必须面对的重大问题。因此，对于老人特别是独居老人的健康状态和行动安全提供监测的系统得到了广泛关注。

现阶段，针对跌倒检测国内外主要有4类技术[3-6]：基于智能手机的跌倒检测、基于可穿戴式设备的跌倒检测、基于视频的跌倒检测以及基于声学的跌倒检测系统等。基于智能手机的检测方案，利用手机内置的加速度传感器、陀螺仪等可以实时采集使用者的状态并通过算法判断是否跌倒，由于该方案需要受监测对象一直携带手机才能正常工作的限制，使用上存在较大弊端；基于可穿戴式设备的方案与基于智能手机方案缺点类似，都要佩戴或者携带设备；基于视频的检测方案对使用者没有太多的限制，但易受到光照影响且容易造成隐私泄露，在卧室、卫生间等场合不适合使用；基于声学的跌倒检测方案通过分析跌倒时对地面的撞击，提取声音或者地板震动等特征，但由于其他外物造成声音干扰的情况时常发生，准确率较低。为此，日本的Jihoon Hong等人提出了使用松下Grid-eye的8×8红外阵列传感器设计一个跌倒检测系统[7]，通过监测人体红外辐射温度分布情况识别跌倒动作。2017年，上海大学的杨任兵等人提出了基于同一款传感器采集的红外图像的多特征提取的跌倒检测算法[8]。传统视频监控一方面会暴露隐私，另一方面容易受到光照条件的影响造成在黑暗环境中无法正常工作，尤其在易发生滑倒的浴室、卫生间等环境中会被雾气影响采集图像困难无法达到监测目的。与视频监测相比，红外方案对物体红外辐射温度进行检测能够解决隐私保护、光照变化、阴影和夜间可视性等问题，应用场景更多；视频图像采用模糊化处理等技术避免隐私泄露，仍然存在硬件被破解的问题，而红外热电堆采集的是温度点阵，硬件上无法获得清晰图像，隐私保护更安全可靠。考虑到对老人日常活动行为的监测具有防范发生意外的重要意义，虽然上述两个基于红外阵列传感器的检测系统对于意外摔倒有较好的监测效果，但尚未实现对人体坐下、行走等其他动作的识别。

为了解决以上问题，本文基于德国海曼（HEIMANN Sensor）公司的HTPA 32×32红外阵列传感器设计了一个人体行为识别系统。

1 行为识别系统设计

1.1 红外阵列传感器介绍

红外传感器如图1(a)所示，其主要参数如表1所示。该传感器内含热电堆元件，可采集被探测物体表面红外辐射，不受光照因素影响，在黑暗状况下也可以探测人体的温度分布图像。由于该传感器分辨率低，即使将温度值转换成伪色彩图像也可以确保隐私不被泄露，如图1(b)所示为一个手掌的红外温度分布图，从图中仅能看清目标轮廓，细节信息不会泄露。

1.2 系统构成

人体活动识别系统整体结构如图2所示。系统主要由红外阵列传感器、基于树莓派的温度数据采集平台和基于个人计算机（Personal Computer, PC）的动作识别平台构成。红外阵列传感器吊装在天花板上，由树莓派通过I2C接口实现控制，实现探测区域的温度分布信息的采集；采集到的温度数据通过树莓派内置的WiFi发送到PC端，PC端的识别程序从温度分布数据中提取5种特征，分别经过K最近邻算法[9-10]、支持向量机（Support Vector Machine, SVM）算法[11-12]和卷积神经网络（Convolutional Neural Network, CNN）算法[13-16]进行分类，并与数据库数据对比，判断温度分布数据对应人体的动作类别，进而完成人体动作的识别。

表1 传感器的规格参数

图1 红外阵列传感器

图2 系统构成设计

Fig.2 System composition design

2 行为识别系统算法

动作识别算法流程图如图3所示，该算法分为3步：人体检测，提取特征和分类。PC端接收到温度分布数据后，计算前后两帧或者两帧以上的连续最大温度分布方差：若前后连续两帧或者两帧以上的方差均小于温度方差阈值，则视为此时无人；若前后连续两帧或者两帧以上的方差均大于设定温度方差阈值，则此时探测区域有活动的人存在。若存在活动的人，提取数据特征与数据库中的训练数据对比分类，进而判断出发生的动作。

图3 行为识别算法流程图

2.1 人体检测

在室内无人活动场景下，环境温度分布数据均匀且变化小，但有人存在且发生动作时，温度分布数据就会发生波动，进而提取特征。

海曼HTPA 32×32红外传感器发出的温度分布第帧可以表示为：

式中：a是第帧的第(,)个温度值。通过计算时间窗宽度为10帧内的每个像素的方差判断是否有人。

当前帧的第(,)像素的温度方差计算公式为：

当前后连续两帧或两帧以上的温度分布方差大于温度方差阈值th时，则认为探测区域有活动的人存在并提取特征。

温度方差阈值th的选择会影响算法的准确率，选取太大，漏检率升高，选取太小，增加计算量，误判率也会提高。因此，本文阈值th的确定方法为选择室内环境无人的情况下，运行实验测试装置5min，计算这段时长内的最大温度分布方差，重复测试5次，选择5次实验中的最大值作为阈值th。通过实验测试阈值选取为2。本实验通过计算温度方差来判断检测区域是否存在活动的人。温度方差是由每帧内像素点的温度值与滑窗内像素点平均值差值的平方和决定，因此当室内温度升高或者降低时，每帧中像素点温度值会增加或者降低，滑窗内像素点平均值也随之升高或者降低，两者的差值变化较小，温度方差阈值受温度值影响较小。

2.2 特征提取

探测区域有活动的人存在时，提取出5种关于人体姿态的特征。当最大温度分布方差大于温差阈值时，提取平均有效像素点数量、激活帧act、反应像素的最大数量max、最大温度分布方差max、有效动作面积real等5种特征，图4中选取部分像素点方差图像，具体方法如下：

1）平均有效像素点数量：根据红外热源的等效模型[17]可知，人体可近似等效于直立的圆柱体，高度影响红外辐射强度，且人体的上半躯干部分比下半部分红外辐射能力强。红外传感器对人体敏感程度还和运动方向有关，红外传感器对于径向移动反应不敏感，对于横切方向移动最敏感。在室温阈值为15℃的环境下，人体处于静态时，测量出超过室温阈值的温度像素点的总数量除以总帧数，就是超过室温阈值的单帧平均像素点数量，即为平均有效像素点数量，该特征可表示为：

静态下，发生行走、坐下和跌倒时，受高度影响，行走时的单帧内平均有效像素点数量最多，跌倒时的单帧内平均有效像素点数量最少。

2）激活帧act：当前后连续两帧或两帧以上的最大温度分布方差大于温差阈值时，则该帧为人体移动的开始帧，记为第1帧；当前后连续两帧或两帧以上最大温度分布方差小于温差阈值时，则该帧为人体移动的结束帧，记为第2帧。如图4所示，该特征可表示为：

act＝1－2＋1 (5)

该特征表示发生动作所持续的时间，若室内环境中没有人，该特征值很小且基本不发生变化；但当有人存在并发生运动时，该特征值会变大。在发生行走、坐下、跌倒动作时，行走所花费时间最长，因此行走的激活帧的值最大。

3）反应像素的最大数量max：表示在第1帧到第2帧之间，每帧的1024个单像素点数的方差大于温差阈值时的最大像素数量。该特征表示红外传感器下发生相应动作采集到的像素点的数量。在发生行走、坐下、跌倒动作时，由于高度因素，行走时的反应像素的数量最大，如图4所示。

4）最大温度分布方差max：表示在第1帧到第2帧之间的最大温度分布方差。该特征表示运动趋势的变化程度。在发生行走、坐下、跌倒动作时，跌倒属于意外发生，运动状态从站立状态急剧变化成平躺状态，运动趋势变化最大；其次，坐下的动作变化趋势要比行走大，因此跌倒的温度分布方差最大，如图4所示。

5）有效动作面积real：把人体发生动作近似轮廓化成规则矩形，计算发生动作近似面积大小即为有效动作面积。通过测得超过激活帧中每一帧内的活动像素点数量除以每平方的像素点数量即可得到该帧上采集到的实际动作发生的大致面积，该特征可表示为：

real＝/(6)

有效动作面积real不仅可以作为训练特征，同时也可以作为校验数据验证算法判断是否准确，通过有效动作面积与实际估算动作面积相比较，即可判断出发生哪种动作。

2.3 分类算法

通过与SVM算法和CNN算法的分类效果对比，本文选择融合多特征且识别率高的KNN算法进行分类。在分类中，将测试数据与数据库中的训练数据进行比较，进而判断出发生的实际动作。KNN算法原理是如果一个样本在特征空间中距离个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性，一般距离用欧氏距离度量。K值的选择会影响分类的准确性，K值太大增加算法计算时间，K值太小容易过拟合，因此，使用交叉验证法[18]确定K值。

3 传感器采集数据的校准

由公式(6)可知，动作识别所采用的特征涉及人体肢体在传感器检测数据中的面积计算。本系统采用的实验模型及像素位置如图5所示，从图中可以看出，传感器的安装高度和角度会影响面积计算结果。为此，有必要根据传感器的安装高度和角度对采集到的数据进行校准。

图4 提取的特征：Kact，Pmax和Vmax

图5 实验模型及像素位置

3.1 根据安装角度的数据校准

已知红外传感器视野角度为33°×33°，假设红外传感器方向与垂直地面方向的夹角为，且0°＜＜57°，传感器安装存在夹角的情况下，特征值中使用到的探测面积有地面探测面积d和头部高度探测面积head两种。计算公式如下：

d＝22tan33°[tan(＋33°)－tan(－33°)] (7)

式中：表示红外传感器距离地面的垂直高度。

根据模型角度得出移动的人体头部高度模型探测面积的计算公式如下：

head＝2(－)2tan33°[tan(＋33°)－tan(－33°)] (8)

式中：表示人的身高。

通过公式(6)计算有效动作面积real，可以得出：

式中：根据探测的是头部还是地面的面积，分别为head和d。

将人体发生对应动作占地面积矩形化可知跌倒估算面积大约为0.9～1.14m2，实际坐下估算面积大约为0.25～0.48m2，实际行走估算面积大约为0.04～0.1m2。通过将公式(7)、(8)代入公式(9)中，可以计算出发生动作的有效动作面积，将有效动作面积和实际估算面积对比，即可判断出发生哪种动作。

3.2 根据安装高度的数据校准

在固定红外传感器高度时受到房间高度因素的影响，一般不超过3m，结合一般人体身高因素，选择2m、2.5m和3m试验校正，人体身高选择1.8m（人体身高的选择按照一般情况计算）。

当红外传感器方向与垂直地面方向的夹角为0°，红外传感器固定高度分别为3m、2.5m和2m时：通过公式(7)和(8)计算可知探测的地面最大面积分别约为15.2m2、10.5m2和6.7m2，因此每平方米的像素点数量分别约为68、97和151个。同理可计算出人体头顶高度平面上可探测的最大面积分别约为2.4m2、0.83m2和0.0675m2，计算出此时的每平方米的像素点数量大约为420、1238和15175个。通过测得在温度方差超过方差阈值th的[1,2]区间内像素点除以每平方的像素点数量即可得到该实际动作有效动作面积。由实验测得在红外传感器高度分别为3m、2.5m和2m时人行走时的像素点数量大约320～400、400～450和450～500个，跌倒时的像素点数量大约120～130、130～150和150～200个，因此可计算出实际行走时有效动作面积大小分别约为0.76～0.95m2、0.32～0.36m2和0.029～0.033m2，实际跌倒时的有效动作面积大小分别约为1.76～2.94m2、1.3～1.5m2和0.99～1.32m2。

综上所述，当红外传感器高度为2m时有效动作面积与实际估算面积最为符合，因此红外传感器安装高度为2m。

红外传感器经过安装角度及高度的校准，将人体发生有效动作面积与实际估算面积对比，即可判断出发生哪种动作。

4 实验

4.1 实验装置

实验使用德国海曼公司HTPA32×32红外阵列传感器；树莓派使用3B型号，其系统基于Linux，有SD/MicroSD卡、内存、硬盘，主板上有USB接口和以太网接口，HDMI高清视频输出接口、GPIO接口，WiFi通信模块，实验装置如图6(a)所示。

图6 实验模拟图

4.2 实验环境

本实验的实验环境选择室内普通办公房间，室温15℃左右，实验测试场景如图6(b)、(c)、(d)所示。实验装置为一个传感器垂直吊装在天花板上，高度为2m。被测实验人员需要根据要求完成行走、坐下和跌倒3种动作。

4.3 获取测试数据

本文使用KNN算法和SVM算法实验时，测试8名人员（4男4女），要求被测人员在检测区域依次完成行走、坐下和跌倒3种动作，每种动作重复10次，然后保存每次实验数据，最后获得240组数据，其中SVM算法进行分类时，训练集为122组，测试集为118组，SVM模型含有两个重要的参数和，其中为惩罚参数取值范围为2－2～24，为选择径向基函数（Radial Basis Function, RBF）后自带的参数，取值范围为2－4～24，调整和，当准确率最高时参数为5，参数为1.8。使用Keras和CNN构建分类器，搭建的VGGNet结构包括5层卷积层、3层池化层和1层全连接层，其中卷积层使用线性整流函数（Rectified Linear Unit, ReLU）为激活函数，全连接层使用Softmax分类器，训练轮数与每次训练批次数量的乘积要大于图片数量，所以网络训练总次数设定为500轮，每个训练批次数量为32，依次改变学习率的大小0.1、0.05、0.01、0.005、0.001、0.0005以及0.0001，统计行为动作识别准确率，最后选择识别率最高时的学习率0.001。使用CNN算法识别姿体动作实验时，测试6名人员（4男2女），总保存11420张图片，其中训练集11120张，测试集300张，实验行为动作模拟结果如图7所示。

图7 姿态动作模拟图

4.4 KNN算法最优K值的选择

本文使用交叉验证法确定最优值，一般值大小不超过10。将实验测得的240组数据集，按照不同比例分成训练集和测试集，以3为初始值，2为步长依次选取不同值进行分类计算相对应的准确率，选择准确率最高的作为最优值。如表格2所示，可得出最优值为3。

表2 交叉验证结果

4.5 实验算法对比及结果

实验将KNN算法、SVM算法和CNN算法准确率结果进行对比，如表3所示。

表3 3种算法准确率结果对比

由KNN算法、SVM算法和CNN算法的实验分类识别结果可知，KNN算法识别准确率比SVM算法和CNN算法准确率高。但KNN算法中坐下的识别率较行走和跌倒低，这是因为坐下和跌倒两种动作易造成错误分类。

5 结论

本文提出了一种基于红外阵列传感器的人体行为识别系统，通过提取监测区域温度分布信息的特征，并使用KNN算法测得行走、坐下和跌倒的检测准确率分别为100%、92.5%和97.5%，3种人体行为的平均识别准确率为95%。该系统在老年人生命健康安全监护领域具有很高的应用价值。未来，可进一步结合步态识别技术分析检测到的动作对应的人员身份，以便在系统检测到异常行为动作时可以做出更加准确的处理方案。

[1] 蔡伦, 林岑, 周鼒, 等. 老年人跌倒的公共卫生研究进展[J]. 中国老年学杂志, 2018, 38(9): 222-225.

CAI Lun, LIN Cen，ZHOU Zi，et al. Advances in public health research on falls of the elderly[J]., 2018, 38(9): 222-225.

[2] 吕汶聪, 张志静. 老年人跌倒现状及护理对策[J]. 现代医学与健康研究电子杂志, 2018: 119-119.

LV Wencong, ZHANG Zhijing. The current situation of elderly fall and nursing countermeasures[J]., 2018: 119-119.

[3] 吴志强, 曹蕾, 王凯, 等. 基于智能手机的人体跌倒检测系统设计[J]. 计算机工程与设计, 2014, 35(4): 1465-1470.

WU Zhiqiang, CAO Lei, WANG Kai, et al. Design of human body fall detection system based on smart phone[J]., 2014, 35(4): 1465-1470.

[4] 左常玲. 基于视频的自动摔倒检测研究与实现[D]. 合肥: 安徽大学, 2012.

ZUO Changling. Research and implementation of video-based automatic fall detection[D]. Hefei: Anhui University, 2012.

[5] 王刚. 基于多传感器的可穿戴跌倒检测系统的设计与实现[D]. 北京: 北京工业大学, 2015.

WANG Gang. Design and implementation of wearable fall detection system based on multi-sensor[D]. Beijing: Beijing University of Technology, 2015.

[6] 李仲华, 臧春华, 杨刚. 基于噪声嵌入的跌倒检测系统的设计[J].微机处理, 2017(2): 74-76.

LI Zhonghua, ZANG Chunhua, YANG Gang. Design of fall detection system based on noise embedding[J]., 2017(2): 74-76.

[7] Mashiyama S, Hong J, Ohtsuki T. A fall detection system using low resolution infrared array sensor[C]//, 2014: 2109-2113.

[8] 杨任兵, 程文播, 钱庆, 等. 红外图像中基于多特征提取的跌倒检测算法研究[J]. 红外技术, 2017, 39(12): 1131-1138.

YANG Renbing, CHENG Wenbo, QIAN Qing, et al. Research on fall detection algorithm based on multi-feature extraction in infrared image[J]., 2017, 39(12): 1131-1138.

[9] LIU Chienliang, LEE Chiahoang, LIN Pingmin. A fall detection system using k-nearest neighbor classifier[J]., 2010(37): 7174-7181.

[10] 张舒雅, 吴科艳, 黄炎子, 等. 基于SVM_KNN的老人跌倒检测算法[J]. 计算机与现代化, 2017(12):5 3-59.

ZHANG Shuya, WU Keyan, HUANG Yanzi, et al.Old man fall detection algorithm based on SVM_KNN[J]., 2017(12): 53-59.

[11] 陈玮, 周晴, 曹桂涛. 基于SVM和阈值分析法的摔倒检测系统[J].计算机应用于软件, 2017(7): 182-187.

CHEN Wei, ZHOU Qing, CAO Guitao. Fall detection system based on SVM and threshold analysis method[J]., 2017(7): 182-187.

[12] Nadi M, Elbendary N, Hassanien A E, et al. Falling Detection System Based on Machine Learning[C]//, 2016: 71-75.

[13] Adhikari K, Bouchachia H, Nait-Charif H. Activity recognition for indoor fall detection using convolutional neural network[C]//2017, 2017: 81-84.

[14] FENG P, YU M, Naqvi S M, et al. Deep learning for posture analysis in fall detection[C]//2014()., 2014: 12-17.

[15] Vidigal M, Lima M, Neto A D A. Elder Falls Detection Based on Artificial Neural Networks[C]//, 2015: 226-230.

[16] Kerdegari H, Mokaram S, Samsudin K, et al. A Pervasive Neural Network Based Fall Detection System on Smart Phone[J]., 2015, 7(2): 221-230.

[17] Linhong Wang. Human infrared signal recognition using single PIR detector[C]//2011 4th, 2011: 2664-2668.

[18] 李洪奇, 杨中国, 朱丽萍, 等. 基于数据集特征的KNN最优K值预测方法[J]. 计算机应用与软件, 2013, 33(6): 54-58.

LI Hongqi, YANG Zhongguo, ZHU Liping, et al. KNN optimal K-value prediction method based on data set features[J]., 2013, 33(6): 54-58.

Human Behavior Recognition System Based on Infrared Array Sensors

WANG Zhaojun，XU Zhimeng，CHEN Liangqin

(College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China)

With the increase in the aging population, the demand to identify and monitor the daily activities of the elderly is growing. A monitoring system can effectively prevent accidents of elderly people. The traditional activity monitoring system based on the use of camera or wearable sensors has issues, such as privacy violations and inconvenience of use. Therefore, this study designs a human behavior recognition system based on infrared array sensors. The system recognizes activities on different temperature distributions in the environment. There is no need for the sensor to be worn by the elderly. The sensor is small in size, easy to install indoors, and can work in the dark. In addition, the data acquired by the sensor have a low resolution; therefore, there is no privacy violation. The designed system has significant advantages over the traditional systems. The features are extracted from the obtained temperature data, and the K-nearest neighbors algorithm is used to identify the three poses of “walking,” “sitting,” and “falling.” The experimental results show that the average accuracy can reach 95%, of which the accuracies for falling, walking, and sitting are 97.5%, 100%, and 92.5%, respectively.

activity recognition, infrared array sensor, multi-feature extraction, KNN algorithm

TP391.4

A

1001-8891(2020)05-0231-07

2019-05-09；

2020-01-07 .

王召军（1993-），男，硕士研究生，研究方向：无线感知。E-mail:1678022616@qq.com。

许志猛（1980-），男，副教授，主要从事无线感知、无线通信与网络技术研究。E-mail:zhmxu@fzu.edu.cn。

国家自然科学基金资助项目（61401100）；福建省自然科学基金资助项目(2018J01805)；福州大学人才基金（GXRC-18083）；福州大学科研启动基金（GXRC-18074）。