基于云计算的可穿戴式老龄人异常行为检测系研究*

罗 坚，唐 琎，毛 芳，赵 鹏，汪 鹏

（中南大学信息科学与工程学院，长沙410000）

基于云计算的可穿戴式老龄人异常行为检测系研究*

罗 坚，唐 琎*，毛 芳，赵 鹏，汪 鹏

（中南大学信息科学与工程学院，长沙410000）

针对老龄人异常行为的实时检测、识别和在线主动信息推送问题，利用智能移动终端内置的三轴加速传感器来采集人体运动信息。通过匹配追踪算法（MP）对信号进行Gabor原子分解，并利用Wigner-Ville时频分析方法，从时间和三维空间动作特征对其进行时频联合域研究。为解决时频分析过程中的复杂运算问题，并完成异常行为动作的在线训练，分类识别和信息推送，探讨一种运用移动终端APP，无线网络和云计算平台来构建的可穿戴式老龄人异常行为检测系统。实验结果表明，该方法切实可行，可将其应用于老龄人日常监护和紧急救助等相关领域。

模式识别；异常行为检测；三轴加速度传感器；云计算；时频分析

在我国随着社会结构的发展和人们平均寿命的延长，老龄化的问题越来越明显。目前，我国60岁以上的老龄人口已经超过2.12亿，约占全国总人数的15.5%，预计到2030年将翻一番。面对空巢的老年居住户，如何使用实时在线监护系统对患病或有行动障碍的老年人进行异常行为监护和紧急求助包括突发疾病，摔倒和休克等危及生命安全的状况，已成为当前研究的一个重要方向［1］。

目前有关老龄人的异常行为检测方法主要分为以下两大类。①通过视频信息进行异常行为检测。文献［1-6］通过对采集视频来提取人体的运动轮廓信息或运动轨迹信息，并进行异常行为的检测和分析。基于视频的方法存在个人的隐私的问题，同时受到摄像头的数量，安装位置和拍摄视角的影响，因此它的实际应用受到一定的限制。②通过可穿戴设备进行检测。文献［7-14］通过加速度重力传感器或陀螺仪来设计行为检测装置。文献［8］使用iPhone内置的重力加速度传感器来采集人体行走时的运动信息，实现了对人体步态特征的分析和识别。文献［9］使用STM32嵌入式系统、加速度传感器和无线射频模块来构建人体跌倒检测系统，利用三轴合加速度的来判断和检测是否跌倒。文献［10］探讨了一种基于固定阈值的信号幅度向量滑动平均法SVMSA，实现跌倒检测。文献［11］通过提取运动时的超重强度、持续失重时间、倾斜角度、静止时间为特征值，提出了一种基于的决策树跌倒识别算法。文献［12］通过引入隐马尔可夫模型对跌倒行为实现训练和识别，并进行了仿真分析。文献［13］通过在人体脚底安装压力传感器来实现人体运动数据检测，使用支持向量机实现跌倒的分类识别。文献［14］使用GPS模块实现了跌倒检测信息的短信传输报警。综合以上对异常行为的检测方法可以发现，现有的研究方法往往不具备远程主动信息推送的功能，或仅使用短信方式进行数据传递，数据只能单向传输，扩展性和实用性不强，数据处理受到硬件限制等。同时各种模块，包括传感器，控制器，移动电源和通信模块组合在一起，往往体积过大，穿戴繁琐，老龄人大多不愿意或很容易忘记佩带。但随着智能手机、运动手环和智能手表等智能终端产品将加速度重力传感器和陀螺仪传感器集成在智能终端里面使得异常行为检测硬件变得很容易随身携带，加上智能终端产品强大运算能力和无线传输网络，可以很好的解决传统设备由于运算能力限制不能作的一些复杂数据处理等问题。传统的异常行为检测方法，大多使用单一的人体加速度向量幅值（Signal Vector Magnitude，（SVM）或向量平均值来完成，实现简单，但只能检测出是否跌倒，对其它异常行为，如坐下，起立，扶手等行为检测能力欠缺，或抗干扰和鉴别能力不强。针对这些问题，本文通过基于匹配追踪算法（MP）的Gabor原子变换，从时间和三维空间动作特征对异常行为进行时频分析研究。与传统的时域分析和频域分析不同，时频分析提供了时间和频率的分布关系，由于异常步态信号是一种非平稳随机信号，利用时频分析工具可以更好的描述其本质特征，通过提取时频分布信息作为训练特征，并利用主成份分析方法来完成异常动作训练分类和识别，可以很好的提高异常行为检测的识别率和算法鲁棒性。同时，运用APP程序，WebSphere云计算平台和基于MQTT（消息队列遥测传输）的信息推送服务，完成边界域数据到服务域的传输和运算，以及识别结果信息的终端至终端，终端到服务器的推送，使其更好的融入到社区医疗机器的服务平台中去，为老龄人的生活健康提供更好的关注和服务。

1 系统总体结构

基于云计算的老龄人异常行为检测系统架构图见图1所示。整个系统包括3层结构：终端感知层，云端网络层和远程服务接入层。

图1 基于云计算的老龄人异常行为检测系统架构图

终端感知层主要进行人体运动数据的采集，处理，初步分析和数据消息的发布。终端感知层以内置了加速度传感器的移动智能终端为主要硬件设备，通过移动网络或无线Wi-Fi进行互联网的访问。在终端感知层中，以APP为应用程序，该应用程序通过接口获取加速度传感器中的X-Y-Z三轴的运动数据，并对采集到的运动数据进行FIR滤波，然后对特征数据进行初步阀值判断来确定是否存在异常行为，并根据判断结果进行消息的推送和采样数据的传输，消息的推送遵循MQTT协议。云端网络服务层，主要负责用户的注册，验证，消息的订阅处理，消息的发布推送，数据传输过程中的加密和数据缓存；在云计算服务器中需要开发异常行为检测应用服务程序，并建立异常行为训练库等。远程服务接入层，主要以社区监控中心，医院信息中心和个人信息订阅者为主体，通过对感知终端的一对一或一对多的监控订阅来实现实时消息的接收。当感知终端传入云平台的数据被检测判定为人体异常信息时，就会进行主动消息推送：推送服务器通过数据库查询订阅了此终端消息的用户，并将感知层传来的消息推送给他们。

2 基于Gabor原子分解的异常行为检测

2.1 三轴运动数据预处理

集成在智能终端内的三轴加速度传感器，可以采集X，Y和Z轴3个方向的人体运动数据。人体运动行为的不同，会产生有差异的加速度信号，比如正常行走，摔倒，上下楼梯，扶墙壁，蹲下等行为，其运动特征差异明显。图2显示了采集到的三轴方向的加速度的随时间的变化情况，

令X(t)，Y(t)和Z(t)分别代表3个轴上的加速度信号量，由于人体异常行为动作的方向不确定，穿戴加速度传感器的方式和空间位置存在差异，因此不太适合采用某一个方向上的加速度信息来进行异常行为的判定，通常采用加速度幅值SVM［10］来表示动作特征：

图2 蹲下时的加速度时序和SVM特征

在提取信号向量模之前，首先对三轴上的加速度信号进行FIR滤波。FIR是一种有限长单位冲激响应滤波器，它的差分方程为：

式中，N为滤波器的窗体长度，h(m)为具体脉冲滤波系统，x(n)为输入待滤波信号，y(n)为滤波后输出信号。滤波系统由下式得到

式中，hd(n)为理想滤波器，fN(n)为窗体函数，N为窗体长度，本文中，使用Hanning窗体函数：

数据处理过程中，加速度传感器的采样频率设为125 Hz，以4 s为一个检测周期，每组数据共为500个点，滤波窗体长度选为N=64，图3为向前跌倒运动数据滤波前后的波形比较：

图3 跌倒数据滤波前后对比

2.2 基于MP的Gabor原子特征提取

MP是一种匹配追踪算法，通过在构造的原子字典D里搜索一定数量的原子组合，来逼近信号x的局部时频特性［15］。最终将要分析的信号分解为若干原子的线性组合，具体分解过程通过反复迭

代来实现，迭代次数由逼近残差来确定。首次迭代，在原子字典中，选取一个初始原子gγ，该原子与待分解信号拥有最大的内积，然后计算原始信号与该原子的残差，作为下一步迭代中的待分解信号。在迭代过程中，不断选取合适的原子，使该原子与上一步分解后的残差Rn拥有最大的内积。当计算出来的残差小于给定的误差时，停止迭代，将所有分解得到的原子组合起来，便可得信号x的原子逼近。

具体迭代过程如下［16］：

信号x最终分解为：

式中，M为迭代次数，对于时频分析，选取Gabor原子构成完备字典D，Gabor原子表示为：

式中，γ=(u,f,s,ϕ)为时频参数，分别表示位移，频率，伸缩和相位因子。 K(γ)为标准化参数，满足

通过累加式（6）中选取Gabor原子的Wigner-Ville分布W（WVD），可以得到分解信号的时频能量图。WVD通过交叉项抑制方法得到：

通过提取离散的时频分布能量矩阵WVD作为异常行为分类和识别的特征。首先，对归一化和滤波后的三轴运动数据提取向量模SVM特征。然后对SVM特征信息进行基于MP的Gabor原子分解，并提取原子分解后的时频分析WVD矩阵，以此为特征完成异常行为的训练、分类和识别。

2.3 分类识别

令三轴运动信息的向量模离散表示为SVM(n) ，n=1,2,…,N，N为最大采样点数，对其进行Gabor原子分解，得到M个分解Gabor原子，并对其进行时频分析，提取累加的WVD分布特征矩阵，表示如下：

经过主成份分析后的新特征维数更低，主特征成份突出，有利于分类识别。最终对新的特征利用K近邻法进行分类，K近邻法是显著的模式识别系统统计学方法之一。其分类结果表示如下：

式中，j=1,2,…,J; i=1,2,…,I。ci表示第i类样本，I为类别数量，J为训练样本数量，yj为待检测样本xj所属类，I(yj=ci)为指示函数，当yj属于ci类时为1，其它为0，其中的类别判断通过欧式距离进行计算。Nk(x)为最接近检测样本xj的k个近邻的训练样本集合。

3 WebSphere云计算平台

使用IBM的WebSphere MQ Telemetry和Web-Sphere Application Server来构建云计算和推送平台。WebSphere MQ Telemetry（Message Queuing Telemetry Transport，消息队列遥测传输）是由IBM公司开发的一个跨平台的，针对受限制环境（如计算能力有限，存储空间较小，传输带宽低等）应用的一种即时且轻量级的通讯协议。由于MQTT的轻量级，它可以直接应用于传感器层面上，只需要很少的几十KB的存储空间，以及较低的传输带宽，同时扩展性相当强［17］。这些特性，使得它被广泛应用于物联网产品当中。

MQTT协议提供订阅/发布模式，以推送技术为核心，跨平台的客户端可以自主“订阅”云端服务器上提供的各种感兴趣的频道信息；一旦所订阅的信息得到更新，比如到达新的邮件，推送服务器就会将此消息推送到特定的客户端上。同时，客户端还可以通过服务器来“发布”自己的消息，和传统的一对一的消息传递模式不同，MQTT支持一对多的消息推送。

MQTT协议由消息的报头Header和有效负载Payload组成。其中最小的固定报头长度为2个字节，参考文献［18］。本文中，智能终端推送消息的有效负载Payload定义如表1所示。

表1 定义Payload结构

WebSphere Application Server为应用服务平台，它和消息队列遥测传输中间件通过WebSphere MQ平台进行数据的交换和集成。云端的异常行为检测虚拟应用程序就在应用服务平台上进行平发和部署。

通过构建云计算和推送平台，实现异常步态行为在边界传感域的采集，上传和云端的在线检测识别、消息推送，以及多终端与网络服务层中的多应用实体之间的互联互通。整个云计算和云推送平台的系统框图如图4所示。

图4 云计算和推送平台构架

集成加速度传感器的智能Android手机终端处于遥测服务平台的边缘和传感器域，通过嵌入MQTT客户端来进行信息的订阅和数据发布。Web-Sphere MQ Telemetry服务器通过MQTT不同通道的消息队列来进行信息的调度和管理。部署在Web-Sphere Application Server的异常行为检测虚拟应用实现在线检测识别，而处于远程服务接入层的社区监控中心，医院信息中心和个人信息订阅者则通过嵌入MQTT客户端的应用，移动设备或Web浏览器来进行信息的订阅或发布。

智能移动终端，用户，服务人员，监控中心，首先会在服务器中进行注册，得到唯一的身份信息Token。然后，服务人员和监控中心会向服务器订阅本社区或需要关注人员所发布的主题消息，完成用户和服务者之间双向绑定。在日常生活中，一旦智能移动终端在边缘域（如空巢老人家中）检测到有异常行为或动作时（摔倒，昏厥），即会通过服务器发布异常行为的消息，并上传可疑数据，服务器通过异常行为检测服务应用进行在线识别，并将识别结果向所有订阅此主题消息的服务者推送，此信息包括了异常行为发出的人员姓名，家庭住址，电话，位置等信息。社区或医疗服务人员收到消息后，通过自动开启边缘域Android设备的语音通话功能，来进一步确定和核实是否有异常事件发生，一旦确定为异常事件，便可立即采取行动，保障被监控对象的生命和健康安全。

4 异常行为检测流程

虚拟异常行为检测服务的流程图如图5所示。虚拟服务在云端应用平台启动为后台进程，实时检测是否有上传的异常三轴运动数据，当收到异常数据推送包时，提取出有效数据，运用MP算法和构建的Gabor原子库，对运动数据进行Gabor原子分解，并提取分解原子的WVD的时频特征，并利用近邻法对结果进行分类识别。当检测出为数据库中的异常行为时，发送消息给终端，进行远程语音确认，如果确定为异常行为如摔倒，突发病变等，便开始构建异常行为的推送信息，包括异常行为类别，安全级别，地理位置，人员信息，电话等，并将消息通过MQTT通信的后台服务程序发布出去，同时开启求助程序，利用获得的位置信息进行救助。

图5 异常行为检测流程图

5 实验与结果分析

为验证文中所提出的老龄人异常行为检测算法的实用性，共选取10位实验者（5名男性，5名女性），设定了10种异常行为动作，对每位实验者的各异常动作采集10次，因此每种异常动作共有100个样本，所有异常动作组合起来共有1 000个样本，分成两组，每组500个样本，使用K近邻法进行训练和识别。图6～图8为模拟人体常见异常动作的WVD时频能量分布图。

图6 原地坐下

图7 左侧跌到

图8 踉跄跌倒

其检测识别结果见表2，其中：正确率=跌倒识别的正确次数与总实验次数的比值。从表2中的结果来看，检测出对象是否跌倒的正确率相对较高，理论数据与实际数据的误差不大，与现有文献中的跌倒检测识别率误差别不大。但是为了更好的对老年人的日常行为进行监测和分析，需要对每一活动类别单独进行识别，即识别出具体的行为动作，而不是检测单一的是否跌倒。传统的方法如文献［7-14］使用一个或多个固定的阀值或依据峰值数量来进行判断，不能很好的区分活动类别。

表2 跌倒的识别结果

本文通过模式识别的方法对样本特征进行训练，分类和识别，提高了对具体活动类别的识别率。图9为利用所求数据进行4阶多项式曲线拟合后得到的ROC曲线，对比了不同方法在异常行为检测结果中的效果，检测结果要求识别出具体的异常类别。

图9 不同方法异常行为检测结果对比

6 结束语

本文通过嵌入在智能移动终端中的三轴加速度传感器来采集和传输老龄人的异常动作特征数据。通过云计算的方式对三维运动特征进行时频分析和特征提取，同时进行分类识别，在线完成老龄人异常行为的检测，并将检测结果通过云推送方式，实时发布到远程监控和接入服务域。实验结果表明，本文提出的方法切实有效，可将其应用于老龄人监护和救助领域。

［1］Adam A，Rivlin E，Shimshoni I，et al.Robust Real-Time Unusual Event Detection Using Multiple Fixed-Location Monitors［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2008，30（3）：555-560.

［2］Xiang Tao，Gong Shaogang.Incremental and Adaptive Abnormal Behaviour Detection［J］.Computer Vision and Image Understanding，2008，111（1）：59-73.

［3］李海涛，孔令富.基于位置-动作特征的助老机器人服务对象异常行为检测［J］.计算机工程与科学，2010，32（6）：122-128.

［4］崔永艳，高阳.基于多示例学习的异常行为检测方法［J］.模式识别与人工智能，2011，24（6）：862-868.

［5］Zhang Dongping，Peng Huailiang，Yu Haibin，et al.Crowd Abnormal Behavior Detection Based on Machine Learning［J］.Information Technology Journal，2013，12（6）：1199-1205.

［6］肖茜，杨平，徐立波.一种基于MEMS惯性传感器的手势识别方法［J］.传感技术学报.2013，26（5）：611-615.

［7］Bing Sun，Yang Wang，Jacob Banda.Gait Characteristic Analysis and Identification Based on the iPhone's Accelerometer and Gyrometer［J］.Sensors.2014，14：17037-17054.

［8］陈炜，佟丽娜，宋全军，等.基于惯性传感器件的跌倒检测系统设计［J］.传感器与微系统，2010，29（8）：117-119.

［9］刘摇鹏，卢潭城，吕愿愿，等.基于MEMS三轴加速度传感器的摔倒检测［J］.传感技术学报，2014，27（4）：570-574.

［10］李娜，侯义斌，黄樟钦.基于人体加速度特征的实时跌倒识别算法［J］.小型微型计算机系统，2012，33（11）：2410-2413.

［11］卢先领，王洪斌，王莹莹，等.一种基于加速度传感器的人体跌倒识别方法［J］.计算机应用研究，2013，30（4）：1109-1111.

［12］李正周，陈联涛，刘勇，等.人体跌倒的鲁棒检测方法［J］.数据采集与处理，2013，28（5）：580-585.

［13］许继平，李景涛，彭森，等.基于三轴加速度传感器的老年人摔倒检测系统［J］.计算机仿真，2014，31（12）：434-437.

［14］董帅飞，于凤芹.基于Chirp原子MP分解的汉语声母时频结构分析［J］.计算机工程与应用，2014，50（1）：200-202.

［15］Trzaskowski B，Jedrzejczak W W，Pilka E，et al.Automatic Removal of Sonomotor Waves from Auditory Brainstem Responses［J］.Computers in Biology and Medicine，2013，43：524-532.

［16］Tang K L，Wang Y，Liu H，et al.Design and Implementation of Push Notification System Based on the MQTT Protocol［C］//International Conf on Information Science and Computer Applications，2013：116-119.

［17］任亨，马跃，杨海波，等.基于MQTT协议的消息推送服务器［J］.计算机系统应用，2014，23（3）：78-82.

罗 坚（1984-），男，汉族，湖南省株洲人，网络工程师，中南大学博士，主要研究方向为人体行为检测、模式识别与智能系统，delphifx@csu.edu.cn；

唐 琎（1966-），男，汉族，湖南武冈人，中南大学，信息科学与工程学院，教授，博士生导师，研究方向为计算机视觉、模式识别和人工智能，tjin@csu.edu.cn。

Research of Wearable Abnormal Behavior Detection System for Elderly Based on Cloud Computing*

LUO Jian，TANG Jin*，MAO Fang，ZHAO Peng，WANG Peng
（School of Information Science and Engineering，Central South University，Changsha 410000，China）

Aiming at the problems of the abnormal behavior real-time detection，recognition and online push service for the elderly.Intelligent mobile terminals with tri-axial acceleration sensor embedded are used to capture the motion information of human.The data are decomposed into a linear combination of Gabor atoms by the method of matching pursuit.The Wigner-Ville time-frequency analysis method is introduced and the problem is studied by joint timefrequency analysis in a real time space and by the motion characteristics in 3D space.In order to solve problems of complicated computing in the process of time frequency analysis，and conducting data training，classification，recognition and message push online of abnormal behavior，a wearable abnormal behavior detection system is explored based on the mobile terminal APP，wireless network，and the cloud computing platform.Experimental results demonstrate that the proposed method is feasible and it can be applied to the aged care，emergency aid and related fields.

cloud computing；abnormal behavior；acceleration sensor；wearable；push

TP391.4

A

1004-1699（2015）08-1108-07

��6140；7230；7510D

10.3969/j.issn.1004-1699.2015.08.002

项目来源：国家自然科学基金项目（61403426，91220301）；湖南省教育厅科学研究项目（15C0981）

2015-04-26 修改日期：2015-05-18