基于传感器数据的人类活动识别研究①

王金甲 孔德明 刘建波 王晓敏 洪文学

(*燕山大学信息科学与工程学院 秦皇岛 066004) (**燕山大学电气工程学院 秦皇岛 066004) (***东北大学秦皇岛分校 秦皇岛 066004)



基于传感器数据的人类活动识别研究①

王金甲②*孔德明**刘建波***王晓敏***洪文学*****

(*燕山大学信息科学与工程学院 秦皇岛 066004) (**燕山大学电气工程学院 秦皇岛 066004) (***东北大学秦皇岛分校 秦皇岛 066004)

给出了活动识别的定义，阐述了活动识别对智能健康监护和老年人护理的重要意义，并给出了基于传感器的活动识别系统的构成，详细描述了系统的传感器数据采集、数据预处理及机器学习等技术的研究进展，介绍了人类活动识别实验取得的结果。最后指出，老年人活动识别、多人活动识别以及实时活动识别是未来活动识别的发展方向；活动识别研究已成为普适计算一个重要和富有挑战性的研究课题，构建用于处理复杂的现实情况和环境的可靠的活动识别系统仍然是一个挑战，需要多学科交叉研究。

活动识别, 智能健康监护, 多传感器, 数据融合, 移动感知

0 引 言

活动识别是指在真实生活环境中识别出人类日常生活活动[1]。活动识别一般作为大型应用服务的核心任务[2]。例如，老年人健康监护这种以人为中心的应用服务，就可以利用人类活动识别系统产生巨大的社会经济效益[3]；识别日常生活活动并从中辨识出潜在危险，对于独居老人来说意义重大。这些服务能协助老年人或有特殊需要的人保持他们的生活独立性，增强他们的个人舒适感和安全感，推迟他们搬到养老院的时间[4]。此外智能环境辅助生活、普适计算等领域中，日常生活活动的自动监护和识别都是一个关键挑战[5]。这都表明活动识别研究成果对相关领域研究和应用都有益处，对相关领域专家也有借鉴之处。因此这就迫切需要研究一种新方法和新手段来解决低级传感器数据和高级活动识别概念之间的对应关系问题。在智能健康监护和老年人护理等许多领域，基于多源多维传感器数据的自动活动识别是非常重要的研究方向。

活动识别最早研究可以追溯到上世纪90年代[6]。最近几年，通过各种传感器数据进行识别简单活动如休息、散步和跑步等的研究已经取得了成功[7]。而复杂活动涉及到简单活动的组合，识别率仍然较低，复杂活动研究仍然具有挑战性[8]。本文首先给出了活动识别的定义，其次给出了活动识别系统组成，详细介绍了传感器数据采集，预处理和机器学习的研究现状，并着重给出了活动识别系统的训练和测试，最后指出了活动识别的未来研究方向。

1 活动识别定义

活动识别系统需要预定义活动类别，常见的活动类别如表1所示。

基于预定义的活动类别，活动识别系统关注如何准确检测并识别人类活动。因此活动识别研究者应该首先构建高级活动类别概念模型，然后通过构建合适系统来实现模型。这使机器学习模型广泛用

表1 目前活动识别系统识别的活动的类别

于活动识别系统，为解决低级传感器数据和高级活动识别概念之间的对应关系问题提供了方案[9]。

活动识别的机器学习模型定义如下：假设活动类别定义为集合A={a0,…,aC-1}；m个活动采集的等长时间窗数据集合记为{W0, W1,…,Wm-1}，每个时间窗数据包括k个传感器的一段时间的测量值；m个活动对应的类别记为{y0, y1,…, ym-1}， yi是A中的一个元素。活动识别目的是基于上述训练数据找到数学模型f:Wi→A，使得f(Wi)和对应的活动类别yi尽可能相似。

2 活动识别系统组成

任何活动识别系统的设计都依赖于预定义的活动类别，另外活动识别系统还应该包括3个模块：传感器模块、预处理模块和机器学习模块。

2.1 活动识别系统的传感器模块

传感器模块收集原始传感器数据。活动识别使用的传感器类型可以分为嵌入式传感器、穿戴式传感器和智能手机传感器。

视频传感器、音频传感器、磁感应器、压力传感器、红外传感器、水中浮动传感器等都可以作为嵌入式传感器用于智能家居，这尤其适用于老年人日常生活活动识别和老年人健康监护。嵌入式传感器如照相机或摄像机等视频传感器因隐私程度低、配置复杂、成本高而饱受诟病。嵌入式传感器数据特点是海量高维，样本数和样本维数都很大。其中视频传感器行为识别的文献非常丰富，它已成为一个独立的研究方向[10]。在嵌入式传感器方面，Acampora 等综述了家庭智能健康监护的研究现状，主要涉及的科学问题包括活动识别、行为模式挖掘、异常检测、计划调度、决策支持、匿名和隐私保护[3]。这说明活动识别是其中的关键挑战。Chaquet等综述了基于视频传感器的人类行为和活动识别研究，并综述了共享的视频数据库[10]。

加速度传感器、陀螺仪、其它惯性传感器、压力传感器、生命特征(包括脉搏、呼吸、体温、血压等数据)传感器等可以作为穿戴式传感器。穿戴式传感器具有使用方便、24小时监控等特点，克服了视频传感器固定环境限制，此外穿戴式传感器具有目标对象的信息隐私性，克服了视频传感器可能包含非目标对象的缺点。但是穿戴式传感器的用户粘性不够。在穿戴式传感器方面，Chavarriaga等综述了穿戴式传感器活动识别数据库，并共享了活动识别“机会数据库”[11]。Lara等综述了基于穿戴传感器的活动识别研究[7]，并详细给出了多种活动识别系统的识别性能比较。Bulling等也综述了基于穿戴传感器的活动识别研究[8]。

GPS(室外)传感器、加速度传感器、陀螺仪、其它惯性传感器、生命特征传感器等可以作为移动智能手机传感器。智能手机正在成为一个收集、理解和使用人类活动信息的传感器新平台。这个平台为移动感知商业领域创造了无限可能性。智能手机传感器用于活动识别关键问题是如何平衡电池能量、内存存储和计算资源的问题。在智能手机传感器方法，Incel 等综述了基于移动手机数据的活动识别的研究现状[12]。基于智能手机传感器数据的活动识别方面的研究处于萌芽阶段，主要研究简单活动识别问题，方法采用时频域特征和支持向量机等常用方法。

国内在嵌入式传感器方面，赵洋等提出了基于视频RGB深度特征的3D活动识别[13]。Lin等研究了一种新的基于网络算法的视频活动识别。在穿戴式传感器方面，Wang等基于穿戴式传感器网络提出了连续隐马尔科夫模型的健康监护和活动识别系统[14]。李丹等研究了基于三轴加速度传感器的日常体力活动识别系统设计。国内在智能手机传感器方面，史元春等研究了基于旋转模式的移动设备佩戴位置识别方法[15]。

2.2 活动识别系统的预处理模块

预处理模块功能是将原始传感器数据转换到有利于分类的特征向量。活动识别的预处理方法包括传感器数据融合、特征表示、特征提取和特征选择。活动识别系统的正确率强烈依赖于特征向量。因此提取的特征应该对不同活动差异明显。特征可以采用低级概念表示如信号均值和方差等，也可以采用高级概念表示如从信号塔估计的用户位置。以加速度传感器数据为例，其数学计算的低级概念特征包括均值、标准偏差、方差、四分位差、平均绝对偏差、轴相关性、熵和峰度系数等时域特征，傅里叶变换和离散余弦变换系数等频域特征、主成分分析、线性判别分析和自回归模型系数等其它特征[16]。

Faouzi等研究了活动识别的证据融合方法[17]。实验中构造了智能家居嵌入式传感器采集系统。Dempster-Shafer证据理论及其改进方法是一种处理普适计算的不确定性和不完全性的有效工具。然而在处理高度冲突的活动时，它们的融合规则产生了违反直觉的结果。作者提出了一个新的冲突证据融合方法，增加了活动识别的效率和准确性。作者在真实传感器数据集上进行了验证，活动识别正确率达到78%，结果优于现有的数据融合规则。

Nam等提出了一种合作融合模型用于孩子活动识别，用以防止儿童意外伤害等事故[18]。实验中选择了一些年龄在16至29个月之间的男孩或女孩，并在孩子身体的腰部佩戴了三轴加速度传感器和压力传感器。孩子活动分为11类日常活动，包括扭动、翻滚、站着不动、站起来、坐下来、走路、蹒跚学步、爬行、爬上、爬下、停止。为了识别孩子活动，基于滑动窗技术，计算了信号的时域均值、标准差和斜率等特征，基于快速傅里叶变换计算了信号的频域特性，还计算了信号的能量和自相关特征。将这些特征融合并送入支持向量机分类器，平均活动识别正确率为98.43%。

2.3 活动识别系统的机器学习模块

机器学习模块是指将特征向量和背景知识进行数学建模，并识别用户活动，例如站、坐、走、躺或开车等。机器学习模块是活动识别系统的核心，它包括训练和测试两个过程，测试也称为评估。图1阐明了涉及这个两个过程的常见步骤。训练过程首先需要搜集时间序列数据集，它是从完成每个活动的对象采集的传感器测量属性值所组成的，包括位置数据、加速信号、生理信号和环境信号等。然后对数据进行特征提取包括结构特征和统计特征等，即这些时间序列被划分为时间窗，在每个时间窗内进行特征提取以便过滤原始信号中的相关信息，并定义比较特征的测度。接着基于提取的特征数据集利用学习方法产生活动识别模型。测试过程也是首先搜集数据，然后计算时间窗采集数据的特征向量或特征集合，接着将其送入以前训练好的学习模型中进行评估，识别时间窗对应的活动。

图1 活动识别系统的训练和测试示意图

机器学习方法一般可分为生成式模型和判别式模型。生成式模型指定特征的联合概率密度和被推理的活动类别，然后使用贝叶斯规则计算条件分布对数据进行建模，模型参数通过训练数据的最大似然函数估计得到，最后给定特征的新样本被分类到最大可能的类别中。生成式模型虽然需要更多训练数据，但是它能返回模型值，能提供对基本过程更好的理解。判别式模型仅仅提供了关于特征的活动模型，它通过指定条件概率分布或决策边界进行建模。

机器学习方法从学习角度还可以分为三种：监督学习、非监督学习和半监督学习。大部分活动识别采用了监督学习模型。当数据收集时，每个训练样本的标签都被标记为用户真实的活动。传感器模块和其他输入收集的训练样本首先被转换为特征向量，然后训练监督学习模型，最后测试阶段推断新出现的测试样本的类别。但是标记样本类别是主观的耗时的，甚至会出现错误。显然未标记样本比标记样本更容易获得，因此可采用半监督学习模型即同时利用标记样本和未标记样本进行建模来识别活动模式。非监督学习目的是使用户从标记样本的负担重中完全解放出来，实现没有标记样本和利用标记样本训练识别算法的过程。通过某些距离度量和准则聚类样本，非监督学习模型自动识别活动模式。聚类数目、距离度量、相似性准则是非监督学习的困难问题。

活动识别系统的评估方法主要包括在线活动识别、离线监督活动识别和半监督活动识别等。评估指标包括特异性、敏感性、正确率、F测度、ROC曲线下面积和Kappa系数等。

监督学习模型在活动识别领域应用很广泛[9]。

Zhang等在IEEE PAMI(模式分析与机器智能)中提出了基于间隔时域贝叶斯网络的时域交互模型用于复杂活动识别[19]。复杂活动通常是由在一段时间内并行或连续发生的简单活动组成。理解复杂活动不仅需要识别出每个简单活动，而且更需要捕捉它们在不同的时间间隔的时空依赖性。大多数图模型方法都有几个局限性。首先隐马尔可夫模型(HMMs)和动态贝叶斯网络只能捕获三种时间关系：当时之前的，当时之后的和当时。第二，HMMs是概率有限状态机，状态会随着平行活动数量的增加呈指数级增加。第三，基于句法和描述的方法，尽管其富有时间关系建模的能力，但是没有表达不确定性的能力。为解决这些问题，作者提出了一种新的图模型：间隔时域贝叶斯网络(ITBN) ，并提出了模型结构和参数的学习算法。该模型结合了贝叶斯网络与区间代数，给出了复杂活动随着时间间隔变化的时间依赖关系。实验结果表明，提出的模型用于并行和连续等复杂活动，分类性能显著提高。

Avci等基于远程依赖关系，提出了通过分段模式迭代挖掘方法提高活动识别效果[20]。当前活动识别算法存在的一个主要问题是将传感器数据的远程依赖关系进行融合很困难。作者基于序列模式挖掘提出了新的远程交互方法。新方法的基本原理是数据的远程依赖可以跨度不相同的活动时间段，通过模式匹配覆盖活动时间段，并进行概率模型的学习。实验结果表明带有挖掘模式的传感器数据表示方法能够明显改善连续活动识别算法的结果。

为保证良好分类性能，监督学习模型需要事先标记大量训练样本的类别，但是实际中类别信息难于收集，即使标记也昂贵、耗时。而未标记样本显然比标记样本更容易获得，因此活动识别更需要依赖于半监督和非监督学习模型和方法。

Lee等提出了同时处理未标记和标记样本的混合专家模型用于活动识别系统[21]。一方面，能同时处理未标记和标记样本的半监督学习模型显得很重要。另一方面，考虑复杂活动和不完整传感器数据，多分类器系统应该优于单分类器系统的识别性能。因此作者提出了一种混合专家模型用于半监督学习。

Trabelsi等提出了基于隐马尔科夫模型回归的非监督自动活动识别方法[22]。利用惯性传感器测量的原始加速度数据，作者采用了非监督学习模型识别人类活动。该模型使用多元回归隐马尔科夫模型。当没有活动标签时，该模型使用期望最大化(EM)算法进行非监督学习。实验结果证明新方法的效率优于标准的监督和非监督分类方法。

Bhattacharya等研究了在稀疏编码框架下利用未标记样本的活动识别方法[23]。作者提出了一个稀疏编码框架用于活动识别，首先给出了传感器数据的一个紧凑、稀疏和有意义的特征表示，它不依赖于专家知识，具有跨域泛化性能非常好的优点。基于自学学习范式，自动获得无标记数据的一组过完备基矢量，这样无标记数据就能捕获活动数据中呈现的固有模式。通过将原始传感器数据投影到这种过完备基矢量张成的特征空间，就提取到了有效的特征。基于这些学习到的特征表示，后端分类器仅使用少量的标记训练数据进行训练即可。其次利用无标记样本数据有效自举活动识别，大大降低了为模型估计所需的基本标注。实验中使用了识别任务和传感器类型都不同的两个数据集，一个是移动电话上的交通模式识别任务，另一个是众所周知的“机会数据库”。实验结果表明稀疏编码框架明显优于目前的监督学习模型。作者自称新方法具有跨域和跨传感器的泛化能力，有极大的实用潜力。

3 活动识别研究的新方向

尽管活动识别研究如此丰富，但是实际生活中活动识别系统的应用还很不普及，原因是活动识别还存在一些关键挑战问题：(1)老年人活动识别对于健康监护具有重要意义，但是老年人的活动变形严重，可识别性较差，老年人活动识别系统还有很多挑战性的工作；(2)现有活动识别研究主要关心的是精确识别感兴趣的单用户连续活动或预分割好的传感器活动，然而现实世界环境中往往包含多个用户，每个用户都用自己的方式，没有明确的指示来完成自己的活动，识别多用户并行活动是很有挑战性的工作；(3)一个人完成活动的方式是随时间变化的，例如时间长短变化的活动、复合活动(如打球)、并行活动和重叠活动等复杂活动，目前常用的静态模型仍然难以实现实时连续活动识别。因此越来越多需要建立动态模型来识别这种随时间变化的人类活动。

3.1 老年人活动识别研究

为了帮助老年人保持健康、安全而独立的生活，辅助生活系统可以帮助具有日常活动能力的老年人。对老年人辅助而言，日常活动的自动监护和识别是环境辅助生活中的一个关键挑战。因此需要提供一个模型来建立传感器数据和活动类别间的联系。目前小型、廉价和低功耗的传感器可用于辅助生活，它能根据用户当前的环境和情况提供响应服务。

Chernbumroong等研究了活动识别系统在老年人辅助生活中的应用[24]。使用小型、低成本、非侵入性、非强制的手腕佩戴传感器，作者提出了一种检测老年人日常生活活动(ADLs)的活动识别方法，实验结果表明该方法可以获得了较高的分类率(> 90%)，统计假设检验也支持这么高的分类结果。同时作者证明温度传感器、数据测高传感器和加速度传感器的数据融合，可以明显提高分类精度。

Magherini等研究了基于时域逻辑和模型检测的自动识别人类活动的方法，并用于周围环境辅助生活或居家生活协助[25]。作者提出了时序逻辑和模型检测来实时自动识别智能厨房中老年人完成的不同类型ADLs，实验结果证明了方法的有效性和可行性。

Khan等研究了基于R变换和核判别分析的分层异常活动识别系统并用于老年人健康监护[26]。分层系统的第一级识别活动组，第二级从上一级的活动组中识别具体的活动。这种分层方法有助于提高识别率，尤其对于高度相似的活动。实验包括6个异常活动：向后跌倒、向前跌倒、胸痛、头痛、呕吐、昏厥和正常活动步行，结果达到平均97.1%的识别率。

3.2 多人活动识别研究

从传感器数据中识别多人活动是普适计算重要和富有挑战性的研究课题。目前活动识别主要关心的是精确识别单用户连续活动或预分割的离散活动，然而现实世界环境中往往包含多个用户，同时每个用户用自己的方式，没有明确的指示进行活动，识别用户的并行活动是很有挑战性的工作。此外，集体活动是由多个人员完成的活动，如排队、一起说话和一起等在一个十字路口，通常很难从这些活动中分割出只允许一个人出现的活动。

Kaneko等提出了一个用于视频图像中集体活动识别的新的全连接模型[27]。作者指出最近研究提出的模型能够利用附近的其他人的上下文信息，然而这些模型没有充分考虑一组人群的时空一致性(如仅考虑邻近区域的一致性)，因此它们无法有效处理临时错误分类。作者提出的全连接模型能很好地识别集体活动。

Ye等提出了一种用于并行活动识别的知识驱动方法[28]。基于一年收集的大规模现实世界的传感器数据集，包括280万个样本，作者提出了一种用于识别并行活动的新的知识方法，识别正确率达91%。

3.3 实时活动识别研究

实时活动识别，也称为在线活动识别或连续活动识别。由于普适计算、移动计算、智能环境和环境辅助生活的发展，导致了无线网络和非入侵性传感器的发展，它们都能捕捉用户的活动信息，使得活动识别系统和算法取得了实质性的进展。但是活动识别方法大都在和活动相关的预分割好的传感器活动序列上进行分析，它仍然难以实现实时活动识别。

Krishnan等研究了基于滑动窗方法的实时或流数据的活动识别[29]，而且提出并评估了一种用来以在线或流方式完成活动识别的滑动窗方法。考虑到不同活动应该占用不同的传感器时间窗长度，作者提出将时间延迟和传感器数据的互信息权重整合在一个时间窗内。以前活动和以前时间窗信息作为额外特征添加到当前传感器时间窗的特征中，当传感器的新数据被采集后就能识别出相应的活动。实验结果证明了作者的想法。

Okeyo等研究了知识驱动的实时活动识别中动态传感器数据分割问题，提出了可变时间窗的概念[30]，而且基于不同时间窗概念的动态分割模型，提出了一种实时分割连续活动传感器数据的新方式，该方式不但使用传感器数据和活动状态的时间信息，还能够能够缩小和扩大时间窗。

Tasoulis等研究了基于传感器流数据挖掘实时运动识别的统计数据的方法，该方法可用于辅助环境中的活动识别和跌倒识别[31]。在进行独立生活在家中的老年人或残疾人的活动识别或紧急事件检测上，研究者常常对人体运动数据分析感兴趣。基于用户的运动、音频和视频传感器以及可穿戴传感器和安装在周围环境中的设备，研究者提出了一些用来识别这种窘迫情况的方法。作者构建了一个活动检测系统，它可以检测跌倒和伤害等紧急情况。作者使用顶置相机从用户环境中捕捉视频数据，使用加速度传感器从用户搜集运动数据，并传递给活动检测系统。由于这些传感器的输出是数据流，这样在紧急情况下就需要实时识别。作者提出了一种基于统计的数据挖掘方法，并用于真实活动的流数据处理。

4 活动识别实验

Anguita等采集智能手机传感器数据，利用硬件友好的多类支持向量机方法进行日常生活活动识别[32]。这对失能或老年人的日常活动监护具有重要意义。日常活动数据集可以从UCI网站下载，数据集实验结果采自30个19到48岁的志愿者，每人进行6次实验。所有人在执行活动之前都要将智能手机放在腰部。为了方便进行数据标签，实验进行了视频录制。实验采用三星Galaxy S2手机作为终端，因为内置了用于测量3维线性加速度和角速度的加速度计和陀螺仪，其采样频率为50Hz，这对于捕捉人体运动十分有效。作者采用了上楼和下楼两个活动类，其训练集分别为986个样本和1073个样本，测试集分别为420个样本和471个样本，变量维数都是561，由采集传感器信号的时域和频域特征组成。常用机器学习模型的实验结果见表2。从表2中看出，考虑了变量选择和变量交互的分层交互Lasso分类结果最好，训练时间和测试时间都较少。

5 结 论

本文综述了智能健康监护和普适计算中的活动识别的研究现状。从活动定义、传感器模型、预处理模型到机器学习模型都给出了详细的论述，尤其详细给出了活动识别研究现状，重点给出了传感器、预处理和机器学习的研究现状，最后给出了老年人活动识别、多人活动识别和实时活动识别等难点问题。 活动识别现在被认为是一个独立的研究方向，但仍有许多关键挑战问题需要解决，如果解决了将在人们与移动设备交互的方式上产生重大转变，将在老年人健康监护的投入方面减轻巨大的社会和经济负担。

表2 人类活动识别的实验结果

[1] Kim E, Helall S, Cook D. Human activity recognition and pattern discovery.IEEEPervasiveComputing, 2010, 9(1): 48-53

[2] Yurur O, Liu C, Moreno W. A survey of context-aware middleware designs for human activity recognition.IEEECommunicationsMagazine, 2014, 52(6):24-31

[3] Acampora G, Cook D J, Rashidi P, et al. A survey on ambient intelligence in healthcare.ProceedingsoftheIEEE, 2013, 101(12): 2470-2494

[4] Rashidi P, Mihailidis A. A survey on ambient-assisted living tools for older adults.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(3): 579-590

[5] Roggen D, Troster G, Lukowicz P, et al. Opportunistic human activity and context recognition.Computer, 2013, 46(2): 36-45

[6] Foerster F, Smeja M, Fahrenberg J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.ComputersinHumanBehavior, 1999, 15(5): 571-583

[7] Lara O D, Labrador M A. A survey on human activity recognition using wearable sensors.IEEECommunicationsSurveys&Tutorials, 2013, 15(3): 1192-1209

[8] Bulling A, Blanke U, Schiele B. A tutorial on human activity recognition using body-worn inertial sensors.ACMComputingSurveys, 2014, 46(3): 1-33

[9] Dalton A, OLaighin G. Comparing supervised learning techniques on the task of physical activity recognition.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(1): 46-52

[10] Chaquet J M, Carmona E J, Antonio F M. A survey of video datasets for human action and activity recognition.ComputerVisionandImageUnderstanding, 2013, 117(6): 633-659

[11] Chavarriaga R, Sagha H, Calatroni A, et al. The opportunity challenge: A benchmark database for on-body sensor-based activity recognition.PatternRecognitionLetters, 2013, 34(15): 2033-2042

[12] Incel O D, Kose M, Ersoy C. A review and taxonomy of activity recognition on mobile phones.BioNanoScience, 2013,3(2): 145-171

[13] 赵洋, Liu Z C, 程洪. 基于RGB深度特征的3D人体活动识别(英文). 中国通信,2013,10(7): 93-103

[14] Wang Z, Zhao C, Qiu S. A system of human vital signs monitoring and activity recognition based on body sensor network.SensorReview, 2014, 34(1): 42-50

[15] 时岳, 喻纯, 史元春. 基于旋转模式的移动设备佩戴位置识别方法. 软件学报, 2013,24(8): 1898-1908

[16] Fang H Q, Chen L, Srinivasan R. Influence of time and length size feature selections for human activity sequences recognition.ISATransactions, 2014, 53(1): 134-140

[17] Faouzi S, Abdelghani C, Yacine A. An evidential fusion approach for activity recognition in ambient intelligence environments.RoboticsandAutonomousSystems, 2013, 61(11): 1235-1245

[18] Nam Y Y, Jung W P. Child activity recognition based on cooperative fusion model of a triaxial accelerometer and a barometric pressure sensor.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(2): 420-426

[19] Zhang Y M, Zhang Y F, Swears E. Modeling temporal interactions with interval temporal bayesian networks for complex activity recognition.IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013, 35(10): 2468- 2483

[20] Avci U, Passerini A. Improving activity recognition by segmental pattern mining.IEEETransactionsonKnowledgeandDataEngineering, 2014, 26(4): 889-902

[21] Lee Y S, Cho S B. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data.Neurocomputing, 2014, 126(1): 106-115

[22] Trabelsi D, Mohammed S, Chamroukhi F, et al. An unsupervised approach for automatic activity recognition based on hidden Markov model regression.IEEETransactionsonAutomationScienceandEngineering, 2013, 10(3): 829-835

[23] Bhattacharya S, Nurmi P, Hammerla N, et al. Using unlabeled data in a sparse-coding framework for human activity recognition.PervasiveandMobileComputing, 2014, 15(1): 242-262

[24] Chernbumroong S, Cang S, Atkins A, et al. Elderly activities recognition and classification for applications in assisted living.ExpertSystemswithApplications, 2013, 40(5): 1662-1674

[25] Magherini T, Fantechi A, Nugent C D, et al. Using temporal logic and model checking in automated recognition of human activities for ambient-assisted living.IEEETransactionsonHuman-MachineSystems, 2013, 43(6): 509-521

[26] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care.Computing, 2013, 95(2): 109-127

[27] Kaneko T, Shimosaka M, Odashima S, et al. A fully connected model for consistent collective activity recognition in videos.PatternRecognitionLetters, 2014, 43(1): 109-118

[28] Ye J, Stevenson G, Dobson S. KCAR: A knowledge-driven approach for concurrent activity recognition.PervasiveandMobileComputing, 2014, 19(1): 47-70

[29] Krishnan N C, Cook D J. Activity recognition on streaming sensor data.PervasiveandMobileComputing, 2014, 10(2): 138-154

[30] Okeyo G, Chen L M, Wang H. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition.PervasiveandMobileComputing, 2014, 10(2): 155-172

[31] Tasoulis S K, Doukas C N, Plagianakos V P, et al. Statistical data mining of streaming motion data for activity and fall recognition in assistive environments.Neurocomputing, 2013, 107 (1): 87-96

[32] Anguita D, Ghio A, Oneto L, et al. Human activity recognition on smartphones using a multiclass hardware-friendly support vector machine. In: Proceedings of the International Workshop of Ambient Assisted Living (IWAAL 2012), Vitoria-Gasteiz, Spain, 2012. 216-223

Review of human activity recognition using sensor data

Wang Jinjia*， Kong Deming**， Liu Jianbo***, Wang Xiaomin***， Hong Wenxue*****

(*School of Information Science and Engineer, Yanshan University, Qinhuangdao 066004) (**Institute of Electrical Engineering, Yanshan University, Qinhuangdao 066004) (***Northeastern University at Qinhuangdao, Qinhuangdao 066004)

The definition of activity recognition is given, and the significallce of activity recognition to intelligent healthcare and elderly healthcare is interpreted. The main parts of an activity recognition system based on sensors are described, and the corresponding techniques of sensor data sampling, data preprocessing and machine learning, as well as their developments, are reviewed in detail. The review points out that elderly activity recognition, collective activity recognition and real-time activity recognition are the possible directions of future activity recognition research, the research on activity recognition is an important and challenging research topic in pervasive computing, and building reliable activity recognition systems to deal with complex real-life situations and environments is still a challenge, which requires a multi-disciplinary effort.

activity recognition, intelligent healthcare, multi-sensor, data fusion, mobile sensing

10.3772/j.issn.1002-0470.2016.02.013

①国家自然科学基金(61273019， 61473339)，河北自然科学基金(F2013203368， F2014501046)，中国博士后科学基金(2014M561202)，河北省博士后专项(B2014010005)和首批“河北省青年拔尖人才”(2013-17)资助项目。

2015-07-10)

②男，1978年生，博士，教授；研究方向：传感器信号处理和模式识别；联系人，E-mail: wjj@ysu.edu.cn