基于智能手机传感器和SC-HMM算法的行为识别

孙冰怡,吕 巍,李文洋

(吉林大学 计算机科学与技术学院,长春 130012)

大部分智能手机都有记录声音、影像和位置等功能,其中的应用程序可通过多感官数据流实现情景感知服务、健康监测和生活记录.生活记录是一个漫长的过程,它通过用户佩戴特定设备收集感知数据,并将其存储于表格中以便后期浏览、注释和查询[1-2].如果生活记录系统能从低层次的感官数据流中识别出高级别的用户经历,且无需用户手动注释大量的数据,则将十分有意义.为捕捉用户的日常经历,本文提出一个生活记录系统,用手机收集多感官数据流,并为日常活动自动标注高级标签.

自动注释在嵌入式、手机系统、传感器网络、多媒体、智能系统和机器学习等领域应用广泛,且与行为识别紧密相联[3-4].传统行为识别研究大部分使用定制的贴身传感器和嵌入式系统[5],或使用外接传感器如监视照相机/麦克风、object-attached传感器和RFID标签[6]等.目前,人们开始关注使用智能手机平台[7],它能从用户每天不间断的日常活动中收集到自然数据.产生这样环境的活动范围十分广泛,用户通过控制环境执行动作的原子集,如姿势/运动类型(坐、卧、行走、跑步、站立、上/下楼梯等).

本文在获取智能手机传感器信号的基础上,提出一种新的行为识别算法SC-HMM,该算法的整体框架如图1所示.先使用谱聚类算法对各类手机传感数据的时序序列进行聚类,然后对聚类结果训练HMM模型,以实现行为的自动识别.本文利用自愿者42天的记录评估SC-HMM方法,并对比了多种相关方法,实验结果表明本文算法性能良好.

图1 SC-HMM算法的框架流程Fig.1 Flow chart of the framework for SC-HMM algorithm

1 手机传感器的数据采集

在数据采集过程中,通过智能手机应用程序可获得如下时序序列：

V={V1,V2,…,VT},

(1)

其中:T为采样次数;Vt为t时刻的采集信息,表示如下：

Vt=(at,Pst,rssit),

(2)

式中:at表示加速度;Pst表示位置信息;rssit表示接收的信号强度指示.

对于加速度a,由于通过手机得到的采样数据是随时间变化的不连续数据,因此本文只选取连续的数据集进行实验,实际速率在实验可接受的范围内.采用Freescale的MMA7455L三轴加速度传感器,其具有调理信号、低通滤波、检测脉冲和快速运动的功能,最大采样为16 Hz,2.4～3.6 V的电压适合于在手机运动检测中应用.文献[8]对行为识别进行了时序特性(均值、方差、过零率和自相关等),特别是频域特性(FFT谱熵等)的研究.本文也将3个轴的加速信号进行样本处理,将波形从时域信号变换到频域信号,实验选取16个样本,最终获得27维原始特征序列.

GPS(global positioning system)主要利用多个卫星对协作配合的接收器节点进行定位,可得到较高的地理坐标定位,但GPS目前针对室内或有密度较大遮挡物的位置很难定位,因此本文将盲区内的信号视为丢失数据,得到的GPS坐标为

Pst=(Xst,Yst).

(3)

本文还采用RSSI(received signal strength indicator)技术定位,将接收到的信号通过强弱的测定判断信号点与接受点的距离.RSSI技术是在反向通道基带接收滤波后进行的.在定位前,根据经验模型先选择若干个测试点,记录每个测试点基站收到信号的强度,并建立离散线性数据库集(x,y,t1,t2,t3,t4,t5),实际定位中,通过智能手机应用程序获得

rssit=(th1,th2,th3,th4,th5),

(4)

其中thi(i∈[1,5])信号按从小到大顺序减弱,依次记录每个点的位置和信号强度.将测得信号与实际定位信号进行比较,将均方差最小点的坐标作为节点坐标,并获取WIFI热点名称N.

将上述采集的数据Vt=(at,Pst,rssit)作为将要进行谱聚类时的数据集合V={V1,V2,…,Vn}的子集.

2 谱聚类算法

数据采集后,即形成一个活动时间序列数据库,可将这些活动序列聚成几个组,通过聚类等无监督方式学习这些活动序列.为获得无监督学习活动时间序列,本文检测时间序列间的相似性并采用聚类算法.

2.1 LCSS序列距离

活动时间序列的长度并不一定相等,其依赖于活动属性.尽管相同的活动,时间序列也未必相等,因为状态的持续时间、速度和采样频率不同.为了度量两个活动时间序列Vi和Vj的相似度,即需要对不等长的Vs距离度量.

最长公共总序列(longest common subsequence,LCSS)[9]对不等长的时间序列是个有效的距离度量工具,LCSS对噪声健壮且可进一步处理异常.行为时间序列的LCSS距离为

(5)

其中:Ti和Tj分别为两个活动时间序列的长度;LCSS(Vi,Vj)为Vi和Vj之间匹配点的数量.LCSS定义为

(6)

可通过动态规划有效地计算匹配点在一定的距离参数ε和可接受的时间窗口δ之内.

2.2 谱聚类

谱聚类可有效地计算,并比传统聚类算法提高了性能.谱方法不需在数据点分布上做任何假设,而依赖于近似优先图划分相似矩阵的特征分解.对活动时间序列的谱聚类算法如下.

算法1活动时间序列的谱聚类.

1) 构造相似图S={sij};

2) 计算正规化的Laplace矩阵L=I-D-1/2SD-1/2;

3) 计算L的前K个特征向量;

4) 令U∈N×K为由特征向量作为列构造的正规化矩阵;

5) 用k均值对U的行进行聚类.

用Gauss核函数由LCSS活动时间序列构造相似矩阵S={sij},表示完全连接图的相邻矩阵:

(7)

其中参数σ描述活动时间序列的相邻,σ值越大活动时间序列有越高的相似值,同时σ值越小会产生一个更稀疏的相似矩阵.从相邻矩阵形成Laplace矩阵:

L=I-D-1/2SD-1/2,

(8)

其中D表示S中相同行元素之和的对角矩阵.由L的前K个特征向量作为列构成一个新的N×K矩阵U.U的每行作为训练活动时间序列V的一个新特征向量表示,用k-means将活动时间序列聚成K个相似活动时间序列组.

3 基于HMM的动作识别

有监督活动学习系统大多数用HMM(hidden Markov model)作为分类器.本文对行为的分类也采用HMM模型进行学习分类.图2为HMM模型用于手机行为识别的一个实例.一个HMM模型可表示为λ=(A,B,π0),其中:λ表示时间序列V作为观察值的活动模型;A表示状态转移概率矩阵；B表示观察概率分布；π0表示初始状态分布.HMM模型由以下参数[10]决定.

图2 HMM应用于智能手机行为识别实例Fig.2 Example of HMM applied in activity recognition of smart phone

1) 模型的状态数Q.为方便,Q是固定的,但估计一个合适的数是可能的;

2)Q×Q状态转移概率矩阵A={aij},其中

aij=p(qt+1|qt);

(9)

3) 观察概率分布B=bj(f),其中

bj(f)=G(f,μj,Σj)

(10)

表示每个j=1,2,…,Q状态的未知均值μj和方差Σj的Gauss流f分布;

4) 初始状态分布π0={πj}有

πj=p(q1=j).

(11)

对每个k=1,2,…,K(K是谱聚类得出的类个数)行为表示为λk=(Ak,Bk,π0),其中π0对每个行为有

(12)

其中C是保证有效概率的归一化常数.该定义允许行为开始于任意状态.αp的选择不严格,只要对每个状态有非零概率即可.

4 实验结果与分析

4.1 实验数据

实验采用真实的传感器数据评估本文系统.从平时携带智能手机的自愿者中收集生活记录,这些生活记录提供了实验用的数据及标签.共获得195 h,连续42 d的多传感器记录数据集合.在42 d中共收集自定义片段390张,平均每天收集9.3个片段,其中每个片段上的时间节点都包含加速度、GPS和RSSI等信息,且每个片段均对应一个日常动作的标签.该数据集合共包含行走、站立、跑步、上楼、下楼、乘上行电梯和乘下行电梯等在内的7个日常动作.

4.2 实验结果

为有效地评估本文方法,在实验中对比了一些常用的行为方法,包括SVM(支持向量机)[11]、CRF(条件随机场)[11]和SVM-HMM(支持向量机隐Markov)[12].

采用十折交叉验证的方式计算每种方法下各类别的分类精度.先将实验数据集随机分为10个大小相同的子集,依次选择其中1个子集作为测试数据集,剩下的9个子集作为训练集,并计算正确识别率.共执行10次,并将10次获得的平均正确率作为最终分类精度.

表1列出了不同识别方法得到的分类精度.由表1可见,本文提出的基于SC-HMM的日常动作识别方法具有最高的识别正确率,平均高达93.48%,其中在“跑步”、“乘上行电梯”和“乘下行电梯”等3个类中的分类精度均超过97%.而其他几种方法中,SVM-HMM的效果最好,平均接近92.94%,但其区分“上下楼”和“乘上下行电梯”时表现不理想.实验结果表明,本文提取的手机传感器的加速度、GPS和RSSI信息能有效反应用户的行为特征,如“乘电梯”这个行为获得的RSSI信号要远小于其他类别的信号,这对于实现正确的识别具有显著作用.此外,本文提出的基于SC-HMM的日常动作识别方法也能有效挖掘不同时间片段间的关联性,从而有效提高动作识别的正确率.

表1 不同方法的分类精度Table 1 Classification accuracy of different methods

综上所述,本文在智能手机传感器信号的基础上,提出了基于谱聚类和HMM算法的行为识别方法,该方法能有效地挖掘不同传感器信号间的关联,提高行为识别的正确率.以真实的用户智能手机数据集进行了实验,并对比了多种相关方法.实验结果表明,本文方法在7个日常动作识别中能取得较好的的分类精度(平均0.934 8),均高于其他方法.

[1] Hamm J,Stone B,Belkin M,et al.Automatic Annotation of Daily Activity from Smartphone-Based Multisensory Streams [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2013:328-342.

[2] Chennuru S,CHEN Peng-wen,ZHU Jiang,et al.Mobile Lifelogger-Recording,Indexing,and Understanding a Mobile User’s Life [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2012:263-281.

[3] HU Hong-yu,WANG Qing-nian,QU Zhao-wei,et al.Spatial Pattern Recognition and Abnormal Traffic Behavior Detection of Moving Object [J].Journal of Jilin University:Engineering and Technology Edition,2011,41(6):1598-1602.(胡宏宇,王庆年,曲昭伟,等.运动目标空间模式辨识与异常交通行为检测 [J].吉林大学学报:工学版,2011,41(6):1598-1602.)

[4] YIN Jian-qin,WANG Jing-jing,LI Jin-ping.New Space-Time Interest Point Detection Scheme Based on Cumulative Entropy Difference [J].Journal of Jilin University:Engineering and Technology Edition,2012,42(3):754-758.(伊建芹,王晶晶,李金屏.新的时空特征点检测方法 [J].吉林大学学报:工学版,2012,42(3)：754-758.)

[5] Altun K,Barshan B.Human Activity Recognition Using Inertial/Magnetic Sensor Units [C]//Human Behavior Understanding.Berlin:Springer,2010:38-51.

[6] GU Tao,WANG Liang,WU Zhan-qing,et al.A Pattern Mining Approach to Sensor-Based Human Activity Recognition [J].IEEE Transactions on Knowledge and Data Engineering,2011,23(9):1359-1372.

[7] Bieber G,Voskamp J,Urban B.Activity Recognition for Everyday Life on Mobile Phones [C]//Universal Access in Human-Computer Interaction.Intelligent and Ubiquitous Interaction Environments.Berlin:Springer,2009:289-296.

[8] Lester J,Choudhury T,Borriello G.A Practical Approach to Recognizing Physical Activities [C]//PERVA SIVE’06 Proceedings of the 4th International Conference on Pervasive Computing.Berlin:Springer,2006:1-16.

[9] Cormen T H,Leiserson C E,Rivest R L.Introduction to Algorithms [M].Cambridge:MIT Press,1990.

[10] Morris B T,Trivedi M M.Trajectory Learning for Activity Understanding:Unsupervised,Multilevel,and Long-Term Adaptive Approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2287-2301.

[11] Lafferty J D,McCallum A,Pereira F C N.Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data [C]//Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco:Morgan Kaufmann Publishers Inc，2001:282-289.

[12] Altun Y,Tsochantaridis I,Hofmann T.Hidden Markov Support Vector Machines [C]//Proceedings of the Twentieth International Conference of Machine Learning (ICML 2003).Washington DC:AAAI Press,2003:3-10.

(责任编辑：韩 啸)

研究简报