智能空间中基于场景和本体的用户异常活动识别

徐守坤，李安娜，石 林

(常州大学 信息科学与工程学院，江苏 常州 213164)

智能空间中基于场景和本体的用户异常活动识别

徐守坤，李安娜，石 林

(常州大学 信息科学与工程学院，江苏 常州 213164)

大多数基于传感器和本体的异常活动识别研究仅考虑动作本身是否具有危险性或异常性，认为任何偏离日常活动的模型都是异常，针对可能导致的漏判或误判，提出考虑场景语义，同时加入用户本身情况因素;采集日常生活活动数据，建立相应的本体库，另外加入4种已确定的异常活动，对异常活动进行更丰富的识别;经过实验验证，异常活动识别准确率有明显提高。

场景；本体；异常活动识别

0 引言

智能空间中人的异常活动识别近年来得到众多学者的关注[1-4]。活动识别研究方法主要有两类：视频识别[5-7]和可穿戴识别。视频识别因涉及用户隐私而受到限制，可穿戴识别是指利用智能空间中分布的很多传感器，加上用户可能佩戴穿戴式传感器设备，运用数据挖掘和机器学习技术建立活动模型。Tong Y[8]等基于隐藏状态的条件随机域设计两种算法识别“遗忘”和“新的活动”，实验结果优于特征向量距离的异常活动识别，同时验证考虑子活动关系的建模和基础相关性有助于异常活动识别。Gayathri K S[9]等使用一种新的混合数据和知识驱动的分层方法，集成常识知识与概率模型的Markov Logic Network(MLN)增强识别能力，系统还确定影响异常检测最相关的因素。Wang C[10]等首先通过时间依赖性的频繁模式挖掘算法找到正常的活动模式，其次传感器节点运用分布式知识存储机制，最后触发的传感器采用分布式异常检测算法，通过计算当前活动模式与正常活动模式的相似性进行比较。

在基于本体的语义识别上，Rodríguez N D[11]等使用一个模糊本体代表人体活动，对模糊、不完整和不确定的知识进行建模和推理，以及可以不精准和生活化的查询。Okeyo G[12]等介绍一种动态的分割模型解决传感器数据实时分割，并且描述知识驱动人体活动本体识别背景下的工作机制与相关模型的算法。Chen L[13]等介绍一种通过增量活动发现和配置文件学习的混合方法和推理规则学习新的活动和用户活动概要，结合基于传统数据挖掘活动建模与基于本体显式活动模型的优势。采集日常生活活动数据时，异常活动发生的概率较正常活动而言很低，因此用于实验研究的异常活动数据一直不足。大多数基于传感器[14]和本体的异常活动识别研究仅考虑动作本身是否具有危险性或异常性，认为任何偏离日常活动的模型都是异常，但由于忽略场景语义，即相关上下文信息，甚至没有考虑用户本身情况，可能导致漏判或误判。在场景识别过程中，传感器满足触发条件后才会激活，例如随时间推移或位置改变，传感器检测到当前活动与上一持续时间或位置的活动有明显变化，或是比对当前活动与历史记录活动的差异，从而实现场景实时动态检测。根据这一问题，就基于场景的异常活动识别进行研究。

1 活动和场景

1.1 活动

可穿戴传感器测量用户的运动数据，得知相应行为。活动(Activity)指用户当前时间段的行为，从活动是否异常的属性可分为两类：非异常活动(NonAbnormalActivity)与警告活动(WarningActivity)；非异常活动例如：走(Walking)，跑(Running)，跳(Jumping)，蹲(Squatting)，站(Standing)，坐(Sitting)，躺/卧(Lying)，趴(Groveling)，俯身/弯腰(BendOver)，翻身/转身(Turning)，上楼梯(ComeUpstairs),下楼梯(GoDownstairs)等。警告活动例如：跌倒(Falling)，头痛(Headache)，呕吐(Vomiting)，昏厥(Fainting)等。活动类如图1所示。从活动的复杂程度也可分为两类：简单活动和复杂活动，复杂活动是多个简单活动的组合表达，于是仍从简单活动角度进行分析，但不利于判断活动是否异常。因此，活动是分析场景信息的基础，场景分析被触发在异常动作转变的动态活动或时间超限时。

1.2 场景

日常生活活动(ADL，Activities of Daily Living)是有多样性的，包括时间、空间和环境上下文。时间上下文表明时刻和持续时间，通过计时器知道确定时间信息。空间上下文与位置信息和环境实体相关，例如房间、家具和家电，不同房间、家具和家电的传感器编号不同，每间房的位置传感器都能知道用户位置，接触式传感器能检测到门窗是否打开或家具是否被使用，设备传感器能检测到家电是否开启。设备类如图2所示，传感器概念模型如图3所示，空间位置本体如图4所示。环境上下文包括温度、湿度和天气等环境信息，传感器种类不同，可测得相应所需环境数据。

场景(Scenario)关联ADL上下文信息，表示为：S={T,L,E,A}，其中，T代表时间上下文，L代表空间上下文，E代表环境上下文，A代表当前用户所进行的活动。场景属性如图5所示。每个概念都有很多实例，例如家具可以分为沙发，饭桌，椅子，书桌，床，柜子等。

1.3 场景划分

通过深化设计+图纸的策划应用，实现幕墙工程深化设计策划书以及专业的图纸的最优化，切实的保障后续开工的顺利进行。

Sik= {Lik,Tjk,Enk,Amk},Uik=S1∪S2∪…∪Si∪Se,其中Se指的是特殊场景。

场景划分是针对特定空间L、特定时间T和特定环境E,可能发生的活动A进行分类，建立相应本体库。

图4 空间位置本体(OntoGraf图)

(1)用户活动的空间L划分为若干个空间区域：L= {L1，L2，L3......}。例如卧室命名为L1,客厅命名为L2,厨房命名为L3等。

(2)环境上下文信息分为若干：E={E1,E2,E3……}，例如温度命名为E1、湿度命名为E2、天气命名为E3等。

(3)用户在不同的时间段在同一区域中会有不同的活动，因此需要将每一天划分为具体的时间段T= {T1,T2,T3......}。

(4)将用户在同一区域中不同时间段的活动划分为不同场景，S1= {L1,T1,E1,A1},S2= {L2,T2,E2,A2},S3= {L3,T3,E3,A3}, ......,Sik= {Lik,Tjk,Enk,Amk}

(5)本体库中场景除此之外还包含附加特殊场景，例如用户习惯变化。

2 建模和推理

2.1 智能空间本体建模

人体活动本体建模是通过本体语言描述人体活动的形式化语义，每个活动被定义为抽象活动类的特别化。活动安排是以分层的方式，例如一天的活动可以表现为多个事件的组合，本体推理是用来识别用户正在进行一个特定的活动。检测到场景信息的变化后，推理机开始工作。本体的基础组件是可以查找到智能空间中的位置坐标(如用户在什么地方)、设备和环境对应的语义，推理组件是识别用户活动，并提供相应的合适的服务。

图1 活动类 图2 设备类

图3 传感器概念模型图

图5 场景属性 图6 用户类

2.2 人的建模

用户本体模型是活动识别的重要组成部分，对活动识别的精准和预测有关键影响。用户模型如图6所示，包括用户姓名、性别、年龄等基本属性，也包含用户相关上下文信息，如用户位置、心跳、脉搏、血压、体温、心情等。在开始对用户当前场景进行识别之前，就需要对用户进行建模作为附加属性，如病史、用户偏好、生活方式。

2.3 推理规则的建立

语义推理机、推理引擎、规则引擎或者是简单的推理机，是一种忠于事实或公理的可推理逻辑序列的软件。语义推理机的概念归纳为推理引擎，提供一个更丰富的机制。变化检测组件比较当前时间窗口的上下文情况与以前的时间窗口的上下文情况。如果当前上下文情况不同于以往情况，推理组件开始工作。其次，服务管理组件根据推理结果调用服务或发送消息。

OWL概念表示出来后，执行引擎就会进行推理。ADL规则建立后，新的实例就会添加到实例库。那些实例将来可以用来进一步推断。当推理完成后，这些实例必须被转化为OWL知识。基于不同用户扩展最初的本体库，记录相关的正常场景和异常场景，当有新的场景出现，与本体库中的正常场景有部分出入时，可以根据推理规则作出相应调整。

Jena推理机的语法构造规则是，Rule: (xpart ofy),(zpart ofy) → (xborderz)。可以理解为，如果前提得到满足，则可以执行相应动作或者得出结论。

“躺在床上”中定义的“躺”是这样的：

(? user location: locatedIn ? Bedroom),(? Bed eneObject: isOccupied ? true) → (? user activity: engageIn ? Lying)

只要满足活动“躺下”和“闹钟响”这两个条件，就可以推理出用户起床。

[rule1: (? user: hasActivity ? b),(? b rdf: hasState act:? Lying),(? SleepingAlarm eleObject: isOn ? true) →(?user rdf: ? GettingupInBedroom) ]

2.4 异常活动识别

仅凭动作判断异常是不准确的，提高准确率需要场景信息，记录传感器采集的数据，在用户活动时不判断当前是否异常，只在异常被触发后才进行判断。有以下两种情况触发：第一种，当出现异常的简单动作，如跌倒、昏厥、呕吐等，就开始判断当前活动是否真的异常。第二种，当出现时间异常的特定活动时，例如躺，则需要进一步判断是否新习惯。一旦发现异常动作，场景语义分析相应开展，首先判断是否是用户习惯，需要向前回溯几个场景，即采集的之前场景连续数据，如果是习惯，则并不认定异常。然后，如果并非习惯，则需要检测对比上下文信息，如果出现异常，即可认定当前活动为异常。流程图如图7所示。

图7 异常活动判断流程图

3 实验及验证

研究异常场景的意义所在：涉及到用户的健康、心理变化，能够及时、贴心地关注用户的日常起居。根据智能空间中的采集到的传感器信息，记录当前用户的日常生活习惯，并记录主要推理重点，以4个异常活动为例：跌倒、头痛、呕吐、昏厥，以12个地点为例，记录时长一个月。

在实验环境的不同位置部署63个传感器，包括温度传感器、压力传感器、位移传感器等。实验测试以Eclipse为开发平台，采用protégé实现本体建模，用Jena进行语义场景本体推理。用户交互界面包含两个模块，显示传感器记录的数据、身体体征指数等相关信息模块和对用户所处场景的推理结果显示模块。首先要记录从传感器读取的数据，同时包括传感器获得的其他附件信息(主要是用户的生命体征信息等)，基本的活动场景信息稍后进行推理得到，判断当前正在发生的场景是否异常，最后将推理得到的结果显示在测试界面上。

参与测试的3位用户进行9个场景测试，其中测试1是早上在卧室起床和早上起床时间段内昏厥在卧室场景。测试2是中午在书房休息、晚上躺在厨房地板上。测试3是在客厅沙发上看电视、躺在客厅沙发上但生命体征指数不正常。其中测试1里起床的场景中的基本要素在场景本体库中已经定义，如用户一般的起床时间、场景发生的地点、用户的动作信息可以从传感器获得、卧室中灯是否开启等环境信息也可以从相关传感器中获得。首先从动作发生的时间和地点等信息去场景本体库中初步匹配符合条件的场景信息，然后通过从传感器获得的动作信息进行语义推理最终匹配到测试1正常的场景，在界面上显示出用户此时动作行为正常。同样的过程，当用户在起床后昏厥在卧室地板上时，根据此时动作发生的位置和时间首先对发生的本体库中发生在卧室的场景进行匹配。根据从传感器中获取的数据信息进行语义推理，发现用户此时躺在卧室地板上。针对这一动作匹配上面满足条件的场景本体。实验过程中在本体库中无法匹配到对应本体。同时根据此时测试1的用户身体体征等外部信息最终判定用户处于异常状态。实验结果如表1所示。

表1 场景识别准确率 %

另外，为确认场景识别的时间效率，对3位用户进行“躺在厨房地上”场景识别的测试，文献[15]中提出的HDP-HMM模型可以自动决定适当数量的状态，采用Fisher核混合OCSVM模型，并且同HMM数据训练法进行比对，如图8所示。从测试结果中可以看出，场景在识别的过程中可以首先根据客户所处的位置信息、动作发生的时间信息进行初步判断，缩小后续识别的范围。实验结果表明基于场景的本体匹配可以很好的提高识别的效率。相较于HMM数据训练法，HMM需要大量的数据采集成本，因而，随实验对象人数的增加，HMM的识别时间要远远高于基于场景本体的识别时间。

图8 实验分析

4 总结

识别方法由两部分组成：智能家居ADL模式管理和异常场景识别。未来改进的重点将是找到更加完善的异常识别方法，结合使用方法的泛化能力。根据用户行为改变，若判断为习惯发生变化，判断当前活动是否异常，如果正常，根据具体情况修改之前所建附加内容，建立用户反馈，增加判断异常的容错能力。

[1] Gu X, Cui J, Zhu Q. Abnormal crowd behavior detection by using the particle entropy[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(14): 3428-3433.

[2] Fang H, He L, Si H, et al. Human activity recognition based on feature selection in smart home using back-propagation algorithm[J]. ISA transactions, 2014, 53(5): 1629-1638.

[3] Candás J L C, Peláez V, López G, et al. An automatic data mining method to detect abnormal human behaviour using physical activity measurements[J]. Pervasive and Mobile Computing, 2014, 15: 228-241.[4] Jiang J, Jiang T, Zhai S. A novel recognition system for human activity based on wavelet packet and support vector machine optimized by improved adaptive genetic algorithm[J]. Physical Communication, 2014, 13: 211-220.

[5] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care[J]. Computing, 2013, 95(2): 109-127.

[6] Gao X, Chen Z, Tang S, et al. Adaptive weighted online learning with application to abnormal activity recognition[J]. Neurocomputing, 2015.

[7] Huang B, Tian G, Wu H, et al. A method of abnormal habits recognition in intelligent space[J]. Engineering Applications of Artificial Intelligence, 2014, 29: 125-133.

[8] Tong Y, Chen R, Gao J. Hidden State Conditional Random Field for Abnormal Activity Recognition in Smart Homes[J]. Entropy, 2015, 17(3): 1358-1378.

[9] Gayathri K S, Elias S, Ravindran B. Hierarchical activity recognition for dementia care using Markov logic network[J]. Personal and Ubiquitous Computing, 2015, 19(2): 271-285.

[10] Wang C, Zheng Q, Peng Y, et al. Distributed abnormal activity detection in smart environments[J]. International Journal of Distributed Sensor Networks, 2014, 2014.

[11] Rodríguez N D, Cuéllar M P, Lilius J, et al. A fuzzy ontology for semantic modelling and recognition of human behaviour[J]. Knowledge-Based Systems, 2014, 66: 46-60.

[12] Okeyo G, Chen L, Wang H, et al. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition[J]. Pervasive and Mobile Computing, 2014, 10: 155-172.

[13] Chen L, Nugent C, Okeyo G. An ontology-based hybrid approach to activity modeling for smart homes[J]. Human-Machine Systems, IEEE Transactions on, 2014, 44(1): 92-105.

[14] Kim Y H, Lim I K, Lee J K. A study on algorithm to identify the abnormal status of a patient using acceleration algorithm[J]. Personal and Ubiquitous Computing, 2014, 18(6): 1337-1350.

[15] Hu D H, Zhang X X, Yin J, et al. Abnormal Activity Recognition Based on HDP-HMM Models[A].IJCAI[C]. 2009: 1715-1720.

Human Abnormal Activity Recognition Using Scenario and Ontology in Intelligent Space

Xu Shoukun, Li Anna, Shi Lin

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

Most of the researches based on sensors and ontology for abnormal activity recognition only considers whether the action itself is dangerous or abnormal, showing that the routine activities are modeled and any deviation from the activity model is recognized as abnormality, so emphasizing the scenario semantics factor and user’s own situation for handling misjudgement or omissive judgement. Collecting activity data of daily living and then establishing the corresponding ontology base, meanwhile adding four kinds of identified abnormal activities, it has a better recognition of abnormal activities. The result of experiment validates that the recognition accuracy of abnormal activity is improved obviously.

scenario ; ontology; abnormal activity recognition

2015-08-27；

2015-09-25。

徐守坤(1972-),男,吉林蛟河人,博士,教授,CCF会员(E200016011S)，主要从事数据库与信息统、普适计算理论与应用方向的研究。

石 林(1979-),男,硕士,副教授,CCF会员(E200023843M)，主要从事分布式数据存储与管理、云追溯、物联网应用方向的研究。

1671-4598(2016)07-0237-04

：10.16526/j.cnki.11-4762/tp

TP391 文献标识码：A