行为识别技术的研究与发展

祁家榕 张昌伟

摘要： 行为分析有着广泛的应用前景，如智能视频监控、人机交互、自动识别报警、公共安全等方面，行为分析已成为相关领域的研究热点并有其潜在的经济价值。在人工智能和自动化操控迅速发展的当下，行为分析作为人工智能发展的中流砥柱也成为了国内外研究人员相继探讨的热点，关于人体行为分析的研究方式、模型算法和描述方法都取得了切实有效的发展。根据采用不同识别技术人体行为识别目前主流要分为四大类：基于计算机视觉的行为识别、基于传感器系统的行为识别、基于位置的行为识别和基于人物交互的行为识别。这篇文章主要探讨研究了行为识别技术和应用这2个方面的问题，综述了目前已有的技术情况，在探讨该方向各类技术的发展情况和研究现状的基础上，总结了当前行为分析仍然存在的问题和未来可能的发展前景。

关键词： 智能监测； 行为识别； 位置服务； 人物交互

中图分类号：TP391.41

文献标志码：A

文章编号：2095-2163（2017）04-0024-04

0引言

关于人类行为的识别研究最早始于19世纪70年代，Marey等科学家在动物行为方面展开了机械学研究[1]，但是鉴于当时计算机硬件的整体发展水平较低，不能支持大量数据的科学计算，人体行为分析在科学界也并未得到恰如其分的应有重视。直到20世纪90年代，关于人体行为分析的研究成果也仍寥寥可数，当时研究者通过采集大量实验数据进行分析对比，训练构建人体模型，然后匹配模型和行为序列，最后获得行为理解结果和实例应用。这些研究的缺陷可最终解析为堪称巨大的计算量，因而只能分析简单的运动行为。进入本世纪后，清华大学、美国加州理工学院、麻省理工大学 MIT、加州大学伯克利分校Berkeley、Google研究院、 Intel与微软研究院、英国剑桥大学等[2]多家名校和科研机构都在识别领域尤其是行为识别方面展开了深入探索。在工业产业方面，行为识别已占据了普及优势，如安全监控、体感游戏、人员调度、行程规划、用户社交行为分析等多类研究领域中均已出现行为识别的应用。随着人体行为和人工智能等其他领域的紧密结合，行为采集和分析得到的数据信息给科学研究带来了可观的高效便利，人體行为分析以及模式识别已成为相关领域位居热门的研究话题之一。

1行为识别的分类

研究中，对于行为中信息表达的直观呈现可见于图1。并且，人类的行为模式识别也始终是作为自动化科学研究的重点而获得学界的高度关注与各类投入，同时行为模式在探索时也广泛借鉴并融合了认知科学、数据挖掘、机器学习、模式识别等诸多方面的研究成果。从辨别规模大小来看，行为识别有单用户行为识别、多用户行为识别、异常行为识别三种。其中，单用户行为识别较为精细，广泛用于智能家居中，对使用者的日常生活行为做出实时判断，精确分析感知用户生活需求，帮助居民日常生活，提高其生活品质。多用户行为识别则用于高密度人群行为的研究分析，主要对高密度人群本身固有的复杂度，对整个群体流、群体行为进行识别，这方面的成果演进对于人群密集的场所，如：火车站、商场、十字交叉路口等地方的人群疏导具有尤为重大的现实意义。另外，异常行为识别主要用于一些特殊的场所，例如监狱、养老院、校园等涉及人身安全较多的场所，可及时启动并有效发挥室内监督功能。

2行为识别技术

[BT5]2.1基于计算机视觉的行为识别

经过多年的研究，国内外学者利用计算机视觉在人体检测领域已经设计构建了多种框架，主要分为基于视频的方法和基于图像的方法。其中，基于视频记录的研究方法，是指利用图像序列或视频中的活动信息来研究人体的检测。这种方法通过对比不同图像像素之间的差别来实现目标提取，优点是运算速率比常规方法至少提高2～3倍，可以在安全系统的视频监控中实时监测人物活动[3]。基于图像特征提取，训练分析得到相应的分类器实现人体检测和目标活动指示。这种方法能够直接提取图像中的特征，并将这些识别特征通过改进的贝叶斯分类器等技术处理后，最终获得预测模型。这种模式不仅能够运用在单帧图像分析中，还可以在图像序列中得到拓展呈现“海量、高维”的特征，同时不受到摄像头的运动、环境变化、目标长时间没有显著变化等特殊复杂情况的影响。利用摄像头监控系统获取用户的行为状态信息，再利用模式识别算法，从视频和图像序列中分析可视目标，其典型的计算过程由4个步骤组成：目标检测、行为追踪、动作识别和高层的行为识别。计算机视觉技术在处理异常行为检测中自有其特点与优势，如检测用户摔倒等异常行为。因为自然环境、不确定人为属性等客观存在的因素，图像视频采集的数据受客观环境机制的影响严重；视频数据存储量巨大，综合计算时间长、复杂度高，而且人的行为在环境中的随意性等也会导致最终的回归模型突显较大偏差。在不同场合使用摄像头监控人物行为还涉及到隐私和公共安全方面的种种问题，长期以来一直存在着质疑与争议。

2.2基于传感器的行为识别

在人工智能获得强力推广的当下，利用传感器进行人体行为识别已然成为智能化的一个重要分支。这种识别方法主要利用传感器和传感网络来捕捉用户行为。该方法相比利用视觉进行人体行为识别的方式，前期投入少、设备复杂性小，具有更好的空间自由性。通常采用的方法是利用机器学习和数据挖掘的方法，根据传感器获取的数据信息来训练构建一个行为识别模型。该方法将被测人体和传感器视作一个整体，并借由传感器识别用户。经常使用的传感器件有热敏传感器、力敏传感器、放射线敏传感器、加速度传感器、磁力传感器。通过传感器监测到被测物体的测量信息，按一定规律变换成电信号或其他所需形式的信息输出，主要用来测试记录运动模式和实时行为动作，如站立、行走、奔跑、跳跃等运动形态。通过授权的分布式配置的计算机和传感器来监控人的行为，使这些计算机能更好地在人们的行为上生成控制作用。研究中通过将传感器分支节点分别绑定在人体需要观察的部位进行分支数据采集。同时采用加速传感器来展开运动过程中各部位加速度数据的测量，向基站提供持续稳定的观测数据。如图2所示，传感器网络是由运动物体上分布的大量微小无线传感器节点互联建立而成，通过观测用户动作所产生的物理参数变化，实时监控用户行为，进而根据上下文信息自适应完成目标任务，从而贯彻实现了智能化环境的全新概念。当下智能传感网络已成为物联网不可或缺的组成部分，在安全监控、医疗保健、数据记录等方面具有实际广阔的应用前景。endprint

根据传感器应用常见特征，应用于行为活动的传感网络分为3类：频率特征传感网、时域特征传感网和用户自定义特征传感网。围绕这3类特征网络的研究，传感器技术今后的发展内容将重点立足于如下方向：

1）新型材料研制，使用集成工艺和多变量复合传感器 ，改进生产技术提高传感器灵敏度；

2）使用智能化技术和智能多变传感器，结合逻辑判断、无线探测和智能电量传感器技术；

3）采用网络化传感器，使传感器具有网络化的标准接口和协议功能。

2.3基于位置的行为识别

位置服务（Location Based Services，LBS）又称定位服务，基于空间位置，以无线定位、GIS、互联网、数据库、无线通信等相关技术优势深度融合的一种无线位置服务。地理信息可以提供相应的位置服务信息，是挖掘数据源信息的根本。目前，主流的定位技术包括卫星定位、感知定位和基于通讯基础设施的定位。能够为用户提供的服务有紧急呼叫定位、车辆追踪、智能交通、定位查询。有很多大型公司已从不同的行业领域提出了各自专属的一整套的位置服务解决方案，如Sun公司的Java Location Service平台、ESRI公司的ARC Location Service方案，MapInfo公司设计的无线空间信息服务解决方案MLS[4]，均为本行业发展奠定了良好重要的基础。基于位置的行为识别系统技术结构则如图3所示。

当下颇具主流研究价值的课题表述即是从WiFi信号强度推断人体的位置和运动。在雾雨、深夜等一些特殊恶劣的气候条件下，视频监控往往受到明显干扰，在得不到清晰图像的基础上，很难运用现有的视频处理技术对行为进行监控和识别。而且，摄像头存在范围盲区，也不可能覆盖到每个角落，同时对一些不能公开拍摄的场所还存在一定的局限性。基于各种无线技术，如红外、超声波、RFID、无线局域网、蓝牙、ZigBee等在灵活结合通信和计算机的先进工具成果条件下则可有效提供随时随地的行为识别服务。

2.4基于人物交互的行为识别

人物交互是指用户与其所在环境状况之间交互的相关信息。这一研究通常基于如下假设：用户执行特定的行为状态时会接触到一系列物体，比如：手持牙刷刷牙、穿运动鞋跑步、用扫帚扫地等。在不失一般性的情况下，可以定义用户的行为状态与其所接触的一系列目标物品有关。这主要是通过RFID无线射频自动识别标签来获取目标对象的相关数据。交互反馈式的模型设计即如图4所示。检测器凭借目标物体上安装的RFID标签感应电流获得的能量发送出某一频率的信号，接收器读取信息并进行解码，最终用户可以通过视觉系统检测标签的性能，并利用读卡系统来测试判断执行的某项具体行为动作。

人物交互汇聚了多個计算领域的研究精华。首先是普适计算，由其研发了大量低成本的计算设备提供各种数据计算处理的可能；第二是智能系统的研究，这为人物交互研究设定了学习算法和匹配模式；第三是环境感知，可以有效追踪和定位各种类型的对象，并适当表示对象与其所处环境的交互。 全球智能工业创新大会已然明确提出到2020年，人们将生活在一个人机互动的媒体时代，未来面对的将不仅只是人的社交，而且还将出现人机交互的社交。从工业1.0到工业4.0，通过人类使用的设备进行智能的交互，智能制造则使经济的发展更加趋近智能化，将智能物体融入到人的角色，从而形成一个友好的数字化生活链环。

3行为识别的应用和发展

目前与人体行为识别相关的人工智能正延展不断地进入人们的生活，这些年一大批人工智能产品和公司亦呈现出可观长足的发展势头。在行为识别研究中，作为人工智能的一种尤为重要的系统工具已然陆续推出了一系列的实体设备及功能设计。在移动健康看护与随身运动监测领域，有与手机相连的电子血压计、B超仪等对家用医疗市场的指定匹配以及智能眼镜、智能手环等等；在公共安全领域，异常行为识别在抓捕罪犯和各大超市、银行的行为监控中正在提供不可小觑的判别增强辨识作用；在体感游戏领域，行为分析在虚拟现实中可运用许多真实人体运动数据来实现动漫中的虚拟人物运动，如微软Kinect体感游戏；在竞技运动领域，踢足球机器人也是此类研究的典型代表。

4结束语

综合各方面研究论述可知，当下学界在人体行为识别方面的分析将不仅停留在理论研究的层面，还将进一步深入贴近人的真实需求，并在感知、网络、算法、软件等各个层面展开更为充分广泛的系统研究。

科技的不断进步和发展，使得今后无论在科技研究领域还是工业制造领域，对于行为识别的设计上应该更加侧重于优先考虑可靠性强、适用范围广、操作便捷、便民实用的特征方式。行为分析的科学价值和经济价值可显著改进信息技术对社会的服务能力，并对交通服务和预测人类社交相关领域起到有益的推动促进作用。

参考文献：

[1] 谷军霞，丁晓青，王生进. 行为分析算法综述[J]. 中国图象图形学报，2009，14（3）：377-387.

[2] SEO H J，MILANFAR P. Action recognition from one example[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（5）：867-882.

[3] 郭萍.基于视频的人体行为分析[D]. 北京：北京交通大学，2012.

[4] 汪亮. 基于可穿戴传感器网络的人体行为识别技术研究[D]. 南京：南京大学，2014.

[5] [JP3]LIANG Yunji，ZHOU Xingshe，YU Zhiwen，et al. Energyefficient motion related activity recognition on mobile devices for pervasive healthcare[J]. Mobile Networks and Applications， 2014，19（3）：303-317.[ZK）][JP]

[HT5”SS][ST5”BZ][WT5”BZ][JY]（下转第30页）[FL）]

[WTBZ][ST6BZ][HT6SS]

[6] [ZK（#]陈昌红，朱秀昌. 人群行为分析研究进展[J]. 计算机科学，2012，39（10）：7-11.

[7] LAPTEV I， MARSZALEK M ，SCHMID C ，et al. Learning realistic human actions from movies[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition （CVPR08） . Anchorage， AK， USA：IEEE，2008：1-8.

[8] AGGARWAL J K， RYOO M S. Human activity analysis： A review[J]. ACM Computing Surveys（CSUR）， 2011，43（3）：1-43.

[9] AGGARWAL J K，CAI Q. Human motion analysis： A review[J]. Computer Vision and Image Understanding ，1999，73（3）：428-440.

[10]WANG Y， MORI G. Human action recognition by semilatent topic models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009，31（10）：1762-1774.endprint