基于Kinect V2传感器的井下人员动作识别
2020-09-06宿洋高英迪袁兴昊何晟林龚爽
宿洋 高英迪 袁兴昊 何晟林 龚爽
摘要:本文利用Kinect V2传感器的红外摄像机模拟井下人员的行为,对井下人员的行为进行无人实时监控,达到提前预防突发情况的目的。从而保障井下人员的生命安全,降低井下工作环境危险系数。对构建高效、安全、和谐的井下环境具有一定的贡献作用。
关键词:Kinect;煤炭安全;行为识别;畸变
对矿下人员的行为监测具有一定的价值,能够为我国开展矿下人员实时安全保护提供参考意见。目前,最新推出的低成本传感器是Kinect 传感器。目前,Kinect主要应用在人机交互的电脑游戏领域。针对井下缺乏人员实时监测技术以及Kinect的大范围地使用,本研究利用Kinect V2传感器实时监控井下人员的行为,对井下人员进行无人实时监控,达到提前预防突发情况的效果。
Kinect V2是微软推出的第二代Kinect,搭载在微软游戏机XBOX ONE上。Kinect V2主要由一个彩色摄像头、红外摄像头、深度摄像头、麦克风阵列、仰角控制等部件组成。
深度图像由Kinect V1的光编码技术变为飞行时间测距法(ToF)方式。Kinect V2发射经方波调制的近红外光线,经物体反射回来的产生的相位差计算出总体飞行时间,获取物体到传感器的距离。
Kinect 通过红外摄像头看到三维世界后,就要分辨出视野中可能是人体的移动物体,即从深度图像生成骨骼图。KinectV2会根据骨骼捕捉的25个关节点来生成一幅骨架系统,通过这种方式就可以评估人体实际所处的位置。
利用Kinect V2传感器设备的骨架捕捉原理,在输出之前会自动追踪到监控范围内人员的25个人体骨骼关键点坐标,此时获取的坐标为深度图像坐标。可以理解这样获取的坐标为相对坐标,而非实际的世界坐标。这样25个骨骼关键点覆盖了整个人体,形成了一幅人体骨架结构。相比于利用图像处理处理与特征匹配的复杂计算识别方法来说,通过Kinect获取骨骼关键点的方法数据获取容易、运算量小、误差小。
本文采用的是阈值判别法。根据中国国家计生委编写的《中国居民营养与慢性病状况报告(2015年)》得知,全国18岁及以上成年男性和女性的平均身高分别是和。选用男性平均身高作为本研究的身高数据,具有一定的合理性和可信性。
基于下蹲这一动作的特殊性,本文采用对腰部位置到脚的距离方法判断是否符合下蹲动作。
设井下人员的平均身高为,可得到腰部到脚的距离为
(6);
考虑到人员进行下蹲的动作时,假设当人员的腰部到脚的距离减小到原来的时就判定为该人员进行下蹲动作。因此,引入无单位标志系数,并令其为
(7)
因此,当腰部到脚的距离不大于时,就近似判定该人员存在下蹲的动作。再将实际世界坐标再转化成在深度图像坐标时的临界距离,可列出如下方程组
(9)
其中,坐标表示人员腰部的深度图像坐标,坐标为人员的腰部的世界坐标;为人员脚部的深度图像坐标;为人员的脚部的世界坐标。根据上(9)方程组的解求出的,为深度图像坐标中腰部到脚的临界阈值。
由以上原理进行下列测试,为了保证测试具有一定的可信性,测试分為三组进行测试,每组分别测试10次。动作识别测试结果如下表1所示。
男性标准人体身长约为。其中头长为,约占总身长的10.8%。根据这一比例关系并结合上一节使用的井下人员的平均身高为的假定条件,腰部占总身长的可以得到正常情况下头部中点至腰部的纵向距离为
(10)
我们假设当头部中点至腰部的纵向距离减小为原来的,且腰部至脚部的纵向距离减小至原来的时,就判定该人员存在躺下动作。
(11)
(12)
其中,表示头部至腰部纵向方向的临界距离;表示腰部至脚步的临界距离。则深度图像坐标满足以下方程组
(13)
其中,坐标表示腰部的深度图像坐标,坐标为腰部的世界坐标;为脚部的深度图像坐标;为脚部的世界坐标;坐标表示头部的深度图像坐标,坐标为头部的世界坐标。
由以上原理进行下列测试,为了保证测试具有一定的可信性,测试分为三组进行测试,每组分别测试10次。动作识别测试结果如下表2所示。
(1)在测试过程中由于关节被遮挡而识别不出的问题。因此在实际的复杂环境中识别会受到影响。发现本文对Kinect V2传感器的识别人数最大支持人数为2人,本文仅考虑了识别1个人的动作识别。对于识别区域中存在多个人的情况,还不具有普适性。
(2)由于目前Kinect传感器主要面向体感游戏领域,因此其识别距离十分有限。对于井下大空间等环境因素,其实用性还有待考虑。相信未来能够推出性能更加优良的Kinect传感器。
参考文献:
[1]靳明,张刚,黄璜,李影,张红岩,王峰.基于Kinect的立定跳远辅助训练系统的研究[J].电脑知识与技术,2019,15(25):212-213.
[2]李诗锐,李琪,李海洋,侯沛宏,曹伟国,王向东,李华.基于Kinect v2的实时精确三维重建系统[J].软件学报,2016,27(10):2519-2529.
[3]曾小玲.Kinect深度数据在室内成图应用中的准确度和分辨率[J].工业技术与职业教育,2018,16(01):15-17+37.
[4]行业标准,服装人体测量的部位与方法.中国服装辅料年鉴,,2008-2009,211-214,统计年鉴.