复杂工业现场智能监控系统中的人体检测方法
2013-12-03冯连强杨延西任玉成王俊萍王彦国
冯连强,杨延西,崔 乐,任玉成,王俊萍,王彦国
(1.中国重型机械研究院股份公司,陕西 西安 710032;2.西安理工大学,陕西 西安 710048;3.河北省首钢迁安钢铁有限责任公司,河北 唐山 064400)
0 前言
工业生产线上,有时人员需要进入非安全区域,传统的安全监测元件与系统功能的不足,导致频繁发生人身安全事故,如包装线穿心打孔伤人、卷边机伤人等。视觉技术则可以有效检测到异常情况,及时处理,避免事故的发生。传统的监控系统主要人在操作室对多台监控设备进行操控与预警,这样就出现一些问题:人无法保证长时间有效的监控,且人的监测区域有限,无法保证对多台设备所有安全区域的实时监控。此外,现有改进视频监控报警系统主要采用运动检测方法实现报警功能,无法解决复杂工业现场中机器运动、机器阴影、光线变化等因素造成的干扰和误报问题。针对以上问题,本文利用数字图像处理技术与智能模式识别理论,对监控区域人体进行智能识别,在完成保证安全任务的同时,节省大量的人力物力。
已有的运动目标监测方法主要有:光流法[1]、背景差分法[2]、时域差分法[3]。光流法信息量大,需要迭代计算,实时性差。时域差分法,对运动物体的运动条件要求苛刻,易出现误检。背景差分方法首先固定摄像机,对背景进行建模,通过当前帧与背景差分来提取前景物体,同时以一定速率更新背景,使其能适应缓慢的光照变化,有很强的适用性,但对突然的光照变化无法有效的分辨出前景。而目前基于二维图像中的人体识别主流算法有两类,一类利用人体局部图像形状信息[6-7],其准确度高,但实时性较差;另一类为基于底层图像信息,算法简单,准确率相对前者较低。
本文根据工业现场,通过先验知识,对图像监测区域进行局部区域高斯背景建模,有效减少数据计算量,利用形态学提取前景目标,同时更新背景区域,最后对前景目标进行人体识别,对目标进行归一化尺寸恢复,然后利用形状信息,进行识别。该方法减少了处理的数据量,同时有效提高目标识别率。
1 系统软件结构
本系统软件结构图如图1所示,用高斯模型对一序列帧图像进行背景建模,最大抑制前景干扰,然后利用背景差分法,利用形态学消除干扰和填补空洞、平滑边缘,对前景目标进行提取,首先将目标按区域还原实际尺寸进行初步识别,然后再对疑似目标进行归一化处理,利用面积信息、横纵比再次进行识别。最后对非目标区域的背景进行背景模型更新。
图1 系统结构图Fig.1 Diagram of the system structure
2 人体检测方法
2.1 高斯背景建模
采用文献[4]中的递推式高斯背景建模,利用较长的一段序列来消除其中背景的干扰。具体步骤如下:
(1)建立样本均值估计,通过前N个样本估计均值。
(2)建立样本方差估计。
即
此时有
2.2 目标提取
其中const为权值系数,其值越大去除干扰越明显,但同时会将部分前景去除。一般取值1~5。然后对此时分割出来图像,利用形态学去除噪声点,填补目标区域中的小孔,同时平滑图像边缘轮廓。
2.3 人体识别
得到前景目标后,需要对目标进行人体识别,本文采用多种方法融合实现人体准确识别:
(1)利用先验知识,首先划定需要检测的区域(通过软件可以自由规划检测区域),将其目标底部包含在内则认为其为疑似目标,剔除多余目标。现场环境如图2a,监测区域如图2b。
(2)由于距离摄像头的距离差异,导致成像的物体大小会发生一定的变换如图3所示,可以看到(a)、(b)、(c)三张图人体在场景中分布如(d)所示,高度有很大差别,离的越远,高度越低。因此本文首先通过对现场标定,计算出图像目标底部所在横轴与实际高度的对应关系。从而将图像目标高度转化为实际高度,结合实际高度和横纵比,设定阈值进行识别。
图2 监测区域示意图Fig.2 Monitoring areas
(3)由图3还可以看出,由于成像差异,目标所占矩形区域大小差异明显,本文对其进行归一化处理,将其提取的目标区域转化为一个100×100的模板中,如图(4)所示,将(b),(c)两幅图目标提取后进行归一化,然后计算其面积,进一步判定目标。
图3 现场不同区域人体示意图Fig.3 Schetch map of humans in different areas
图4 归一化示意图Fig.4 Normalized diagram
2.4 背景更新
为了适应背景缓慢光线和局部细小变换,需要对非前景区域进行一定速率的背景更新,公式如下:
其中 μi,j为更新前背景模型均值,xi,j为当非前景区域的像素值,δi,j为更新前背景模型方差,δconst为一个常数,防止标准差收敛于0;α为更新速率,取值0~1。
2.5 背景灯光大范围变化反应
当现场发生断电或者光照变化大时,背景建模方法会出现问题。为此,当检测的图像与背景图像直方图距离函数值大于设定阈值时,判定当前帧无效,并且系统延迟1 s继续采集图像进行判定,当无效帧累计3帧,重新启动背景初始化建模。
3 实验研究
本文通过工业现场采集视频进行算法性能的分析。所采用摄像机分辨率480×640,帧频25帧/s,实时采集同时处理帧频10帧/s,达到现场要求。现场计算机处理器PentiumⓇDual-Core E5200 2.5GHz,2GB内存。程序初始化5 s,每秒均匀采集6帧图像,总共30帧进行初始化背景建模。为了验证人体识别算法的性能,提取35帧含有人体的图像,且其分布在距离相机不同的方位,分别提取比例特征图如图5所示,归一化前后面积特征图如图6所示,高度特征图如图7所示。
由图5看出,人体比例在2到4之间,第15帧达到测试图样中的最高峰4.0833,对应图如图6所示中,其归一化后像素面积也突出,这是因为其体态结果如图7a,可以看出刚好是一个侧面,而其较图7b对比,导致此情况的发生。
由图8可以看出,前10帧由于离相机较远,在原图成像的高度很小,且其相对用一个目标浮动也小,复原后的实际高度浮动也小,此时复原高度平均162 mm,而实际目标164 mm。后25帧分别取不同位置的目标,其成像高度也有很大变化,对其按区域进行高度复原,其高度在165 mm到180 mm,实际目标高度172 mm,这里主要原因有一些影子影响,如图7c,而27帧的偏小畸变是由于背景差分,是由于脚部和背景差别太小,导致脚部整块残缺如图7d、图7e所示。
图8 部分畸变图像Fig.8 Some deformation images
由图3可以看出,在原图中,由于摄像头距离目标位置远近不同,目标所占矩形大小不一样,因此此时取其面积来衡量不可行,经过归一化处理后,使他们所占矩形区域大小相同,此时面积波动在4 000像素到6 000像素内波动。
识别特种融合规则,优先身高,比例,判断疑似目标,再验证面积特征,在阈值内判定人体。
在实际检测中,本文为了防止漏检,对于场景中图2b中间部分区域存在机械遮挡而导致人体只露头部,以及最后方小块区域,因为那里处于机械后方,并不是真正关心的区域,因此实际应用中是忽略的。
4 结论
(1)对工业现场采集视频进行目标识别,300帧中的图像,含人体109帧,其中由于部分人体部位和背景差异太小,导致6帧目标漏检,前景目标识别率94%。
(2)剩余的103帧在前景目标提取成功后,人体识别率100%。
(3)为了提高背景差分识别率,建议监测区域颜色单一且易识别,或者工作人员工作服与区域颜色尽量差异明显。在实际实时检测中,本方法可以有效的监测人体目标,且满足实时性要求,对安全区域进行实时监控和报警。
[1]BARRON J L,FLEET D J,BEAUCHEMIN S S.Performance of optical flw techniques[J].International Journal of Computer Vision,1994,12(1):43-77.
[2]MEIER T.Automatic segmentation of moving objects for video object plane generation[J].IEEE Transcations on Circuits and Systems Video Technology,1998,8(5):523-528.
[3]LIPTON A J,FUJIYOSHI H,PATIL R S.Moving target classification and tracking from real-time video[C]//IEEE Proceedings of the Workshop on Application of Computer Vision.Los Alamitos:IEEE computer Society Press,1998:8-14.
[4]邓甜甜,王智灵,朱明清,等.基于轮廓图像空频域特征的人体姿态分层识别算法[J].模式识别与人工智能.2011(3).
[5]曾春,李晓华,周激流.基于感兴趣区梯度方向直方图的行人监测[J].计算机工程.2009,35(24).
[6]黄茜,顾杰锋,杨文亮.基于梯度向量直方图的行人监测[J].科学技术与工程.2009,9(13).
[7]李晖,曲仕茹.基于分层梯度方向直方图和SVM的人体识别[J].计算机测量与控制.2010,18(11).
[8]张便利,常胜江,李江卫,等.基于彩色直方图分析的智能视频监控系统[J].物理学报,2006,55(12):6399-6404.
[9]胡晓莉,江杰,王建国.视频图像识别报警系统的研究[J].微计算机信息,2007,23(2):280-281.
[10]李洪波.向南.吴渝.一种改进的室内运动人体监测与轮廓提取算法[J].重庆邮电大学学报.2008,20(2).
[11]夏永泉,李卫丽,甘勇,等.智能视频监控中的厄运东目标监测技术研究[J].通信技术,2009,42(6).
[12]方帅.计算机智能视频系统关键技术研究[D].沈阳:东北大学:2005.
[13]耿超.人体运动的监测与跟踪[D],北京:北京工业大学,2003.
[14]朱虹.数字图像处理基础[M].北京:科学出版社,2005.