一种基于目标分块的建筑活动板房识别方法

杨文明 孙大任 李得第 谢正伟

(1.清华大学深圳研究生院信息科学与技术重点实验室,广东深圳 518055;2.清华大学电子工程系,广东深圳 518055;3.深圳市星谷科技有限公司,广东深圳 518000)

一种基于目标分块的建筑活动板房识别方法

杨文明1孙大任2李得第2谢正伟3

(1.清华大学深圳研究生院信息科学与技术重点实验室,广东深圳 518055;2.清华大学电子工程系,广东深圳 518055;3.深圳市星谷科技有限公司,广东深圳 518000)

活动板房作为施工过程中的标志建筑,若能对其进行准确识别,将有助于提升施工智能监控系统的性能。本文针对建筑工地目标复杂,光照,遮挡等因素多的特点,提出一种基于目标分块的建筑活动板房识别方法。算法将板房分为房顶,墙体与窗体三部分,首先在监控场景图中检测蓝色房顶区域,通过形态学操作与外接矩形计算,自适应获取板房墙体的候选区域。然后对候选区进行局部阈值处理,腐蚀处理与连通域检测,得到板房窗体中心点集合。再通过窗体纵坐标直方图统计与滑窗求和,判别是否为板房。实验表明,该法对光照,角度,尺度有一定的鲁棒性,对墙体清楚的活动板房有较高的识别率,达到了83.0%。

板房检测 目标分块 形态学处理

1 引言

国土监察对打击违法侵占国有土地的行为,切实保障国有储备土地的安全有重要的作用。然而现有的监察方法多是通过人工来周期性或不定时的进行巡查,这样不仅会耗费巨大的人力、财力及物力,对边远地区的土地也难以做到实时监管,同时还存在着监察区域狭小等问题。

随着计算机视觉[1]的不断发展,诸多使用摄像头进行智能监控的尝试也应运而生。目前的智能监控多是根据施工过程的特点及建筑工地中标志性物体进行分析,Ehsan Rezazadeh Azar[2]等人通过检测液压挖掘机来判别施工活动,J.Teizer, P.A.Vela[3]等人通过追踪工地上的人员来分析施工行为,A.Peddi等人[4]通过人物姿态分析实时判定施工活动。

以上研究中的检测对象多是施工人员,施工工具及地表变化,关于施工过程中标志性建筑的检测却很少。观察国内的施工过程可以发现,工程开展初期,往往要先搭建起活动板房,以供施工人员住宿使用。因此,若能准确识别出监控区域中是否存在板房,无疑对整个系统性能的提升有很大帮助。

但实际视频中,由于光照,角度,尺度的剧烈变化,使用单一特征很难界定什么是板房。因此,本文针对通用活动板房的特点,提出了一种基于目标分块的板房检测方法。该法通过对可疑区域进行图像切块,将板房分割为房顶,窗体及墙身三部分,利用颜色,结构,方向等信息,通过分析各块的特点及块与块间的关系,对板房进行识别。因为较多的利用相对信息,此法对光照,角度,尺度有很好的鲁棒性,可以实现板房的精确检测,如图1所示。

图1 板房示意图

2 特征提取

由于尺度,角度的影响,不同视频中板房呈现出的姿态千差万别,因此很难获取普适的整体特征,对板房进行描述。

然而,通用的板房存在着固有的结构信息,由于结构是相对的,不管视频间的差异有多大,同一视频中的板房,各部分间的关系仍保持稳定。本文提出的算法便是基于这种特性的。

图2 目标分块图

2.1 目标切块

图3 自适应墙体搜索示意图

图4 房顶检测过程

图5 窗体检测过程

算法的第一步是对可疑目标进行分块,然后根据先验知识,利用块与块间的联系,对每一块进行识别。

分块的目的在于克服不同场景中板房尺度,角度的差异给分类器带来的影响。

对板房来说,房顶和墙身在色度,纹理上具有显著的差异。但单纯依据这两者进行识别,很难取得理想的效果。由于窗体与墙体间有稳定的位置关系,而窗体的方向与房顶的方向也有很强的相关性,因此算法将板房分割为房顶,墙面,窗体三部分,如图2所示。

2.2 房顶检测与板房提取

相对于场景中的其它物体,活动板房的房顶区域在颜色上有显著的特征,可以作为目标提取的依据。

算法在HSV空间上进行房顶检测。HSV是一种比较直观的颜色模型,便于选取合适的颜色阈值。对人工截取的房顶样本进行颜色分布统计[5],得到的统计结果为:H空间分布在[170,240]之间,V空间分布在[0.6,1]之间。

因为在光照不是很极端的情况下,板房的房顶与墙面的颜色有很大的区别,宽泛的阈值就足以精确的区分两者。而房顶与墙面的分界线被清楚的检测出之后,后续的房顶角度检测就不会受到太大的影响。

检测到房顶候选区后,对候选区做形态学处理。具体上,先进行连通域检测,排除较小的连通域,以去除明显不是房顶的区域。之后再进行闭运算,以连接检测结果中的断点。

形态学处理后,得到较为完整的房顶区域。对该区域求取最小外接矩形,可以获得板房屋顶的高,屋顶最小外接矩形的中心 roof_ center和旋转角度roof_ angle。板房墙体的大小可以根据房顶信息进行自适应搜索:

图6 纵坐标直方图与滑窗

表1 算法识别结果

图7 部分识别效果图

其中板房墙体外接矩形的中心wall_width ,wall_height,为板房墙体外接矩形的高与宽,wall_angle为墙体的旋转角度,scale为自定义的放大尺度,如图3,图4所示。

获取墙体区域后,由于实际应用中的板房墙体大多会包含一些旋转,这会给后续程序带来干扰,因此需要对获取到的墙体进行反旋转处理。

由于已经获得房顶的旋转角度wall_angle ,墙体与房顶必定是平行的,因此将ROI中的图片按wall_angle 反旋转,即可提取出正面无旋转的墙体。

2.3 窗体检测

2.3.1 自适应阈值操作

对2.2中得到的墙体候选图进行自适应的阈值操作,二值化公式为:

dst（x,y）为阈值化后的二值图,src（x, y）为原灰度图。T为阈值,sgn为符号函数。

通过计算邻域内均值得到:

ai为以 src（x, y）为中心的邻域内的像素值,N为邻域内像素总数。

2.3.2 腐蚀

腐蚀操作的定义为:

其中erode(x,y)为腐蚀后的图像,b为自定义的结构元素[6]。

该处进行腐蚀的目的是消除除窗体与墙面的粘连,以获得独立的窗户,便于精确检测其轮廓。算法使用的结构元素为大小的矩形小块。

2.3.3 轮廓检测与最小外接矩形

对腐蚀后的二值图进行轮廓检测,得到轮廓集合,对该集合中的每一个元素计算其最小外接矩形,得到矩形集合Rect。对Rect中的元素进行筛选,筛选的条件如下:

其中x为Rect集合中的元素,xwidth表示外接矩形的宽,表示外接矩形的高, Scontour表示连通域的面积, Scontour为人为设定的比例系数。最后,取筛选后的矩形中心得到最终的窗体集合Window,如图5所示。

2.4 板房判定

依据房顶倾斜角度旋转后的板房,窗户排列近似为一条水平线。因此可以统计Window中元素纵坐标的直方图,若为板房,则直方图中的点应该会集中分布在某几个区域,且每个区域点数占总点数的比例应大于某一阈值。

对获取的直方图进行滑窗计数,窗体宽度d决定了检测的精度。当滑窗内点数和超过总点数一定比例后,即可判定存在平行的窗体,也就是判定为板房,如图6所示。

3 实验结果与分析

在自建的施工工地监控数据库上,使用本文提出的算法进行活动板房识别。数据库中图片大致可分为4类:

（1)板房墙体清晰,每个板房房顶较独立。

（2)板房墙体清晰,但多个房顶相互粘连。

（3)墙体模糊。

（4)无板房。

识别结果如表1所示。

对多数窗体朝向正面,同一图片中板房分布相对独立的样本,算法有很好的识别率,实际应用中能达到83.0%。但对图片中板房分布拥挤,房顶互相粘连的情况,识别率会显著下降,同时漏警率大大上升。这是由于房顶粘连导致对墙体大小和位置的估计失准,使算法未能工作在设想的状态下。

实际应用中,由于系统的实时监控性以及板房建设需要有一定过程,板房大多只会以单个或两个的形式出现,突然出现大量板房的概率很低,因此对单个板房的识别率将主导系统的性能。虽然算法在房顶粘连的情况下表现不佳,但在实际的监控场景下仍可以正常工作。

而由于场景中的其它物体与活动板房特征有较大的区别,算法虚警率很低,如图7所示。

4 结语

本文提出一种基于目标分块的建筑活动板房识别方法,算法依据先验知识将目标切分为三块,运用色度分析,形态学处理,连通域分析及直方图统计等方法,着重研究不同块之间的相对信息,以提升识别率,克服不同监控场景中尺度,角度的干扰。算法在自建的数据库上,在图片中各板房独立分布的情况下取得了83.0%的识别率,且虚警较低,可以满足一般监控的需求。

对房顶粘连导致识别率显著下降的情况,由于实际使用时是实时监控,同时出现大量板房的几率很小,因此不会大幅度影响系统的性能。该部分的改进重点将落在房顶连通域检测上面,作为日后的研究方向。

[1]Vernon D.Machine vision-Automated visual inspection and robot vision[J].NASA STI/Recon Technical Report A,1991,92: 40499.

[2]Rezazadeh Azar E,McCabe B.Part based model and spatial–temporal reasoning to recognize hydraulic excavators in construction images and videos[J].Automation in construction, 2012,24:194-202.

[3]Teizer J,Vela P A.Personnel tracking on construction sites using video cameras[J].Advanced Engineering Informatics,2009,23(4):452-462.

[4] Peddi A,Huan L,Bai Y,et al.Development of human pose analyzing algorithms for the determination of construction productivity in real-time[C]//Construction Research Congress,ASCE, Seattle,WA.2009:11-20.

[5]郭炜强.基于运动特征的林火烟雾图像检测技术研究[D].北京林业大学,2012.

[6]Gonzalez R C,Woods R E.Digital image processing[J].2002.

杨文明,男,汉族,2010.1就职于清华大学深圳研究生院信息科学与技术重点实验室,讲师、副教授。主要从事图像处理与计算机视觉领域的研究,具体包括智能视频分析、生物特征识别、立体成像与分析、工业视觉检测、医学影像处理、光学字符识别、智能交通系统等。近年来,在IEEE Trans. on Image Processing、Information Sciences、Pattern Recognition、 IEEE SPL等国际期刊和IEEE ICIP、ICASSP、ACM Multimedia等国际会议发表学术论文30余篇,获得中国发明专利授权4项。

孙大任,男,汉族,2013年9月就读于清华大学电子工程系,专业为电子与通信工程（图像处理方向)。2008年9月-2012年6月,就读于东南大学吴健雄学院,专业为电子信息工程。

李得第,男,汉族,2012年9月就读于清华大学电子工程系,专业为电子与通信工程（图像处理方向)。2007年9月-2011年6月,就读于杭州电子科技大学电子信息学院,专业为电子信息工程。

谢正伟,男,汉族,大学本科,深圳市星谷科技有限公司系统研发部经理。