基于数字图像处理的清水砖自动筛选算法及选砖机器人系统
2022-09-06张英楠
张英楠
上海建工四建集团有限公司 上海 201103
随着我国城市化发展进程的深度推进,城市更新已成为我国大型城市建设发展的重要工作。同时,我国作为历史悠久的文明古国,需要在城市更新过程中保护历史风貌,传承历史文化。
清水墙作为历史风貌区内建筑风格体现的重要元素,应保证其砌筑效果与历史风貌完美融合。因此,在正式砌筑前,施工方有必要对清水砖进行严格筛选。对于砌筑此类清水墙,清水砖品质评价因素主要有以下2个方面:砖面色差与砖面损伤。砖面色差差别过大,往往会造成清水墙墙体观感效果差;砖面损伤程度不一致,将导致墙面整体“做旧”效果与周边建筑风格不统一,两者均会影响清水墙外立面效果与历史风貌的融合度。
现阶段,清水砖筛选工作采用人工挑选方式完成。首先,通过多方确认,确定适用于与工程所在地历史风貌区相匹配的清水砖风格;之后,深度调研各地砖厂与砖窑,确定符合上述品质要求的清水砖颜色与规格;最后,在砖垛进场后,现场工人根据人眼视觉与施工经验进行统一筛选,清退几何尺寸偏差、颜色偏差与缺棱掉角的次品砖。这种筛选方式无统一标准,不同工人存在视觉观感与经验判断差异,极易造成筛选出的清水砖品质离散度大,导致砌筑墙面颜色不统一,故意“做旧”程度不符合周边环境历史风貌。此外,人工筛选属于高度重复性工作,效率低下,且极易引起人的视觉疲劳。
如今,数字图像处理技术为上述问题的解决带来了新的手段。数字图像处理技术起源于20世纪20年代,人类首次利用数字压缩技术实现了图像的数字化,通过电缆完成了图像的跨国传输[1]。之后,随着计算机科学的快速发展,逐步实现了图像分辨率修改、图像滤波、图像二值化、图像边缘检测、图像特征提取等功能,并在各个行业中广泛应用。
近些年,随着智能建造热潮的到来,土木工程领域的行业应用涌现了大量成果,主要为建筑损伤检测、破裂过程模拟、粒径级配测量3个方面。
谭晓晶等[2]利用图像像素标定、灰度转换、中值滤波等数字图像处理技术,计算了混凝土表面裂缝尺寸,并通过试验验证了该方法的可靠性。
蔡江东等[3]利用三维数字图像处理技术,构建了三维红外热成像影像,分析了墙体结构层的温度分布与变化规律,辅助评估外墙施工质量。
席仕军等[4]利用数字图像处理技术,展示了花岗岩真实细观结构表征状态,建立了含分叉裂纹的花岗岩数值模型,分析了其失稳破坏与裂纹演化规律。
李冰峰等[5]获取了含缺陷花岗岩的细观数字图像,并运用RFPA-DIP软件建立了相应的数值模型,模拟了真实破裂过程,揭示了花岗岩裂纹扩展演化规律。
蔡园园等[6]采用了图像轮廓提取方法,研发了不同机制砂粒等效粒径表征算法,并通过重复性试验,验证了算法的可行性。
刘锦秀[7]通过图像预处理、图像边缘检测、边缘矢量化、拓扑构面等一系列图像数字处理操作,实现了松散堆积体的等效粒径测量。
根据上述背景,本文基于数字图像处理技术,针对传统人工筛选方式存在的诸多问题,分别提出了砖面色差检测与砖面缺陷检测2种自动选砖算法,建立了清水砖数字化选砖标准,实现了高品质清水砖自动筛选,并构建了高标准清水砖自动选砖机器人系统及运行流程,为后续相关装备研发工作提供了重要参考。
1 Lab颜色空间
颜色空间主要分为RGB、HSL/HSV、Lab,这3种颜色空间具有不同的表示方法与适用范围。RGB颜色空间分为红、绿、蓝3个颜色分量,且3个颜色分量具有高度相关性,对亮度敏感,均匀性较差,常用于显示系统,但不适用于图像处理。HSL/HSV颜色空间的表示方法相似,均基于圆柱坐标系建立,3个颜色分量分别为色调、饱和度、亮度(明度),与RGB颜色空间相比,颜色表达方式更为直观。Lab颜色空间是在1931年国际照明委员会(CIE)制定的颜色度量国际标准的基础上建立的,全称为CIELAB,是一种基于人眼生物视觉的颜色系统,具备感知均匀、与设备无关的特性,其中,L代表亮度(取值范围为0~100,数值越大,亮度越高),a代表从绿色到红色的分量(取值范围为-128~127,对应颜色从绿色变为红色),b代表从蓝色到黄色的分量(取值范围为-128~127,对应颜色从蓝色变为黄色)。鉴于上述3种颜色空间的特点,本文采用更贴近人眼视觉的Lab颜色空间进行后续算法研发。
2 图像掩膜
图像掩膜通常是指用来遮挡待处理图像区域的特定矩形图像窗口,一般是由0和1组成的二进制图像,在进行图像特征提取、图像干扰区域屏蔽等图像处理时,1值覆盖区域会被处理,0值覆盖区域会被屏蔽。鉴于此特性,图像掩膜常用来剔除数字图像处理过程中不相关或受干扰的区域,可实现仅对图像特征等图像感兴趣区域进行后续分析[8]。为了提高数字图像处理的准确性与可行性,本文采用图像掩膜提取技术,将清水砖砖面从采集图像中分离出来,用于后续砖面色差与缺陷检测。
3 2种自动选砖算法
3.1 砖面色差检测算法
砖面色差基于Lab颜色空间进行计算,采用国家标准GB/T 18922—2008《建筑颜色的表示方法》[9]与GB/T 7921—2008《均匀色空间和色差公式》[10],具体计算公式如下:
具体算法设计流程为:
1)采集清水砖砖面图像。
2)构建清水砖砖面区域掩膜窗口。
3)提取掩膜区域覆盖下的清水砖砖面。
4)计算上述提取砖面的色差值。
5)将计算出的色差值与标准阈值进行比较,看是否满足要求。
3.2 砖面缺陷检测算法
砖面缺陷基于掩膜连通域进行分析,通过判断连通域数量,实现砖面缺陷情况的自动判断。算法设计流程为:
1)采集清水砖砖面图像。
2)构建清水砖砖面区域掩膜窗口。
3)提取掩膜区域覆盖下的清水砖砖面。
4)进行图像滤波与二值化操作。
5)形成图像掩膜连通域。
6)比较连通域个数是否为1,若等于1,表示砖面无缺陷,满足要求;若大于1,表示砖面有缺陷,不满足要求。
2种自动选砖算法架构示意如图1所示。
图1 2种自动选砖算法架构示意
4 选砖机器人系统设计
为进一步实现清水砖自动筛选,基于上述2种自动选砖算法,本文利用机器人技术,建立了清水砖选砖机器人运行流程及自动化系统。选砖机器人的主要关键流程如下:
1)确定砖块抓取姿态,保证所采集清水砖砖面图像为正视图,拍摄物距应满足自动选砖算法所要求的分辨率。
2)利用图像掩膜,分割并提取砖块表面图像特征。
3)进行砖块缺陷检测,包括基于Lab颜色空间的砖面色差检测与基于掩膜连通域的砖面缺陷检测,依次通过原始砖面特征提取、图像灰度化、图像滤波、图像边缘检测与图像掩膜提取等算法处理,判断砖面是否完整,若不完整,直接确定为不合格砖(砖面缺陷),若完整,进行图像特征细化处理,以增强砖面缺陷识别的敏感性,并进一步判断色差是否满足要求。
4)若色差满足要求,进一步判断砖面缺陷,若不满足要求,直接确定为不合格砖(色差缺陷)。
5)若砖面无缺陷,直接确定为合格砖,若存在缺陷,直接确定为不合格砖(砖面缺陷)。
6)根据上述返回的砖面色差与缺陷检测结果,判断砖块是否满足要求,若满足要求,表明此砖块待选合格,确定为合格砖,若不满足要求,表明此砖块待选不合格,确定为缺陷砖,并根据缺陷类型,进一步确定为色差缺陷砖块或砖面缺陷砖块。选砖机器人运行流程如图2所示。
图2 选砖机器人运行流程
根据上述提出的清水砖选砖机器人运行流程,本文构建了选砖机器人自动化系统。选砖机器人自动化选砖系统需要在特定空间内运作,并配有稳定光源的视觉系统与活动自由度较高的六轴机械臂。稳定光源可确保每次砖面采集时的背景环境统一,前景环境的亮度、对比度等图像采集外部特征参数一致,保证2种自动选砖算法运行的可靠性与准确性。携带六轴机械臂的机器人能够实现重复编程、自动控制与多自由度的位姿调整等功能,其附有视觉传感器与非真空海绵吸盘后,可适应不同尺寸的清水砖抓取,完成相关复杂工艺与动作[11-12]。
本文构建的选砖机器人系统如图3所示。本系统主要包括六轴机械臂、机器人控制柜、机器人示教器、电路系统、视觉系统等组成部分[11-12]。首先,利用机器人示教器,规划六轴机械臂的抓取及运动轨迹,包括从砖垛中抓取、将砖块放置于视觉系统、矫正砖块角度、放置砖块于指定分类砖垛中[13]。其中,视觉系统包括可模拟自然光照的均匀光源以及对称布置的高清拍摄镜头,需预先设定光源以及相机内外参数,以保证2种自动选砖算法的运行要求。之后,按照预设的运动路径与视觉参数,开始进行选砖机器人的整体性能调试,测试机器人运行的流畅度、安全性与工作效率,以及2种自动选砖算法在选砖机器人系统中运行的鲁棒性,并根据调试结果进行矫正与再调试。待调试结果满足使用要求后,锁定选砖机器人系统的全部参数,选砖机器人开始正式工作,六轴机械臂利用携带非真空海绵吸盘的机械手从待筛选砖垛中抓取砖块,放置于视觉系统中,通过2种自动选砖算法进行砖面色差分析与砖面缺陷检测,并根据识别结果,分别将砖块放置于合格品、色差缺陷、砖面缺陷3个分类堆垛中,再将机械手移动至待筛选砖垛处,不断重复上述动作,直至待筛选砖垛中的全部砖块抓取、识别、放置完成,从而实现清水砖筛选动作自动化。
5 结语
本文提出了一种基于数字图像处理的清水砖自动筛选算法及选砖机器人系统,所开发的砖面色差与缺陷检测算法实现了清水砖标准化自动筛选,所构建的选砖机器人系统为后续相关装备研发提供了技术参考,所建立的清水砖数字化筛选标准对其他建筑材料的类似研究开展具有重要的借鉴意义。