基于图像的异型墙地砖在线分道系统*

刘鲤扬，项 基

（浙江大学电气工程学院，浙江杭州 310027）

0 引言

目前，国内外陶瓷墙地砖生产线已经基本实现机械化、自动化，但在生产线某些环节仍靠人工来实现。比如:成品砖人工分拣，对瓷砖的色差、花纹、平整度、尺寸等参数进行人工估量实现手工的分级分类。这种人工方式具有很大的主观随意性，容易出错，其正确率依赖于工人的熟练程度;其次，质检工人劳动强度大，不仅耗费企业大量的人力，而且对正确率造成很大的影响。因此，目前国内有不少学者尝试应用机器视觉的手段来提高墙地砖生产线的分级分类的自动化水平，如文献［1～4］是关于机器视觉在瓷砖形变、尺寸检测的应用研究，文献［5，6］则侧重于计算机视觉在瓷砖花纹色差的识别分类的应用研究。

对于具有突起纹理的墙地砖（瓷砖厂家称之为异型砖）分类，一般靠工人在分拣口处实现或通过使坯砖走不同的分道实现。国内目前对于这种异型砖的分类的研究还比较缺乏。本文采用计算机视觉的手段来实现墙地砖生产线异形砖种类的识别，首先通过架设在生产线上的工业数字摄像头连续采集图像，然后送计算机进行图像中砖面区域的提取，再跟数据库里已存储的标准的砖面图像进行匹配，识别异型砖种类，实现生产线辊道实时的分道动作，提高了生产效率。

1 系统硬件构成

异型砖分道系统采用一套Ethernet接口的工业黑白数字摄像头、工控机以及底层用于与PLC通信的电路板组成数字图像的采集与处理系统，其硬件构成如图1所示。系统采用的摄像头为工业用数字CCD黑白摄像头，摄像头通过阵列CCD的曝光接收生产线现场的光强产生阵列电信号，经过A/D转换和同步脉冲作用下，输出信号是已经是二维数字图像信号。将该摄像头架设在生产线的辊道上的金属支架上，输出的图像信号通过1000Mbps 网线与安装在工控机上的PCI插槽的Ethernet接口板卡相连，实现瓷砖辊道生产线图像的采集和传输。数字图像遵循TCP/IP协议进行传输，由于数据链路是带宽达1000Mbps的高速Ethernet网，保证数据量巨大的图像信号传输的及时性和实时性。本文图像分割和识别的算法耗时较大，故采用研华科技610L的工控机承担图像算法的实现，触摸显示屏用于提供系统的操作界面。

图1 系统硬件构成Fig 1 Hardware constitution of system

图中底层电路板所用到的处理器芯片为AT89C2051，该芯片的RAM、寄存器等资源足够满足本系统用来驱动底层PLC控制器的需要。该单片机负责接收从工控机串口发下来的分道信号，根据该分道信号通过继电器选通PLC控制器的指定回路，选通指定回路后，对应的坯砖分道的电机转动使该分道的挡板抬高，使当前的坯砖在接下去的流水线走由上层软件指定的分道。

图中除了摄像头之外的其余部件都封装固定在加工好的金属控制柜里，防止生产线现场的粉尘损害内部的部件，控制柜上面与单片机IO口相连的指示灯用于通知操作员当前坯砖的分道，而按键用于启停单片机PCB板子上的对应的某些功能，如指示灯功能等。

2 软件的结构和算法分析

本系统的操作界面和图像处理算法的实现代码在VC++8．0平台上采用多线程的机制，同时调用OPENCV函数库进行编写。

软件结构由若干个功能模块组成，各个模块实现图像采集、砖面边界提取、数据库中砖面图像的存取、砖面图像的匹配、各个分道对应的标准砖面图像的加载和清空、RS—232串口的操作、生产线图像的更新显示等功能。系统软件的结构框图如图2所示。

2．1 图像采集模块

利用摄像头的编程接口API，实现摄像头的启动、停止和帧率等参数的设置，系统运行时，摄像头采集到的数字图像信号通过1000 Mbps的Ethernet接口卡送入计算机的内存，有单独开辟的线程用来实现当前帧的获取与视频流的显示。

2．2 砖面边界的提取

图2 软件结构框图Fig 2 Block diagram of software structure

生产线辊道上的砖面图像含有背景，无法直接用于图像间的匹配，只有将其中作为前景的砖面区域分割出来，并做标准化仿射变换处理才能做砖面图像的匹配操作。砖面区域的提取采用灰度图像阈值化与矩形模式特征搜索相结合的方法来实现，其步骤如下:

1）对原始图像进行Gauss金字塔滤波的操作，对其进行金字塔向下采样，采样过程中利用Gauss滤波器模板对图像进行卷积操作，得到的下层图像比较平滑，同时分辨率减少为原来的四分之一，能反映图像中大的结构或图像的整体内容［7］，再对向下采样得到的图像使用金字塔向上层插值，则处理后的图像的高分辨率的细节被忽略，有效地抑制了砖面图像中的类似椒盐噪声的干扰。

2）设定砖面的全局性灰度阈值T，对滤波后的图像根据阈值界线做二值化处理，将低于阈值的像素判为背景像素，其灰度值为0，高于阈值的像素判为前景像素，其灰度值为最高灰度级255。

3）对二值图像做轮廓的搜索，采用链码连接算法实现。该算法将每一个轮廓表示为首尾相接一系列位移的集合，每一位移可能的方向有8个，因此，用整数0～7表示集合中每一个位移。

4）遍历得到的轮廓，因实际得到的轮廓通常具有褶皱的细节，在遍历的同时对每个轮廓采用Douglas-Peucker（DP）的多边形逼近算法［8］，若搜索到的多边形面积达到足够的砖面大小，而且具有矩形模式的特征，该多边形即为砖面区域。其中矩形特征指多边形为凸多边形，边数为4，并且4个内角以一定的误差近似为90°

5）标准化仿射变换，将该矩形区域从原始图像中分割出来并且旋转平移到本系统所需的标准化图像的正中央的位置，保证用于匹配的图像是标准化处理过的，图像匹配的结果与砖面在图像中的位置是否相同、是否与旋转无关，只与砖面的纹理相关，如图3所示为具有方形突起纹理异型砖的矩形模式和标准化图像。

本文算法充分考虑了生产线场景的特点，该场景的背景复杂噪声信息大，若只用图像阈值分割的方法并不能得到很好的结果，阈值若不合适往往造成欠分割或过分割，而墙地砖面的矩形特征十分明显，通过结合搜索图像中的矩形模式，则加大了算法的鲁棒性，使得砖面区域能够完整准确地分割出来。

图3 图像分割结果Fig 3 Image segmentation results

2．3 灰度阈值的自适应更新

如本文提到的全局性灰度阈值T有明显的局限性，当生产线场景的明暗程度变化的时候，如场景从白天的光线情况缓慢地过渡到夜晚的光线情况，T并不能最佳地反映图像中砖面与背景区分的灰度界线。

因提取的砖面的区域是实时更新的，每次对获得的砖面区域做直方图分析，使砖面区域的直方图分布在该灰度阈值之上，则T表示砖面灰度分布的下界。新的T值，用Tnew表示，则更新用带权重的滤波式子表示

其中，下标n表示更新的次数。因此，T能实时的反映场景光线的变化，自适应地反映砖面与背景的阈值界线。图4所示为不同的场景光线下，Tnew值的不同。Tnew的2个值分别为64和82。

图4 不同场景下灰度直方图Fig 4 Gray scale histograms in different scenes

2．4 砖面图像的匹配

如软件结构框图所示，新来的砖面图像需与加载到各个分道的砖面图像进行纹理的匹配，本系统采用基于共生矩阵的匹配算法。

灰度共生矩阵是统计法的一种，能够很好地反映像素间的灰度级与空间位置的相关规律［8］。设图像的灰度值为I（x，y），为定义共生矩阵，将灰度值分为N个灰度级，则共生矩阵是一系列N阶方阵，记为

其中，d为一位移向量（dr，dc），绝对值符号表示取集合元素个数，i，j取值范围为0到N－1，表示有N个灰度级。假设在二维像素平面内，有dr=0，dc=1，表示位移方向为竖直方向不变化，水平方向右移一个像素，则 C［0，1］［i，j］统计了图像上灰度级为j的像素出现在灰度级为i的像素的正右边的次数。

本文针对待匹配的标准化的灰度图像，计算上、下、左、右以及对角线总共8个方向的灰度共生矩阵，并从灰度矩阵中计算了数值特征，当新类型的砖面图像出现时，将该数值特征连同数字图像一并存入数据库。

其中，数值特征共有3个，描述如下

采用最小距离分类法评价匹配程度，对于每幅标准化图像，总共有8个方向的共生矩阵，对应着一个24维的特征向量，计算该特征向量，将其归一化之后，度量它与各分道所属砖面的特征向量的欧氏距离，将图像匹配为距离最小的种类。

2．5 其余模块

本系统采用关系数据库存储标准化的砖面图像及其特征向量。操作界面上几个通道对应生产线辊道上实际的几个分道，实现数据库中标准化砖面的加载、清空操作。系统运行时，生产线实际采集到的砖面会与界面上各个通道里已加载的图像进行匹配，判断当前砖面对应是哪个通道里的类型。系统采用ADO（activeX data objects）构建数据库访问的模块，用户随时可以通过位于触摸屏的操作界面加载各个分道里应选择的砖面类型，或清空该分道里的类型。

新进的砖面若一轮匹配均不成功，则对应数据库中会有新的砖面类型，并有提示界面等待操作员处理，若匹配成功找到对应的分道，则系统将分道对应的代码通过串口模块发往下位单片机，单片机接收到确认代码之后，则控制对应PLC回路的动作。

3 运行结果

分道系统的分类效果在瓷砖厂家的生产线现场进行实际的测试，现场的异型砖类型分别为平整、方形突起、鱼形突起。将这3种类型分别加载到3个通道里，实际测试总共500块坯砖，其分类的结果如表1所示，其中相同类型的坯砖特征向量的归一化欧氏距离基本上均在0．1以内，与不同种类之间欧氏距离相差较大。

表1 系统实际运行结果Tab 1 Actual operation result of system

4 结束语

本文研究的是基于计算机视觉技术的异型砖在线分道系统，就系统总体框架、图像处理算法的各个模块的设计进行了介绍，并给出了分道系统在实际工业现场运行的结果，该结果表明:系统对光线变化的鲁棒性好、分类结果准确，能实现工业生产现场的在线分道任务。

［1］ 刘 巍，丁未思．基于计算机视觉的高精度瓷砖质检系统［J］．微电子学与计算机，2007（1）:55－58．

［2］ 刑希东．墙地砖变形的计算机视觉检测系统［J］．陶瓷，2002（5）:38－40．

［3］ 戴哲敏，胡奇芳．基于ARM9的瓷砖尺寸检测装置研究［J］．陶瓷学报，2009（2）:235－237．

［4］ 晁中元．瓷砖几何尺寸在线检测系统的研究［D］．天津:天津大学，2008．

［5］ 罗 玮，彭复员，柳 健．彩色瓷砖的自动分类系统［J］．华中科技大学学报，2001（3）:79－81．

［6］ 李温温，王宝光，张 岩．瓷砖色差在线分类系统的研究［J］．传感器与微系统，2010，29（3）:13 －15．

［7］ Gonzalez．Digital image processing［M］．2 版．北京:电子工业出版社，2002．

［8］ Douglas D，Peuker T．Algorithms for the reduction of the number of points required for represent a digitized line or its caricature［J］．Canadian Cartographer，1973，10:112 －122．