基于平均模板法的锆管坡口异物视觉检测研究

2020-12-30刘坚董力成索鑫宇

湖南大学学报（自然科学版） 2020年12期

刘坚，董力成，索鑫宇

（湖南大学汽车车身先进设计制造国家重点实验室，湖南长沙，410082）

装载核燃料的薄壁锆管是重水堆核燃料元件的重要组成部分.为保证核燃料元件的密封性，需在锆管两端焊接端塞，因此锆管内外壁均进行120°倒角作为焊接坡口.由于锆管两端内外壁坡口质量直接影响焊接品质进而影响核电反应的安全可靠性，因此在焊接前对内外坡口进行缺陷检测极为必要.实际生产中，依附于锆管内外壁坡口处的异物是锆管坡口最为常见的一种缺陷.根据来源不同，锆管异物大体分为两类：一类是坡口车削过程中残留在管壁上的锆屑，另一类则为人工搬运过程中沾附的手套针织纤维.这两种异物均易造成焊缝中存在裂痕，当裂痕足够大时，将严重影响焊缝强度和密封性，使核燃料存在泄漏通道，直接影响核反应的安全可靠性.

目前，锆管坡口处异物检测方式为人工抽检，由于两类坡口异物均较为细小，肉眼难以辨别，因此坡口异物人工检验具有准确率低、效率低等缺点，无法满足核燃料元件自动化生产的节拍需要.为在全面保证核燃料元件制造品质的基础上进一步提升生产效率，对锆管坡口异物进行在线自动全检，以实现坡口异物的精确高效检测，具有极为重要的工程应用价值.

近年来，机器视觉的快速发展为缺陷在线检测提供了新的思路，并取得了一定进展.针对电机铜排表面毛刺缺陷，范剑英等人[1]使用形态学算法去除毛刺获得无缺陷模板，利用模板匹配方法判定缺陷；针对高反光金属表面缺陷，刘婷婷等人[2]改进Zernike矩算法提取缺陷亚像素边缘并分割缺陷轮廓，通过计算连通区域的几何参数及全局信息熵以判定缺陷；针对水果表面缺陷，Zhang等人[3]将C 均值算法与非线性规划遗传算法结合以分割疑似缺陷图像，使用主成分分析法判定缺陷；针对光伏元件表面缺陷，Akram等人[4]采用电致发光成像法拍摄光伏元件图像，使用高斯滤波算法对图像进行去噪处理，然后将处理后图像输入卷积神经网络以判定缺陷.

针对锆管坡口表面缺陷视觉检测，近年来研究较少，仅有Guo等人[5]使用卷积神经网络的方法对锆管表面划痕进行了检测.锆管为薄壁管状零件，待测内外壁坡口均为小面积的圆锥曲面.近年，针对曲面的表面缺陷检测主要进展如下：陈昊等人[6]对基于图像光流方法的轴承圆锥滚子外壁的缺陷检测进行了研究，根据缺陷区域光流值与其它背景区域的差异性，生成伪彩色图像，实现缺陷区域的粗略定位，再对局部缺陷图像进行二值化处理，分割出缺陷区域；赵妍等人[7]针对玻璃瓶瓶口的缺陷检测进行了研究，将瓶口圆环状图像展开成矩形图像后，对展开后的矩形图像进行裁剪拼接，再基于改进HOG 算法提取图像各区域特征，最后采用支持向量机进行缺陷分类.

基于重水堆核燃料锆管坡口异物检测的精度和效率要求，本文提出了一种基于平均模板的锆管坡口异物视觉检测方法，并予以实验对比验证，最后应用于企业锆管坡口缺陷在线检测设备中.该方法采用复合光源成像，通过插值的方法将锆管圆环形坡口图像展开为矩形图像，根据展开后图像的相似性构建平均模板，将模板图像与展开后的原图像进行图像差分，根据实际生产需求制定规则对疑似异物区域进行筛选，最后确定异物在原始图像中的位置及大小.

1 检测对象概述及成像方案设计

1.1 检测对象及技术要求

重水堆核燃料棒的棒身为薄壁空心锆合金管，如图1 所示，其长度487 mm，直径13.1 mm，壁厚0.38 mm，两端内外壁均开有120°倒角作为焊接坡口，该坡口即为本文检测对象.

图1 锆管Fig.1 Zirconium tube

生产单位对坡口异物检测技术要求如下：坡口检测节拍为10 s/根，检测精度为0.01 mm，检测准确率大于99%.

1.2 成像方案

由于锆管内外壁坡口表面相对其轴线均存在120°的倾斜角度，且异物常依附于坡口内外边缘，采用普通打光方式无法体现出异物轮廓，因此成像方案应使坡口边缘异物在图像中清晰可见，方便算法识别.根据生产单位对坡口异物检测精度、节拍、效率的要求，本文采用了基于同轴-环形光相结合的复合光源锆管端面成像方案.

采用50 mm 定焦镜头进行成像，由于视野较大，可将整个坡口端面纳入一张图像中，使异物更为突显，同时使用环形光和同轴光进行打光，使整个锆管内外壁坡口面及异物均处于高亮状态.该方案成像时间约为1 s/根，像素精度约为0.005 mm，成像环境实验模型如图2（a）所示，设备实物图如图2（b）所示.

图2 成像方案示意图Fig.2 Schematic diagram of imaging scheme

图3 为拍摄获得图像，从图中可以看出，该成像条件下，内外壁坡口锥面及端面呈现为圆环形，则将坡口内外壁锥面异物检测转化为高亮圆环内外壁异物检测.

图3 成像结果及其局部放大图Fig.3 Imaging result

确定成像方案后，在生产过程中依次从两端面对锆管坡口进行成像，确定异物在该成像条件下的表现形态.由前文可知，异物主要分为锆屑和织物纤维两类，其中锆屑在图像中表现为粗长条，依附于坡口内外壁，如图4（a）（b）所示；织物纤维表现为细长条，同样依附于坡口内外壁，如图4（c）（d）所示.

图4 两类坡口异物Fig.4 Two kinds of groove foreign matter

2 基于平均模板法的锆管坡口异物检测方法

基于平均模板法的锆管坡口异物检测方法主要思路如下：首先，采用形态学及二值化方法确定坡口圆环位置，以提取感兴趣区域（Region of interest-ROI），并使用双线性插值方法将圆环形ROI 展开为矩形，再根据展开后图像，使用平均模板法构建无异物图像，求取展开图与模板的差分图像，并根据规则对疑似异物进行筛选；最后计算出异物在原始图像中的位置及其内切椭圆，便于可视化.

2.1 流程图

本文算法流程图如图5 所示：

图5 算法流程图Fig.5 Algorithm flow chart

2.2 ROI 提取

2.2.1 图像预处理

由于锆管形貌及直线度差异，其端面坡口圆环在图像中的位置不尽相同，为便于感兴趣区域的确定及后续计算，需先定位坡口圆环的位置.

本文定位算法首先采用拉普拉斯算子进行滤波处理，去除微小噪声，锐化图像边缘，为后续轮廓提取做准备，如图6（b）所示；图像中锆管端面背景灰度值差异较大，因此采用二值化提取高亮圆环，并提取内外圆环轮廓长度linner和louter；由于坡口圆环轮廓近似为一个正圆，可将其重心作为圆心，则可计算出圆环重心即圆心坐标（xc，yc）.圆心坐标与外圆轮廓点g（x，y）距离的平均值可视为外圆半径router.同理，可根据内圆轮廓求出内圆半径rinner，提取的内外圆环轮廓与圆心位置如图6（c）（d）所示.

图6 图像预处理过程Fig.6 Process diagram of image preprocessing

2.2.2 基于双线性插值的锆管坡口圆环区域展开

由于成像环境下，图像中坡口厚度为70 个像素左右，如图6（a）所示，ROI 仅占成像图比例为5%，若对整张图片进行图像处理，不仅耗时长，且不利于异物特征提取.目前，圆环类零件提取ROI 方法可分为两类：一类直接在原图像上进行检测[8-9].这类方法处理简便，适合精度要求较低，检测效率要求较高的零件的缺陷检测；另一类则将圆环区域展开成矩形区域之后，再进行检测[6，10-11]，该方法耗时较长，适合精度要求较高的零件的缺陷检测.由于坡口异物细小，检测精度要求相对较高，且圆环内外径相差较小，将其展开成矩形后图像不会存在较大失真.基于此，本文采用圆环展开的方式以提取待检测坡口区域，自圆心处引一线段按固定步长扫过圆环区域，统计每次扫过圆环区域内像素点的坐标，使用双线性插值的方法计算出各点灰度值，展开过程如图7（a）所示.首先需对展开后矩形图像的长度和宽度进行选择.若该数值选择过大，图像被拉伸，其特征被淡化不易识别；反之，数值选择过小，则图像被压缩，易导致细小坡口异物在图中无法体现.基于此，为保证展开前后尺度的统一性，便于后续异物判定标准的制定，展开后图像长度尽量与原始图像中linner或louter相等.若使用linner作为展开后长度，则展开后靠近外圆部分图像被压缩，当某细小异物恰好处于该位置时，其展开后轮廓变得不明显，不利于后续识别工作.因此，本文中采用louter作为展开后矩形长度.

图7 基于双线性插值算法的坡口区域展开原理图Fig.7 Schematic diagram of groove region expansion based on bilinear interpolation algorithm

最终展开后图像长度len 及宽度wid 取值为：

式中：s 为放大参数.为让异物被包含于展开后图片，展开后图像宽度应略大于管壁厚度，而坡口异物长度在图像上通常不超过25 个像素，本文取s=30.

确定展开后图像长宽之后，需计算展开后图像各点在原图像中的位置.根据圆的极坐标公式，展开后矩形图像第j 行第k 列（1≤j≤L，1≤k≤w）的点（xjk，yjk）在圆环图像f（x，y）中的坐标为（xf，yf），其中，

最后则需使用插值方法计算出各点灰度值，综合考虑插值精度与效率双重因素，本文选择使用双线性插值的方法，其主要思想如图7（b）所示.

插值点（xf，yf）的灰度值由其四邻域（x1，y1），（x1，y2），（x2，y1），（x2，y2）的灰度值加权决定，各点的权重由其距（xf，yf）的距离决定，距离越远，权重越大.展开后图像g（x，y）中各像素灰度值为：

其中（x1，y1），（x1，y2），（x2，y1），（x2，y2）为在原始图像中与（xf，yf）相邻的四个像素，如图7（b）所示.

坡口圆环展开效果如图8（b）所示，对比原图像与展开后图像异物区域，异物形貌并未发生明显的拉伸与压缩.

图8 图像预处理过程锆管坡口图像展开效果图（局部）Fig.8 Image expansion result（local）

2.3 平均模板设计

展开后图像中坡口呈现条带状，近年来，针对此类条带状对象的视觉检测研究有：针对条带液晶面板表面缺陷，Tsai 等人[10]利用一列图像左右两侧具有相同的周期性的先验条件，采用独立成分分析的方法，参考周期性正常一侧图像，将另一侧图像中的异常部分还原，从而构建出无缺陷图像，再使用模板匹配的方法定位缺陷.针对钢轨的表面缺陷，闵永智等人[11]采用改进的双边滤波算法对图像进行滤波后，将滤波后图像与原图像相减获得差分图像，再筛选获得钢轨缺陷位置；针对玻璃瓶瓶口缺陷，周显恩等人[12]先将其展开成矩形，使用均值滤波方法对展开后的长条状瓶口图像处理，得到模板图像，对模板图像与原图像进行了图像差分操作，以定位缺陷位置；针对金属圆环垫片表面的缺陷检测，陈至坤等人[13]同样将圆环垫片图像展开成矩形，再根据展开后圆环图像各列宽度判断有无缺陷.

由于在本文成像环境下，展开后图像中每一列灰度变化未体现出连续的周期性，故无法根据每一列自身周期变化还原无缺陷状态，且坡口及异物均呈现高亮状态，无较大灰度差异，无法根据背景与异物灰度差异性检测出异物，因此文献[5-6，9-10]的方法不适用于本文情况.文献[12-13]中方法原理上可用于本文中锆管坡口的异物检测.综上所述，本文借鉴文献[11-12]构建模板的基本思想，通过算法对展开后图像进行处理，得到无异物的模板再进行模板匹配的方法对展开后坡口图像进行检测.

研究时观察展开后的矩形图像，如图8（b）所示，可知：展开后图像中，内外壁坡口呈现为均匀高亮条带，从上到下依次为“暗-亮-暗”状态分布，图像相邻列间有明显的相似性，管壁异物分布在条带两侧，亦呈现高亮状态，其余背景部分则为暗色.如图9 所示，图像中的每一列与它相邻列高度相似，异物所在列（如图9 中虚线列）的异物位置处的灰度值有较大增加，除此之外异物所在列各行灰度值与无异物列差异较小（如图9 中实线列）.

图9 展开后锆管异物处灰度值差异Fig.9 Gray value difference at foreign body

对于图像中有异物存在的某列，可将异物所在行的灰度值，替换为其临近列在该行灰度值的平均值，即可抵消异物对该列灰度值的影响.以此类推，对图像每一列均进行上述“求平均比较”运算，将所计算出的“无异物列”进行拼接，即可构建出“平均模板”，将此模板与原图像相减，即可获得异物在图像中的位置.以上即为基于平均模板法的锆管端面坡口异物视觉检测算法中平均模板法的基本思路，其关键步骤如下：

对于图像g（x，y）每列各像素，计算出其周向前后q列像素平均值，将其与原始值作比较，若差异超过某一设定阈值α1，则将该平均值赋予模板h（x，y）在该位置的灰度值，即

按照上述方法，获得平均模板h（x，y），如图10（b）所示，可知：该平均模板较好地还原了无异物的锆管坡口图像.

图10 平均模板法的基本原理Fig.10 Average template renderings

2.4 模板匹配

将展开后图像与平均模板h（x，y）做差，可得差分图像p（x，y），采用形态学方法去除微小噪声影响，找出余下的连通区域Ds，这些区域即为疑似异物区域.

确定疑似异物区域后，需要对其是否为异物进行判断，思路如下：提取特征，设定阈值，其特征种类与阈值由实际生产情况决定，包括但不限于以下几种：异物长度Ls（周向）、异物宽度Ws（径向）、平均灰度Rs、最小灰度Ts等.仅当全部特征均满足异物要求时，该连通区域才被认定为异物区域.异物的识别位置如图11（b）所示.

此外，由于在本文进行圆环展开使用锆管外壁长度作为基准，展开后矩形图像中，锆管不同位置处的异物会存在压缩与拉伸：对于依附在锆管外壁的异物，长度压缩约为2%，对于依附在锆管内壁的异物，长度拉伸约为7%.故在缺陷判定前，需根据位置对异物的长度进行补偿，对于依附于外壁与内壁上的异物，分别将其长度在原始长度的基础上乘以0.98 与1.07.

图11 锆管坡口展开图异物定位Fig.11 Foreign matter location

2.5 异物原始位置计算

由于上述异物判定均在展开图像中进行，需要确定异物在原始图像中的位置并加以标注，以便质检人员查看，本文目前采用的方法是在原图中用椭圆将异物圈出（图12），其主要步骤如下：确定异物连通区域Ds在展开图像中的位置，即起始列colh，终止列colb，起始行rowh，终止行rowb，由于圆心已知，则可根据圆的极坐标方程计算出椭圆长轴两顶点A（xa，ya）与B（xb，yb）的坐标，其中

图12 锆管原图异物检测定位结果Fig.12 Foreign matter detection results in the origional image

3 实验结果与分析

为验证本文锆管端面坡口异物检测算法的可行性与优越性，采用500 张锆管端面成像图片进行测试，其中包含400 张无异物端面坡口图片，50 张沾有织物纤维的坡口照片，50 张沾有锆屑坡口照片，硬件环境为i5-8400 处理器、4G 内存，软件环境为Matlab.由2.3 小节可知，对于本文中展开后的图像的异物识别，可借鉴方法为文献[12]与文献[13]中的方法.为验证圆环展开方法提取ROI 技术路线的优越性，使用文献[8] 中直接在原图像中使用图像掩模提取ROI 的方法作为对比.分别将本文算法、文献[8]算法、文献[12]算法与文献[13]算法应用于锆管坡口异物检测，从检测准确性和耗时两方面进行比较，结果如表1 所示.

表1 异物检测结果统计表Tab.1 Statistical table of foreign body detection results

由表1 可知，本文算法对锆管端面坡口异物识别平均准确率为99.4%，其中对锆屑和无异物图像识别率高达100%，平均耗时1.84 s，完全可以满足生产企业实际生产节拍及精度的要求.

文献[8]算法对无异物图像和锆屑识别准确率均可达98%左右，但对织物纤维图像无法实现有效识别.图13（a）为文献[12]算法图像掩模后区域，图13（b）、（c）、（d）为图13（a）中虚线框处放大图，区别在于使用的形态学图像腐蚀方法中结构元素的大小不同，分别为1×1、2×2 及4×4.文献[8]算法圆形掩模板构建的过程中使用了形态学方法，由于掩模板边缘与锆管边缘契合度不高，坡口内外壁边缘部分便成为噪声，对识别造成干扰，如图13（b）、（c）、（d）所示，椭圆虚线框出噪声部分面积及亮度与正圆虚线框出的实际异物部分相差不明显，即使使用较大的结构体对图像进行腐蚀，也无法消除这种干扰，因此在参数设置保证尽量不对无缺陷图像造成误识别的情况下，文献[8]算法对存在织物纤维的图像识别效果较差.

图13 文献8 算法图像掩模后区域及腐蚀后结果Fig.13 Region after image masking

文献[12]算法对锆屑和无异物图像识别效果较好，准确率超过90%，但对织物纤维识别效果稍差，仅为80%，且耗时高，达不到技术要求.究其原因，由于均值滤波会使模板中坡口边缘模糊，如图14 所示，而织物纤维亮度较低，轮廓不明显，易在差分图像中被忽略.

图14 两种方法生成的模板图像锆管原图异物检测定位结果Fig.14 Template image generated by two method

文献[13]算法对参数设置要求较高，在保证不对无异物图像造成误检的前提下，算法无法准确识别出锆屑与织物纤维，识别准确率仅为58%与10%.究其原因，文献[13]算法的检测对象是展开后瓶口图像的断裂，而断裂对灰度累加值梯度的影响远比异物大，且倾斜角度较小，亮度较低异物的出现不会对列向累加值造成明显影响，由于锆管壁厚公差较大、管口圆度不高等原因，进行列向累加后各列累加值波动偏大，异物造成波动在其中则变得较为不明显.