面向荧光渗透检测的小型管件图像展开拼接方法*

蔡柳依婷 梁敏健 刘桂雄

特约论文

面向荧光渗透检测的小型管件图像展开拼接方法*

蔡柳依婷1梁敏健2刘桂雄1

（1.华南理工大学机械与汽车工程学院，广东 广州 510640 2.广东省特种设备检测研究院珠海检测院，广东 珠海 519002）

针对采用荧光渗透法检测小型管件表面缺陷需人工翻找并肉眼观察的不足，提出面向荧光渗透检测的小型管件图像展开拼接方法。首先，利用机器视觉技术从多角度采集小型管件荧光渗透处理后的表面图像，通过建立小型管件成像展开模型将其侧表面圆柱曲面转换为平面成像；然后，利用改进单应性变换实现多角度小型管件图像拼接配准；最后，基于区域融合与明度调节实现多角度小型管件图像拼接融合。试验结果表明：该拼接方法的特征匹配正确率达到86.78%，相对于原始匹配单应性模型适配率提高了12.43%，能较有效整合各角度荧光渗透处理后的小型管件表面缺陷信息，为小型管件图像处理二次定性检测提供优质输入。

荧光渗透；小型管件；柱面展开；图像拼接

0 引言

工业生产中常使用小型管件作为运输元件，其表面质量是安全运行的重要保障之一[1]。小型管件典型缺陷主要有裂纹、焊瘤、凹陷和气孔等，常采用荧光渗透法进行检测[2]。该方法使用荧光物质作为渗透剂，喷涂于清洗后的小型管件表面；再在暗室条件下人工手动翻转管件表面，并使用紫外灯对其表面照射，使其表面缺陷显像。传统荧光图像缺陷识别依靠人工寻找缺陷位置，判断缺陷类型，再用测量工具判定缺陷质量等级，得出小型管件表面缺陷质量评价结果[1]0。基于机器视觉的检测方法能较完整地呈现管件侧表面图像，方便后续图像处理，减少人工成本，提高检测效率。

基于机器视觉的缺陷检测方法通过图像处理算法提取管件表面图像典型特征缺陷并识别。文献[3]（2013）针对产品表面线状、条纹和塌边等类型缺陷研究图像滤波去噪、缺陷分割等处理手段，并取得工业应用效果；文献[4]（2016）改进复杂背景下经典目标分割算法，通过工件表面缺陷图像库实验，验证算法在工件表面缺陷特征提取与识别方面的有效性。这些方法主要通过改善经典算法计算流程、二次设计计算参数等方式优化表面缺陷检测方案，常应用于多缺陷共平面大型管件表面缺陷检测，难以适用于小型管件柱状表面曲成像结构。

为此，本文提出面向荧光渗透检测的小型管件图像展开拼接方法，在原有小型管件表面缺陷检测流程中引入小型管件表面柱状成像展开模型，并通过单应性变换实现多角度小型管件图像拼接，在一个平面上较完整地呈现小型管件表面全貌特征。

1 整体设计

面向荧光渗透检测的小型管件图像展开拼接方法设计框图如图1所示，包括成像展开模型和图像拼接模型。

通过对小型管件多角度图像采集，建立面向荧光渗透检测的小型管件成像展开模型，求取展开前后像素坐标变化关系；再利用图像拼接模型，整合不同角度下的小型管件侧圆柱面缺陷信息。

2 小型管件成像展开模型

小型管件展开成像模型将小型管件近似为圆柱体，本文以其中任意侧表面成像为例，分析展开前后管件侧表面任一点世界坐标变换关系。

图1 面向荧光渗透检测的小型管件图像展开拼接方法设计框图

图2 小型管件图像展开成像示意图

令式(1)坐标缩放矩阵为，结合式(1)、式(2)、式(3)，可得小型管件展开前像素坐标-展开后像素坐标转换关系为

再从方向进行二次插值，得到

由此得到多角度小型管件成像展开效果。

通过建立小型管件成像展开模型，研究展开前后像点坐标变换关系，可将管件侧表面成像曲面近似转换为平面，从而恢复其原始形貌特征。但为完整呈现管件侧柱状表面整体外观，还需拼接多角度小型管件成像展开图片。

3 图像拼接模型

小型管件图像拼接融合示意图如图3所示。

图3 小型管件图像拼接融合示意图

由于多角度荧光渗透的小型管件图像成像效果受其表面缺陷集中情况、种类和尺寸等因素影响，往往会呈现亮度差异，故需事先借助XYZ颜色空间将RGB图像转至Lab颜色空间，用以均衡亮度通道分量，从而均衡各角度配准结果图像质量[12]。

通过基于单应性的图像拼接配准方法，利用白光条件下特征匹配对获取多角度小型管件几何变换路径；再通过基于颜色特征的图像拼接融合方法整合荧光渗透处理后的表面成像图片，改善基于机器视觉方式进行表面缺陷检测的质量。

4 实验结果与分析

小型管件图像采集效果如图4所示，其中图4(a)、图4(b)为白光光源条件下采集的不同角度1号管件成像；图4(c)、图4(d)为紫外光源条件下采集的不同角度2号管件荧光渗透处理后成像。为集中处理小型管件表面成像，可提取图像中管件主体用于后续操作。

图4 小型管件图像采集效果

根据式(4)对小型管件主体进行成像展开，将小型管件侧柱面按成像展开模型近似转变为沿母线展开的平面。小型管件成像展开效果如图5所示，其中图5(a)、图5(b)为白光光源条件下1号管件展开主体；图5(c)、图5(d)为紫外光源条件下荧光渗透处理后2号管件展开主体。图5(a)、图5(b)、图5(c)、图5(d)均与图4拍摄角度依次对应，可对比看出管件边缘得到明显拉伸，原始曲面的特征也有相应恢复。

利用白光条件下多角度小型管件展开图进行图像拼接配准，为荧光渗透处理后的展开图提供单应性几何变换路径。小型管件图像拼接配准结果如图6所示。由于小型管件展开使其侧边缘特征有所恢复，相对原始管件区域全局surf[13]特征提取时特征数平均增长了73.24%。同时，由于优化配准区域，只拍摄冗余区域，改善了RANSAC[14]特征匹配修正时2图特征匹配正确率。小型管件单应性配准正确率对比表如表1所示，展开后2图特征匹配正确率达到86.78%，相对于原始匹配单应性模型适配率提高了12.43%。

图5 小型管件成像展开效果图

表1 小型管件单应性配准正确率对比表

最后在单应性配准基础上使用荧光处理后的小型管件展开图像作为图像拼接融合输入，按式(7)、式(8)调整多角度图像亮度并进行渐入渐出融合，得到荧光渗透多角度图像拼接融合效果，如图7所示。可以看出：其表面信息丰富度，灰度变化跨度、整体自然度都有所提升，可用于后续荧光渗透缺陷定位、识别和提取，甚至进行定量尺寸计算及测量。

图7 小型管件图像拼接融合结果

5 结语

根据小型管件几何特征、成像原理构建小型管件成像展开模型，并推导像素层面小型管件展开前后坐标变换关系，从而一定程度地恢复小型管件曲面特征。通过改进单应性自由度求解方式，简化小型管件图像拼接配准计算过程，并通过改进渐入渐出图像拼接融合方法，得到荧光渗透小型管件侧表面拼接图像，有效整合各角度荧光渗透处理后的小型管件表面缺陷信息，相对于原始匹配单应性模型适配率提高了12.43%，提高小型管件表面缺陷检测图像准确率和处理效率。

下一步将研究荧光渗透小型管件图像表面缺陷提取与定位算法，全面实现小型管道的自动化检测。

[1] 余达海.油气管道运输业的发展与安全思考[C]//中国石油石化健康,安全与环保.中国石油学会,2015.

[2] 全国锅炉压力容器标准化技术委员会.NB/T 47013.5―2015 承压设备无损检测第5部分：渗透检测[S].北京:新华出版社,2015.

[3] 李玉宝.基于机器视觉的表面缺陷检测算法研究[D].长沙:中南大学,2013.

[4] 赵君爱.基于图像处理的工件表面缺陷检测理论与方法研究[D].南京:东南大学,2016.

[5] VAGHELA D, NAINA P. A review of image mosaicing techniques[J]. arXiv preprint arXiv:1405.2539, 2014.

[6] ZITOVA B, FLUSSER J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[7] Debabrata Ghosh, Naima Kaabouch. A survey on image mosaicing techniques[J]. Journal of Visual Communication and Image Representation,2016,34:1-11.

[8] 刘桂雄,蔡柳依婷,王博帝.机器视觉检测图像拼接配准技术研究进展[J].激光杂志,2019,40(11):1-6.

[9] ANDREW A M. Multiple view geometry in computer vision[J]. Kybernetes, 2001, 30(9/10): 1333-1341.

[10] 刘桂雄,张瑜,蔡柳依婷.机器视觉检测图像拼接融合技术研究进展[J].中国测试,2020,46(1):1-6.

[11] HILLMAN P, HANNAH J, RENSHAW D. Alpha channel estimation in high resolution images and image sequences[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001. IEEE, 2001, 1: I-I.

[12] 王可,陆长德,乐万德.色彩相似性度量的研究与应用[J].计算机应用研究,2005(10):168-170.

[13] BAY H, TUYTELAARS T, VAN GOOL L. Surf: speeded up robust features[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2006:404-417.

[14] FISCHLER M A , BOLLES R C . Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981,24(6):381-395.

A Stitching Method for Unfolding Small Tube Images for Fluorescent Penetration Detection

Cai Liuyiting1Liang Minjian2Liu Guixiong1

(1. School of Mechanical and Automotive Engineering, South China University of Technology,Guangzhou 510640, China 2. Guangdong Institute of Special Equipment Inspection and Research Zhuhai Branch, Zhuhai 519002, China)

Fluorescence penetrating detection of small pipe surface defects usually needed to be manually searched and observed with the naked eye. We used machine vision to collect the surface pictures of mall pipe after fluorescent penetration from multiple angles. By establishing a small pipe imaging expansion model, the side surface of the cylindrical surface was converted into planar imaging. We then proposed an improved homography transformation to realize the registration of multi-angle small pipe images, and realized the multi-angle small pipe image fusion based on regional fusion and brightness adjustment. Experiments showed that the accuracy of feature matching of the splicing method reached 86.78%, which was 12.43% higher than that of the original matching homography model. It can effectively integrate the surface defect information of small pipe after fluorescent penetration treatment at various angles. The secondary qualitative inspection of the image processing of small pipe provided high-quality input.

fluorescent penetration; small pipe; cylindrical expansion; image stitching

TN911.73

A

1674-2605(2021)02-0001-06

10.3969/j.issn.1674-2605.2021.02.001

广州市产业技术重大攻关计划(2018020300006)；广东省特检院科研项目(2020CY14)。

蔡柳依婷，女，1996年生，研究生，主要研究方向：先进传感与仪器研究。E-mail:1076050814@qq.com