基于离散余弦变换和相位谱的钢管内表面缺陷检测①

李晓辉,赵 璞,于振宁,刘传水,赵 毅

1(长安大学 电子与控制工程学院,西安 710064)

2(渤海装备 华油钢管有限公司,沧州 062658)

当前,钢铁作为我国的工业基础,所有的工业生产都离不开钢材,钢材本身质量的好坏直接影响了成品质量.钢板是钢材的主要产品,它被广泛应用于各个领域,尤其是在石油运输方面.在石油运输中,石油运输管道一般都采用钢管来制造,它在制造完成后,其内壁表面一般会有内断、划痕以及凹坑等问题[1].如果在其出厂之前没有发现这些问题并对其进行处理,将会缩短它的使用寿命.因此,钢管制造商在制造完钢管后,需要对其进行各种各样的检测工作.在以上检测中,管道内表面缺陷检测就是其中一个非常重要的部分[1].

一般传统上对于钢管内表面质量的检测方法主要采用的是人工目测.即让工人走进管道,依靠人眼检查,该方法对于钢管内表面具有明显缺陷的情况下,可以显而易见的筛选出来.但是,对于一些细微的缺陷,并不是能够很好的辨别出来,从而造成漏检现象,使得根管道的降级或报废,严重浪费生产资源.钢管在生成完成后,温度一般都比较高,这时工人进入管道有一定的安全风险,而且对工人的身体健康不利.还有一些管道的管径比较小,工人无法进入.因此,传统的人工目测方法由于客观原因,并不长期适用于钢管内表面的质量检测,会降低生产效率并加大成本,并且存在安全隐患[2].

随着计算机技术的不断发展,计算机视觉在图像识别方面的效果越来越好,基于计算机视觉的检测技术作为一种新兴的无损检测技术,具有检测效率高、受环境影响小、易于发现及便于量化等优势,将其应用于钢材表面缺陷检测能够提高检测效率和准确性,因此让计算机对钢材表面进行识别是一个很好的选择[3].针对管道内表面缺陷的检测,研究人员利用图像处理技术对图像进行检测,使用算法来检测图像上的缺陷.在2005年,有研究人员提出用神经网络来对钢板进行表面缺陷检测,并取得比较好的效果[4].2008年华中科技大学提出一种基于改进BP 神经网络的缺陷分类器,解决了缺陷的快速识别问题[5].2015年出现了用SVM与遗传算法相结合、SVM 与粒子群算法结合等方式来进行钢板表面缺陷的识别[6].随着卷积神经网络在图像识别上巨大成功,有很多开始使用卷积神经网络进行管道内缺陷检测,并且取得了很好的成绩[7-9].但是由于使用卷积神经网络时,不但需要大量的数据,而且还需要消耗较大的人力去对数据进行标注.当数据较少时,卷积神经网络往往会产生过拟合,并不能达到理想的效果.由于在实际生产中钢管一般都是合格品,内表面很少会遇到缺陷,这便导致基于卷积神经网络的检测方法无法在本实验中发挥效果.

为了解决这个问题,通过实验发现显著性检测在钢管内表面检测上有很好的效果,与深度学习相比,它不需要数据集,而且好多学者已经利用显著性进行其他物体的检测而且取得不错的效果[10].故本文提出一种基于图像离散余弦变化和相位信息相融合的显著性检测模型.

1 钢管内表面缺陷检测

在图像频域中,图像信息可以分为相位信息和幅值信息两种[11,12].其中图像的相位信息是图像经过傅里叶变换后的,其包含着图像的结构信息,可以展示出图像的绝大部分重要特征,但是有些特征可能是正常的背景,是不需要显示的.离散余弦变换可以较好的将图像频域能量聚集起来,能够把图像更重要的信息聚集在一块,对于那些不重要的频域区域和系数就能够直接裁剪掉.本文算法流程示意图如图1所示,它首先获取图像RGB 三个通道上的信息;然后分别对这3 个通道信息进行离散余弦变换(DCT),得到3 个图像特征,对这个3 个特征进行反离散余弦变换(IDCT) 得到3 个重建图像;最后通过叠加得到其利用离散余弦变换后的缺陷显著图.同时再获取原始图像的相位信息,形成其在相位上的缺陷显著图.通过图像融合将这两个缺陷显著图给融合成一张最终的缺陷显著图;最后将最终的显著图二值化,通过连通区域检测检测将缺陷的位置信息检测出来,映射到原始图像上,得到最后的缺陷检测图.

图1 算法流程示意图

1.1 图像特征显著图

根据Hou的研究[13],原始的图像信息I(x,y)由前景信息和背景信息组成的,其表示形式为:

式中,f(x,y)表示图像的前景信息,b(x,y)表示图像的背景信息.

由于缺陷信息一般都是处于前景中,为了可以精确的提取缺陷信息,构建了下面的显著性模型.将原始图像I(x,y)的RGB 三通道的分量分别进行DCT,分别得到3 个图像的频域信息:

式中,Ii代 表原始图像在RGB 通道上的分量;Fi代表图像的频域信息.

DCT 表示离散余弦变换.为了使缺陷信息更加显著,需要增强前景信息的特征.由于离散余弦变换可以将图像重要的信息聚集起来,故通过使用s ign函数,将其按照前景和背景把图像的像素置为1和-1,从而裁剪掉图像中不重要的信息:

式中,Si代表图像特征.

根据上述的SR,SG,SB三个图像特征,再通过下述公式计算得到图像特征的重构图像为:

式中,A(x,y)表示图像特征的重构图;IDCT表示离散反余弦变化.

对图像特征重构图先利用3 ×3的高斯核对其进行高斯平滑,再将其归一化,就得到了图像特征显著图,如图2.

图2 图像特征显著图

图2表示出了利用上述方法得到的图像特征显著图.图2(a)为原始图像,可见中间的焊缝及它上面的异物为视觉显著性区域.图2(b)为图像特征显著图.其中,亮度值越高的区域表示该处像素的明暗差异越大,即该处是图像的前景.从图2可以看出,白色区域指向了原图的异物,但是却无法识别出同样显著的焊缝,不满足需求.故需要使用相位谱信息来辅助检测.

1.2 相位显著图

原始图像的相位信息保存着图像的重要特征,它的显著图包含了原始图像的绝大部分的细节结构.由于相位信息是显著性的位置信息的体现,因此在重构图像相位显著图时,应该保留完整的图像相位信息.所以,采用Guo 提出的显著性检测模型[14]提取图像的相位显著图.与上述算法不同,提取相位谱需要对原始图像I(x,y)进行傅里叶变换,但是相位信息不需要图像的颜色变化,为了减少计算量,故先将原始图像转换为灰度图像.计算步骤如下:

式中,FFT和IFFT 分别表示傅里叶变换和傅里叶反变换;Ig(x,y)表示原始图像转换成的灰度图像;p是求相角函数;S(x,y)表示图像的相位特征;P(x,y)表示图像的相位重构图.与提取图像特征的显著图一样,经过高斯平滑和归一化后,便得到了图像的相位显著图.

图3表示出了利用上述方法得到的相位显著图.图3(b)为相位显著图.从相位显著图上可以看出,该方法对确实是对图像中的细节信息比较敏感,不但检测出了焊缝,也检测出了左上角显著性不是很强的区域,但是焊缝上异物的显著性却没体现出来.

图3 相位显著图

1.3 显著图融合技术研究

根据上述分析,需要结合图像特征显著图和相位显著图的特点,过程如图4.将最终输出的图像特征显著图A(x,y)和相位显著图P(x,y)进行加权融合:

图4 检测过程

式中,I′(x,y)表示融合后的显著图;α表示图像融合系数.

用以上方法对图像进行处理后,得到的显著图既可以体现出原始图像的明暗变化,又可以展示出原始图像的重要细节.但是只是简单的将两者按1:1 相叠加,会使图像中的细节信息减弱,对比度降低,从而使融合结果达不到期望的效果.

图像的相位信息中,图像的细节信息比较多,所以在图像融合时,应该使得图像的相位显著图的权重高于图像特征显著图.但是在相位显著图中有许多误以为显著的信息,需要抑制这部分信息的显示.故采用下述改进的方法来进行图像融合:

其中,1 -α ＞α ;β1,β2和β3为图像亮度增强值.

通过减少图像相位显著图的亮度来降低相位图中非显著的细节信息对融合后的图像的影响.由于图像特征显著图的权重低,通过增加它的亮度来使得其的显著信息更加明显.最后的β3给融合后的显著图增加了亮度,方便图像进行二值化.图4(b)图展示了融合后的显著图.

对缺陷位置的识别,采用一种快速简单的方法——连通区域检测[15].将融合后的显著图进行二值化,把具有相同像素值得相邻像素组成一个连通区域.求出连通区域的边界,可以得到缺陷的位置信息,将其绘制到原图上,可以得到图像缺陷检测图.如图4(c)所示为经过二值化以后的显著图,可以发现通过上述方法,很好地抑制了相位图中的非显著信息.图4(d)是利用连通区域检测获得的缺陷的位置,可以发现几乎可以准确的找到钢管内表面缺陷的位置,达到了预期的效果.

2 实验结果与分析

2.1 实验数据采集

本文通过管道机器人巡检来获取图像.管道机器人系统工作流程:先由轨道平板车带动机器人移动,当它到达管口时停止移动,然后机器人从轨道车进入管道内部,摄像机启动拍摄图像,机器人通过四射摄像头拍摄管道内壁不同角度的图像,机器人到达管道底部时,停止移动,回退到管道起始端,确认轨道车在指定位置后返回到轨道车上.图5为机器人巡检管道系统模型及现场巡检照片.

图5 机器人巡检图片

为了验证本文提出的钢管内表面缺陷检测算法,从管道机器人对钢管巡检的数据中,挑选出有缺陷的图像制作成数据集,然后从中随机抽选30 张做测试,并与基于相位谱的检测方法[14]、基于谱残余的检测方法[16]和基于频率调谐的检测方法[17]进行对比.式(9)中的参数设置为:α=0.3,β1=10,β2=10,β3=10.

2.2 显著图结果对比

把利用上述3 种方法以及本文方法形成的显著图进行对比,实验结果如图6所示,其中图6(a)是原始图像,图6(b)、图6(c)、图6(d)分别是基于相位谱、谱残余和频率调谐得到的显著图,图6(e)是利用本文方法得到显著图.由图6可以看出,本文方法既可以检测出显著性非常集中的区域,又可以检测出显著性分撒的区域.总的来说,本文方法在显著性检测方面的效果最好.

图6 各种方法对比

2.3 检测准确性和检测时间

为了客观的反映出上述方法的性能,本文选用计算机视觉中常用的准确率和检测时间.准确率是算法能识别出的钢管内表面缺陷个数与数据集中所有的内表面缺陷个数的比值,检测时间为算法检测一张图像所需要的时间.同时,为了更好的对比本文方法的性能,也采用了卷积神经网络的方法[18]进行对比,得出检测准确率和检测时间如表1所示.

表1 实验结果

由表1可以看出,本文方法的准确率明显高于其他方法.由于卷积神经网络是利用GPU 进行运算的,所以其检测速度非常快.但同时因为数据集本身的数据过少,使得卷积神经网络过拟合,在测试集上的准确率非常低.本文方法结合了图像特征信息和相位信息,虽然检测时间大幅度上升,但是它的准确率也大幅度上升,显示了本文方法的优越性.图7展示了钢管内表面异常检测结果示例.

图7 钢管内表面异常检测示例

3 结束语

针对钢管内表面异常检测的问题,本文分析了图像相位信息和经过离散余弦变化后的信息的特点,并结合着两种方法的优势,提出了一种新的钢管内表面异常检测方法.实验结果表明,相比其他几种检测方法,本文方法的检测效果更好,准确率更高,它的检测时间长也可以满足工业生产.但是本文方法也存在漏检情况,下一步可以通过收集大量的数据,制作成深度学习的数据集,使用卷积神经网络来对钢管内进行检测,它的准确率应该会更高,而且可以满足实时的需求.