红外无损检测图像处理方法的对比

江海军,盛 涛,郑金华,向 苹

(1.南京诺威尔光电系统有限公司,南京 210014;2.上海复合材料科技有限公司,上海 201112)

红外无损检测是一种实用型无损检测技术,目前被应用在航空、航天、机械、油气、新能源、新材料等多个领域。红外无损检测技术采用主动式热激励源对试件进行热激励,主动式热激励源包括闪光灯、激光、LED、卤素灯、超声、电磁激励等[1-4]。主动式热激励源用于打破试件表面原有的温度平衡,在试件表面形成新的温度场分布。在传播过程中,试件表面的温度场分布受试件内部缺陷影响,若要使试件表面产生异常的温度分布,需要使用红外热像仪采集激励前后的红外图像序列,并对采集的红外图像进行处理。红外图像处理对试件的缺陷检测至关重要。红外图像处理方法包括单帧图像处理和序列图像处理方法。文章主要对红外图像处理方法的现状和发展趋势进行介绍和总结。

1 单帧图像处理

单帧红外图像处理主要包括畸变校正、图像增强、图像垂直条纹去除、图像滤波等,原始红外图像经过处理后可以变得清晰,同时噪声会变小。采集红外图像之前,一般都会进行红外热像仪非均匀性校正,文章不考虑红外热像仪两点校正及单点校正图像处理方法。

1.1 畸变校正

红外热像仪成像过程中需要使用红外镜头,红外镜头为满足成像系统大视场的需求,一般设计为大口径系统,不可避免地造成了红外图像的几何畸变(一般为桶形畸变)。大视场光学系统中,一般采用多组镜片组合模式,但受限于工艺水平,其在加工时会产生误差而加重畸变。畸变虽然不影响图像的清晰度,但是会影响成像几何位置的精度,给后续检测结果分析和判断带来不利影响[5]。另一方面,在红外无损检测应用中,检测距离一般小于500 mm,通常采用短焦距镜头(10～15 mm),镜头焦距越短,检测距离越小,畸变越严重。国内外学者针对图像畸变进行研究并提出了不同的解决方案[6-7]。主要有两种修正方法,一种是试验法,借助试验仪器对畸变量进行测量并修正,但是由于试验装置复杂、成本高,故不容易实现;另外一种方法就是采用图像畸变算法进行重建,通过几何变换校正失真图像中各像素点原来的空间关系。图像畸变校正算法前后效果对比如图1所示,可以看到,离中心越远,畸变越严重,畸变校正后,试件中弯曲的边缘变成了直线。

1.2 图像增强

红外无损检测技术中采用主动热激励源对试件进行热激励,热激励结束后,热波(变化的温度场)会进行三维扩散,导致红外图像对比度低、图像边缘模糊,且随着热波的不断传播,三维热扩散持续进行,检测到的红外图像就越来越模糊,直到看不见缺陷信息。同时,红外图像采用14位/16位输出,常规显示设备或者人眼只有8位数据显示宽度,因此红外图像显示需把大动态范围数据压缩到8位数据。研究人员发现红外图像增强主要有3类算法:基于统计的直方图增强、基于频率变化进行增强、数字细节增强[8-9]。前两类算法容易造成部分区域过亮或者过暗,导致图像细节丢失。数字细节增强算法是一种高级的非线性图像增强算法,也是目前红外图像增强的最佳算法,通过引导滤波或者其他滤波算法把高动态范围原始图像分成背景图像和细节图像,再分别对背景图像进行压缩和对细节图像进行增强处理,最后将背景图像和细节图像进行融合,得到增强图像,增强后的图像不仅保留了细节信息,并且不会出现部分图像区域过亮或者过暗的现象。不同图像增强算法的效果对比如图2所示。由图2可以看出,统计直方图算法容易造成部分图像区域过亮或者过暗;数字细节增强算法处理的图像不仅使缺陷区域明显,也未出现过亮或者过暗区域,背景区域的黑点区域边缘也非常明显。

图2 图像的不同增强算法效果对比

1.3 垂直条纹去除

一般制冷红外热像仪很少看得到垂直条纹,除非是红外原始图像过度增强或者数字细节增强后才能勉强看到。垂直条纹常出现在非制冷红外热像仪中,非制冷热像仪采用的是焦平面探测器,焦平面探测器每一列共用一个放大器,每个列放大器具有不同的噪声特性,从而造成了列和列之间的差异,在图像上整体表现为明显的垂直条纹[10-11]。红外热像仪中的垂直条纹用非均匀性校正很难去掉,因为其是热像仪受到芯片周围电路温度影响而产生的,采用非均匀性校正处理时仅能校正与挡板温度接近的垂直条纹,当真实温度与挡板温度差超过2℃时,垂直条纹依然会存在。在实际使用中,热像仪长时间工作更容易产生垂直条纹,垂直条纹比较影响缺陷特别是与垂直条纹平行的裂纹的判断。TENDERO 等[12]采用列方向中值直方图均衡化方法对垂直条纹进行去除,但该方法需要进行直方图均衡以及逆变换,算法复杂度高、计算量大;WANG等[13]提出了一种利用迭代计算获取条纹噪声的校正算法,该算法迭代次数多,不易实时处理。张盛伟等[14]提出了基于引导滤波提取垂直条纹噪声校正项,再对噪声进行校正的方法,该方法具有算法复杂度低、可实时等优点。不同红外热像仪采集图像中的垂直条纹去除前后对比如图3所示。图3(a)为制冷红外热像仪采集的图像,并且经过数字细节增强,图中可以看到微弱的垂直条纹,条纹去除后图像如图3(b)所示;图3(c)为非制冷红外热像仪采集的图像,图像中垂直条纹明显,条纹去除后如图3(d)所示,可见垂直条纹去除干净,试件表面的水平弧形纹理和试件边缘都没有变模糊,故垂直条纹去除算法不会影响图像的清晰度,不会模糊图像的细节信息。

图3 不同红外热像仪采集图像中的垂直条纹去除前后对比

1.4 图像滤波

红外热像仪噪声主要包括热噪声、散粒噪声、固定图案噪声、1/f噪声等。通常,非制冷红外热像仪噪声比制冷红外热像仪噪声严重得多[15]。但制冷红外热像仪采集图像增强后或者采集均匀的黑体图像中也会出现噪声,非制冷红外热像仪采集图像增强后噪声更加明显。传统红外图像去噪方法主要有空域和频域两种方法,空域方法除了常规的中值滤波、均值滤波外,还可以采用引导滤波进行噪声去除,噪声去除效果最好的为三维块匹配(BM3D)的图像滤波算法[16-18]。不同红外热像仪采集图像的引导滤波和BM3D滤波的效果对比如图4所示,其噪声图像分别为图3中条纹去除后的图像。由图4可以看出,经过垂直条纹去除以及图像滤波后,图像噪声变小,已经很难分辨是什么类型红外热像仪采集的图像。从图像滤波效果上看,BM3D滤波图像比引导滤波图像更加光滑,细节更为清晰。

2 序列图像处理方法

红外序列图像处理方法主要包括热波信号重建技术、主成分分析技术、独立成分分析技术、脉冲相位法。文章除介绍该技术研究状况以外,同时会采用该技术对序列图像进行处理。处理的图像来自于同一套闪光灯激励红外无损检测系统,闪光灯能量为12 000 J,闪光灯脉冲宽度为3 ms,红外热像仪为制冷热像仪FLIR X6530SC,分辨率为640 像素×512 像素,等效噪声温差小于20 mK。试件为塑料平底孔,共含15个平底孔缺陷,缺陷直径为20 mm,缺陷深度从0.25 mm 至3.75 mm 不等,采集时间为70 s,采集频率为100 Hz。

2.1 热波信号重建技术

热波信号重建技术(TSR)主要用于对脉冲激励的红外序列图像进行增强。对采集的热激励后的红外图像序列减去背景后,对每一个像素点的温差数据进行取双对数操作,并进行多项式拟合,再对拟合数据求一阶导、二阶导,获得1-D、2-D图像。导数图像不仅可以消除表面加热不匀的影响,也可以对图像细节信息进行增强,提早发现缺陷信息,同时可以利用导数图像对缺陷深度进行测量[19-20]。李艳红[21]对热波信号重建技术进行了详细分析和研究,梁涛[22]采用热波信号重建技术对复合材料冲击损伤后的缺陷特征进行研究,试验结果表明,采用热波信号重建技术和主成分分析技术在缺陷特征提取方面效果更好。热波信号重建图像序列如图5所示。图5(a)为不同时刻的原始图像,0.1 s时看不见缺陷信息,可以清楚看到试件表面的纹理信息,也可看出由于缺陷深度不同,缺陷是逐渐显现的。从图5(b)、(c)可以看出,导数图像比原始图像更清晰,图像边缘更锐利。

图5 热波信号重建的图像序列

2.2 主成分分析技术

主成分分析(PCA)技术是利用数学原理,找出一组最优的基向量来表征红外图像序列之间的关系。其用最少的特征来表述更多的图像信息,是一种具有图像降维特性的图像序列处理方法。从本质上说,PCA可以把复杂数据关系降低为简单数据关系。采用PCA可以提取红外图像序列中较高的主成分,同时可以对红外序列图像进行压缩。董毅旺等[23]探究了玻璃钢平底孔试件融合区间对PCA 算法处理结果的影响,提出了可依据温差峰值选择融合区间。WANG等[24]对玻璃钢纤维复合材料脱黏缺陷采用TSR、PCA、FFT 等方法进行研究发现,PCA算法的缺陷识别率最高。同时,研究人员对复合材料分层、冲击损伤图像序列进行处理时发现,采用PCA算法可以有效提高图像信噪比和缺陷识别能力。图像的主成分分析结果如图6所示,第一主成分包含全部的缺陷信息,其余主成分更多地包含了试件表面的纹理信息。

图6 图像的主成分分析法处理结果

2.3 独立成分分析技术

独立成分分析(ICA)技术是从获得的多种观测信号中提取出独立信号。观测信号是一个线性组合,该组合由多个独立的分量构成,ICA 就是一个解混过程,最终获得的图像具有非高斯特征。对红外图像序列进行盲源分离,目的是把隐含的独立信号分离开[25-26]。WANG等[27]对包覆层高硅氧酚醛树脂板材缺陷进行了检测,研究对比了主成分分析、独立成分分析、脉冲相位法算法对红外序列图像的处理效果,结果表明独立成分分析算法能显著提高信噪比。LIU 等[28]采用涡流脉冲热成像技术检测复合材料人工分层缺陷,用主成分分析、独立成分分析、脉冲相位法3种算法对红外序列图像进行处理,结果表明独立成分分析算法在处理深度缺陷时表现更好。袁丽华等[29]对复合材料冲击损伤进行了提取,由重构矩阵得到独立成分特征图像,从而获得最大损伤长径和损伤短径的缺陷表征量。图像的独立成分分析结果如图7所示,可见,相对于主成分分析结果图像,其显示的试件表面纹理信息更少,更多的是试件的内部信息。

图7 图像的独立成分分析法处理结果

2.4 脉冲相位法

脉冲相位法(PPT)从红外图像序列中提取相位,通过相位差来判定缺陷信息,结合了脉冲激励技术和脉冲锁相技术的优点。其核心是对红外图像序列进行傅里叶变换,可以消除表面加热不匀、表面发射率的影响。该方法对空域内噪声有一定的抑制作用,可以提高图像的对比度[30]。刘颖韬等[31]采用脉冲相位法对复合材料进行了研究分析,试验结果表明脉冲相位法用于复合材料检测是可行的。陶胜杰等[32]研究了脉冲相位法,结合热扩散深度提出了最佳采样长度估算公式,提高了相位计算速度。图像的脉冲相位法结果如图8所示,可见其能得到不同频率下的振幅和相位信息,以及缺陷的深度信息。

2.5 二阶导峰值法

二阶导峰值法(PSDT)以热波信号重建技术为基础,将双对数曲线(对数温差-对数时间)的二阶峰值时间作为特征时间,不需要选择非缺陷区域作为参考区域。PSDT用于深度测量时,不会因为参考信号引入误差。线性拟合二阶导峰值时间与试件深度的平方,再将二阶导峰值时间代入拟合参数便可计算出缺陷深度信息。王中华等[33]采用PSDT对不锈钢平底孔缺陷进行了测量,获得了缺陷深度信息。李美华等[34]通过ANSYS软件模拟分析和试验验证了PSDT对平底孔缺陷的检测可行性,结果表明PSDT 对缺陷深度的测量精度为0.36%～20%,测量误差主要受三维热扩散的影响。ZENG等[35]采用PSDT对铝和不锈钢平底孔缺陷进行了深度测量,得到了可靠性较高的测量结果。上述研究主要对单个像素点的单条曲线进行研究,文章重塑了PSDT 算法并获取了整幅图像的深度信息,如图9(a)所示,对应的是图像中5个点的二阶导曲线,求出该曲线的二阶导峰值,二阶导峰值对应时间构成的峰值时间图像如图9(b)所示;二阶导峰值构成了峰值图像,如图9(c)所示;二阶导峰值和二阶导峰值时间图像边缘都比较清晰,包含了所有的缺陷信息,由峰值图像和峰值时间图像可以得出缺陷深度图像,缺陷深度图像能更为直观地展示不同深度的缺陷信息,如图9(d)所示。

图9 图像的二阶导峰值法处理结果

3 未来发展趋势

文章对单帧红外图像处理方法和红外序列图像处理方法进行了介绍,同时采用红外图像对各个算法进行了验证,试验结果表明,TSR、PCA、ICA、PPT、PSDT都有各自的适用范围,要判断哪种方法效果好,需对各方法的图像处理效果进行对比才能得出结论。TSR和PSDT需要面激励源激励试件表面且红外序列图像仅采集降温段数据,适用于闪光灯激励、激光激励、卤素灯短脉冲激励,不适用于超声激励、涡流激励方式;PCA和ICA对激励方式基本没有限制,适用于各种激励方式。红外图像处理的目的不仅是获取缺陷的位置信息,还要获取缺陷的深度信息,对序列图像处理是未来图像处理的发展方向。另一方面,现有的缺陷需要人工判断,准确度非常依赖于检测人员的经验。随着深度学习方法研究的深入,其在目标检测、语义分割、图像去模糊等领域的表现获得了认可。深度学习的算法较传统神经网络算法神经层深度增加,具有更好的特征信息感知能力,并且解决了容易收敛到局部最优解的问题,更容易实现缺陷的自动识别。采用深度学习方法的图像处理效果如图10所示,可见,图像去模糊处理后,缺陷边缘清晰、锐利;采用深度学习语义分割模型,可以获得缺陷信息,自动过滤背景信息,很适合缺陷的自动分割和自动判断,欲获取缺陷的深度信息,可以采用更加复杂或者特殊定制的深度学习模型。

图10 深度学习方法的图像处理效果模型

4 结语

热波是一种衰减波,会导致红外图像边缘模糊,对比度降低,采用原始的红外图像往往达不到理想的效果,因此需要采用合适的红外图像处理方法。文章介绍和总结了单帧红外图像处理方法和红外序列图像处理方法,并用红外图像对各种处理方法进行了验证。通过文章综述可以得知,不同的缺陷适合于不同的图像处理方法。如文章试验采用的是塑料平底孔缺陷,该缺陷的二阶导峰值法处理效果更佳,不仅可以过滤掉背景信息,更可以获取缺陷深度信息。随着人工智能深度学习的发展,通过算法创新、优化与改进获取红外图像中的语义信息,有望实现红外图像的图像去模糊、超分辨率重建、目标检测、语义分割和场景理解,推动红外无损检测技术在人工智能领域的应用和发展,实现红外无损检测缺陷判定由人工识别向智能自动化识别方向发展。