主成分分析在超声红外图像序列增强过程中的应用

冯辅周， 王鹏飞， 张超省， 闵庆旭

(装甲兵工程学院机械工程系， 北京 100072)

主成分分析在超声红外图像序列增强过程中的应用

冯辅周， 王鹏飞， 张超省， 闵庆旭

(装甲兵工程学院机械工程系， 北京 100072)

针对超声红外热像无损检测中图像信噪比不高、缺陷对比度低的问题，将主成分分析法运用于红外图像序列处理的增强过程中，对比分析了原始图像序列、含部分缺陷图像序列及重建图像序列在降噪及增强方面的效果。研究表明：主成分分析法可显著提高图像信噪比并有效消除热量不均效应；而缺陷位置对处理结果无影响，最终重建的图像序列中图像信噪比普遍得到提高。研究结果验证了该方法在红外图像处理方面的有效性，为后续缺陷的识别奠定了理论基础。

红外热像；图像处理；主成分分析

超声红外热像无损检测技术是一种利用超声激励与红外热成像来检测结构件损伤的新型无损检测技术。由于超声发生器注入的超声能量能够在固体连续介质中实现无衰减快速传播，且仅使缺陷部位生热，故能用于大面积、不同形状结构件的有效检测。该技术拓展了红外热像检测的激励方式，因其在闭合裂纹、冲击损伤等缺陷上的良好检测效果而得到日益广泛的应用。在实际检测时，图像处理对提高该技术的检测效果至关重要。

目前，国内外针对图像处理方法的研究已经广泛开展，特别是随着红外技术与计算机技术的不断发展，红外图像序列处理方法也得以快速发展。较为通用的图像处理方法有直方图、滤波和形态学降噪等方法[1];但这些方法针对性不强，处理效果一般。较为专用的方法有脉冲热像法、锁相热像法等方法[2]，脉冲热像法需已知无缺陷区，以便从中选取参考点，且对实验环境的要求高；而锁相热像法检测速度慢。因此，研究人员探索了脉冲相位法、多项式拟合法、主成分分析法等新型红外图像处理方法[3-6]。其中主成分分析法作为一种统计分析方法，在21世纪初期被应用于红外图像序列处理，取得了不错的效果[7]。

主成分分析法由霍特林于1933年首次提出，其基本思想是降维，即在信息损失最少的前提下，将多个指标转化为少数几个综合性指标，去除各个变量之间的相关性，能够极大地减少数据量、提高运算速度[8]。本文将主成分分析法引入到超声红外热图像序列的增强过程中，提高辨识缺陷信息的能力和缺陷判读的准确性。

1 超声红外无损检测系统

如图1所示，选取尺寸为152 mm×25.4 mm×5 mm的30CrMnSiA的平板试件，在试件表面(激励一侧)中心用电火花开出一个长1 mm、宽0.2 mm、深0.5 mm的缺口，通过三点弯曲对试件疲劳加载，在肉眼刚刚能看到裂纹扩展时即停止加载，此时电火花缺口位置存在微小裂纹，用肉眼观察基本无法识别裂纹信息。在试件表面(热像仪一侧)喷涂哑光漆，以增强其光吸收率及红外发射率。

图1 含疲劳裂纹的被测试件结构

利用FLIR T640型红外热像仪以30 Hz的帧频记录温度场信息，红外图像分辨率为480×640像素。超声激励开始时刻热像仪即开始记录，超声激励时间为3 s，激励停止1 s后热像仪停止记录，共采集到120帧红外图像。超声红外无损检测试验台如图2所示。

图2 超声红外无损检测试验台

试验中，红外热像仪和超声枪分别置于被测试件异侧，激励位置位于缺陷右侧(热像仪一侧为正面)，且右侧固定位置距缺陷更近，这是由试验台决定的。相应地，激励生热及夹具与试件的碰撞生热使得较多的热量传递到右侧；同时光照等因素仍不可避免地对红外图像产生影响，造成试件左右两侧热量不均匀，噪声情况复杂，在缺陷对比度较低的图像中缺陷信息甚至被淹没。因此，有必要进行图像增强，以提高检测能力，为后续缺陷识别奠定基础。

2 主成分分析流程

在进行主成分分析前，需对图像序列进行预处理操作，以减小运算量、降低干扰。对红外图像序列的主成分分析一般按照图3所示的流程进行。

图3 红外图像序列的主成分分析流程

1) 构造数据矩阵。以图像序列中每个像素点的时间序列作为列向量，每帧图像的像素按照从左到右、由上至下的顺序重排为行向量,构造数据矩阵，t帧大小为x×y像素的图像序列如图4所示。截取感兴趣区域的大小为72×126像素，共50帧。按照上述方法，构造一个w×t的数据矩阵，其中w=72×126,t=50,这样就构成了w个t维列向量，向量中的元素表示为xij。

图4 t帧大小为x×y像素的图像序列

2) 矩阵标准化。为便于后续运算，进一步消除背景分量影响，并使信号方差为1，对xij进行标准化处理：

(1)

式中：

(2)

(3)

这样就得到了w个t维列向量Zi=(z1i,z2i,…,zti)T,i=1,2,…,w。

3) 求协方差矩阵。求标准化后的zij所构成向量的均值向量e=(e1,e2,…,et)T和协方差矩阵V：

(4)

(5)

4) 计算特征值与特征矩阵。求出协方差矩阵V的特征值U=(u1,u2,…,ut)(其中u1≥u2≥…≥ut)和相应特征矩阵S=(S1,S2,…,St)。此时，按照特征矩阵中各个元素占所有元素总和的比例来确定贡献率，依据贡献率的大小来确定主成分[9]。

5) 计算主成分并重建图像序列。主成分Yj可表示为

(6)

利用主成分Yj可重建图像序列：

(7)

主成分分析法用于处理图像序列时，不是完全意义上的数据降维，需注意贡献率较大的几个主成分代表的实际意义，并根据处理后的图像信噪比及缺陷对比度来确定所要保留的主成分。

3 处理结果及分析

利用超声红外无损检测系统对被测平板进行检测，得到原始图像序列,然后按照图3所示流程对图像序列进行主成分分析，得到有代表性的前几项主成分图及重建的图像序列。为验证主成分分析法在图像序列增强中的效果，结合实际检测中可能存在的问题，对结果进行如下分析。

3.1 降噪及增强效果

信噪比SNR(Signal-to-Noise Ratio, SNR)是一种最常使用的定量分析图像处理前后变化的参量[10]，其定义式为

(8)

笔者采用信噪比定量评估图像增强效果。首先选取第1、2主成分图以及原始图像来分析图像增强的效果，其中原始图像选取信噪比最高的第19帧，如图5所示。其中：中间小矩形框所选区域表示缺陷区域；两侧大矩形框所选区域表示无缺陷区域。图5中信噪比SNR=8.17。

图5 原始热像第19帧

图6为对图5进行主成分分析得到的第1、2主成分图。如图6(a)所示，计算得到第1主成分的信噪比是4.58。对比图5、6(a)可知：第1主成分主要反映热像场的整体温度变化，第1主成分图与原图差别不大，信噪比不但没有提高，反而对重建效果产生了负面影响。如图6(b)所示，计算得到第2主成分的信噪比是16.63。与原始图像相比可知：信噪比有了明显提高，缺陷区域更加清晰，这充分证明了主成分分析法能有效增强图像的信噪比。

图6 主成分分析结果

为了进一步说明主成分分析法的增强效果，选取原始图像第19帧以及第2主成分图中穿过缺陷中心的3行像素的平均值变化进行分析研究，如图7所示，其中的凸起部分对应缺陷区，两侧对应无缺陷区。由图7可见：1)在无缺陷区，原始热像的像素值有较大起伏，且左右两侧数据在数值上有差别，右侧的值高于左侧，这是由噪声及热量不均造成的;2)第2主成分图的像素值起伏减小，两侧数据基本一致，说明第2主成分有效减弱了环境噪声的影响，消除了两侧的热量不均匀效应；3)在缺陷区,第2主成分图的峰值较原始热像的大，处理后波峰与波谷的差值增大，从而验证了主成分分析法对信噪比增强的作用。

图7 处理前后缺陷水平中心线像素值变化曲线

3.2 含部分缺陷图像的处理

通常情况下，总是保证整个缺陷区域都处于所拍摄的热图像范围内,而当被测对象较大或对设备整体检测时，热像仪可能无法记录整个被测对象的温度场，因此检测及图像处理就需要分块进行，此时可能会出现仅有一部分缺陷位于图像之中的情况。为验证主成分分析法对包含部分缺陷的图像序列检测的有效性，对现有图像序列进行如下处理：截取包含部分缺陷的图像序列，其大小为72×61像素×50帧，如图8所示。图8(a)为原始热像序列中第19帧图像，对其进行主成分分析，得到第2主成分图，如图8(b)所示。比较图8(a)、(b)可知：缺陷位置及缺陷是否完整不影响主成分分析法对缺陷的检出。

图8 含部分缺陷图像的处理结果对比

3.3 第2、3主成分分析

由于第1主成分主要反映热像场的整体温度变化，含有较大的噪声及存在热量不均匀等现象，不适用于图像序列重建，因此选择第2、3主成分进行重建。图9为原始图像序列，分别做出由第2主成分和第3主成分重建的图像序列中缺陷区域与非缺陷区域的像素值随帧数的变化曲线，如图10、11所示。可以看出：图10(a)像素值变化趋势与图9(a)相一致，且与图11(a)像素值相差1个数量级；而图11(b)像素值变化趋势与图9(b)相一致。因此，可以看出：第2主成分主要反映缺陷区域的温度变化情况；而第3主成分主要反映非缺陷区域的温度变化情况。

图9 原始图像序列

图10 由第2主成分重建的图像序列

图11 由第3主成分重建的图像序列

3.4 重建图像序列的效果

由3.3节分析可知：第2、3主成分能够兼顾重建效果及各区域信息。而同时利用第2、3主成分重建图像序列，重建后缺陷区域与非缺陷区域像素值随帧数变化曲线分别如图12(a)、(b)所示。可以看出：无论是缺陷区域还是非缺陷区域，像素值变化趋势与原始图像序列都能较好地吻合。

图12 由第2、3主成分重建的图像序列

图13 重建前后图像信噪比随帧数的变化曲线

图13为重建前后图像信噪比随帧数的变化曲线。对比图9、12和13可知：重建后缺陷区域与非缺陷区域像素值随帧数的波动均有所减弱，信噪比明显升高且重建后信噪比曲线变化较重建前平滑，表明主成分分析法能够降低图像序列的时域噪声；原始图像序列在超声激励停止后，信噪比迅速下降，而重建图像序列的信噪比在第25帧时出现了一个突降，然后又迅速上升。分析可知：1)缺陷区域不再生热是造成原始图像序列信噪比下降的直接原因；2)重建图像序列缺陷区域与非缺陷区域像素值的差值在第25帧的位置出现了一个正负交换的过程，信噪比通过取绝对值的方式将25帧后的负差值取反，使得像素差值为负而信噪比为正且逐步增大，故产生了2个峰值。从图13可以看出：2个峰值对应帧数图像的显示效果相反。为验证分析结果，绘制2个峰值对应帧数的图像，分别为第6帧和第37帧，如图14所示。可以看出：图中缺陷区域可以明显被分辨出，并且背景显示颜色相反，从而验证了分析结果。

图14 重建后2个峰值对应帧数的图像

4 结论

通过对原始图像序列进行主成分分析，以及对增强结果的分析研究，得出以下结论：

1) 主成分分析法可在一定程度上消除热量不均效应，而缺陷位置及缺陷是否完整不影响主成分分析法对缺陷的检出;

2) 第1主成分主要反映热像场的整体温度变化，第2主成分主要反映缺陷区域的温度变化情况，第3主成分主要反映非缺陷区域的温度变化情况;

3) 采用第2、3主成分重建的图像序列有较高的信噪比。

对重建图像序列效果的分析，为后续缺陷深度、大小等定量信息的研究提供了理论依据。

[1] Gonzalez R, Woods R. 数字图像处理[M]. 阮秋琦，阮宇智,译. 2版. 北京:电子工业出版社, 2006:54-72,276-284.

[2] Maldague X, Marinetti S. Pulse Phase Infrared Thermography [J]. Journal of Applied Physics, 1996, 79(5): 2694-2698.

[3] 俞嘉捷, 伍耐明, 曾智, 等. 基于红外脉冲相位热成像技术的玻璃钢深度测量[J]. 红外与激光工程, 2012, 41(7):1893-1898.

[4] Grammatikos S A, Kordatos E Z, Matikas T E, et al. Current Injection Phase Thermography for Low-velocity Impact Damage Identification in Composite Iaminates[J]. Material and Design, 2014,55: 429-441.

[5] 其达拉图, 郭兴旺. 基于多项式拟合的脉冲红外热像无损检测数据处理方法[J]. 机械工程师, 2009(2):41-44.

[6] Nguyen T H B, Hakil K. Novel and Efficient Pedestrian Detection Using Bidirectional PCA[J]. Pattern Recognition, 2013,46:2220-2227.

[7] 郭兴旺, 高功臣, 吕珍霞. 主分量分析法在红外数字图像序列处理中的应用[J].红外技术, 2006, 28(6):311-314.

[8] 何晓群. 应用多元统计分析[M]. 北京：中国统计出版社，2010:253-256.

[9] 李赫, 樊新海, 王战军, 等. 主分量分析方法及其在信号去噪中的应用[J]. 国外电子测量技术，2010, 29(12): 71-72,84.

[10] 郭兴旺,邵威,郭广平,等. 红外无损检测加热不均时的图像处理方法[J]. 北京航空航天大学学报, 2005, 31(11): 1204- 1207.

(责任编辑:尚彩娟)

Application of Principal Component Analysis on the Process of Ultrasonic Infrared Image Sequence Enhancement

FENG Fu-zhou, WANG Peng-fei, ZHANG Chao-sheng, MIN Qing-xu

(Department of Mechanical Engineering, Academy of Armored Force Engineering, Beijing 100072, China)

Aiming at the problem of low Signal-to-Noise Ratio (SNR) and contrast ratio of defects for images collected in ultrasonic infrared thermography nondestructive testing, the Principal Component Analysis (PCA) is introduced into the process of infrared image sequence enhancement. The effects of original image sequence, image sequence containing part of defects, rebuilt image sequence in denoising and enhancement are analyzed contrastively. Researches show that PCA can greatly improve the SNR and effectively eliminate uneven heating; the position of defects has no effect on processing result, and the SNR of the rebuilt image sequence shows a general increase. Those researches prove the validity of PCA in image processing and will lay a theory foundation for following researches of defect identification.

infrared thermography; image processing; principal component analysis

1672-1497(2015)01-0060-05

2014- 10- 16

军队科研计划项目

冯辅周(1971-)，男，教授，博士。

TN911.73

A

10.3969/j.issn.1672-1497.2015.01.012