基于卷积神经网络的超声红外热图像分类

林 丽，刘 新，朱俊臻，冯辅周

〈无损检测〉

基于卷积神经网络的超声红外热图像分类

林 丽1，刘 新1，朱俊臻2，冯辅周2

（1. 大连交通大学 机车车辆工程学院，辽宁 大连 116000；2. 陆军装甲兵学院车辆工程系，北京 100072）

在超声红外热像技术应用中，从红外热图像来判断被测对象是否含有裂纹，通常需要先基于人工经验，从红外热图像中提取特征再采用某种模式识别方法进行分类，裂纹的识别与定位过程繁琐且识别率较低。为此，提出一种基于卷积神经网络技术的超声红外热图像裂纹检测与识别方法，其特点是可以直接从超声红外图像中学习特征进而实现是否含有裂纹红外热图像的分类。通过实验得到的含裂纹和不含裂纹金属平板试件的红外热图像，建立卷积神经网络模型对图像中是否含有裂纹进行分类，研究结果表明，参数优化后的卷积神经网络模型对超声红外热图像的有无裂纹分类准确率达到98.7%。

卷积神经网络；超声红外检测；图像识别；图像分类

0 引言

科技快速发展，计算机性能得到大幅提升，深度学习作为一种实现人工智能的强大技术，在图像视频、语音处理等领域获得了大量成果，对各个领域都产生了广泛的影响。卷积神经网络（Convolutional Neural Network，CNN）作为深度学习中极为重要的模型，自2012年以来极大地推进了图像分类、识别和理解技术的发展。曾平平等人[1]将卷积神经网络应用到水果图像分类中并取得了较好的识别率。林明旺等人[2]将卷积神经网络应用于鱼类图像识别分类，识别率达到了96.24%。张安安等人[3]将卷积神经网络应用于轴承故障模式的识别中，该方法较其他方法分类准确率提高了4.26%。当然，卷积神经网络的影响不仅仅局限于图像处理，通过与其他技术的结合，卷积神经网络也在用于围棋程序AlphaGo、语音识别和机器翻译软件等各种应用系统，推动了人工智能的空前发展[4]。

本文依据卷积神经网络的特性提出了一种利用卷积神经网络对超声红外热图像分类的技术从而实现对裂纹的检测与分类，本方法将超声红外检测所得的图像输入到卷积神经网络中进行学习对其识别分类，并对多种网络的识别率进行对比，以确定最优方案。

1 卷积神经网络

卷积神经网络的基础结构为5部分，分别为输入层（Input Layer）、交替分布的卷积层（Convolution Layer）和池化层（Pooling Layer）、全连接层（Fully Connected Layer，FC）和输出层（Output Layer）[5]。

1.1 卷积层

输入的图像为矩阵形式，卷积层对应的卷积运算是此矩阵与参数矩阵在卷积层中做卷积操作的过程。参数矩阵也被称作卷积核，不同的卷积核能够提取到图像中的不同特征。卷积核的每个元素与被卷积图像对应位置相乘，再求和。通过卷积核的不断移动，就会产生新的图像，该图像完全由卷积核在各个位置时的乘积求和的结果组成。卷积网络中的卷积核参数是通过反向传播中不断优化训练出来的，卷积核除了可以学习到类似于横向边缘、纵向边缘，还可以学习到任意角度边缘甚至检测颜色、纹理等信息[5]。

1.2 池化层

池化层主要的作用是下采样，通过去掉特征图（feature map）中不重要的样本，进一步减少参数数量。池化的方法很多，常用的是最大池化（max pooling）与平均池化（mean pooling）。最大池化实际上就是在×的样本中取最大值，作为采样后的样本值。平均池化就是取其平均值作为采样后的样本值。池化层可降低数据维度，避免过拟合、增强局部感受野以及提高平移不变性。

1.3 全连接层

全连接层的作用是搭建特征提取到分类的桥梁。全连接层将学习到的特征空间里的特征参数映射到样本的标记空间里。特征向量的长度对应分类的类别数。由于此特征向量里的值是将经过多个卷积层、池化层以及激活函数所获得的图像特征进行高度提纯后得到的，所以这个特征向量具有高层的特征信息，即包含了输入图像经过各种操作的所有特征的组合信息，这些信息就是图像中最具有特点的特征，这样就可以通过这些信息输出图像具体所属类别的概率值对图像进行分类。

2 基于卷积神经网络的超声红外热图像分类实验

2.1 超声红外热像技术原理与图像采集

2.1.1 红外热成像无损检测技术的原理

超声红外热像技术采用超声脉冲作为激励源，注入被测对象的振动能量传播至裂纹、分层等接触界面类型缺陷区域时，缺陷区域因摩擦生热、塑性变形等产生热量，使机械能转化为热能，产生的热量以热波的形式向试件表面传导，从而通过热像仪获取表面温度分布来判断被测对象内部或表面缺陷[6]。

超声红外热像技术发挥了超声和红外热像技术的优点。利用超声在传播路径上因缺陷等不均匀结构引起超声的附加衰减，使缺陷局部温度升高，同时利用红外照相机以较大的视场显示被检测物体的表面温度分布，而不必考虑超声源与缺陷之间的相对方位和距离。由此，采用红外热像技术进行缺陷检测的特点是不受材料的几何结构及材质的限制，可以实现非接触、大面积的检测，具有可靠性强、灵敏度高、检测速度快和使用方便等优点[7]。

2.1.2 系统组成

课题组自主设计搭建了一套超声红外热像无损检测实验台并编写一套超声红外无损检测系统软件，实现软件及硬件上的实验要求，并实现激励与图像信号采集的同步控制。实验台主要由超声激励装置、图像采集装置及导轨等辅助装置组成，如图1所示。

图1 超声红外热像无损检测实验台

图像采集装置采用美国FLIR公司生产的T640型红外热像仪，主要用于实现采集对象表面的温度场信息。其采用非制冷微热量红外焦平面阵列，实现了整幅图像所有像素点同时采集，有效避免了光机扫描式红外热像仪存在的同一幅图像不同像素点采集时间有偏差的不足。该热像仪可以提供T系列红外热像仪中最高的红外图像分辨率，为640pixel×480pixel,热灵敏度优于0.035℃，图像采集帧频为30Hz，镜头可实现120°上下翻转。其自带软件FLIR-Research IR功能强大，可在同一场景下序列图像中选定多个不同形状区域，并绘制选定区域的平均温度值、最高温度值等相关温度信息随时间的变化曲线，并实现简单的图像处理功能。

2.2 实验数据采集及获取

本次实验数据采集的对象为金属平板试件，分为有裂纹与无裂纹。在课题组搭建的试验台上进行金属板的激励采集实验。控制采集终端采用课题组自主开发的系统，可实现对红外热像仪及超声换能器在自动、手动两种情况下的同步控制，并可视实验需求对超声激励振幅、频率、作用时间进行快速调节，在最短时间内完成对待测件的有效检测。

实验共进行6组，每组实验对应着不同的激励参数或不同的激励位置。激励结束后实验采集系统会自动生成对应文件，然后通过FLIR-Research IR软件生成CSV文件。

此次选取的实验数据为同侧激励，获得的图像共有两千多张，图2给出了一张含裂纹缺陷的红外热图像，图中温度较高的红色圆点周围区域对应着实际裂纹所在位置。

将实验所得的CSV文件输入到软件MATLAB中进行图像处理，选取所需的实验范围，制作实验所需的数据集。最终实验图像数据共2024张，含有裂纹和无裂纹各1012张，并将图像像素尺寸大小先后设置为16×16、32×32、64×64、128×128。并分别进行卷积神经网络的建模与测试。

2.3 卷积神经网络模型建立

2.3.1 AlexNet网络模型

本文采用深度学习框架Deep Network Designer构建卷积神经网络。Deep Network Designer是一个基于MATLAB的神经网络设计平台，与MATLAB软件有着良好的兼容性。整个AlexNet[8]有8个需要训练的层，不包含局部响应归一化（Local Response Normalization，LRN）层和池化层，前5层是卷积层，后3层全连接层。此处用软最大函数（Softmax）层替代最后一层全连接层，新的网络模型依旧有8层，其中包含了5个卷积层（C1、C2、C3、C4、C5），2层全连接（F1、F2）和1个分类层。使用重叠最大池化方法，池化核尺寸大于步长，使卷积层的输出之间有重叠部分，提升了特征的丰富性。使用校正线性单元（Rectified Linear Unit，ReLU）作为激活函数，并将其应用于每个卷积层及全连接层的输出之后，解决网络较深时的梯度弥散问题。在6、7两个全连接层后使用丢失（Dropout）算法，随机让网络的某些节点失去作用，减小过拟合，网络结构如图3所示，网络模型及参数如表1所示。

2.3.2 迭代次数的确定

迭代的过程是不断拟合不断逼近，迭代次数（epoch）过少会影响拟合效果。当迭代次数到达一定数量时，拟合误差接近收敛，不再减小，过高的迭代次数会不断的增加实验的时间成本。所以选择适当的迭代次数能在得到最佳拟合效果的同时拥有最小的时间成本。

图2 实验获得的超声红外图像

图3 AlexNet网络结构

为测试最佳的迭代次数，简化讨论的复杂度，将迭代次数以外的其他参数设为固定值，应用上述CNN网络模型，设定最大迭代次数为30次，通过网络的训练选取最佳的迭代次数。

2.3.3 网络模型性能参数优化

对AlexNet模型中可调参数进行优化，此处优化的参数有两个，分别是网络训练时批量尺寸（batchsize）以及在防止过拟合中使用的丢失比率。

批量尺寸即每次训练在训练集中取定量样本训练，迭代过程以iteration作为单位，1个iteration等于使用批量尺寸个样本训练一次，而迭代次数等于使用训练集中的全部样本训练的次数。批量尺寸在卷积神经网络的训练中，影响着网络的训练速度和网络最终的训练效果，当批量尺寸选择较大的时候，网络训练收敛速度比较快，但同时由于权值调整次数减少会影响训练效果，批量尺寸选择较小时则反之，所以，需要在较小的时间成本内取得较好的网络训练效果，那么就需要根据时间成本和训练效果的平衡来选择合适的批量尺寸。

批量尺寸一般需要满足可以整除全部样本数据个数，但实际训练中如果不能整除，网络会自动舍弃最后的余数部分数据，在样本量较大的情况下不会影响整体的训练效果。AlexNet模型中批量尺寸一般为16的倍数，所以实验中选择批量尺寸大小依次为16，32，64，128；参数在MATLAB深度学习程序training Options下进行调整；重复实验10次，取10次实验最终分类正确率的平均值和训练所用时间的平均值为标准，则二者随批量尺寸的变化关系如表2所示。

由表2可以看出，批量尺寸选择的越大，网络训练时间就会越长；除了批量尺寸取16时的识别正确率较低，其余情况下识别率基本在97%左右，因为在批量尺寸选择的过小的时候，网络收敛不稳定，loss函数收敛动荡，导致在批量尺寸最小时有着最低的识别率。所以实际应用中，在保证时间成本的情况下，选择恰当的批量尺寸可以提高网络的识别正确率，有助于故障类别的判断。针对此次实验可以将批量尺寸选择为32或者64。

表2 不同批量尺寸下的识别正确率和网络训练时间

2012年，Alex、Hinton提出了AlexNet模型的同时，用到了丢失算法，用于防止过拟合[8]。丢失算法的工作原理是在每次网络训练中，通过忽略一定比例的特征检测器，可以减少过拟合现象的发生。而丢失比率代表着忽略特征检测器的比例，不同比例的忽略可以对过拟合现象有着不同的影响。参数与批量尺寸大小一样可以在MATLAB深度学习程序training options下进行调整。丢失比率从无到有一般可以选择10种比率，分别为0到0.9，间隔为0.1。针对10种比率，重复10次实验，取10次实验最终分类正确率的平均值为标准，识别正确率随丢失比率变化的关系如表3、表4所示。

对批量尺寸32与64两者分别进行dropout比率的选取实验，通过实验，最终确定参数的选择为批量尺寸选取64、dropout选取0.5、迭代次数为20次。

2.3.4 模型实验

实验平台为WIN10系统，仿真软件为MATLAB2019b，GPU为GeForce GTX 1060 3G。将不同大小尺寸的图像输入到网络中进行训练识别，输入到网络中的图像70%作为训练集，其余各15%为测试集和验证集。进行10次实验取其均值，获得的识别率如表5所示，其中某次训练的正确率和损失曲线如图4所示，此次测试样本的分类结果如图5所示。分类结果图5中的矩阵称为混淆矩阵，其中，横轴表示实际情况，纵轴表示预测情况。最右下角方框中的百分比分别代表所有测试样本分类的正确率和错误率，最后一行方框（除去最右下角方框中）的百分比分别代表每种图像测试样本分类的正确率和错误率[3]。此模型训练及分类结果并未达到100%，与样本集的数量大小有一定的关联，在实验条件允许的情况下增加数据集进行实验，获得的识别率一定会有所提高。

表3 批量尺寸32时不同丢失比率下的识别率

表4 批量尺寸64时不同丢失比率下的识别率

图4 训练结果曲线

图5 测试样本分类结果

表5 不同尺寸图像识别率

由此可知图像尺寸为64×64时识别率最高，达到98.7%且时间相对较少。

2.3.5 模型对比

为了验证此网络模型的分类识别的能力，将其与GoogLeNet[9]和ResNet[10]两种CNN模型进行对比，GoogLeNet和ResNet网络模型分别是2014年和2015年世界ImageNet比赛的冠军，网络深度分别为22层和50层（卷积层加全连接层的数量）。使用与AlexNet相同的输入，即相同的图像样本集，网络训练参数也设置为相同，批量尺寸设置时，GoogLeNet模型和AlexNet模型均可设置为64；ResNet模型训练时当把批量尺寸设置为64会出现程序错误的现象，所以本实验把模型批量尺寸统一设置为32，迭代次数为15。实验结果如表6所示。从表6可知，参数优化后的AlexNet网络模型有着最高的识别率且相对较少的网络训练时间。

表6 各神经网络模型对比

3 结论

针对超声红外热图像识别分类需要先基于人工经验，从红外热图像中提取特征再采用某种模式识别方法进行裂纹的识别与定位，过程繁琐且识别率较低。本文结合CNN在图像特征自动提取与图像分类识别中的广泛应用，提出了一种基于卷积神经网络的超声红外热图像分类技术，其可应用于金属件（车轴等）裂纹的检测与分类识别。本文对多种网络模型进行对比，最终确定最优方案。实验结果表明：参数优化后的卷积神经网络AlexNet模型对超声红外热图像的分类即对裂纹检测与识别的技术是可行的，其识别率达到了98.7%。

[1] 曾平平, 李林升. 基于卷积神经网络的水果图像分类识别研究[J]. 机械设计与研究, 2019, 35(1): 23-26, 34.

ZENG Pingping, LI Linsheng . Classification and Recognition of Common Fruit Images Based on Convolutional Neural Network[J]., 2019, 35(1): 23-26, 34.

[2] 林明旺. 基于卷积神经网络的鱼类图像识别与分类[J]. 电子技术与软件工程, 2017(6): 82-83.

LIN Mingwang. Fish image recognition and classification based on convolutional neural network[J]., 2017(6): 82-83.

[3] 张安安, 黄晋英, 冀树伟, 等.基于卷积神经网络图像分类的轴承故障模式识别[J]. 振动与冲击, 2020, 39(4): 165-171.

ZHANG An’an, HUANG Jinying, JI Shuwei, et al. Bearing fault pattern recognition based on image classification with CNN[J]., 2020, 39(4): 165-171.

[4] 李玉鑑, 张婷, 单传辉, 等. 深度学习卷积神经网络从入门到精通[M]. 北京: 机械工业出版社,2018.

LI Yujian, ZHANG Ting, SHAN Chuanhui, et al.[M]. Beijing: China Machine Press, 2018.

[5] 李彦冬, 郝宗波, 雷航. 卷积神经网络研究综述[J]. 计算机应用, 2016, 36(9): 2508-2515, 2565.

LI Yandong, HAO Zongbo, LEI Hang. Survey of convolutional neural network[J]., 2016, 36(9): 2508-2515, 2565.

[6] 冯辅周, 张超省, 宋爱斌, 等. 超声红外热像检测中疲劳裂纹的检出概率模型研究[J]. 红外与激光工程, 2016, 45(3): 60-65.

FENG Fuzhou, ZHANG Chaosheng, SONG Aibin, et al. Probability of detection model for fatigue crack in ultrasonic infrared imaging[J]., 2016, 45(3): 60-65.

[7] 冯辅周, 张超省, 闵庆旭, 等. 超声红外热像技术中金属平板裂纹的生热特性[J]. 红外与激光工程, 2015, 44(5): 1456-14461.

FENG Fuzhou, ZHANG Chaosheng, MIN Qingxu, et al. Heating characteristics of metal plate crack in sonic IR imaging[J]., 2015, 44(5): 1456-14461.

[8] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, 2012: 1106-1114.

[9] Szegedy C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//2015:, 2015: 1-8.

[10] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[EB/OL]. [2020-6-20]. https://arxiv.org/pdf/1512.03385.pdf.

Classification of Ultrasonic Infrared Thermal Images Using a Convolutional Neural Network

LIN Li1，LIU Xin1，ZHU Junzhen2，FENG Fuzhou2

(1.,116000,;2.,,100072,)

In the application of ultrasonic infrared thermographic technology, it is usually necessary to extract features from infrared thermographic images based on artificial experience and then adopt a pattern recognition method to classify the cracks. The identification and positioning process of the cracks is complicated, and the recognition rate is low. Therefore, a method of crack detection and recognition in ultrasonic infrared thermal images based on convolutional neural network technology is proposed in this paper. Its feature is that the features can be directly learned from the ultrasonic infrared image to realize the classification of infrared thermal images containing cracks. Thesis through the research experiment of metal plate specimen of the crack in and do not contain infrared thermal images, the convolutional neural network model is established for whether the image contains crack classification, the results show that the parameter optimized convolution neural network model for ultrasonic infrared thermal images of crack classification accuracy rate reached 98.7%.

convolutional neural network; ultrasonic infrared detection; image recognition; image classification

TP391

A

1001-8891(2021)05-0496-06

2020-06-29；

2020-10-24.

林丽（1971-），女，副教授，博士，硕士生导师，主要从事列车故障诊断方面的研究。E-mail：julandalili@126.com。

冯辅周（1971-），男，教授，博士生导师，主要从事故障诊断与无损检测技术研究。E-mail：fengfuzhou@tsinghua.org.cn。

国家自然科学基金（51875576）；教育部重点实验室开放基金项目（EW201980445）。