基于卷积融合字典的电路板红外图像去噪研究

王 力,张亦弛,郝建新

(中国民航大学电子信息与自动化学院 机载电子系统深度维修实验室,天津 300300)

1 引 言

目前,航空电子系统维修领域存在机载电路板结构复杂、常用电路故障检测方式不适用、人工检测成本过高等问题,而红外热成像仪利用热辐射原理可以目标进行无损检测,因此越来越多的学者致力于基于红外图像的航电系统机载电路板故障诊断方法[1-3]的研究。该类方法首先在同一环境中利用红外成像仪采集被测电路板正常和不同故障模式的红外图像；然后定位并提取电路板红外图像中目标芯片的温度数据；最后利用芯片温度数据完成电路板故障诊断。但电路板红外图像存在噪声大、细节模糊、信噪比低且层次不分明的问题,严重影响电路板故障诊断的准确率。

红外图像噪声主要分为系统噪声和随机噪声[4],频域滤波法[5]可有效消除系统噪声,但随机噪声作为加性噪声一直影响图像成像质量。随机噪声是指发生源产生并叠加在图像上且与图像无关的噪声[6]。电路板工作时元器件发热,产生的随机噪声干扰了成像质量,导致其关键元器件细节模糊。受限于红外热像仪的自身性能,直接使用图像分割法定位元器件效果不佳且难度较大。而选用热灵敏度和成像分辨率更高的热像仪会使硬件成本大幅升高。为提升后续故障诊断工作的准确性,本文将致力于电路板红外图像去噪重建算法模型研究,以实现对电路板红外图像随机噪声的滤除。

当前,在图像去噪领域基于机器学习和深度学习的方法获得突破性进展[7]。李迎春等[8]提出了一种基于新型阈值函数的红外图像去噪法,解决了硬、软阈值函数系数间存在恒定偏差的问题；Burger等[9]提出了用多层感知机的方法实现神经网络去噪,模型拥有较好去噪水平,但存在过拟合和梯度弥散问题；Lore等[10-11]利用自编码器方法,通过学习不同信号特征,进行自适应图像对比度增强和去噪。

综上所述,本文针对电路板红外图像芯片区域图像模糊、关键细节缺失等问题,提出了一种卷积融合字典学习的红外图像去噪模型,以改善原图像质量。算法结合字典学习和卷积稀疏编码结构的优势,并行融合卷积稀疏编码结构和离散余弦变换字典,搭建复合初始化字典。通过复合初始化字典提取红外图像特征原子,建立稀疏特征矩阵,最后将稀疏特征系数带入去噪模型中训练,完成电路板红外图像的去噪重构。实验结果表明,本文算法能够有效滤除电路板红外图像的随机噪声,改善红外图像中芯片部分的信噪比,获得较好的图像去噪效果。

2 红外图像去噪

2.1 基于字典学习的图像去噪

字典是大量特征原子按照一定顺序聚集的集合,图像去噪的原理是通过在字典中寻找能组成自身特征的线性原子,进而提取图像本身特征,最后完成对图像的重建。奇异值分解法(SVD)[12]是一种代表性的字典学习算法,SVD算法主要包括稀疏编码和字典更新两个步骤。在稀疏编码阶段,X为稀疏编码矩阵,Y为原始样本,理想情况应满足Y=DxX。字典学习问题可以转化为在约束条件xi的零范数尽量小时,寻找原矩阵与分解的字典矩阵和稀疏码矩阵乘积的差值矩阵二范数最小寻优问题,即满足:

(1)

K-SVD算法是SVD算法的延伸,K-SVD由Aharon[13]等提出并发展成熟,实质是进行了K次迭代的奇异值分解算法,是一种泛化形式的k-means算法。利用多个字典原子的线性组合形成稀疏矩阵来表示图像的特征。通过构建稀疏矩阵对图像稀疏表示,形成DCT初始化字典,并在其基础上完成字典的搭建和稀疏矩阵的更新,可以实现图像的去噪[14-15]、压缩[16]、超分重建[17]等。

(2)

(3)

在字典学习算法中,稀疏编码和字典更新是循环进行的,当达到迭代次数或者逼近预设的标准差时,才会结束训练。迭代次数大小影响字典模型输出,因此需经过多次实验设定最佳迭代次数。图1为迭代次数的设定过程。

图1 设置字典学习迭代次数Fig.1 Setting the number of dictionary learning iterations

标准差反映了图像像素值与均值的离散程度,而标准差越大,图像成像质量越高。选取噪声等级较低的图像分为N个图像块,设定标准差σ,公式满足:

(4)

字典学习可以适用于多种类型的图像,具有更好的数据适应性。但字典学习存在运算冗余的问题,算法不擅长处理特征复杂的图像,有一定局限性。

2.2 卷积稀疏编码

由2.1节可知稀疏表示算法主要通过将图像分割为若干小块,然后独立处理每一个块,最后通过奇异值分解完成对原始图像的稀疏表示。图像块的大小会影响稀疏表示的效果,图像块过小会破坏图像原始结构,导致去噪重建后图片出现涂抹化的情况,影响图像质量。结合卷积网络提取特征方面的优势,卷积稀疏表示(Convolutional sparse representation,CSR)[18-20]的方法被提出,其主要原理是通过预先训练的卷积编码进行分解,获得原始图像的卷积稀疏响应图,每张响应图中包含了图像的不同特征信息。卷积稀疏编码的模型可以表示为式(5):

(5)

式中,di为第i个卷积核；zi为卷积核di的特征响应系数；m表示响应中的非零项数量,K为总卷积核数量。

卷积稀疏编码通过卷积核以及对应的卷积稀疏响应图si乘积之和来表示原始图像的特征。卷积稀疏编码目标函数为:

(6)

卷积稀疏编码模型比传统稀疏表示算法能更好地学习图像特征,但优化过程较复杂导致计算复杂度高、运行时间长。在增加一定网络深度后,卷积稀疏编码训练难度上升,容易出现局部最优的情况,结果不稳定。

3 基于卷积融合字典学习卷积去噪算法

针对电路板红外图像结构简单、对比度低、细节信息多的特点,本文结合卷积稀疏编码和字典学习的优势,提出了一种基于卷积融合字典学习的电路板红外图像的去噪算法。

3.1 构建复合初始化字典

在字典学习中,模型的重建效果与初始化字典的构建具有高度相关性,想要达到模型预期效果需要进行大量实验。初始化字典决定了稀疏矩阵规模、运算速度以及模型效果,因此针对电路板红外图像的去噪模型,选择适用的初始化字典非常重要。构建初始化过完备字典一般采用DCT变换的方法,DCT变换虽然能提取电路板红外图像的稀疏特征原子,但提取效果和效率并未达到预期。分割的图像块尺寸较小时,训练时间较长且部分电路元件存在严重涂抹情况。分割的图像块尺寸较大时,会导致芯片区域引脚模糊,去噪效果降低。因此,本文设计了一种并行融合结构的卷积融合字典代替传统初始化字典的方案,能有效提取红外图像的特征信息。图2为在同区域中使用DCT变换、FFT变换、复合初始化字典结构三种方法的稀疏矩阵特征原子密度对比。在同一电路板红外图像中任意选取25个4×4像素的区域,利用三种方法搭建去噪模型的初始化字典。稀疏矩阵可表示为:

图2 三种初始化字典的提取特征原子密度对比Fig.2 Comparison of the atomic density of extracted features for the three initialised dictionaries

(7)

特征原子密度ρ可以表示为:

(8)

式中,m为特征原子数量;M×N为稀疏矩阵的总原子数。

从图2可以发现,不同初始化字典提取同一红外图像的特征点数量存在显著差异。与传统初始化字典相比,基于卷积融合字典结构的复合初始化字典可以获得更多特征原子,保障了模型去噪重建性能。

实验电路板本身含有大量电路元件,其红外图像记录了元件温度信息。而红外图像分辨率较低,仅为320×256。因此噪声干扰对电路板红外图像影响很大。图3为使用DCT变换和本文提出的复合初始化字典处理同一红外图像所得的稀疏矩阵对比图。

由图3所示,两个稀疏矩阵中的黑色块代表红外图像的特征原子,白色块为0。可以看出稀疏矩阵(b)的特征原子数量明显多于(a)。提取同一红外图像特征时,本文所提结构可以获得更多图像特征信息。将该去噪算法应用于基于红外图像的故障诊断系统中将可以为提高故障模式诊断的准确率。

(a) (b)图3 DCT变换和卷积融合结构,稀疏表示对比图Fig.3 Comparison of sparse representation of DCT transform and convolutional fusion structure

3.2 卷积融合字典学习去噪算法

由3.1节知,本文算法利用卷积融合字典结构建立复合初始化字典替代传统初始化字典,该方法提取电路板红外图像特征信息效果较好。图4所示为卷积融合字典学习电路板红外图像去噪算法模型的整体结构图。可以看出,算法整体可分为三层,分别为改进卷积稀疏层、融合层以及重建层。改进卷积稀疏层是在传统卷积稀疏编码结构基础上,针对电路板红外图像的特点增加了一个包含ReLU激活函数的深色卷积模块和不含ReLU激活函数的浅色卷积模块,组成了一个三层卷积网络。卷积核尺寸I分别设置为:

图4 卷积融合字典学习去噪算法模型整体结构图Fig.4 Overall structure of the convolutional fusion dictionary learning denoising algorithm model

I=23-i×23-i×1 s.t.0≤i≤2

(9)

式中,i为卷积网络层数。通过设置尺寸逐步缩小的卷积核可以更好的提取电路板红外图像特征,并构建卷积稀疏响应图。浅色卷积块未设置ReLU层的主要目的是在保证在卷积核与特征响应图通过阈值函数稀疏逼近后能与DCT字典的特征原子更好融合。改进卷积稀疏层的整体k次迭代过程可以表示为:

(10)

(11)

式中,K为卷积核总数;d为卷积核;z为d对应的稀疏特征响应;λX和λD为余弦变换中的稀疏特征矩阵X和DCT字典的惩罚参数。ψ(X)表示输入x的先验函数;φ(D1)表示DCT字典D1的正则化项。接着利用复合初始化字典进行奇异值分解并更新字典原子:

(12)

式中,μ为正则化系数;为第k个算子;αk为包含了k个非零元素的稀疏向量。计算稀疏编码后,更新字典,完成去噪字典的搭建,通过加权图像块叠加,完成电路板红外图像的去噪重构。

图5是本文算法的整体流程图,具体算法步骤如下:

图5 卷积融合字典算法流程图Fig.5 Convolutional fusion dictionary algorithm flow chart

步骤1:将原始电路板红外图像x输入到模型中,对电路板红外图像分别进行卷积稀疏编码和离散余弦变换。

步骤2:将训练好的卷积稀疏编码矩阵X1和DCT初始化字典D′融合,建立卷积融合字典的复合初始化字典D1。

步骤3:计算稀疏矩阵的稀疏系数λX,利用奇异值分解法更新字典原子。

步骤5:使用更新完成的去噪模型,加权叠加图像块xi,重构电路板红外图像,最终得到去噪图像y。

4 实验结果

4.1 实验数据集

本实验采用的实验电路板为机载电子系统电源模块电路板。实验环境具体如下:Windows10系统,Intel I7-11800h处理器,NVIDIA RTX3080 GPU。实验用红外热像仪为英孚泰克(Infratec)ImageIR®5300,红外图像分辨率为320×256,温度分辨率为0.01。由于目前没有通用的电路板类型的红外图像集,因此本实验使用的电路板红外图像数据集是多个基于红外图像的电路板故障诊断项目采集的图像集,总数量为50000张。数据集包括多环境、多周期、多种类的航电系统电源电路板红外图像。且为了保持数据集的多样性,实验另外加入了灰度变换后的斯坦福大学的图片数据集ImageNet2012和FLIR红外目标图片数据集,共计10000张。数据集具体分布如表1所示。

表1 实验所用数据集内容和数量分布Tab.1 Content and volume distribution of the data sets used in the experiments

4.2 去噪效果

本实验采用设置对照组的方式进行实验,去噪效果采取定性和定量的方式进行评估。定性的评价标准采用人眼观测成像效果的方法,定量是采用峰值信噪比(PSNR)和结构相似性(SSIM)作为评价标准。峰值噪比和结构相似性可分别表示为:

(13)

式中,n为像素比特数,MSE是原图像Y(i,j)与去噪后图像X(i,j)之间均方误差,H、W为图像的高和宽。峰值信噪比越高,红外图像所获得的信息丰富度就越高,去噪效果也越好。

(14)

本文采取在不同噪声范围内进行对比实验的方案,进而实现测试不同环境和干扰程度去噪效果的目的。具体的实验条件和设计思路如表2所示。

表2 具体实验条件和设计思路Tab.2 Specific experimental conditions and design ideas

图6分别选取了表2中三个噪声范围的电路板红外图像。

图6 三种不同噪声水平的电路板红外图像Fig.6 Infrared images of the circuit board with three different noise levels

可以发现,红外成像仪受到噪声干扰时,噪声会导致电路板红外图像中电路元件区域信噪比低,图像模糊。

在同一噪声等级情况下,实验随机选取电路板红外图像,分别使用K-SVD、卷积网络去噪以及卷积融合字典算法进行去噪重建。从峰值信噪比、结构相似性和成像效果三个角度,分析三种不同算法产生的差异性实验结果。图7给出了在三种不同噪声区间内,K-SVD、卷积去噪以及本文算法的去噪成像效果对比图。图中白色框区域为电路板芯片所在区域,是故障诊断系统的主要定位和数据提取区域:

图7 σ=15,25,50dB情况下去噪效果对比图Fig.7 Comparison of the denoising effect in caseσ=15,25,50 dB

可以看出,在0 dB≤σ≤15 dB时,本文算法可以清晰显示芯片周边及引脚,信噪比较高；在15 dB≤σ≤25 dB时,K-SVD和卷积网络对于白色框区域的去噪效果不太理想,本文算法在两个区域内依然能保持较高信噪比,芯片主体和引脚部分较为清晰；在25 dB≤σ≤50 dB时,两种对比算法重建图像涂抹程度高,细节已严重缺失,本文算法虽也存在涂抹化问题,但芯片区域显示效果尚可,保留了芯片和引脚的完整性,具有温度信息的提取价值。

定量方面,表3和表4给出了三种噪声范围内,K-SVD、卷积网络去噪以及本文算法的平均去噪结果；表5给出了三种对比算法的平均运行时间。图8、图9和图10分别给出了在噪声范围为0 dB≤σ≤15 dB、15 dB≤σ≤25 dB、25 dB≤σ≤50 dB时测试100次的三种方法图像信噪比对比。图11、图12和图13分别给出了在噪声范围为0 dB≤σ≤15 dB、15 dB≤σ≤25 dB、25 dB≤σ≤50 dB时测试100次的三种方法的图像结构相似性对比。

表3 实验结果(峰值信噪比PSNR(dB))Tab.3 Experimental results(peak signal to Noise ratio PSNR(dB))

表4 实验结果(结构相似性SSIM(%))Tab.4 Experimental results(structural similarity SSIM(%))

表5 不同算法平均运行时间Tab.5 Average running timeof different algorithms

图8 0 dB≤σ≤15dB时三种方法峰值信噪比对比Fig.8 Comparison of peak signal-to-noise ratios of three methods in 0 dB≤σ≤15 dB

图9 15 dB≤σ≤25dB时三种方法峰值信噪比对比Fig.9 Comparison of peak signal-to-noise ratios of three methods in 15 dB≤σ≤25 dB

图10 25 dB≤σ≤50dB时三种方法峰值信噪比对比Fig.10 Comparison of peak signal-to-noise ratios of three methods in 25 dB≤σ≤50 dB

图11 0 dB≤σ≤15dB时三种方法结构相似性对比Fig.11 Comparison of structural similarities between the three methods in 0 dB≤σ≤15 dB

图12 15 dB≤σ≤25dB时三种方法结构相似性对比Fig.12 Comparison of structural similarities between the three methodsin 15 dB≤σ≤25 dB

图13 25 dB≤σ≤50dB时三种方法结构相似性对比Fig.13 Comparison of structural similarities between the three methodsin 25 dB≤σ≤50 dB

综上,实验结果具有以下特点:

①在噪声范围为0 dB≤σ≤15 dB时,卷积融合结构提取特征效果较好,本文算法取得了较好的去噪效果。横向对比可知,本文算法对比K-SVD和卷积网络去噪在输出PSNR方面分别提升了26.63 %和16.31 %。同时,本文算法平均运行时间相比K-SVD缩短了19.7 %。从图中可以看出,本文算法能过滤除大部分红外噪声干扰,电路板图像的电路元件部分信噪比大幅度提高,芯片引脚部分模糊程度降低。

②在噪声等级在15 dB≤σ≤25 dB和25 dB≤σ≤50 dB时,表3和表4中,本文算法在PSNR和SSIM方面均优于两种对比算法,且所呈现的特点符合电路板红外图像去噪成像效果。在存在较为严重的噪声干扰时,本文算法能有效滤除大部分红外噪声。

③在较小噪声范围时,电路板上电路元件部分尚未被噪声完全干扰,本文算法利用卷积稀疏结构,提取红外图像特征,获得了较高的峰值信噪比和架构相似性。而其他两种对比算法在峰值信噪比和结构相似性上较本文算法存在一定差距。

④在较大噪声范围下,电路元件部分被噪声完全干扰,本文算法依然取得了较好峰值信噪比和结构相似性。当噪声严重时,单独使用两种经典算法并不能获得较好峰值信噪比及结构相似性。

图14给出了在噪声范围为15 dB≤σ≤25 dB时,经过去噪处理后,红外图像故障诊断系统的芯片定位准确度。

图14 去噪后芯片定位准确度Fig.14 Accuracy of chip positioning after denoising

可以看出,尽管在电路板电阻区域呈现小幅度的涂抹问题,但本文算法去噪后芯片主体及引脚部分信噪比较高,一定程度上降低了芯片定位难度,提升了定位准确度,后续研究能较为的准确提取芯片区域温度信息,方便了基于红外图像的电路板故障诊断方法的研究,为故障诊断方法的可靠性和鲁棒性提供了一定的保障。

5 结 语

本文将字典学习和卷积结构并行融合,综合考虑了卷积结构的优秀提取特征性以及稀疏矩阵的重建优势,针对特定的电路板红外图像进行优化,研究了基于航电系统电源电路板红外图像去噪方法。实验表明,对于一定噪声等级的范围内,本文算法都能对电路板红外图像的噪声进行有效滤除。满足后续基于红外图像的机载电路板故障诊断系统的研究需要。但是在噪声等级达到σ=50 dB以上时,本文算法依然不能完全达到有效去噪重建清晰度,存在图像涂抹化和网格化的情况。下一步的研究工作将集中于深入研究在严重噪声干扰时,电路板红外图像的去噪重构以及对图像中电路元器件边缘的清晰化处理。