基于混合残差密集网络的电路板红外图像超分重建

郝建新,张亦驰,王 力

(1.中国民航大学 工程技术训练中心,天津 300300；2.中国民航大学电子信息与自动化学院,天津 300300；3.中国民航大学职业技术学院,天津 300300)

1 引 言

红外技术的快速发展使其在军用及民用领域受到了广泛的关注。灵敏度高、动态范围大及昼夜可见等优点使其在热分析、视频监控、设备检测、医学成像、无损检测与故障诊断等领域取得了令人瞩目的成果。但受限于红外摄像仪自身特性,红外图像噪声大、分辨率低、细节模糊、视觉效果较差且层次不分明[1],严重影响后续的高层次开发与应用。以基于红外技术的PCB故障诊断为例,PCB红外图像分辨率较低,芯片纹理及边缘模糊,直接利用感兴趣区域红外图像进行故障诊断与定位的难度较大。选择高热灵敏度、高分辨率红外摄像仪提高图像分辨率使得硬件系统成本较高[2],为此本文将致力于PCB红外图像的超分辨率(Super-resolution,SR)重建算法模型的研究,以实现低分辨率(Low-resolution,LR)红外图像到高分辨率(High-resolution,HR)红外图像的转换[3]。

当前,主流SR重建算法包括双三次内插法(bicubic interpolation,BI)、压缩感知法(Compressed Sensing,CS)和深度学习法(Deep Learning,DP)三类。基于BI[4]的重建算法简单直观,但重建结果常带有明显的块效应和锯齿边缘,故本文主要对基于CS与DP的重建算法进行回顾。

图像稀疏性使传统SR突破了奈奎斯特采样定理限制,出现了大量性能较好的基于CS的重建算法。Zhang[5]等针对卷积稀疏编码特征映射的准确性问题,提出了一种基于卷积稀疏自编码的图像超分辨率算法；Zhang[6]等人训练两个稀疏字典分别重建图像的主体与高频残差部分；Yang[7]等人利用训练数据结构特征差异性而对多个字典对进行学习以完成图像重建；但CS理论在处理实际应用中的非凸问题时常受到先验假设的限制,且算法耗时较大。

随着深度学习的方法的快速发展,Dong[8]等人最早提出了基于SRCNN的图像重建算法,简单的结构与优秀的性能使其受到了极大的关注；Wang[9]等继而以级联稀疏编码代替映射层的方法完成了SRCNN的优化；针对红外图像,Choi[10]等利用可见光数据集训练SRCNN,取得了较好的重建效果； Han[11]等将红外与可见光图像同时输入深度网络,利用可见光细节信息辅助红外图像完成重建。

上述方法较好地表征了复杂图像细节信息,但随着网络的加深遇到了梯度消失与爆炸。受残差网络启发,Kim[12]等成功处理了梯度爆炸问题,网络的深度与性能均得到了提高；Ahn[13]等将局部与全局残差进行连接,通过促进前后级图像信息的有效传递而提高了重建性能；为了进一步利用图像中层次特征,Tong[14]等人提出了基于DenseNet的图像重建模型；Jia[15]等人利用残差密集对抗式生成网络实现红外图像的SR重建。但上述模型中密集连接块的增加使得训练参数也急剧增加,模型效率降低。

基于前人的研究,本文针对PCB红外图像提出了一种基于混合残差密集网络的SR重建算法模型,以改善原PCB红外图像边缘不清晰、细节纹理表现差、感兴趣区域层次感弱的问题。实验结果表明,本文算法模型能够有效提高重建后PCB红外图像分辨率,使PCB图像的细节信息得到改善,视觉效果得到提升。

2 基于深度学习的图像超分重建

2.1 基于CNN的超分辨率重建

模型采用均方误差(Mean squared error,MSE)作为重建损失函数,如式(1)所示：

(1)

式中,Θ为需要优化的网络参数；n为训练样本数据量；F3为第三层卷积输出的特征。

采用随机梯度下降和标准反向传播更新模型参数,以最小化重构图像与真实图像之间的损失值,完成图像的重建。

2.2 基于DenseNet的图像SR重建

DenseNet网络最早于2017年由Gao[16]等人基于ResNet提出,以解决网络不断加深而出现的梯度消失问题。与传统卷积前馈网络和ResNet相比,DenseNet采用了更为密集的连接机制,即密集连接模块(Dense block,DB),如图1所示。

图1 密集连接块结构图

各DB间建立的快捷连接使信息在深层网络中的流动性增强,实现了特征的重用。该结构缓解了梯度消失问题且提高了训练效率,其数学描述如式(2)所示:

xl=Hl([x0,x1,…xl-1])

(2)

式中,x0,x1,…xl-1为网络各层输出的特征映射；Hl(·)为包括了批处理(Batch Normalization,BN)、ReLU激活及卷积(Convolution,Conv)在内的复合非线性转换函数。

DenseNet网络基于DB建立,模型如图2所示,包括:浅层特征提取、深层特征提取、参数融合、转置卷积上采样与图像重建。

图2 DenseNet图像超分辨率重建结构图

鉴于本文工作重点为研究如何通过引入残差、多路径密集连接和全局融合完成对原始DenseNet网络的优化与改进,因此本节对DenseNet只做网络结构的宏观表述,细节内容将在本文3.2小节详述。

3 本文算法

3.1 网络结构

本文提出的基于混合残差密集网络的红外图像SR重建算法模型结构如图3所示,包括:浅层特征提取(Shallow feature extraction,SFE)、混合残差密集连接块(Hybrid residual dense blocks,HRDBs)、全局密集特征融合(Global dense feature fusion,GDFF)和高分辨率重建(HR reconstruction,HRR)。其中,GDFF由全局特征融合(Global Feature Fusion,GFF)与全局残差学习(Global Residual Learning,GRL)组成。

图3 混合残差密集网络结构图

网络的执行步骤如下:

Step1:提取LR图像Y的浅层特征F0和F1；

Step2:将F1送入HRDBs,依次提取图像的多个深层特征F2,F3,…,Fn；

Step3:对层次特征F1,F2,F3,…,Fn做全局特征融合,获取融合后的特征映射FDF；

Step4:对图像的浅层特征F0与融合特征FDF做全局残差学习,获取用于在HR空间进行重建的特征映射FGDF；

Step5:对FGDF进行卷积-反卷积-卷积操作,在HR空间实现图像的超分辨率重建。

3.2 混合残差密集块

本文提出的算法核心为HRDBs,如图4所示。每个HRDB由若干个多样性密集连接块(Variant Dense Block,VDB)、局部特征融合(Local Feature Fusion,LFF)层以及局部残差学习(Local Residual Learning,LRL)层组成。

图4 混合残差密集块体系图

VDB:参考DenseNet[14]中的连接方式,通过改变DB内各卷积核尺寸、排列方式以及各卷积核所占比例而创建多个VDB。对于每个VDB,其第i层所产生的特征映射Si可以由式(3)表示:

Si=σ(wi*[S1,S2,…Si-1]+bi)

(3)

式中,wi和bi分别表示VDB中第i层的权重和偏置；S1,S2,…,Si-1表示由VDB内第i层之前各层所提取的特征映射；σ(·)为ReLU激活函数。

卷积核尺寸与排列顺序的差异导致每个VDB将提取出不同的特征映射。为了在同一个层级获得更为丰富的特征,则将多个VDB以多路径的方式连接,表1为n=4时VDB的设置方式。参照表1,通过改变核尺寸与卷积排列顺序,即可获得多种功能的VDB以提取特征映射。

表1 多路径结构下VDB核尺寸设置实例

LFF:在多路径下,VDB提取了大量的不同类型特征,可能导致特征的冗余和利用不充分。为此,本文采用1×1的卷积组成LFF层,将各路径下VDB提取的特征映射(Feature-1～Feature-n)均连接到LFF,自适应的实现局部特征融合,降低特征映射维度,其数学描述如式(4)所示:

F′=σ(w1×1×[f1,f2,…,fn-1,fn]+b1×1)

(4)

式中,f1,f2,…,fn-1,fn为各路径下VDB提取的特征映射;w1×1,b1×1,F′分别为LFF层的权重、偏置和输出。

LRL:由于每个VDB中存在多个卷积操作,为了进一步改善网络中的信息流,促进信息与梯度的传递,在LFF层后增加LRL层,因此第i个HRDB的最终输出可表示为:

Fi=Fi-1+F′

(5)

式中,Fi-1和Fi分别为HRDB的输入和输出；“+”表示残差学习中的“快捷连接”。

3.3 全局密集特征融合(GDFF)

图像SR重建的基础是LR图像与HR图像之间的信息相关性,充分利用LR空间提取到的层次特征至关重要。为此,本文在网络中建立了GDFF(包括GFF与GRL),在全局层面上融合所有HRDBs提取的层次特征信息。

GFF层采用核尺寸为1×1的卷积对HRDBs输出的不同层次的特征进行融合,依据式(6)获取全局特征:

FDF=σ(w1×1*[F1,F2,…,Fn-1,Fn]+b1×1)

(6)

式中,F1,F2,…,Fn-1,Fn为网络中HRDBs输出的特征映射；FDF为经过GFF后得到的全局特征映射。

最后,通过GRL操作获取最终用于重建HR图像的特征映射,如式(7)所示:

FGDF=F0+FDF

(7)

式中,F0为浅层的特征映射。FGDF将最终被送入至HR空间,完成重建。

4 实验结果与分析

4.1 实验数据集

鉴于自建数据集中(Self-collected databases,SCD)PCB红外图像数据量有限,实验中优先使用公共数据集(Open databases,OD)LTIR与IRdata对重建算法模型进行训练、验证和测试,然后再用自建数据集对算法模型有效性做进一步的验证。

以公共数据集中的红外图像作为原始的HR图像,利用Matlab中imresize函数bicubic选项对原始HR图像做factor=3的双三次插值下采样以模拟LR图像。LR与HR图像组成训练图像对,随机抽取80 %的图像对用于训练；10 %的图像对用于交叉验证；10 %图像对用于重建测试。类似的,将PCB红外图像的原始图像(320×256)做同样操作,以用于重建模型有效性的进一步验证。

4.2 模型训练设置

在Tensorflow 2.0框架下,依据表2设置HRDN重建网络的参数,其中G,P,H分别表示VDB输出的增长率、连接VDB的路径数量以及HRDB数量；除了GFF增长率取G0=64的固定值外,G,P,H的值将通过实验获取；每个训练批次中随机抽取16张尺寸为32×32的LR红外图像的部分图像块作为输入,通过随机的水平、垂直翻转和90°的转动操作增加图像块数量,每1000次迭代作为一个epoch,参考文献[17]初始化网络中的各个权重与偏置,使用Adam[18]优化方法,设定初始学习律为10-4。在NVIDIA GPU RTX3080、16GRAM、Intel(R)Core(TM)i5-10600 环境下进行模型的训练与测试。

表2 HRDN主要参数设置

4.2 评价指标

本文依据定性与定量两类指标对重建算法模型的性能进行评价。其中,定性指标是指通过重建后的红外图像视觉效果进行评估；定量指标是指通过峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性指数(structural similarity index,SSIM)对重建结果进行评估,两个定量指标的数学表达式如式(8)和式(9)所示:

(8)

式中,MSE为均方误差。

(9)

在定量指标中,PSNR越大,表示重建图像与原始图像越接近,算法性能越好；SSIM越接近1,表示重建图像与原始图像相似性越高,算法性能越好。

4.3 结果分析

4.3.1 参数P,G,H分析

通过表2中网络参数设置可以发现,参数P,G,H并未确定,将通过实验,综合参考训练中PSNR指标和网络的复杂度后而确定。

图5为P,G,H取不同参数值时重建图像的PSNR收敛曲线。如图5(a)所示,由于采用了多路径结构使得网络提取图像特征能力显著增强,并且随着P值的增加指标性能也有提高,但提高的并不十分显著；如图5(b)所示,G=16和G=32时PSNR的值并未出现显著的变化,但是当G=64时,PSNR的值出现了显著的提高。而且,由于采用了局部特征融合,网络训练负担并不会因G的提高而急剧增加,因而为选择更大的G值以促进重建性能提供了可能性；如图5(c)所示,由于HRDB数量直接关系网络的深度与复杂度,因此指标并没有随着H的提高而向更好的性能收敛。以重建性能作为首要参考指标,同时考虑训练负担与网络复杂度等因素,最终本文采用P=8,G=64,H=16作为重建网络参数值。

图5 参数P,G,H对重建性能的影响

为了进一步说明模型的有效性,在参数值P=8,G=64,H=16时,获取模型训练与验证集的损失函数曲线,如图6所示。可以发现,训练与验证损失曲线收敛一致,说明训练模型不存在过拟合,可以用于进一步的重建测试。

图6 训练与验证损失

4.3.2 不同算法的测试结果对比

使用双三次插值法、SRCNN、ESPCN与本文算法分别对公共数据测试集中的远景建筑物红外图像和自建数据测试集中空客A320气象雷达PCB红外图像进行重建,重建结果如图7和图8所示。

通过图7可以发现,双三次内插法的重建结果中,图像中信息发生了改变,尤其高频特征,表现为楼宇边缘轮廓出现了严重形变；SRCNN与ESPCN重建结果中,楼宇间竖向的清晰度有所提升且形变减小,但是图像中明显出现了大量的椒盐噪声,框体内放大图像的横向窗户的细节特征未能体现；相比上述重建结果,本文重建图像放大区域楼宇间竖向轮廓最为清晰,横向轮廓也有所加强,重建后的图像中噪声小,视觉效果与原图最为接近。观察图8所示电路板红外图像的重建结果可以发现,相比与其他算法的重建结果,本文结果噪声最小,芯片的边缘细节表现的最为清晰,本文的重建结果与原始图像最为接近,能够将芯片的发热层次清晰的展现出来(框体内所示),使得能够通过人眼即可对发热区域的温度差异进行分辨,更好地还原了图像中的高频细节。

图7 不同方法重建效果对比

图8 不同方法重建效果对比

为进一步说明本文算法的优势,分别计算了不同算法在公共数据测试集和自建数据测试集下重建图像的定量指标,如表3所示。可以发现,本文算法得到的重建性能指标均高于列举的其他算法,这说明本文算法能够使重建结果更接近原图,获得与原图更高的相似性。

表3 不同方法重建结果定量指标对比

4.3.3 真实图像的超分辨率重建

为了说明本文算法的实用性,对真实的未经过退化的PCB红外图像(320×256)进行SR重建,与基于双三次插值法、SRCNN、ESPCN的重建结果进行对比,如图9所示。

图9 真实红外图像重建效果对比

可以发现,与列举的其他算法相比,本文重建结果中芯片的发热区域的边缘与细节展现更为清晰,能够将原图中未能明显体现的差异性发热区域突出显示出来,从而为依据视觉判断芯片的发热异常提供有力的支撑；另外,实验结果也进一步说明了本文算法能够更好的学习红外图像的多样性层次特征,即使对于真实的分辨率较低的红外图像依然具有较好的重建性能,展现出较强的鲁棒性。

5 结 论

为了提高PCB红外图像的超分辨率重建性能,本文提出了一种基于混合残差密集网络的红外图像超分辨率重建算法模型。模型基于CNN与DenseNet结构进行设计,对流程与特征提取网络进行了改进与优化,主要表现为以下几个方面:

(1)构建混合残差密集连接块(HRDBs)用于LR红外图像的特征提取与局部特征融合。首先,在HRDB内采用多路径结构连接多个VDB,提高模型提取多样性红外图像特征的能力；其次,在HRDB内添加LFF实现局部特征融合与降维,减少训练参数量并降低模型的计算复杂度。

(2)建立全局特征融合层(GFF),结合全局残差学习(GRL)实现HRDBs输出特征的融合与降维。

(3)对模型中的P,H,G参数进行实验分析,综合考虑重建性能指标与模型复杂度,确定具体参数值,构建最优重建模型。

分别使用公共数据集、自建数据集、未经退化的PCB红外图像数据进行算法重建性能测试,结果显示,在相同下采样因子的退化模型下,本文算法模型获取的重建图像不仅在视觉效果和高频细节方面优于列举出的其他算法,其重建的定量性能指标也体现出同样的优势；对于真实的未退化的PCB红外图像,本文算法依然可以具备良好的重建性能,在纹理与边缘的清晰度上依然优于列举出的其余算法,表现出较强的鲁棒性。

综上所属,本文提出的重建模型对于PCB红外图像具备较强的重建性能,具备一定的泛化能力,可以应用于基于红外的机载电子系统PCB维修中,具有继续深入研究的意义。