基于全卷积网络的红外图像非均匀性校正算法

牟新刚，崔 健，周 晓

基于全卷积网络的红外图像非均匀性校正算法

牟新刚，崔 健，周 晓

（武汉理工大学 机电工程学院，湖北 武汉 430070）

针对红外成像系统在经过两点校正后，随时间漂移仍然会出现的非均匀性噪声，提出一种基于全卷积深度学习网络的红外图像非均匀性校正算法，使用子网络与主网络相结合的方式进行非均匀性校正。该算法设计了非均匀性等级估计子网络，将含有非均匀性噪声的红外图像输入子网络后，输出非均匀性等级估计图，并和待校正红外图像一并输入校正主网络。子网络生成的非均匀性等级估计图作为一个参数输入校正主网络，避免了网络只针对同一等级非均匀性产生过拟合。经过实验验证，该算法克服了传统的基于场景的算法所产生的边缘模糊问题，对条纹状非均匀性噪声校正效果较好，经过校正后的红外图像清晰度高、细节丰富、边缘清晰、图像质量良好。

非均匀性等级估计子网络；红外图像；非均匀性校正；深度学习

0 引言

近年来，随着红外焦平面阵列分辨率不断增大，红外成像技术从工业、农业、军事和消防领域，逐渐扩展到如体温测量、自动驾驶等民用领域。在红外成像系统中，由于系统设计、元器件的半导体材料和制造工艺等多方面原因，引入非均匀性噪声是无法避免的，这也是影响红外成像技术应用的关键问题。

红外图像非均匀性校正算法主要分为3类。应用最广泛的是基于标定的校正算法，如两点校正法[1]。该类算法校正时需要参考辐射源，设备需要周期性停机校正。基于场景的校正算法如时域高通滤波法[2]，对于固定的噪声有效，但会将背景中的低频部分作为噪声滤除，并会产生“鬼影”问题。Zuo等人[3]改进了时域高通滤波法，将双边滤波引入算法。Qian等人[4]提出了基于空域低通的时域高通滤波算法，进一步改善了“鬼影”问题和细节丢失的问题。Harris等人[5]首次提出使用恒定统计平均法进行非均匀性校正。但基于场景的各类算法，均存在适用条件苛刻以及“鬼影”问题。基于神经网络和深度学习的算法近年来不断发展，Kuang等人[6]提出使用三层神经网络进行非均匀性校正，赵春晖等人[7]对神经网络的滤波器进行改进。由于这些算法的神经网络层数少，算法的校正能力有限。张龙等人[8]将神经网络与双边滤波算法结合，一定程度上提高了校正效果。Mou等人[9]使用了层数更多的神经网络，并提出使用残差连接提高算法的校正效果[10]。He等人[11]在训练深度学习网络时，对数据集添加模拟的条纹状非均匀性噪声。

随着计算机的计算能力不断发展，深度学习算法使用层数更多的神经网络来提高算法精度。目前基于深度学习的红外图像非均匀性校正算法的研究较少，算法存在校正效果不佳，图片过度平滑和适应性不强的问题。本文借鉴CBDnet网络使用噪声估计子网络的思想，设计了一种全卷积深度学习网络，该网络包含非均匀性等级估计子网络和校正主网络两部分，子网络对图片的非均匀性等级进行估计，并将非均匀性等级估计图作为参数输入主网络，避免出现过拟合问题，以提高网络的校正效果和适应性。

1 非均匀性噪声分析

红外探测器的核心元器件是红外焦平面阵列，其探测单元的响应可以使用线性数学模型表示为：

y,j()＝A,j,j()＋B,j() (1)

式中：,j为红外焦平面阵列单个像元的输入；y,j为对应像元的输出；A,j为像元增益；B,j为像元偏置。

由于半导体材料的电学特性和生产工艺的限制，红外焦平面阵列会随着使用时间的延长而发生漂移现象，从而导致红外成像系统得到的红外图像产生非均匀性噪声。由于红外焦平面阵列纵向的所有像元共用一个放大器，当成像系统产生漂移时，红外图像就会产生非常明显的纵向条纹状噪声。

2 基于全卷积网络的校正算法总体设计

Zhang等人[12]使用全卷积网络对可见光图像高斯分布点状噪声去噪时，将噪声等级估计图作为输入，提高了网络去噪效果。Guo等人[13]通过进一步研究发现，当噪声等级估计图与图片真实噪声等级匹配时，去噪效果良好，如果产生低估，去噪效果变差。Guo等人针对可见光高斯分布点状噪声去噪任务提出了噪声等级估计子网络，本文首次将该思路引入红外图像条纹状非均匀性校正算法，设计了非均匀性等级估计子网络和校正主网络相结合的新网络。经过训练后，该子网络根据输入图像产生非均匀性等级估计图，估计图作为单独的数据通道，与待校正图片一起输入主网络，提高网络对不同等级非均匀性的适应性，从而提高网络的校正效果。

深度学习网络使用的全连接层常用于分类任务，全连接层的设计要求输入图像尺寸固定，并且全连接层会使网络的权重参数变多，网络的训练和识别速度降低。文中网络采用全卷积设计，网络支持不同尺寸的图片作为输入，相比于全连接层，全卷积网络减少了网络的权重参数数量，提高了网络的训练和识别速度。

文中算法的实施流程如图1所示。首先将子网络和主网络同时在数据集上进行训练。待模型收敛后，将待校正图片输入模型，得到非均匀性校正后的图片。

3 全卷积网络结构及参数设计

网络包含非均匀性等级估计子网络和校正主网络两个部分。两部分均采用全卷积设计，不含全连接层。含有非均匀性噪声的输入红外图像表示为，非均匀性等级估计子网络表示为s，校正主网络表示为m。非均匀性等级估计子网络的任务是得到非均匀性等级估计图s()，并将其作为一个参数与待校正红外图片一起输入校正主网络，最终得到校正后的红外图片m[,s()]。

主网络如果只接受含有非均匀性噪声的红外图像作为参数，容易发生针对数据集非均匀性强度的过拟合现象，而实际红外图像的非均匀性强度往往与数据集不一致，导致神经网络只针对数据集中的非均匀性强度产生良好的效果，而在对实际红外图像进行非均匀性校正时表现不佳。文中网络采用了一个非均匀性等级估计子网络，经过迭代训练后，可以对非均匀性等级进行估计，输出非均匀性等级估计图，并将估计的结果作为一个输入参数输入主网络。当实际含有非均匀性噪声的红外图片输入网络后，先经过子网络对其非均匀性等级进行估计，并将估计的结果与原图像一起输入主网络，可以有效提高网络非均匀性校正效果。网络整体结构如图2所示。

图2 全卷积神经网络结构

3.1 非均匀性等级估计子网络

由于子网络的任务是对非均匀性等级进行估计，并不参与最终的校正任务，所以子网络不需要层数过多，且考虑到红外图像均为单通道灰度图，没有彩色图片R，G，B三通道中的颜色信息，所以网络的通道数不宜过多。最终设计的网络为4层，32通道。网络结构如图3所示。

图3 非均匀性等级估计子网络

子网络为4层全卷积结构，每层通过尺寸为3×3的卷积核进行卷积操作，生成32通道的特征图。每层卷积层后使用ReLU激活函数。为了保证子网络输出的非均匀性等级估计图尺寸与原图片保持一致，子网络不使用池化层，并对边缘进行补0操作。子网络的详细参数如表1所示。

3.2 校正主网络

校正主网络同样采用全卷积的结构。网络共有12层，每一层包含一个尺寸为3×3大小的卷积核，生成64通道的特征图。在网络训练过程中，随着网络参数的更新，更新参数的这一层神经网络，会导致上一层网络输入数据的分布发生变化，随着网络加深，这种变化会层层叠加，导致网络难以收敛，所以在设计层数较多的主网络时使用批归一化[14]操作。

表1 子网络参数

网络的第1层使用3×3大小的卷积核，经过ReLU激活函数后输出。网络的第2层到第11层，特征图经过3×3大小的卷积核后，先进行批归一化操作后，再经过ReLU激活函数输出。网络的最后一层只有3×3大小的卷积层，不进行批归一化操作，也不经过激活函数，得到最终的输出图片。为保证输入图片和输出图片的尺寸保持一致，对边缘采取补0操作。校正主网络的结构图如图4所示，网络的具体参数如表2所示。

图4 校正主网络

3.3 目标函数

文中网络的目标函数分为二部分，第一部分是非均匀性等级估计子网络s输出的非均匀性等级估计图s()与给定的非均匀性等级图之间的关系，第二部分是校正主网络m输出校正后的图片m[,s()]与不含非均匀性噪声的理想红外图像之间的关系。

子网络的任务是输出准确的非均匀性等级估计图，所以子网络的目标函数s为：

表2 校正主网络参数

校正主网络接收子网络输入的非均匀性等级估计图s()和输入图像后，得到最终校正后的红外图像，主网络的目标函数m为：

网络整体的损失函数为：

＝ss＋mm(4)

式中：s和m分别为子网络损失函数系数和主网络损失函数系数，反映二者在训练中所占权重。

4 实验与结果分析

4.1 数据集

由于红外探测器可以在多种场景中使用，为了防止神经网络出现过拟合现象，数据集应当包含丰富的场景。从FLIR和LTIR公开数据集中随机挑选不同场景的红外图片900张，挑选由实验室自主研发的基于氧化钒非制冷型IRFPA的长波红外探测器收集的不同场景红外图像100张，裁剪成256×256大小，作为文中算法的训练集。该训练集包含常见的生活场景，如街道、公园、野外、室内、车辆、人像、建筑等。

由于包含真实非均匀性噪声的红外图像难以收集，所以根据红外焦平面阵列响应的数学模型，为训练集添加标准差分别为{0，0.05，0.1，0.15}，均值为1的高斯分布增益噪声，标准差为{0，0.05，0.1，0.15}，均值为0的高斯分布偏置噪声。

测试集同样从FLIR和LTIR公开红外数据集中选取，添加与训练集相同的高斯分布噪声。同时添加由实验室自主研发的长波红外探测器收集的2段1000帧的红外图像序列，其中1000帧添加与训练集相同的噪声。其余1000帧为该红外探测器经过两点校正后，随使用出现条纹状非均匀性噪声时收集的红外图像序列，每帧图像均含有真实的非均匀性噪声。

4.2 模型训练

文中深度学习网络选择基于GPU的Tensorflow深度学习框架，使用Keras深度学习库编写网络模型程序，训练的硬件环境为Intel(R)Core(TM)i5-8300H型号的CPU和GeForce GTX 1050Ti型号的GPU。

由于训练集图片数量有限，使用随机旋转90°、180°、270°和镜像的方式进行数据集扩充，提高模型的泛化性，防止训练结果过拟合。

4.3 校正效果评价标准

文中算法使用主观评价和客观评价两种评价标准。客观评价采用峰值信噪比（peak signal to noise ratio，PSNR），结构相似性（structural similarity ，SSIM）和粗糙度（roughness）。

峰值信噪比公式为：

式中：为图片的比特数。MSE表示图片的均方误差，其公式为：

式中：表示校正后的红外图像；表示不含非均匀性噪声的理想红外图像；和表示图片的宽和高。峰值信噪比数值越高，表示算法非均匀性校正效果越好。

结构相似性公式为：

SSIM(,)＝(,)×(,)×(,) (7)

式中：表示图片的亮度；表示图片的对比度；表示图片的结构。结构相似性越接近于1，说明非均匀性校正效果越好。

粗糙度公式为：

式中：为图像像素值；矩阵为[1,－1]的水平模板；T为的转置矩阵，表示垂直模板；‘*’表示图像的卷积计算。粗糙度计算只需要当前图像的像素值，真实含有非均匀性的红外图像由于无法取得对应的理想图像，适合使用粗糙度来评价。粗糙度值越小说明图像越平滑，可以认为非均匀性校正效果越好。

主观评价是校正效果评价重要的一部分。主观评价需要通过肉眼观察校正后的图片是否清晰，边缘是否发生模糊，条纹状噪声校正效果是否良好，是否引入新的噪声如“鬼影”等，图片细节保留是否良好等，补充客观指标无法反映的图片特征。

4.4 实验结果与分析

子网络与主网络同时训练，需要明确定义非均匀性等级图，用于计算子网络部分的损失函数。非均匀性等级与红外图像的增益噪声和偏置噪声有关，所以将非均匀性等级图定义为：

式中：为人为添加的增益噪声的标准差值；为偏置噪声的标准差值。

对比算法包括传统基于场景的算法：基于双边滤波的时域高通滤波算法（bilateral filter based temporal high-pass filter nonuniformity correction, BFTH-NUC）[3]；传统基于单帧的算法：中值直方图均衡化算法（median histogram equalization, MHE）[15]；深度学习算法：DLS（Deep-learning single-image-based nonuni- formity correction）[11]、DMRN（Deep multiscale residual network）[16]。对比方法包括客观评价和主观评价，客观评价使用PSNR（Peak Signal to Noise Ratio）和SSIM（Structural Similarity）两个指标。

首先对测试集中人为添加非均匀性噪声的1000帧红外图像序列进行校正效果对比。MHE算法、DLS算法、DMRN和文中算法不需要先验信息，可以基于单帧图片进行校正，但BFTH算法需要经过一定时间收敛，所以选取了算法校正效果稳定后的100帧图片的客观数据进行对比。各算法的平均PSNR和SSIM值如表3所示。PSNR对比结果如图5所示，SSIM对比结果如图6所示。

表3 各算法平均PSNR和SSIM

BFTH算法的PSNR值和SSIM值两项指标在4种算法中最差，表明非均匀性校正效果最差。MHE算法客观评价指标好于BFTH，但是数据的波动较为明显。DLS和DMRN两种基于深度学习的算法的客观指标明显高于两种传统算法。本章算法在5种对比算法中表现最佳，在PSNR和SSIM两项指标中均得到最好效果，且数据波动较小，说明本章算法校正后的红外图像与理想红外图像更加接近，校正效果更好更稳定。

图5 测试集PSNR图

图6 测试集SSIM图

图7展示了各算法对测试集其中一帧的校正效果。图7(a)代表含有模拟非均匀性噪声的输入图片。图7(b)背景明显变暗，且画面中出现了残余的条纹状非均匀性噪声。图7(c)和图7(d)背景中出现了明显的残余非均匀性噪声。图7(e)背景纯净，非均匀性噪声基本被去除，但从局部放大图中可以观察到明显的模糊，人物腿部边缘的细节出现丢失现象。图7(f)为文中算法的校正效果图，非均匀性噪声基本被去除，观察局部放大图可以发现，人物边缘清晰可辨，细节丰富。

为了进一步验证文中算法在真实情况下的校正效果，将测试集中含有真实非均匀性噪声的1000帧红外图像序列，使用4种算法进行校正。校正前的其中一帧图片如图8所示。

图像中可以观察到非常明显的条纹状非均匀性噪声，背景中的小目标、树木和建筑物等细节已经无法分辨，严重干扰红外图像信息传递。使用5种对比算法校正后的图像如图9所示。

图7 各算法校正效果

图8 原始图片

图9(a)是含有真实非均匀性噪声的输入图像。图9(b)非均匀性噪声基本被去除，但背景出现了明显的变暗。图9(c)～(f)没有出现背景变暗的现象。从对人物的局部放大图中可以发现，图9(c)出现了明显的残余非均匀性噪声。图9(d)人物的边缘出现了模糊，细节丢失较为严重。图9(e)和(f)校正效果整体更好，非均匀性噪声基本被去除，从局部放大图中可以发现，相比于图9(e)，图9(f)中人物的边缘更加清晰锐利，人物与背景的对比度更高，非均匀性校正效果表现最好。

各算法在含有真实非均匀性噪声的红外图像序列上的平均粗糙度值如表4所示，基于深度学习的算法粗糙度值更小，文中算法粗糙度值在对比算法中最低，表明文中算法的校正效果表现最佳。

经过对比实验发现，文中算法在客观评价和主观评价中均取得了最好的校正效果，非均匀性噪声基本被去除，画面没有出现变暗和细节丢失的现象，也没有出现模糊。校正后的图片清晰锐利，细节丰富，说明文中算法在含有模拟非均匀性噪声和含有真实非均匀性噪声的红外图像序列中，均取得了良好的校正效果。

图9 各算法校正效果

表4 各算法平均粗糙度

5 结论

提出一种全卷积神经网络，该网络包含一个非均匀性等级估计子网络和一个非均匀性校正主网络。将含有噪声的红外图像输入子网络后，子网络对其非均匀性等级进行估计，生成非均匀性等级估计图，并与原输入图片一同输入主网络。由于算法将非均匀性等级图作为参数输入主网络，避免了网络针对数据集中含有的非均匀性等级产生的过拟合现象，在实际非均匀性校正使用中适应性更好。经过实验验证，文中算法与传统的基于场景的算法和其他基于深度学习的算法相比，校正后的图像边缘清晰，细节丰富，峰值信噪比、结构相似性和粗糙度指标均有明显提升，图片质量高，校正效果良好。

[1] ZHOU Huixin, LI Qing, LIU Shangqian, et al. Nonuniformity and its correction principle of infrared focal plane arrays[J]., 2003, 3(6): 46-48.

[2] Scribner D A, Sarkady K A, Kruer M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//, 1991: 100-109.

[3] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]., 2011, 18(2):197-202.

[4] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]., 2010, 17(1): 24-29.

[5] Harris J G, Chiang Y M. Nonuniformity correction using the constant-statistics constraint: analog and digital implementations[C]//, 1997, 3061: 895-905.

[6] KUANG Xiaodong, SUI Xiubao, CHEN Qian, et al. Single infrared image stripe noise removal using deep convolutional networks[J]., 2017, 9(4): 1-13.

[7] 赵春晖, 刘振龙. 改进的红外图像神经网络非均匀性校正算法[J]. 红外与激光工程, 2013, 42(4): 1079-1083.

ZHAO Chunhui, LIU Zhenlong. Improved infrared image neural network non-uniformity correction algorithm[J]., 2013, 42(4): 1079-1083.

[8] 张龙, 董峰, 傅雨田. 基于神经网络的红外图像非均匀性校正[J]. 红外技术, 2018, 40(2):164-169.

ZHANG Long, DONG Feng, FU Yutian. Non-uniformity correction for infrared image using neural networks[J]., 2018, 40(2):164-169.

[9] MOU Xingang, LU Junjie, ZHOU Xiao, et al. Single frame infrared image adaptive correction algorithm based on residual network[C]//11th(SOPO), 2018: 17-23.

[10] 牟新刚, 陆俊杰, 周晓. 基于残差编解码网络的红外图像自适应校正算法[J]. 红外技术, 2020, 42(9): 833-839.

MOU Xingang, LU Junjie, ZHOU Xiao. Adaptive correction algorithm of infrared image based on encoding and decoding residual network[J]., 2020, 42(9): 833-839.

[11] HE Zewei, CAO Yanpeng, DONG Yafei, et al. Single-image-based nonuniformity correction of uncooled long-wave infrared detectors: a deep-learning approach[J]., 2018, 57(18):155-164

[12] ZHANG Kai, ZUO Wangmeng, ZHANG Lei. Ffdnet: Toward a fast and flexible solution for CNN based image denoising[C]//, 2017: 4608-4622.

[13] GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convolutional blind denoising of real photographs[C]//(CVPR), 2019:1712-1722.

[14] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//, 2015: 448-456.

[15] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]., 2010, 17(1): 24-29.

[16] CHANG Y, YAN L, LIU L, et al. Infrared Aerothermal nonuniform correction via deep multiscale residual network[J]., 2019, 16(7):1120-1124.

Infrared Image Non-uniformity Correction Algorithm Based on Full Convolutional Network

MOU Xingang，CUI Jian，ZHOU Xiao

(School of Mechanical and Electronic Engineering, Wuhan University of Technology, Wuhan 430070, China)

The infrared imaging system will still exhibit non-uniform noise after two-point correction. An infrared image non-uniformity correction algorithm based on a fully convolutional deep learning network was proposed in response to this problem. This algorithm combines the subnetwork and main network for non-uniformity correction. The network contains a nonuniformity-level estimation subnetwork. After inputting the infrared image with non-uniform noise into the non-uniformity level estimation subnetwork, the outputted non-uniformity level estimation map is input into the main network together with the original noise infrared image. The non-uniformity level estimated map generated by the subnetwork prevents the network from overfitting only for the non-uniformity of the same grade. After experimental verification, the algorithm overcomes the problem of edge blur generated by the scene-based algorithm. The algorithm will not appear blurred, the images have high definition and rich details, and the quality of images is good.

non-uniformity level estimation subnetwork, infrared image, non-uniformity correction, deep learning

TN219；TN911.73

A

1001-8891(2022)01-0021-07

2021-02-08；

2021-04-25.

牟新刚（1982-），男，博士，副教授，主要研究方向光电成像与信息处理、红外图像处理。E-mail: sunnymou@whut.edu.cn。

国家自然科学基金项目（61701357）；中央高校基本科研业务费专项资金资助（183204007）。