基于自适应扩散模型的单帧红外条纹非均匀性校正算法

陈世伟，杨小冈，张胜修，刘云峰

(1.第二炮兵工程大学　303教研室，西安 710025；2.二炮驻成都地区代表室，成都 610000)



基于自适应扩散模型的单帧红外条纹非均匀性校正算法

陈世伟1*，杨小冈1，张胜修1，刘云峰2

(1.第二炮兵工程大学303教研室，西安 710025；2.二炮驻成都地区代表室，成都 610000)

摘要：针对红外焦平面成像系统存在列向条纹非均匀性的现象，采用了一种基于自适应PM扩散模型的非均匀校正新算法。首先，综合利用图像梯度信息和局部灰度统计信息，自适应计算PM模型的扩散阈值；然后将每列像素的PM模型估计值作为该列像素的期望值；最后采用最陡下降法迭代计算得到每列像元的校正参数，并对结果进行循环校正以提高校正效果。实验结果表明：该算法可以保护图像边缘信息，与同类算法相比，能够更有效地抑制条纹非均匀性，并且能够防止图像产生鬼影。

关键词:单帧红外图像；条纹非均匀校正；自适应扩散模型；最陡下降法；鬼影

Single infrared stripe nonuniformity correction

1引言

红外焦平面阵列(Infraed Focal Plane Array,IRFPA)在相同辐射下探测单元响应度不完全一致，导致了叠加在红外图像上的非均匀性空间噪声，其噪声形式主要表现为列向条纹，给红外图像的后续处理带来很大影响，因此实际应用中必须进行非均匀性校正[1-2]。红外图像非均匀性校正算法主要分为两大类：基于标定的校正算法和基于场景的自适应校正算法。定标法原理简单，但是需要在非工作状态下标定，且需要标准辐射源；场景法由于不依赖于定标源，可以自适应在线校正，成为目前该研究领域的重点方向[3-4]。基于场景的非均匀性校正算法又分为很多种，其中以恒定统计(CS-NUC)和神经网络(NN-NUC)两类算法相对比较成熟。Harris等人[5]提出了基于恒定统计约束的非均匀性校正算法，Scribner 等人[6]提出了基于神经网络的非均匀性校正算法。这些算法都依赖场景运动，并受到目标退化(fade-out)和鬼影(ghosting artifact)等问题困扰，影响了应用范围[7]。针对条纹非均匀性噪声，钱惟贤等人[8]提出了基于最小均方误差校正法(Minimum Mean Square Error,MMSE)，这种校正方法对于平坦区域效果较好，但对于灰度变化剧烈的边缘区域在抑制噪声的同时也损失了边缘细节信息。针对图像边缘保留能力较差的问题，赵明等人[9]提出了基于转向核估计的校正算法(Least Square Fitting Steering Kernel, LSF-SK)，采用各向异性的转向核作为扩散系数来保护图像的边缘信息，但算法的校正效果依赖于平滑因子的选择。张天序等人[10]通过深入分析神经网络校正算法出现鬼影现象的成因，提出了基于偏微分方程的自适应校正方法(PDE-based NUC)，利用具有各向异性的非线性滤波来保持图像的边缘细节特征，但是这种方法采用经验值作为扩散阈值，校正效果并不稳定。LSF-SK和PDE-based NUC都属于基于非线性滤波的神经网络非均匀性校正算法，因未能实现自适应扩散阈值，校正过程中仍然可能出现目标退化和鬼影现象。

据此，本文将PM模型引入单帧红外图像的列向条纹非均匀性校正中，针对PM模型扩散阈值的选取问题，通过分析扩散阈值对图像平滑过程的影响，综合利用图像梯度信息和局部灰度统计信息，实现了扩散阈值的自适应计算。采用实际航拍和仿真红外图像序列进行对比实验，结果表明，本文采用的基于自适应PM扩散模型的非均匀校正方法(the nonuniformity correction based the PM of adaptive diffusion,PM-AD-NUC)在有效去除红外条纹非均匀性噪声的同时，还较好地解决了图像的鬼影现象。

2条纹非均匀性的神经网络校正算法

在非均匀性校正算法中，一般将红外焦平面像元的响应模型近似为线性模型，即

(1)

(2)

针对红外列向条纹非均匀性特点，同列像素可视为相同探测元在不同辐照度下的响应结果。根据式(2)，列向条纹非均匀性校正过程可表示为：

(3)

(4)

式中，ωN,ωS,ωW,ωE代表四邻域空间的加权系数。

定义误差函数为：

(5)

代入式(3)得：

(6)

该算法是一种标准的自适应滤波算法，误差主要来源于对真实值的估计。由于四邻域加权平均本身是一种各向同性的扩散模型，不能有效保护图像边缘细节信息，会导致边缘像素的模糊和退化。因此，对于边缘上的像素，这种估计方法并不准确。从式(6)可以看出，边缘的估计误差将导致异常的增益和偏置校正系数，最终导致边缘像素的过度校正，表现在图像上即是鬼影。

3基于自适应扩散模型的红外单帧条纹非均匀性校正算法

Perona和Malik 提出的经典各向异性扩散模型方程如下式：

完成桩位放样后，根据护桩情况确定导向架的位置，通过石灰撒线方式保证其精度。在导向架安装完成后，参考桩中心在导向架周围均匀焊接φ10mm的定位筋，定位筋与护筒间的距离应精确在50mm。在钢护筒施工过程中，应定期对钢护筒与定位筋间的距离进行测定，当偏差过大时进行及时纠正。钢护筒施工采用的施工方法为压入法，所用设备为DZ300振动锤。钢护筒每打入3m需要利用水平尺对钢护筒与定位筋间的距离进行测定，如果护筒垂直度与桩位偏移超过50mm，使用DZ90振动锤进行单边振动打压，实现对控制垂直度。通过钢护筒垂直度与中心偏移量进行有效控制，为后续桩基开钻奠定了良好的基础。

(7)

其离散形式可表示成：

(8)

(9)

由于PM模型的具体形式用偏微分方程(PDE)表示，所以这类算法又被称为基于偏微分方程的非均匀性校正方法(PDE-based NUC)。

在PM模型中，扩散系数ck是关于图像梯度的非负递减函数，当梯度值较小时，模型的扩散作用较强，起到平滑效果；当梯度值较大时，模型的扩散作用较弱，甚至不扩散，从而保护了图像的边界。Perona和Malik推荐了一个常用扩散函数：

(10)

式中，λ为扩散阈值。

扩散阈值λ的取值对扩散过程影响巨大，λ取值过大，对边缘的保留越少；λ取值过小，扩散被抑制，达不到去噪效果。因此，在实际应用中，需要选择合适的λ值适应图像边缘强弱和噪声水平，否则难以达到保边缘、去噪声、抑制鬼影的目的。

图1　不同扩散阈值对应PDE-based NUC校正前后的图像Fig.1　Images before and after using PDE-based NUC algorithm correction with different thresholds

图2　PDE-based NUC算法中对图像27列偏移校正系数和误差函数的估计Fig.2　Estimations of the offset coefficients and the error signal using the PDE-based NUC algorithm

为了实现扩散阈值自适应的选取，文中用行像素的梯度均值作为条纹噪声边缘梯度的估计值，并使此时的扩散系数趋近于1，从而求得扩散阈值，如式(11)所示。这样每次迭代后都能自适应的更新扩散阈值。

(11)

图3　基于自适应扩散阈值的非均匀性校正算法流程Fig.3　Block diagram of the NUC algorithm based the proliferation of adaptive threshold

4实验结果与分析

为了客观评价新算法的校正性能，参考文献[13-16]采用如下校正效果评价标准：

第一种评价标准是均方根误差(Root Mean Square Error,RSME)：

(12)

第二种评价标准是平整度ρ(Roughness)，平整度是从图像平滑角度来衡量图像的像素灰度波动。

(13)

为了有效验证新算法的性能，将PM-AD-NUC新算法与NN-NUC，MMSE，LSF-SK以及固定阈值PDE-based NUC等算法进行比较，采用实际航空拍摄红外视频序列进行实验，如图4所示。软件环境为Windows 8.0 Matlab R2014，硬件环境为Intel双核，主频1.7 GHz。实际红外图像是由法国SOFRADIR公司的生产的320×256中波制冷型凝视焦平面探测器白天航拍的600帧地面建筑物目标红外视频序列。图4为第430帧红外图像的单帧校正结果，NN-NUC和MMSE算法校正结果右半部分出现了明显的“鬼影”现象，且残留部分列向条纹；PDE-based NUC和LSF-SK算法，整体校正效果要优于前两种算法，但仍然能看到一些残留列向条纹噪声。本文提出的PM-AD-NUC算法是在固定阈值PDE-based NUC算法的基础上采用自适应扩散阈值，更大程度保留边缘细节，使图像更加清晰。

图5为针对600帧红外图像序列进行校正实验后不同算法得出的校正性能曲线，实验过程中，用两点定标法的校正结果作为均方根误差计算中的理想图像。从图中曲线趋势可以看出，本文提出的PM-AD-NUC算法在均方根误差和平整度两个指标上都优于其它算法。表1给出了5种算法对于600帧图像的平均校正效果。从两种评价指标的方差(var)统计结果可以看出PM-AD-NUC算法的稳定性要优于其它算法。但是，新算法的实时性并不是最好的，这是因为新算法采用了多次循环校正的策略，因此需要进一步提高新算法的实时性。

图4　5种算法用于实拍外红外图像的单帧校正效果比较Fig.4　Comparison of five NUC algorithms for signal infrared real images

图5　5种算法的校正性能曲线Fig.5　Performance curves of five NUC algorithms

PerformanceNN-NUCMMSELSK-SKPDE-basedNUCPM-AD-NUCRMSE24.670324.749118.580518.510216.2489ρ0.16560.16710.15250.15750.1449RMSE(var)1.78421.84611.05751.00650.7284ρ(var)4.8452×10-49.0317×10-42.0887×10-42.8427×10-41.9892×10-4Time/s5.883.764.094.717.45

5结论

在基于非线性滤波的神经网络非均匀性校正算法中，用经验阈值约束扩散过程，影响了校正效果。新算法分析了扩散阈值影响扩散过程的原因，建立了自适应扩散阈值模型，并将基于自适应PM扩散模型应用到单帧红外图像的条纹非均匀性校正中，以达到保边缘去噪声抑制鬼影的目的。实验中用真实航拍得到的条纹非均匀性红外视频序列进行对比验证，新算法与其它算法相比在保护图像边缘的同时，能够更好地抑制条纹噪声的干扰。但是，新算法的实时性有待提高，这将是下一步工作研究的重点。

参考文献：

[1]PIPA D,DA SILVA E,PAGLIARI C,etal.. Recursive algorithms for bias and gain nonuniformity correction in infrared videos[J].IEEETransactionsonImageProcession,2012,21(12):4758-4769.

[2]任建乐，陈钱，钱惟贤.基于配准的红外焦平面阵列条纹非均匀性校正[J].红外与毫米波学报，2011,30(6):499-506.

REN J L,CHEN Q,QIAN W X. Stripe nonuniformity correction based on registration for infrared focal plane arrays[J].J.InfraredandMillimeterWaves,2011,30(6):499-506.(in Chinese)

[3]余毅，常松涛，王旻，等.宽动态范围红外测量系统的快速非均匀性校正[J].光学 精密工程，2015,23(7):1932-1938.

YU Y,CHANG S T,WANG M,etal.. Fast non-uniformity correction for high dynamic infrared radiometric system[J].Opt.PrecisionEng.,2015,23(7):1932-1938.(in Chinese)

[4]张晓龙,刘英,王健,等.不同非均匀性校正温度的红外测温技术[J].中国光学,2014,7(1):150-155.

ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)

[5]HARRIS J G，CHIANG Y M. Nonuniformity correction of infra-red image sequences using the constant-statistics constraint[J].IEEETrans.ImageProc.,1999，8(8):1148-1151.

[6]SCRIBNER D A,SARKADY K A,CAULFIELD J T,etal.. Adaptive retina-like preprocessing for imaging detector arrays[J].Proc.IEEE,1993,3:1955-1960.

[7]杨硕,赵保军,毛二可，等.基于PM扩散的红外焦平面阵列神经网络非均匀校正算法[J].电子与信息学报,2013,35(11):2744-2750.

YANG S,ZHAO B J,MAO E K,etal.. Neural network nonuniformity correction for infrared foacl plane array based on perona malik Diffusion[J].J.Electrions&InformationTechnology,2013,35(11):2744-2750.(in Chinese)

[8]QIAN W X,CHEN Q,GU G H,etal.. Minimum mean square error method for stripe nonuniformity correction[J].ChineseOpticsLetters,2011,9(5):051003-1-3.

[9]赵明,安博文,林长青，等.基于转向核的单帧红外条纹非均匀性拟合校正算法[J].红外激光工程,2013,43(3):766-771.

ZHAO M,AN B W,LIN CH Q,etal.. Stripe nonuniformity correction algorithm based on steering kernel fitting for single infrared images[J].InfraredandLaserEngineering,2013,43(3):766-771.(in Chinese)

[10]张天序,袁雅婧,桑红石，等.基于PDE去鬼影的自适应非均校正 算法研究[J].红外与毫米波学报,2012,31(2):177-182.

ZHANG T X,YUAN Y J,SANGF H SH，etal.. PDE-based deghosting algorithm for correction of nonunformity in infrared focal plane array[J].JInfraredandMillimeterWaves,2012,31(2):177-182.(in Chinese)

[11]PERONA P,MALIK J. Scale-space and edge detection using anisotropic diffusion[J].IEEETransactionsPattenAnalysisandMachineIntelligence,1990,12(7):629-639.

[12]SONG G,TIEN D B. Image segmentation and selective smoothing by using Mumford-Shah model[J].IEEETransactionsonImageProcessing,2005,14(10):1537-1549.

[13]VERA E,MEZA P,AND TORRES S. Total variation approach for adaptive nonuniformity correction in focal-plane array[J].OpticsLetters,2011,36(2):172-174.

[14]ZUO C,ZHANG Y Z,CHEN Q，etal.. A two-frame approach for sensors-based nonuniformity correction in array sensors[J].InfraredPhysics&Technology,2013,60(5):190-196.

[15]宁永慧,郭永飞.TDICCD拼接相机的像元响应非均匀性校正方法[J].中国光学,2013,6(3):386-394.

NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)

[16]谢蓄芬，张伟，智喜洋，等.基于场景的红外焦平面阵列非均匀性评价方法[J].光学学报,2012,32(6):0604001.

XIE X F,ZHANG W,ZHI X Y,etal.. Scene-based assessment method for nonuniformity of infrared focal plane array[J].ActaOpticaSinica,2012,32(6):0604001.(in Chinese)

陈世伟(1979—)，男，河北南和人，博士研究生，讲师，2006年于第二炮兵工程大学获得硕士学位，主要从事机器视觉及自动控制方面的研究。E-mail:cshw3876@tom.com

algorithm based on adaptive diffusion models

CHEN Shi-wei1*, YANG Xiao-gang1, ZHANG Sheng-xiu1, LIU Yun-feng2

(1.303Section,TheSecondArtilleryEngineeringUniversity,Xi′an710025,China;

2.TheSecondArtilenyinChengduAgent′sRoom,Chengdu610000,China)

*Correspondingauthor,E-mail:cshw3876@tom.com

Abstract:In order to correct the stripe nonuniformity for infrared images captured by infraed focal plane array(IRFPA), a novel stripe nonuniformity correction algorithm based on adaptive PM diffusion models for single infrared image is adopted. Firstly, the adaptive diffusion threshold of PM model is calculated by gradient information and local gray level statistics of infrared images. Then, the estimate values of each column pixel are treated as expectations, which are in constraint of PM models. Finally, correction parameters in iteration are obtained by method of steepest descent, and the image is corrected repeatedly to improve correction performance. Experimental results indicate that the adopted algorithm can preserve edge information. Compared with other four algorithms, the proposed algorithm has advantage of reducing stripe nonuniformity and removing ghosting artifact.

Key words:single infrared image;stripe nonuniformity correction;adaptive diffusion model;steepest descent method;ghosting artifact

作者简介：

中图分类号：TN215

文献标识码:A

doi:10.3788/CO.20160901.0106

文章编号2095-1531(2016)01-0106-08

基金项目：国家自然科学基金项目(No.61203189)；二炮院校青年基金资助项目(No.2014QNJJ023)

收稿日期:2015-09-11；

修订日期:2015-11-13

Supported by National Natural Science Foundation of China(No.61203189), Young Science Foundation of China of The Second Artillery Engineering University of China(No.2014QNJJ023)