基于辐射-环温联合曲面的红外图像非均匀性校正

彭 勇，徐保树，张程硕



基于辐射-环温联合曲面的红外图像非均匀性校正

彭 勇1,2,3,4，徐保树2,3,4，张程硕1,2,3,4

( 1. 中国科学院大学，北京 100049；2. 中国科学院沈阳自动化研究所，沈阳 110016；3. 中国科学院光电信息处理重点实验室，沈阳 110016；4. 辽宁省图像理解与视觉计算重点实验室，沈阳 110016 )

在传统红外图像非均匀性校正方法中，探测器均处在常温环境下，当探测器的环温在一个较宽的范围内变化时，这些方法的校正效果便会恶化、不适应。针对此问题，本文在原常温多点标定法的基础上提出了一种基于曲面拟合的校正方法，把原先标定曲线加上探测器环温维度扩展成标定曲面。随后的纵向对比实验和横向对比实验表明该方法能够显著降低非均匀性，并能适应环温变化的情况。

红外探测器；宽环温；非均匀性校正；曲面拟合；红外焦平面阵列

0 引 言

凝视型红外焦平面陈列(IRFPA)技术有着响应灵敏和分辨力高、体积小、功耗低等诸多优点，已在国防、民用等领域得到广泛应用。但受探测器材料和制造工艺等因素的影响，IRFPA器件各像元的响应是有差异的，均匀的光照射过去响应并不一致，这种不一致称为红外图像的非均匀性[1]。非均匀性对图像的观察和后续任务(如识别、跟踪)的进行产生了严重的干扰[2-3]，所以非均匀性校正是红外图像处理的第一步。

目前，已有一些常温下非均匀性校正方法被提出[4-7]，但是当探测器的环境温度在一个比较宽的范围内变化时，这些方法的校正效果不如常温时理想，不能达到校正非均匀性的目的。这种情况的一个典型场景是：高速飞行器在飞行过程中，探测器前端的整流罩与空气摩擦，产生大量热，接着由于热传导效应，探测器的环境温度会迅速升高。而且整流罩的热辐射使得探测器在一个比较高的动态范围内响应，此时常温下的校正方法对这种高动态宽环温的情况不再适用。

本文在原常温多点标定法的基础上，提出了一种基于曲面拟合的非均匀性校正方法，把探测器的环境温度充分考虑进去。该方法模型简单、能够线下学习并且校正速度快，克服了传统方法易漂移和不能适应宽环温的缺点。本文在分析算法思想之后，给出了该方法的效果图，并与常温校正方法进行定性和定量的比较，论证该方法的有效性。

1 传统校正方法及其常温特性

目前常用的非均匀性校正方法可分为两大类：标定法和场景自适应法[4-7]。

其中标定法是通过标定探测器像元的响应曲线来反向求出像元的实际输入(也可认为是理想输出)。而探测器像元的响应曲线，即响应输出随输入的辐照强度的变化曲线大致为S型曲线[8]。标定法中常用的有两点校正和多点校正。两点校正就是用直线替代S型曲线，直线是由低温本底和高温本底标定出的两个点确定的，其中本底图像是探测器对辐射均匀的黑体所拍摄的图像，易得出实际响应和理想响应(整幅图像的均值)，所以常用于标定。多点校正是用多个标定点来拟合像元响应曲线，更加准确地逼近像元响应与辐通量的关系[9]。标定法校正速度快、模型简单、操作方便，不过缺点也很明显，容易产生漂移，使用一段时间后标定曲线会偏移实际的响应曲线，就得重新标定。标定曲线产生漂移的原因是标定曲线是探测器处在常温时标定的，工作一段时间后，探测器所处的环温发生变化，标定曲线不再适用。

场景自适应法不需要黑体进行标定，而是通过如神经网络算法等学习算法来最小化观察图像和估计图像的差值，从而不断更新校正参数来解决漂移问题。但由于估计图像未必是真实图像，所以场景自适应法会存在很强的鬼影现象和目标景物退化等问题[10]。而且现用的场景自适应法的校正参数更新过程对场景有一定的要求，并且也都是在常温下进行的，没有涉及宽环温的情况。

图1(a)显示了环温对探测器的影响，图1(b)是其局部放大图，轴为本底温度代表辐照强度，轴为探测的响应值，图中给出了不同环境温度下探测器的响应曲线。从中可以看出随着环境温度的变化，响应曲线发生了平移或旋转。这也是常温下校正方法不适应的原因，标定曲线会随着环温发生漂移。

2 基于曲面拟合的非均匀性校正方法

分析前面的标定法可知，无论是两点标定还是多点标定，标定曲线的两个维度分别为实际探测器响应值和理想值，而变化的环境温度会使标定曲线漂移，使标定法失效。倘若把变化的环境温度也作为一个自变量，把标定曲线升维成标定曲面，能否解决标定曲线漂移和标定法适应宽环温的情况呢？本文方法就是基于这样的思路扩展的，之后会验证该方法的有效性。基于曲面拟合的非均匀性校正方法的流程如图2所示，主要步骤如下。

1) 设定标定曲面的模型。可根据探测器型号和使用情况选取合适的曲面模型，由于多项式曲面通用性比较强，所以在通用情况下可选取三次曲面作为标定曲面的模型。选取三次曲面还有如下原因：标定曲面是由原标定曲线加上环境温度维度升维而得来的，一个确定的环境温度就对应一条标定曲线，所以可认为标定曲面就是由无数条标定曲线组成的。而标定曲线是S型曲线，三次曲线能够并且足以描述探测器响应曲线的曲折变化，所以此处采用一般化的三阶多项式拟合模型：

2) 线下采集数据完成标定参数的求解。两点标定法的线下标定过程是探测器处在常温下，采集高低温两个辐照强度时的响应情况；多点标定法则是探测器处在常温下，采集多个辐照强度时的响应情况；本文是在多点标定的数据采集基础上，再变化探测器的环境温度，即采集多个环温和多个辐照强度时的响应情况，此采集过程可在温箱中用黑体进行。

把每一个确定的环温和确定的辐照强度的响应情况都带入式(1)，并写成矩阵形式：

模型(1)有10个未知数，所以此方程至少需要10次采集才能有唯一解，而一般情况下´都远远大于10，故符合并可采用最小二乘法：

根据式(4)求出多项式拟合系数。此处求出的便是该像元的校正系数，对探测器的每个像元的校正系数均可通过此法求出，这些校正系数的标定都可以在线下完成的。

3) 对探测器获取的图像进行非均匀性校正。对于像元，校正过程需要传入两个参数：探测器的测量值v和探测器所处的环境温度T(可在探测器周围布置温度传感器，由传感器传入环温)，然后：

由式(5)求出向量，由式(6)即可求出像元的理想值，其中P在标定过程已经求出。对每个像元通过这种方式校正即可完成整幅图像的校正。

3 实验结果与分析

为了验证本文方法的有效性，做了两组对比实验：1) 纵向对比，验证本文方法可以对红外图像的非均匀性进行校正；2) 横向对比，与常温下的非均匀性校正方法对比，验证对于宽环温的特殊情况，本文方法依然能够校正。

图3(a)是环境温度为20 ℃、本底温度为25 ℃时探测器获取的原始图像，从中可以看出明显的非均匀性。其中，本底温度是指黑体的温度，以此来控制黑体的辐照强度。理想情况图像应该都是均匀的颜色，实际获取时有了包含固定图案等的非均匀性，图3(b)是使用了本文的基于曲面拟合非均匀性校正方法校正之后的图像，可以看出非均匀性大部分被消除，成为均匀图像。

为了更加直观地观察校正前后的效果，在此引入灰度分布三维图的概念。灰度分布三维图是把图像的灰度信息在一张三维图上显示，图的轴、轴分别是像元点的位置信息即行列值，轴为像元点的灰度值。图3(c)显示的是图3(a)的灰度分布三维图，其中的曲面表示图像的非均匀性，即有固定图案；其中的竖条表示探测器的盲元[11]。由图可见，灰度分布三维图能直观清晰地反映本底图像的非均匀性和盲元情况。图3(d)显示的是图3(b)的灰度分布三维图，从中可以看出经过本文方法非均匀性校正之后去掉了原图的非均匀性，恢复了本底图像的均匀响应。此处显示的是经过盲元检测、去除和补偿处理[12]后的结果，使用的方法是对校正后的图像进行曲面拟合，去除偏离曲面3的盲元点，并用均值补偿。

保持本底温度25 ℃不变，变化探测器的环境温度，图4(a)、图4(b)分别显示的是本文方法对环境温度为0 ℃和环境温度为30 ℃时的本底图像校正后的图像灰度分布三维图，均恢复了本底图像的均匀特性。由于其原图、校正效果图和原图的灰度分布三维图与图3(a)、(b)、(c)类似，所以此处只给出了校正后图像的灰度分布三维图以显示校正效果，并调整了灰度显示范围使显示效果最佳。上面这些不同环境温度的校正过程都是用同一标定参数校正的，并没有重新标定。由此组对照实验可看出本文方法确实能对宽环温下的非均匀性起到校正作用。

横向对比实验中，图5(a)采用常温多点标定法[5]对图3(a)校正之后的灰度分布三维图。从中可看出校正效果也很好，因为此时采用的校正系数是用环境温度为20 ℃时高低温本底标定的，而图3(a)恰好是环温为20℃的本底图像，所以能校正得很好。当用这个系数去校正0 ℃和30 ℃的本底时，就逐渐失去校正作用。图5(b)和图5(c)是用多点标定法对环境温度为0 ℃和环境温度为30 ℃的本底图像校正后图像灰度三维图，与图4(a)和图4(b)进行对比，可以看出常温多点标定法对环温为常温的情况校正效果很好，但是对其他环温情况却仍然有很多非均匀性没有被校正。

为了定量地说明上述过程，对上述图像进行非均匀性度量[11]。即标准差与均值之比：

其中：、是像元中盲元中死元和过热元的数量[11]。

图6给出了本文方法和多点标定法对不同环温和不同本底温度的本底校正之后残留的非均匀性，上面曲面为多点标定法，下面曲面为本文方法。从图中可直观地看出，常温多点标定法在常温(此处为20℃)时校正效果很好，但随着环境温度的变化，多点标定法的校正效果恶化，残留非均匀性比较高，而本文方法依然可降低非均匀性。

表1给出了纵向和横向对比实验的部分量化情况，表中第2行给出了不同环温时校正之前的原图像的非均匀性，第3行给出了使用本文方法校正之后的图像的非均匀性，两行数据对比可看出经过本文方法校正，非均匀性大大地降低。第4行给出了使用常温多点标定法校正之后图像的非均匀性，与使用本文方法的第3行数据对比可得出，随着环境温度的变化，多点标定法的校正效果恶化，校正之后多点标定法残留的非均匀性是本文方法的3倍至20倍，而且本文方法不必重复标定。两组对比实验表明，本文方法能有效地校正非均匀性，并能克服常温方法不能适应环境温度变化的缺点。

4 结 论

传统的红外图像非均匀性校正方法具有常温属性，即探测器处在常温下能把非均匀性校正得非常好，但是探测器所处的环境温度一旦发生变化，校正效果便会恶化，导致校正方法不再适用。本文在传统多点标定法的基础上充分考虑探测器所处的环境温度的影响，提出了一种基于辐射-环温联合曲面的非均匀性校正方法，使得标定法在探测器所处环温和外界辐射场景剧烈变化时依然能够适用。

随后进行的定性和定量对比实验论证了本文方法的有效性。本文方法克服了传统非均匀性校正方法容易产生漂移的缺点，能够适应宽环温的情况，是宽环温情况下的一种可行的非均匀性校正方法。

[1] Scribner D A，Kruer M R，Gridley C J，. Measurement，characterization，and modeling of noise in staring infrared focal plane arrays [J]. Proceedings of SPIE(S0277-786X)，1987，782：147-160.

[2] Milton A F，Barone F R，Kruer M R. Influence of Non-uniformity On Infrared Focal Plane Array Performance [J]. Optical Engineering(S0091-3286)，1985，24(5)：855-862.

[3] 温佩芝，史泽林，于海斌. 基于小波和形态学的自然地面背景红外目标检测方法 [J]. 信息与控制，2004，33(1)：107-111.

WEN Peizhi，SHI Zelin，YU Haibin. A Method for Detecting IR Target in Natural Background Based on Wavelet Transform and Morphology [J]. Information and Control，2004，33(1)：107-111.

[4] Torres S N，Hayat M M. Kalman filtering for adaptive non-uniformity correction in infrared focal-plane arrays [J]. Journal of the Optical Society of America A-Optics Image Science and Vision(S1084-7529)，2003，20(3)：470-480.

[5] 殷世民，刘上乾. 基于低次插值的红外焦平面器件非均匀性多点校正算法 [J]. 光子学报，2002，31(6)：715-718.

YIN Shimin，LIU Shangqian. The Multi-point Non-uniformity Correction Algorithms For IRFPA Based on Low Order interpolation [J]. Acta Photonica Sinica，2002，31(6)：715-718.

[6] Schulz M，Caldwell L. Non-uniformity Correction and Correctability of Infrared Focal-Plane Arrays [J]. Infrared Physics & Technology(S1350-4495)，1995，36(4)：763-777.

[7] 李晓阳. 基于智能计算的红外图像非均匀性校正方法研究 [D]. 成都：电子科技大学，2013：28-41.

LI Xiaoyang. Study on Non-uniformity Correction of Infrared Image Based on Computational Intelligence Algorithm [D]. Chengdu：University of Electronic Science and Technology of China，2013：28-41.

[8] 赵岩，张焱，沈振康. 改进的探测器S形曲线的非均匀校正算法研究 [J]. 激光与红外，2008，38(3)：226-229.

ZHAO Yan，ZHANG Yan，SHEN Zhenkang. Improved Detector Non-uniformity Correction Based on S-curve Model [J]. Laser & Infrared，2008，38(3)：226-229.

[9] 张红辉，罗海波，余新荣，等. 多点标定的自适应非均匀性校正方法 [J]. 红外与激光工程，2014，43(11)：3651-3654.

ZHANG Honghui，LUO Haibo，YU Xinrong，. Adaptive non-uniformity correction algorithm based on multi-point correction [J]. Infrared and Laser Engineering，2014，43(11)：3651-3654.

[10] 刘慧，朱明超，吴泽鹏，等. 红外焦平面阵列非均匀性自适应校正方法 [J]. 红外与激光工程，2014，43(5)：1364-1369.

LIU Hui，ZHU Mingchao，WU Zepeng，. Adaptive nonuniformity correction method for infrared focal plane arrays [J]. Infrared and Laser Engineering，2014，43(5)：1364-1369.

[11] GB/T 17444-2013. 红外焦平面阵列参数测试方法 [S]. 北京：中国标准出版社，2013：2013-11-12.

GB/T 17444-2013. Measuring methods for parameters of infrared focal plane arrays [S]. Beijing：China Standards Press，2013：2013-11-12.

[12] 隋修宝，陈钱，顾国华，等. 红外焦平面阵列盲元检测算法 [J]. 光电工程，2008，35(8)：107-111.

SUI Xiubao，CHEN Qian，GU Guohua，. Algorithm of Blind Pixels Detection for IRFPA [J]. Opto-Electronic Engineering，2008，35(8)：107-111.

本期组稿：杨淇名

责任编辑：谢小平

英文编辑：庞 洪

Infrared Image Non-uniformity Correction Based on Joint Surface of Radiation and Environment Temperature

PENG Yong1,2,3,4，XU Baoshu2,3,4，ZHANG Chengshuo1,2,3,4

( 1. University of Chinese Academy of Sciences, Beijing 100049, China；2. Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China；3. Key Laboratory of Optical-Electronics Information Processing, Chinese Academy of Sciences, Shenyang 110016, China；4. Key Laboratory of Image Understanding and Computer Vision, Shenyang 110016, China )

In the traditional infrared image non-uniformity correction method, detectors are at room temperature environment. When the environment temperature of detector is changing over a wide range, correction effect of these methods will be worse and not suited. To solve this problem, a non-uniformity correction method based on curved surface fitting is proposed on the basis of original multiple points correction method. Fully considering the environment temperature of detector, original correction curve is increased to correction surface. Subsequent longitudinal comparative experiment and horizontal comparative experiment show that proposed method can greatly reduce the non-uniformity and adapt to the case of changing environment temperature.

infrared detector; wide environment temperature; non-uniformity correction; curved surface fitting; IRFPA

1003-501X(2016)08-0089-06

TN215

A

10.3969/j.issn.1003-501X.2016.08.015

2015-11-30；

2016-03-01

中国科学院国防科技创新基金(CXJJ-14-S116)

彭勇(1991-)，男(汉族)，江西九江人。硕士研究生，主要研究工作是红外图像非均匀性校正。E-mail: pengyong@sia.cn。