含运动目标的红外图像非均匀校正算法*

侯良科，杨俊刚，邓新蒲，吴 京

(国防科技大学 电子科学与工程学院，湖南 长沙410073)

0 引 言

红外焦平面阵列(infrared focal plane arrays，IRFPA)广泛应用于红外跟踪和制导等领域，但是由于制造工艺和材料特性等方面的原因，各探元的响应特性不一致，进而引起的非均匀性严重影响了红外成像的质量［1］。为进一步提高红外探测器的成像质量，必须提高非均匀性校正效果。

目前，国内外常用的非均匀校正方法主要有定标法和场景法。场景法能够克服定标法校正参数漂移的缺陷，并且具有自适应实时校正的优点，因此，逐渐成为研究的热点。国内外研究的场景法主要有:时域高通滤波法［2］、恒定统计法［3］、基于图像配准的非均匀校正算法［4～6］，以及神经网络法［7］等。文献［5］中基于图像配准的非均匀校正方法的基本假设是:1)同一轨迹上探元的辐射响应一致;2)同一轨迹上探元的增益和偏置不相关。上述两个假设的基础是场景运动是刚性的，而实际红外图像序列往往存在相对场景位移的运动目标，运动目标的存在使得场景运动轨迹上探元的辐射响应不满足上述假设(1)，这样该类算法的校正效果就大大降低，并且基于上述假设所进行的场景估计会将运动目标平均消除，这样使得校正后的红外图像中运动目标模糊甚至丢失。

本文提出含运动目标的红外图像非均匀校正算法，首先通过帧间配准分别得到场景和运动目标的运动轨迹，然后将前一帧运动目标处的响应替换为当前帧对应背景位置处的响应，进行非均匀校正，在校正结果中对各帧运动目标进行校正，最终得到全图校正帧。仿真和实测场景实验表明:算法能够大大提高校正效果，并且能够很好地保留运动目标的辐射信息。

1 基于图像配准的非均匀校正方法

就一般动态范围内使用的IRFPA 而言，其响应模型一般采用线性响应模型为

其中，Yi(j)为观测输出值，Xi(j)为探元接收到的辐照度，a(j)为探元的增益，b(j)为探元的偏置，i=1，2，…，N 为帧计数，j=1，2，…，M 为探元计数。

基于图像配准的非均匀校正方法的流程如图1 所示。

首先通过图像配准获得场景运动轨迹，然后以同一轨迹上的场景响应均值作为该处的场景估计，利用式(1)建立响应方程组，通过最小二乘拟合得到增益和偏置估计，进而求得校正帧。为描述帧间像素的轨迹跟踪，第k 帧时用ti，j，k表示Xi(j)运动到的空间索引，即

不失一般性，假设增益均值为1，偏置均值为0，Xi(j)的估计由同一轨迹上观测值Yi(j)的抽样均值给出

记Xi(j)的估计误差为ηi(j)，则式(1)可写成

故而上述方程组的增益和偏置的最小二乘估计为

其中

求得增益和偏置校正系数的最小二乘估计后即可求得相应的校正帧

2 含运动目标的红外图像非均匀校正算法

运动目标的存在使得式(3)不能成立，故而处于运动目标轨迹上的场景估计不合理，进而使得求得的估计参数不合理。本文提出一种假设，即在相邻多帧之内运动目标的辐射特性不变。基于此种假设，提出含运动目标的红外图像非均匀校正算法，流程图如图2 所示。

图2 含运动目标的红外图像非均匀校正算法流程图Fig 2 Flowchart of nonuniformity correction algorithm for infrared image with moving objects

以线型目标为例，首先进行帧间配准，得到场景的运动轨迹;通过帧间配准同时也可获得运动目标的运动轨迹，记第i 帧的运动目标的响应值为Oi(li)，li表示线目标第l 个像素在第i 帧的探元位置，l=1，2，3，…，L，其中，L 为线目标在焦平面上所占的像元数;然后进行运动目标替换，记第n－1 帧到第n 帧运动目标相对于场景位移dn，在前一帧被运动目标遮挡的场景在当前帧未被遮挡，基于上文的假设，可将前一帧运动目标处的响应替换为当前帧对应空间位置处的响应，替换公式为

运动目标如图3 所示。

图3 运动目标示意图Fig 3 Diagram of moving objects

图3 中，○，□，△表示场景，×表示运动目标，根据替换式(7)可以得到第n－1 帧中被遮挡的3#，8#，13#像元的替换具体化为On－1(3)=Yn(5－1)=Yn(4)，On－1(8)=Yn(10－1)=Yn(9)和On－1(13)=Yn(15－1)=Yn(14)。

考虑到帧间配准得到的运动目标可能存在形变，故帧间运动目标的替换范围可以以其重心为基准向周围适当扩展(扩展范围视不同类型目标而不同)。

将帧间运动目标替换之后得到的红外序列图像按照第1 节中所述方法进行非均匀校正，得到场景校正帧。最后，由于当前帧之前的所有帧的校正都未使用到运动目标的辐射信息，故本文还提出需要对运动目标进行校正处理，利用之前得到的运动目标的运动轨迹提取出运动目标，如图3所示，分别记○，□，△的响应为)和。对第n－2 帧中的1#探元进行校正，建立如下方程组

将式(8)和式(9)带入式(5)得到增益和偏置校正系数的最小二乘估计，即可求得校正后的响应同理，可以实现对各帧的运动目标的校正。

综上所述，本文算法的具体处理步骤为:

1)进行帧间配准，获得场景的运动轨迹和运动目标的运动轨迹;

2)进行运动目标替换，得到无运动目标的序列图像;

3)对第2 步得到的序列图像按照第1 节所述的方法进行处理，利用得到的增益和偏置校正系数对原始序列图像进行校正得到场景校正帧;

4)利用第1 步得到的运动目标的运动轨迹结合第3 步得到的结果对运动目标进行非均匀校正得到全图校正帧。

3 实验与分析

3.1 模拟红外序列图像实验

采用规格为128×128 的模拟红外序列图像，图中添加均值为0，标准差为0.01 的高斯噪声，如图4 所示，

图4 模拟红外序列图像Fig 4 Simulation of infrared sequences images

图中模拟运动目标相对于场景每帧位移1 个像素，分别采用文献［5］算法和本文算法进行非均匀校正，为客观评价校正效果，定义均方误差(mean square error，MSE)，计算公式如下

其中，i 和j 分别为探元的横坐标和纵坐标，M 和N 分别为探测器横向和纵向最大探元数，Y(i，j)为原始图像，^Y(i，j)为校正后的图像。使用文献［5］算法和本文算法进行非均匀校正。不同算法校正后的MSE 如下图5 所示，

图5 不同算法校正后MSE 对比图Fig 5 Comparison curve of MSE of different algorithms after correction

从图5 可知，本文算法对于含运动目标的红外序列图像的校正效果明显优于文献［5］中基于图像配准的非均匀校正算法的校正效果。此外，在进行运动目标校正之后的效果也优于未进行运动目标的校正效果，这是由于本文算法在进行运动目标替换非均匀校正之后，再利用运动目标的辐射信息对每帧的运动目标进行校正，这样就充分利用到了红外序列图像的辐射信息，从而提高了校正效果。

3.2 实测红外序列图像实验

采用美国空军实验室公开的规格为128×128 阵列的InSb IRFPA 多功能光电传感器采集的红外序列图像［5］，截取24 帧进行非均匀校正，如图6 所示。

图6 实测红外图像Fig 6 True infrared images

图6 的公路中有一辆运动小车，分车顶、车身和车头3 部分，约占20 个像素，小车在场景中快速运动。分别使用文献［5］算法和本文算法进行校正处理，校正效果如图7所示。

图7 不同算法校正效果对比图Fig 7 Correction effect comparison diagrams of different algorithms

从图中可以看出:就整体校正效果而言，文献［5］算法和本文算法的校正效果基本一样，因为运动小车对于整个场景的影响范围只限于其轨迹所在的那条公路上。图7(a)中没有运动小车，这是由于文献［5］算法在进行场景估计时将运动小车的响应与其轨迹所在公路的响应进行平均，从而消除了运动小车，这样各帧都均摊了运动小车的辐射响应，从而使得运动小车被淹没。图7(b)中保留了运动小车，由于只是进行运动目标替换，各帧进行校正的时候小车处的校正参数是由其运动轨迹所在公路的辐射信息求得的，这样校正结果中小车的辐射信息缺失，进而造成小车的成像模糊。从图7(c)中可以看出小车的3 个部分的辐射信息能够明显区分开来，表明本文算法相较于传统的基于图像配准的非均匀校正算法具有明显的优势。

4 结束语

本文详细阐述了含运动目标的红外图像非均匀校正算法的理论基础和工作原理，该算法很好地解决了传统的基于图像配准非均匀校正算法对于运动目标校正精度低，甚至丢失目标信息的问题，提高了此类算法的校正效果。最后通过仿真和实测红外图像校正实验证明:本文算法能够有效抑制运动目标带来的影响，并且提高运动目标的成像质量。

［1］ 徐田华，张小军，赵亦工.基于图像分割和配准的红外焦平面阵列非均匀校正算法［J］.红外技术，2004，26(3):5－10.

［2］ Narendra P M.Reference-free nonuniformity compensation for IR imaging arrays［C］∥Proceedings of SPIE，1980:10－17.

［3］ Harris John G，Chiang Yuming.Nonuniformity correction using the constant-statistics constrain:Analog and digital implementations［C］∥Proceedings of the SPIE，1997:895－905.

［4］ Hardie R C，Hayat M M，Armstrong E E，et al.Scene-based nonuniformity correction with video sequences and registration［J］.Applied Optics，2000，39(8):11241－1250.

［5］ 季尔优，顾国华，柏连发，等.前景重配准的改进帧间误差最小化非均匀性校正算法［J］.红外与激光工程，2014，43(5):1672－1678.

［6］ Ren Jianle，Chen Qian，Qian Weixian，et al.Multiframe registration based adaptive nonuniformity correction algorithm for infrared focal plan arrays［J］.Infrared Millim Waves，2014，33(2):122－128.

［7］ Scribner D A，Sarkady K A，Caufield J T，et al.Nonuniformity correction for staring IR focal plan arrays using scene-based techniques［C］∥Proceeding of SPIE，1990:224－233.