基于曲面拟合的红外图像盲元检测方法

张北伟，曹江涛，丛秋梅



基于曲面拟合的红外图像盲元检测方法

张北伟，曹江涛，丛秋梅

（辽宁石油化工大学 信息与控制工程学院，辽宁 抚顺 13001）

针对传统红外图像盲元检测方法采用固定检测阈值和不能兼顾全局非均匀性的问题，提出了一种基于曲面拟合的盲元检测方法。首先分析了有效像元和盲元在灰度分布三维图上的显著差别，进而提出整幅本底图像的曲面拟合方法，然后用拟合后的曲面值作为比较基准运用3原则进行盲元检测。使用拟合后的曲面值替代固定基准能够消除探测器响应非均匀性对盲元检测的影响，提高盲元检测的准确性和有效性。进一步开展了验证实验和比较实验，实验结果表明该方法比直接运用3原则法检测精度更高、更有效。

红外图像；盲元检测；曲面拟合；3原则

0 引言

凝视型红外焦平面阵列（IRFPA）技术具有响应灵敏、分辨率高、体积小、功耗低等诸多优点，已在国防、民用等领域得到广泛应用。但由于制造工艺、材料等因素的影响，IRFPA器件不可避免地存在着盲元[1-2]。盲元的出现对于56FE像的观察和后续任务（如识别、跟踪）的进行产生了严重的干扰。所以去除盲元成为红外图像必不可少的预处理工作。

盲元是探测器、光学系统、读出电路等各种因素综合作用的结果[3]。盲元又称为无效像元，包括死像元和过热像元[4]，死元是响应率过低的像元，过热元是时间噪声过高的像元。考虑到探测器的响应值只能在零到满阱容量之间取值，响应率过高的像元和响应异常的像元也应属于盲元，因为这些像元会过早地趋于饱和或噪声水平，丢失信息。盲元在成像上的表现为异于大部分有效像元的过亮点和过暗点，如图1(a)所示。去除盲元分为两步：盲元检测和盲元补偿。盲元补偿基于盲元检测，现有的各种补偿方法均能达到满意效果。去除盲元效果不佳大多来源于盲元检测不完全[5]。盲元的检测会受到系统噪声和非均匀性噪声的影响，常用的3原则检测法[1,6]能检测出大部分显著的盲元，但3原则并没有考虑非均匀性噪声的影响，容易造成误判。

分析了盲元和有效像元在灰度分布三维图上的区别后，在原有3原则盲元检测法的基础上提出一种基于曲面拟合的盲元检测方法。在分析了算法思想之后，给出了方法的效果图，并与传统3原则方法的效果进行了比较，论证了该方法的有效性。该方法对盲元检测的精度和数量均有提高。

1 盲元的图像特征

盲元的检测一般是在本底图像上进行的，本底图像是探测器对均匀温度的黑体所成的图像，理想的本底图像应该是个均匀的平面，但由于红外图像非均匀性和盲元的存在，所以一般的本底图像会有固定图案和过亮、过暗点。图1(a)是制冷型红外探测器对20℃黑体所成的本底图像。为了便于直观地对盲元进行观察，我们在图1(b)中画出该本底图像的灰度分布三维图来反映像元灰度的分布情况，其中轴、轴为像元的行坐标和列坐标，轴为像元的灰度值。从图中可看出大部分像元的灰度位于图1(b)下方的一个曲面上，位于曲面上或附近的像元为有效像元。也有少数像元的灰度异常凸起或下陷，这些像元便是盲元。盲元检测便是找出这些异常的像元。之所以在本底图像而不是在场景图像上进行，是因为场景图像的异常凸起或下陷也可能是信息，本底图像则可以排除信息的干扰提高准确性。人眼能轻松地从灰度分布三维图中分辨出有效像元和盲元，根据的是曲面的连续性，认为那些不符合曲面连续性且偏离曲面太远的像元是盲元。

2 传统的盲元检测方法

目前的盲元检测方法有：定义法[4]、双阈值迭代法[7]、3原则检测法[1,6]、直方图法[8-9]、小波滤波法[1]、定标法[3,10]等。其中小波滤波法是利用小波来增强盲元以便在3原则下能识别出来；直方图法是根据在非均匀性校正后有效像元的均值和标准差等符合正态分布，对不符合此要求的像元进行检测；双阈值迭代法根据的原理是有效像元的响应随温度的变化呈近似线性关系，而盲元则几乎不随温度的改变而改变。小波滤波法和直方图法存在计算量大，工程实施困难等缺点；双阈值迭代法的缺点是两个阈值的选取是直接给出的，不能做到因图而异。定义法和3原则检测法原理类似，只是判断的阈值选取不同。

3原则检测法是先求出图像的均值：

式中：、分别为图像的行数和列数；(,)为坐标(,)的像元灰度值。再根据均值求出图像的像元灰度标准差[1]：

并计算每个像元灰度偏离均值的偏离距离(,)：

(,)＝|(,)－|(3)

判定偏离距离大于等于3的像元为盲元，即：

(,)＝|(,)－|≥3(4)

3原则检测法的缺陷是在计算和偏离距离(,)时均采用了统一的恒定的基准——均值。由于此时的本底图像是有非均匀性的，即有固定图案，在灰度分布三维图上表现为曲面，不同位置起伏不一致，统一恒定基准适用的是平面的情况，这种情况下采用统一恒定基准容易产生误判。

图1 原始红外图像及其灰度分布三维图

3 基于曲面拟合的盲元检测算法

针对3原则法采用恒定基准的缺陷，本文提出对不同像元采用不同基准的方法。先对图像进行曲面拟合，拟合出图像的固定图案，即非均匀性。而像元(,)的参考基准（用(,)表示）是经过曲面拟合后位置(,)的拟合灰度值。据此计算像元灰度标准差：

然后再运用3原则判断盲元。用曲面拟合的灰度作为基准判断盲元能使检测结果更准确，因为去除了固定图案（非均匀性）产生的误判影响。这也是人眼能从灰度分布三维图中判断出盲元的思想。检测算法的主要步骤如下：

第1步，设定曲面拟合模型。根据探测器型号和使用情况选取合适的曲面拟合模型，由于多项式曲面通用性比较强，三次曲面能够并且足以描述曲面的曲折变化，所以此处采用一般化的三阶多项式拟合模型：

也可根据具体情况选择其他曲面拟合模型。

第2步，带入图像数据计算出多项式拟合系数，并求出各像素点的拟合灰度值。带入数据公式则可得式：

式中：x、y为第个像元的行坐标和列坐标，1≤≤×；g(x,y)为第个像元的实际灰度值。把式(7)写成矩阵形式为：

×＝(8)

此方程至少需要10个点才能有唯一解，一般图像的点数都远远多于10个，故可利用最小二乘求出多项式拟合系数＝(T)－1T，计算各像素点(,)的拟合灰度值，并把此作为基准(,)。以图1为例说明这两步，由于图1中过亮元灰度特别高，所以在图1(b)中显示起来看到凸起的竖条而掩盖了下面曲面的形状，即固定图案。现调整灰度显示范围以显示出固定图案（曲面形状），如图2所示。带入数据求出拟合系数，并根据多项式拟合公式计算出各像元的拟合灰度值，便可得到图1经曲面拟合后的灰度分布三维图，如图3所示。比较图2和图3可知，拟合后的数据很好地反应了图像中占大多数的有效像元的总体分布情况。因此，用曲面拟合后的数据可作为像元基准数据而不是单纯地使用恒定的整幅图像平均值，可减少局部非均匀性的影响。

第3步，根据各像素点的灰度值(,)和基准(,)，由式(5)求出像元灰度标准差。

第4步，检测盲元。应用3原则，认为满足公式的像元(,)为盲元：

(,)＝|(,)－(,)|≥3(9)

记录下各盲元的位置以待后续的盲元补偿。此处检测的盲元既包括过亮元，也包括过暗元（死元）。为了进一步提高检测精度和数量，仿照国标中的检测方法中的迭代思想[4]，用去除已检测出的盲元后的数据重新再拟合、检测，只是此时图像的像元灰度标准差变为：

式中：为已检测出的盲元的数量，后面的求和也不包括盲元，迭代直至不能检测出新盲元为止。

总结上面的检测步骤可得基于曲面拟合的盲元检测方法的流程图如图4所示。

4 实验结果与分析

根据3节中描述的盲元检测算法，对有盲元的图像（图1）进行检测并用8邻域高斯补偿方法进行盲元补偿，高斯补偿是用邻域中非盲元灰度值的加权和来替代盲元灰度值，权值为距离的高斯函数值。检测的结果数量如表1，检测出的盲元集合和补偿后图像的灰度分布三维图如图6所示，左侧显示了检测出的所有325个盲元，右侧为已补偿后的图像的灰度分布三维图，从图中可以看出图2中异常凸起和下陷的盲元已得到充分检测和恰当补偿。本文还做了与直接运用3原则法的比较实验，来验证本文方法的有效性和准确性，表1还列出了直接运用3原则法检测出的盲元数，从数量上说明本文方法的有效性。准确性方面，图5给出了参考文献[6]中介绍的3原则法得到的盲元集合和对盲元补偿后的灰度分布三维图，与图6对比可以看出3原则法对许多不显著的盲元没能检测出，而本文方法多检测出的部分盲元恰为3原则法没能检测出的不显著的盲元。也说明了直接运用3原则有漏判的现象。表1中第2列给出的是先经过非均匀性校正后用两种盲元检测方法检测盲元并补偿得到的均匀图像的方差，本文方法的方差为6.3953，是因为探测器探测信号有一定程度的噪声水平。由于所用的探测器的规模是320×256，有81920个像元，3原则法方差多出的1.2说明有大量盲元没有被检测出。

图2 调整灰度显示范围后的灰度分布三维图

图3 经曲面拟合后的灰度分布三维图

图4 本文方法的流程图

表1 盲元检测结果统计

图5 由文献[6]得到的盲元集合及其灰度分布三维图

图6 由本文方法得到的盲元集合及其灰度分布三维图

图7(a)显示的是检测并去除盲元后的效果图，与图1对比即可看出原图中过亮和过暗的像元被准确检测出并得到了合理补偿，只剩下了固定图案噪声，效果更适合人眼观察和后续处理。图7(b)显示的是图7(a)经过非均匀性校正之后的图像，去掉了固定图案噪声，还原成均匀的本底图像。

验证实验和比较实验表明，本文提出的盲元检测方法能较好地将盲元检测出来，且在检测精度和数量上优于3s原则和国家标准中的盲元检测方法。

图7 本文方法效果图

5 结论

分析了盲元与有效像元在灰度分布三维图上的区别，介绍了3原则检测盲元的思想，并在此基础上提出了一种基于曲面拟合的盲元检测方法。然后给出了算法的主要步骤，演示了算法的效果图，并把它与原3原则法的效果进行对比，证明了该方法的有效性，该方法在提高盲元检测的准确性和数量上优于原3原则法。

[1] 张科, 赵桂芳, 崔瑞青, 等. 一种提高红外焦平面阵列盲元检测精度的方法[J]. 红外与激光工程, 2007, 36(4): 453-456.

ZHANG Ke, ZHAO Gui-fang, CUI Rui-qing, et al. Method of improving bad pixel detection precision ofIRFPA[J]., 2007, 36(4): 453-456.

[2] SCRIBNER D A, KRUER M R, GRIDLEY C J. Measurement, characterization and modeling of noise in staring infrared focal plane array[C]//, 1987, 782: 147-160.

[3] 隋修宝, 陈钱, 顾国华, 等. 红外焦平面阵列盲元检测算法[J]. 光电工程, 2008(8): 107-111.

Sui Xiubao, Chen Qian, Gu Guohua, et al. Algorithm of blind pixels detection for IRFPA[J]., 2008(8): 107-111.

[4] GB/T 17444-2013. 红外焦平面阵列参数测试方法[S]. 北京: 中国标准出版社, 2013.

GB/T 17444-2013. Measuring methods for parameters of infrared focal plane arrays[S]. Beijing: China Standards Press, 2013.

[5] Dierickx B, Meynants G. Missing pixel correction algorithm for image sensors[C]//, 1998, 3410: 200-203.

[6] 刘会通, 马红伟. 红外焦平面非均匀性校正若干方案的设计和分析[J]. 激光与红外, 2003(4): 277-279.

Liu Huitong, Ma Hongwei. Design and analysis of schemes for nonuniformity correction of IRFPA[J]., 2003(4): 277-279.

[7] 周慧鑫, 魏亚姣, 秦翰林, 等. 采用双阈值的非制冷IRFPA盲元迭代检测算法[J]. 红外与激光工程, 2011, 40(5): 795-799.

Zhou Huixin, Wei Yajiao, Qin Hanlin, et al. Blind-pixel iterative detection algorithm based on double threshold for uncooled IRFPA[J]., 2011, 40(5): 795-799.

[8] 石岩, 毛海岑, 张天序, 等. 一种新的基于特征直方图分解的红外焦平面阵列无效像元判别方法[J]. 红外与毫米波学报, 2005, 24(2): 119-124.

Shi Yan, Mao Haicen, Zhang Tianxu, et al. New approach of IRFPA non-effective pixel discrimination based on pixel's characteristics histogram analysis[J]., 2005, 24(2): 119-124.

[9] 张红辉, 罗海波, 余新荣, 等. 采用特征直方图的红外焦平面阵列盲元检测方法[J]. 红外与激光工程, 2014(6): 1807-1811.

Zhang Honghui, Luo Haibo, Yu Xinrong, et al. Blind-pixel detection algorithm for IRFPA by applying pixel's characteristics histogram analysis[J]., 2014(6): 1807-1811.

[10] 周慧鑫, 殷世民,刘上乾, 等. 红外焦平面器件盲元检测及补偿算法[J]. 光子学报, 2004(5): 598-600.

Zhou Huixin, Yin Shimin, Liu Shangqian, et al. Algorithm of blind pixels auto-searching and compensation for IRFPA[J]., 2004(5): 598-600.

Detection Method for Infrared-image Blind Pixels Based on Curved-surface Fitting

ZHANG Beiwei，CAO Jiangtao，CONG Qiumei

(,, Fushun 113001, China)

Aiming at solving the problem that the traditional blind-pixel detection methods for infrared images use the fixed detection threshold and could not give consideration to global non-uniformity, a blind-pixel detection method based on curved-surface fitting is proposed. Firstly, the analyzation of the difference between effective pixels and blind pixels was conducted in the 3D distribution of grayscale. Then the curved-surface fitting method based on the whole background image was put forward, and the fitted surface values could be used afterward as the benchmark to detect blind pixels with the 3sprinciple. Using fitting values instead of a fixed benchmark can eliminate the influence that the non-uniformity noise of the detector brings to the blind-pixel detection, and improve the accuracy and effectiveness of blind-pixel detection. Then the verified experiment and comparison experiment were carried out, and the experimental result shows that the proposed method is more effective and precise as compared to directly using the 3sprinciple.

infrared image，blind pixels detection，curved surface fitting，3principle

TN215

A

1001-8891(2017)11-1007-05

2016-05-23；

2016-12-05.

张北伟（1984-），女，博士，讲师，研究方向为模式识别及图像处理，目标识别与跟踪，认知无线电。

国家自然科学基金资助项目（61203021）。