中波红外相机盲元的实时动态检测与补偿方法

孙 超，张洪文，王 沛，李 军

（1.中国科学院航空光学成像与测量重点实验室，吉林 长春 130033；2.中国科学院长春光学精密机械与物理研究所，吉林 长春 130033；3.北京长峰科威光电技术有限公司，北京 100195）

0 引言

航空相机可以快速地获取高精度的地面图像数据，被广泛用于航空成像与测量、地面遥感等军事和民用领域。其中，红外相机可以全天时工作、分辨率高、穿透烟雾能力强、能够获取目标的红外辐射特性，因此成为航空相机的重要分支，得到了广泛的关注和研究[1-2]。

红外焦平面阵列（infrared focal plane array,IRFPA）作为红外相机中的核心部件，其性能的好坏直接影响了相机的成像质量。受半导体材料特性、制造工艺、外部环境、器件工作状态等多方面因素的影响，红外焦平面阵列会存在响应非均匀性和盲元的问题，这都将使红外系统的成像质量和温度分辨率受到影响。盲元是红外焦平面阵列中响应过高或过低的像元，可以分为固定盲元和随机盲元[3]，其中固定盲元表现为某些固定位置的、始终存在过高或过低响应的像元，而随机盲元则表现为在一段时间内其响应特性与正常像元一致，在另一段时间又表现为盲元，在时间上和空间上都体现出“闪变”的特性[4-6]，图1(a)和图1(b)分别为某制冷型中波红外相机不同时刻对同一地面景物成像的红外图像，可以看到，图像中存在着数量较多的黑、白点，其中既包括位置和响应固定的固定盲元，也包括位置和响应变化的随机盲元。对红外焦平面阵列的盲元进行检测和补偿，是消除盲元影响、提高红外系统成像质量的有效措施。

图1 红外图像对比（局部）Fig.1 Comparison of infrared images(partial)

盲元检测是根据盲元与有效像元在响应特性上的差异，通过合理的方法和判据筛选出盲元的过程；盲元补偿是利用图像中盲元周围或前后帧图像中有效像元的信息对盲元进行替代的过程。目前，常用的盲元检测方法主要有辐射定标法和基于场景的检测法两类。周慧鑫等提出了一种基于双阈值快速迭代的盲元检测算法[7]，通过采集辐射源两个不同温度下的红外图像，根据正常像元和盲元随黑体温度变化的灰度响应差异来检测过热像元和死像元，是一种基于辐射定标的检测方法。目前盲元检测的研究热点以基于场景的检测方法为主：冷寒冰等提出了基于模糊中值与时域累积的盲元检测与补偿算法[8]，利用模糊中值滤波器提取场景中的潜在盲元，通过多帧累积确定盲元的分布；顾国华将多帧图像累加取均值后，利用滑动窗口的3σ 准则进行盲元检测，并采用局部中值滤波法进行盲元补偿[9]；郑骁等提出了一种基于滑动窗口的盲元检测算法，并利用局部中值滤波进行盲元补偿[10]。另外，詹维和张北纬等针对已有盲元检测方法的局限性和存在的问题，分别提出了基于超像素分割的盲元检测算法[11]和基于曲线拟合的盲元检测方法[12]；粟宇路等不借助黑体等辅助定标设备，探索了一种基于分布搜索策略的自适应盲元检测算法[13]。总的来说，这些方法针对各自的应用领域和使用场景都能较好地剔除盲元，提升图像质量，但仍然有一定提升的空间。

辐射定标法对固定盲元的检测具有很好的效果，但却无法对随机盲元进行有效的检出，而基于场景的盲元检测方法可以克服该不足，既能够对固定盲元和随机盲元进行有效的检测，又能够最大程度保留随机盲元在时间和空间上的响应特性，因此本文在分析红外盲元响应特性的基础上，针对局部“3σ”方法存在较为严重的盲元过检的问题，提出了一种基于场景的改进的局部“3σ”方法，对盲元进行实时的动态检测与补偿，并将其应用于自研的某机载中波红外相机中，通过黑体辐射源成像、地面外景成像、载机挂飞成像等试验，验证了该方法的有效性。

1 盲元的特点

1.1 盲元的定义

对IRFPA 盲元的定义目前还没有通用的标准。GB/T 17444-2013[14]从像元响应率和噪声电压出发，将盲元（无效像元）分为死像元和过热像元，我们可以将其中对盲元的定义应用于对固定盲元和随机盲元的检测中，即：当红外探测器对黑体成像时，将响应灰度值小于平均灰度1/2 的像元判断为死像元，将噪声大于平均噪声均方根2 倍的像元判断为过热像元。

1.2 盲元的视觉特性

盲元在图像上主要表现为黑白噪点，其中表现为稳定不变的黑点或白点主要为基本丧失响应能力的死像元，以及响应非线性较强、校正后误差较大的像元；而表现为不固定的黑点或白点主要为噪声较大的过热像元，由于在空间分布和时间响应上都具有一定的随机性，使其具有“闪变”的特性，时而表现为盲元，时而表现为正常像元，因此很难通过校正的方式对其进行检出和剔除。

图2为自研的中波红外相机航拍图像（局部），该相机选用制冷型640×512 分辨率的中波红外探测器，是一款长焦距、高分辨力的中波红外航空相机。

图2 含有盲元的红外相机航拍图像（局部）Fig.2 Aerial image with blind pixel of infrared camera (partial)

从图2中可以看到，图像中含有很多的白点和黑点，原因是图像中包含了数量众多的死像元、过热像元和闪元等盲元，将图2所示的单帧完整航拍图像的灰度归一化到[0,1]范围，其灰度空间分布如图3所示，可以看到，大部分正常像元的灰度分布在30%～70%的满阱范围内，且其灰度具有连续和渐变的特点，而盲元的灰度响应则区别于正常像元，具有明显的突变和孤立的特点。

图3 红外图像的灰度空间分布Fig.3 Spatial distribution of grayscale in an IR image

1.3 中波红外相机的盲元特点

红外相机工作时通过控制镜筒摆扫来实现对地成像，工作模式决定了其不能对某一局部区域进行凝视成像，不同帧图像之间除保证重叠率的部分外，不存在关联性，因此在时间域利用连续多帧图像累加或其相关性进行盲元检测与补偿的方法在这里并不适用，我们只能针对单帧图像的空间域信息对盲元进行处理。

除此之外，在相机摆扫成像过程中，由于随机盲元的存在，前后帧的相邻图像往往会出现位置不同、灰度响应不同的黑白噪点，为最大程度保留随机盲元在响应正常时的灰度信息，我们不区分固定盲元和随机盲元，仅针对相机实时输出图像中灰度响应异常的像素进行检测和补偿。

2 盲元的实时动态检测与补偿算法

合适的判据对于盲元检测至关重要，判据过松，会造成盲元的漏检；判据过严，会造成盲元的过检。局部“3σ”方法是工程中较常用的盲元检测方法，通常将图像中的某个像元作为中心像元进行加窗，并计算窗口内像元的灰度均值μ和均方根σ，若该中心像元灰度与均值μ的偏差大于3σ，则将该中心像元判定为盲元，并通过窗口的滑动实现对整幅红外图像像元的搜索式检测。但是，由于红外焦平面阵列响应非均匀性的存在，红外图像正常像元之间也会产生响应不一致的现象，即σ中不仅包含了像元的噪声，同时也包含了像元响应的非均匀性，当窗口内不存在盲元和景物的边缘信息、且局部像元响应一致性较好时，σ的值会很小，以3σ作为判据会过于严格，进而会造成盲元的大量过检，从而损失图像的真实有效信息。

GB/T 17444-2013 中给出的盲元定义和测试方法建立在红外焦平面阵列对均匀的黑体辐射源成像的基础上，其中像元噪声为像元响应灰度波动的均方根值，平均噪声为各有效像元噪声的平均值，但是由于盲元的存在，我们很难按照GB/T 17444-2013 中的方法计算出图像像元的平均噪声。

三维噪声分析方法[15-16]分析了红外图像在时域和空域上3 个互相垂直方向上的噪声，其中分量Ntvh(t,v,h)代表了随机的时空噪声，可以很好地反映图像的整体噪声水平，与常用的噪声等效温差（noise equivalent temperature difference,NETD）等效，因此不妨将图像的平均噪声取为Ntvh(t,v,h)，并将其作为盲元检测判据阈值下限的参考，对局部“3σ”方法进行改进，以减少盲元的过检。

2.1 图像的三维噪声分析

假设红外图像分辨率为v×h，采集连续成像的t幅图像后构成数据集U(t,v,h)，则有：

式中：S为数据集U(t,v,h)中所有元素的均值，即t幅图像所有像素的灰度均值；Nt(t)、Nv(v)、Nh(h)、Ntv(t,v)、Nth(t,h)、Nvh(v,h)、Ntvh(t,v,h)分别为图像在垂直高度V、水平宽度H和时间域帧数T三个垂直方向上的噪声分量，均满足均值为零的高斯分布。根据前面的分析，这里有图像的平均噪声σall＝Ntvh(t,v,h)。

下面给出Ntvh(t,v,h)的计算过程，首先分别计算出T、V、H三个方向上的方向平均因子Dt、Dv和Dh：

方向平均因子Dt消除了t方向上的所有噪声，而1－Dt保留了t方向上的所有噪声，Dv和Dh情况相同，于是有：

在红外焦平面阵列的线性响应区间内，当积分时间固定时，图像的三维噪声分量Ntvh(t,v,h)与灰度均值表现出较好的线性关系，我们在实验室中采集红外成像组件对不同温度黑体成像的图像，得到在不同积分时间下、不同图像灰度均值所对应的图像噪声Ntvh(t,v,h)，并对其进行曲线拟合，将拟合的结果存储于相机的红外成像组件中，以便在盲元检测时根据积分时间和图像灰度均值调用得到对应的图像平均噪声σall。

2.2 盲元的检测

红外探测器对黑体成像时，经非均匀校正后图像各像元响应值的统计分布可以用式(6)表示：

式中：φ(x)表示了绝大多数像元响应值符合的正态分布；φ(x)表示了极少数像元响应值符合的未知分布，且：

式中：μ为红外像元响应的灰度均值；σ为像元响应值的均方根。

用大小为(2N＋1)×(2N＋1)的窗口对像元(i,j)进行加窗，窗口记为，则内像元(i,j)的邻域像元灰度均值为：

首先，若像元(i,j)的灰度值x(i,j)满足：

则直接将像元(i,j)判定为盲元。

若像元(i,j)的灰度值x(i,j)不满足式(9)，则计算内像元(i,j)的邻域像元均方根：

式中：m、n不同时为0。用σ(i,j)表示判断像元(i,j)是否为盲元的判据，根据前面的分析，若直接利用局部“3σ”方法将σ(i,j)＝3σpartial(i,j)作为判据会造成盲元的大量过检，为此，我们将3σpartial(i,j)与2σall（σall为图像平均噪声）进行比较，如果：

则：

如果：

则：

于是当像元(i,j)的灰度值x(i,j)满足：

则将像元(i,j)判定为盲元。

为便于硬件实现，我们利用方差代替均方根进行上面的计算。

2.3 盲元的补偿

盲元的补偿基于图像中的某一像元与其周围或前后帧像元的响应具有较强的相关性，其方法主要有相邻像元替代法、邻域平均法、中值滤波法等，其中中值滤波法是一种非线性处理技术，能较好地抑制图像中的尖峰噪声，因此我们采用局部中值滤波的方法对检测到的盲元进行补偿。

如果像元(i,j)被判定为盲元，则计算窗口内像元(i,j)的邻域[(2N＋1)2－1]个像元的灰度中值，并用其替代像元(i,j)的灰度x(i,j)。

3 黑体成像实验验证

3.1 与辐射定标法对比实验

辐射定标法是一种常规的盲元检测方法，但目前并没有通用的检出标准，“3σ”方法是其中较常用的一种方法，其认为红外探测器各像元对黑体成像的响应满足正态分布，从而利用“3σ”准则对盲元进行判定。通过搭建实验平台，将辐射定标法与本文方法对盲元的检测效果进行对比和分析，对本文方法检出盲元的正确性进行验证。

首先关闭红外系统的盲元检测与补偿功能，采集红外成像组件对20℃黑体成像的图像，然后分别利用辐射定标法和本文方法对其中10 幅红外图像进行盲元检测，计算两种方法检出盲元的数量和重合度，并将对比结果列于表1。

表1 辐射定标法和本文方法的对比（20℃黑体成像）Table 1 Comparison of methods of radiation calibration and this paper ( imaging blackbody at 20 ℃)

从表1可以看到，由于随机盲元的存在，对于红外成像组件对相同温度黑体成像得到的图像，本文方法和辐射定标法的盲元检出数量均存在较大的波动，但两种方法检出盲元数量的变化趋势相同，且具有较高的重合度，其盲元检出重合度最高可以达到85.49%，平均为82.71%。因此，与辐射定标法相比，本文方法可以较正确地检出红外图像中的盲元，且盲元检出的重合度平均可以达到82%以上。

3.2 与局部“3σ”方法对比实验

进一步，通过搭建实验平台，将局部“3σ”方法和本文方法对盲元的检测和补偿效果进行对比与分析，对本文方法的有效性进行验证。

首先关闭红外系统的盲元检测与补偿功能，采集红外成像组件对20℃黑体成像的图像，然后分别利用局部“3σ”方法和本文方法对连续20 幅图像进行盲元检测与补偿，计算补偿盲元的平均数量，再根据GB/T 17444-2013 中的定义计算盲元补偿后图像的像元平均噪声，并计算盲元补偿前、后的图像中盲元数量，将对比结果列于表2。

从表2中可以看到，局部“3σ”方法和本文方法对盲元的检测和补偿效果相同，利用两种方法分别对相同图像中的盲元进行检测与补偿后，图像像元的平均噪声基本一致，分别为5.4016 和5.4263；由于局部“3σ”方法补偿盲元后图像的像元平均噪声略低于本文方法，因此对于相同的原始图像，计算得到的盲元总数略有差别，分别为4378 和4311；利用两种方法分别进行盲元补偿后，图像中的盲元残余数量相同，均为135；值得注意的是，两种方法对20 幅原始图像补偿盲元的平均数量分别为14205 和10091，盲元的过检数量分别为9962 和5915，相比于局部“3σ”方法，本文方法将盲元的过检减少了40.62%。

表2 局部“3σ”方法和本文方法的对比（20℃黑体成像）Table 2 Comparison of methods of local “3σ” and this paper( imaging blackbody at 20 ℃)

对上述结果做进一步分析可以知道，局部“3σ”方法进行盲元检测时，局部窗口内像元的灰度最小均方根为σpartial＝0.3536，检测盲元的最小判据3σpartial＝1.0607；而利用三维噪声分析方法计算得到的图像噪声为σall＝Ntvh(t,v,h)＝3.8888，本文方法在检测盲元时的最小判据为2σall＝7.7776，因此本文方法与局部“3σ”方法相比可以较为明显地减少盲元的过检。

利用红外成像组件对5℃的黑体成像重复上述实验，并将两种方法进行盲元检测和补偿的对比结果列于表3。

从表3中可以看到，相比于局部“3σ”方法，本文方法将盲元的过检减少了30.06%，两种方法进行盲元补偿后，图像像元的平均噪声和盲元残余数量基本相同，本文方法与局部“3σ”方法的盲元检测和补偿效果相同。

表3 局部“3σ”方法和本文方法的对比（5℃黑体成像）Table 3 Comparison of methods of local “3σ” and this paper( imaging blackbody at 5 ℃)

另外，本文方法和局部“3σ”方法主要针对孤立盲元进行检测与补偿，对于连续相邻的盲元无法做到全部有效的补偿，因此两种方法都存在一定的盲元漏检，且漏检率基本一致。但是，对于高分辨率的红外相机，连续相邻的盲元与块状目标在图像中的表现极为相似，如何将两者有效的区分，既不残留盲元又不丢失目标，是有待进一步深入研究的地方。

从表1、表2和表3中还可以看到，本文方法仍然存在较为严重的盲元过检，究其原因，本文方法以GB/T 17444-2013 和图像的三维噪声分析为基础选取盲元检测的最小判据，虽然较局部“3σ”方法有较为明显的改进，但依然未能获得最为合理的检测判据，因此如何保证盲元在不漏检的前提下不过检仍然需要进一步深入的研究。

综上，与辐射定标法相比，本文方法可以更简捷、高效地检出红外图像中的盲元，两者的盲元检出重合度平均可以达到82%以上；与局部“3σ”方法相比，本文方法可以在保证盲元检测和补偿效果的前提下，将盲元的过检减少30%以上。

4 成像实验验证

4.1 地面外景成像实验

通过搭建实验平台，利用该中波红外相机对地面外景成像，分别获取相机关闭和开启盲元检测与补偿功能时相同地面景物的红外图像，对比两种情况下图像中异常黑、白点的有无和变化以及目标是否存在丢失等情况，对本文方法的有效性进行验证。

图4(a)为关闭红外相机的盲元检测与补偿功能后对地面成像的红外图像（局部），可以看到，图像中存在着较多的异常黑、白点，其中以图像左下角最为严重，图像质量受到了较为严重的影响；图4(b)为开启红外相机盲元检测与补偿功能后，对相同地面景物成像的红外图像（局部），可以看到，图4(a)中出现的异常黑、白点得到了有效的抑制，图像质量得到了较明显的改善，并且与图4(a)相比，轿车的玻璃、车身金属外壳等局部温度较高的细节部分，在图像中也被较完整地保留下来。图5为图4(b)的完整红外图像，可以看到，图像质量良好，没有明显存在的异常黑、白点，且图像细节丰富，与关闭盲元检测与补偿功能后获得的红外图像相比，没有明显的图像细节与目标丢失。

图4 红外图像对比（局部）Fig.4 Comparison of infrared images (partial)

图5 开启盲元补偿功能的地面外景红外图像Fig.5 Infrared image of ground after turning on the blind pixel compensation function

4.2 载机挂飞成像实验

对该中波红外相机进行了载机挂飞实验，通过航拍对地成像进一步对本文方法的有效性进行验证。

图6和图7分别为该红外相机昼间和夜间的航拍图像，在航拍时始终开启系统的盲元检测与补偿功能，可以看到，红外图像细节丰富、图像质量良好，图像中不存在明显异常的黑、白点。夜间航拍相比于昼间航拍时，由于地面景物间的温差变小会导致地面景物的对比度下降，图像信噪比随之下降，因此在一般情况下，夜间航拍的红外图像中异常黑、白噪点会较昼间航拍的图像多，但图7中几乎不存在由非景物导致的异常黑、白点，图像质量良好，层次分明，因此，本文提出的改进的局部“3σ”方法对盲元进行的检测和补偿在该红外相机中的应用是可行和有效的。

图6 昼间红外相机航拍图像Fig.6 Aerial image taken by infrared camera in the daytime

图7 夜间红外相机航拍图像Fig.7 Aerial image taken by infrared camera at night

5 结论

本文以GB/T 17444-2013 和图像的三维噪声分析方法为依据，以局部“3σ”方法和中值滤波法为基础，提出了一种基于场景的盲元实时动态检测与补偿方法。对黑体成像的实验结果表明，本文方法可以更简捷、高效地检出红外图像中的盲元，与辐射定标法相比，盲元检出的重合度平均可以达到82%以上；本文方法与局部“3σ”方法具有相同的盲元检测与补偿效果，并可以将盲元的过检率降低30%以上；通过地面外景成像和载机挂飞成像实验的结果表明，本文方法可以对盲元起到很好的抑制作用，获得的昼间和夜间航拍红外图像均不存在明显异常的黑、白点，图像质量优良。因此，本文方法可以对盲元进行有效的检测与补偿，该方法在自研的某中波红外相机中的应用是可行和有效的。