红外热像增强算法发展研究综述

孔松涛 谢 义 王 松 王 堃 韩玉军 蔡 萍

(1. 重庆科技学院 机械与动力工程学院， 重庆 401331； 2. 东方希望重庆水泥有限公司， 重庆 408200)

红外热像技术是融合了红外技术和图像成像技术的数据处理技术，通过采集被检测对象的红外热辐射信号数据而得到其表面温度分布信息，以输出的二维图片显示其测试结果[1]。被检测对象所产生的红外辐射需要经历设备采集、数据传输、成像、电信号转换等程序之后才能最终输出二维图像。红外热像技术优点明显，如检测效率高、对被测目标无影响、检测结果形象直观等，因而得到了广泛应用[2]。但在实践中发现，由于红外热像设备存在不足以及受到复杂环境造成的干扰，导致部分红外成像效果不佳，对后期进行红外图像预处理和缺陷识别造成较大影响。因此，研究人员进行了大量的理论分析和实验研究，提出了一系列红外图像增强算法。

1 红外热像存在的不足

红外热像的产生过程如图1所示。与常见的可见光图像相比，红外热像可以更有效地反映检测对象的温度场整体信息，结合适用算法即可进一步挖掘被检测对象的内部信息，如热设备内部是否发生堵塞、裂纹、腐蚀等问题及其发生状况。红外热像技术因其诸多优点而应用广泛，但其不足之处也不容忽视[4]。

图1 红外热像产生过程[3]

(1) 图像分辨率不高。红外热像最终呈现的是被检测对象的温度分布信息，采用灰度图像或进一步转化为伪彩色图的方式来表现，无图像阴影，致使显示的画面立体感不强。同时，受到探测仪检测性能及分辨率等因素的影响，红外热像中通常会丢失一部分高频率的细节信息，导致局部模糊和失真现象。

(2) 图像视觉效果不佳、对比度低。由于受到波长、检测距离、大气衰减、物热平衡等因素的影响，红外热像和可见光成像相比，纹理细节信息表达不够清晰。此外，如果被检测对象处于物体局部较小范围内，其正常区域与异常位置的热辐射强度差别不大，局部温差过小，则红外热像检测对象特征不明显。

(3) 信噪比偏低。检测环境中各种影响因素的不同干扰及检测设备的性能差异，给红外热像带来了各种不规律的噪声，这些噪声具有无法预测和空间分布无规律的特点。其中，典型噪声有热噪声、1/f 噪声、电噪声和非均匀性噪声等[5]。

(4) 红外热像不均匀。红外热像技术的检测结果往往受到检测系统性能的直接影响。红外探测系统中每个探测单元对不同热辐射的响应率不一致，致使红外热像成像不均匀，出现各种亮斑、不规则条纹、畸变、串扰等缺陷。

(5) 温度动态范围大。红外热像中所蕴含的信息主要包括被检测对象及其所处环境的温度分布情况，不同检测环境下的温差也不尽相同。尤其是在温度有突变的检测环境中，有时温差会高达几百度，相应的红外热像所呈现的温度动态范围也更大。

以上这些不足，极大地影响了红外热像技术在精细检测技术领域的进一步应用。为了弥补红外热像技术的不足，研究人员在红外热像增强算法上作了大量研究。

2 红外热像增强算法

红外热像增强算法可削弱红外热像不利因素的影响。一方面，通过强化和渲染有用信息，弱化或消除无用信息，以最大限度地提高成像效果，提升红外热像分辨率。另一方面，通过锐化、伪彩色等一系列处理来改善图像的模糊度，使其更易识别。随着社会的发展，人们迫切希望得到更高质量的红外热像。由于硬件设备检测精度提升难度相对较大，因此，人们通过一系列图像增强算法来增强红外热像的成像质量，以满足各领域对高质量红外热像的需求。

2.1 传统红外热像增强算法

传统红外热像增强算法主要分为两大类，即空间域算法和频率域算法，其内容如图2所示[7]。空间域算法是直接以图像中各像素点为作用目标，采用改变图像灰度值的方式来提升图像质量，其代表性方法有直方图均衡、灰度变换、伪彩色处理等。频率域算法则是对红外热像在某种变换域内进行操作，通过对变换域中关键参数的优化，达到增强特定区域图像质量的效果，最后经过逆变换得到增强后的图像[6]。

图2 传统红外图像增强算法[7]

为了更好地增强红外热像的识别效果，需要对传统算法加以优化，并在此基础上结合不同算法进行图像增强处理，达到各类算法优势互补的目的。

2.2 直方图增强算法

直方图增强算法是通过调节图像的灰度概率分布范围，加强检测目标与背景之间的对比度，以便能更好地识别和提取被检测对象的相关信息，通常包括直方图均衡化和直方图匹配两大类技术。直方图均衡化(histogram equalization，HE)技术应用于多个领域，主要应用于图像增强[8]。因此，红外热像也广泛采用HE技术进一步完成图像增强处理。HE算法的目的是，通过调整图像中的灰度概率，使图像中的灰度级均匀分布。其本质是，在直方图中加大局部像素集中分布部分与相邻灰度级间隔较小部分的间距，减小局部像素分布较少与灰度级间隔较大部分的间距，使各个灰度级在检测区域中均匀分布，防止局部对比度过增强，最终达到增强被检测区域图像对比度的目的[9]。

经典HE算法比较突出的优势在于运算简便、容易实现，同时经过对灰度级和像素的调整，使灰度级和像素在检测区域的分布近似均匀，适应性很强，有助于提升各种图像的对比度[10]。其主要缺点在于：

(1) 经典HE算法会导致灰度级合并，使灰度级的数量减少，部分细节信息丢失，局部清晰度变差[11]。

(2) HE算法尽管提升了图像的对比度，但图像存在视觉感不强、柔和度效果不佳的问题。同时，由于未对有用信号和噪声进行识别，当获取的图像中噪声较多时，这热噪声会得到进一步加强而更加明显[12]。

(3) HE算法未对图像中特定像素的空间分布范围和领域信息进行识别判断，因而导致对图像中主、次要内容的增强存在盲目性，针对性不强。

经过多年发展，研究人员提出了几种基于经典HE算法的改进算法，主要包括基于变换域均衡化的图像增强技术[13-14]、直方图变分技术[15]、子直方图均衡化技术[16]、修正的直方图均衡化技术[17]、局部直方图均衡化技术[18]。红外热像中的细节像素很容易淹没于大量低对比度的背景像素，导致局部图像模糊不清，影响机器、人工对关键信息的识别和提取效果。

对此，Kun等人提出了一种基于双平台直方图均衡化的自适应红外热像对比度增强算法，通过搜索局部最大值和预测最小灰色区间来确定阈值的上、下限值，以有效地约束红外热像的背景，进一步增强图像的细节信息[19]。 该算法能有效地增强红外热像的对比度，特别是获取红外热像细节信息的能力有较大突破。

在增强红外热像局部对比度的基础上，Wan等人提出可以同时提升图像全局对比度的方法。该方法基于粒子群优化的局部熵加权直方图均衡化[20]，可有效地提升检测对象与检测背景的对比度，避免噪声进一步被放大，最终实现对红外热像子图像的均衡化处理。该方法属于空间域增强算法，它基于双平台阈值直方图均衡算法，阈值是不变的，因此，对于红外热像中不同位置的自适应性不足，容易出现过增强现象。

李贤阳等人将空间域和频率域结合起来，提出了一种新的图像增强算法[21]。该算法可以同时提升红外热像的局部对比度和全局对比度，降低噪声。同时，针对低频分量和高频分量分别采用不同的增强方法，可有效地弱化对比度的过增强现象。

2.3 红外热像降噪算法

图像降噪是图像增强的关键。由于受环境和硬件检测设备条件的影响，红外热像中通常存在大量噪声，如背景噪声、放大器噪声、探测器噪声等，严重影响红外热像的质量。传统红外热像降噪方法主要分为帧间降噪法和帧内降噪法两大类。帧间降噪法主要是通过帧间滤波来消除红外热像中的白噪声[22]，可有效保留图像的边缘信息，针对时域噪声的降噪效果较好。帧内降噪法主要采用均值滤波、中值滤波等经典空域滤波器，运算简便、速度较快，但可能会出现局部图像模糊现象[6]。

对于部分红外热像的非均匀性噪声问题，多采用基于标定及基于场景的两大类非均匀校正方法。基于标定的方法又可分为两点校正法和多点校正法，算法简单易操作、实时性较强、处理效率高。但采用基于标定的方法需进行多次停机标定，校正精度不高，动态波动范围较小[23]。基于场景的校正方法，典型的有神经网络法[24]和时域高通滤波法。采用此类算法，可以直接对输入的红外热像偏移量进行校正，对红外热像仪的尺寸要求更低，有利于节约成本及实现图像采集设备小型化的目标。

然而，基于场景的非均匀校正方法通常对场景与检测系统之间的相对运动要求很高，稍有偏差就会导致“鬼影”的产生，视觉效果不甚理想[25-27]。针对此现象，王帅等人提出了一种基于曲面拟合的低频非均匀性噪声校正算法，采用交替方向乘子(alternating direction method of multipliers，ADMM)算法确定最优曲面的各项参数[28]。通过实验验证，该算法可以消除大部分图像中的低频非均匀性噪声，保留其中大量有效的高频场景信息，并大幅降低红外热像的粗糙度与非均匀性。该算法的缺点是计算量大、用时较长，因此仍需进一步优化。

2.4 红外热像对比度增强算法

通常红外成像场景的背景部分温差较小、温度较高，有可能受大气衰减、目标物不清晰等因素影响，导致红外热像的对比度较低。传统的红外热像对比度增强算法在提升红外热像对比度方面较有优势，其中经典算法有去冗余均衡法、灰度变换法、Contourlet变换法等[29]。

去冗余均衡法是将红外热像的伪灰度区间中大部分像素数目为零的灰度级去除，以消除冗余信息。这样有利于背景段和检测对象特征段充分利用灰度范围，从而实现对比度的优化[30]。然而，去冗余均衡法不具备普适性，只对特定对象有效。

灰度变换法是针对特定条件、按照一定的函数变换关系逐个改变灰度图像中所有像素灰度值，主要包括线性变换法与非线性变换法。采用灰度变换法，通过对比度拉升、线性扩展、局部压缩像素少的区域稀疏像素集中部分等途径，能够增强红外热像的视觉效果，有效提升对比度。

Contourlet变换法的增强原理是，通过对类似小波的多尺度分解来获取边缘奇异点，依据方向信息将位置相近的奇异点聚集成边缘轮廓段。该方法具有多方向性、各向异性、多分辨率等特点，利用少量系数就可以有效获取图像中的边缘轮廓信息，而边缘轮廓正是红外热像中的关键特征信息[31]。

近年来，国内外学者提出了一系列经过优化改进的红外热像增强方法，得到了大量重要研究成果。

3 红外热像增强算法的应用

3.1 红外热像降噪算法的应用

红外热像降噪过程中，可采用滤波的方式消除大部分噪声，但同时也存在一些不足。针对传统中值滤波算法在处理降质的红外热像产生的滤波盲目性和非自适应性问题，张倩提出了一种基于改进伪中值滤波和非局部均值滤波的红外热像滤波方法，引入图像融合技术以避免因滤波过度而导致图像细节信息损失[32]。实验结果表明，该方法针对高密度噪声的红外热像有较好的滤波效果。

红外热像中的空域噪声会严重影响红外热像的质量，不利于影响后期对图像的识别。为此，卢子忱等人利用优化过的中值滤波器，对医用红外热像进行降噪，并通过图像锐化算法得到了更清晰的图像边缘，使被测目标局部特征更加显著，有效地降低了噪声，提高了红外热像的清晰度[33]。为了降低空域噪声对红外热像的影响，张盛伟等人提出一种基于引导滤波的红外热像空域条纹噪声去除方法[34]。通过实验验证，该方法不仅可以有效地消除红外热像中的空域条纹噪声，而且还能保证较好的非均匀性校正效果。

常见的医学红外热像中往往隐含了许多信号依赖性噪声，如散斑噪声和边缘断裂。 Aggarwal等人针对探测仪器和环境带来的噪声导致图像呈现颗粒状的现象，提出了一种基于噪声多维成像数据集的图像去噪和边缘增强方法，采用了基于二维小波变换的自适应多尺度积阈值法[35]。仿真结果显示，此降噪算法对各类噪声图像均有效，但对于受泊松噪声破坏的图像处理效果最好，在降噪的同时还有效保留了图像的边缘信息。为了更好地保留图像边缘的轮廓信息，减小边缘信息的损失，Park等人提出了一种基于中值滤波的双边滤波算法，可消除部分随机噪声和脉冲噪声，并极大地避免图像轮廓边缘信息的丢失[36]。

在红外热像技术用于战争侦查追踪和预警时，作战环境的各类干扰因素影响较大。邹前进等人经过研究，将以天空为检测背景时红外热像的空间噪声分为高斯噪声和椒盐噪声，并对传统噪声处理算法与几种常见红外热像噪声处理算法的信噪比进行了对比。最后，提出了一种基于简单阈值的改进中值算法，得到的背景图像变得更加平滑，信噪比提升逾1.2 dB[37]。

3.2 红外热像对比度增强算法的应用

如物体含有裂纹、腐蚀等微小表面缺陷，其红外热像缺陷较小、温差不大且受各种噪声的干扰，最终缺陷处的红外成像就不清晰。采用传统图像增强算法得到的红外热像内部微小损伤部分位置的对比度低，特征不明显。针对检测目标热辐射信号弱导致的红外热像对比度低的情况，常宏韬等人提出了一种基于小波变换与奇异值分解和阈值滤波相结合的增强算法，使红外热像的对比度得到一定提升，对纹理细节的处理使视觉效果更佳[38]。贾文晶等人提出将频率域算法与空间域算法综合用于红外热像增强，可避免传统红外热像处理算法中灰度级减少及细节部分模糊不清等问题，提高图像的对比度，特别是在保护裂纹等微小缺陷细节像素值方面效果较好[39]。但该方法在红外热像降噪方面效果不是很理想，局部未能消除的高斯白噪声仍会对损伤识别造成较大影响。于是，邹兰林等人提出了以高频强调滤波与非线性灰度转换相结合的红外热像增强算法[40]。实验结果显示，此算法可消除红外热像的大部分固有噪声，使图像的大量细节信息得到强化，损伤部分的对比度得到显著提升，同时还克服了红外热像的不均匀性。

红外热像通常存在较多背景干扰因素，为了提高对比度和检测准确度，往往需要着重突出图像中的主要缺陷特征信息。为此，顾桂梅等人提出了一种基于NSCT的自适应多尺度积阈值钢轨裂纹红外热像增强算法[41]。此算法与传统的红外热像增强算法相比，对清晰度、对比度的提升更有优势(见图3)；同时，可以更好地突出细节纹理部分的特征，提高损伤部分与背景的对比度，对红外热像的增强效果显著。不足之处是，运算时间略长，实时性不佳。

为了优化运算时间、保证实时性，孔祥阳等人提出了基于互结构正则约束的红外偏振图像增强算法[42]。此算法不仅增加了红外热像的有用信息，对于纹理细节信息的对比度和清晰度处理有较大提升，运算速度加快，增强了实时性。

背光条件或红外热像仪参数设置不当，如曝光时间和传感器增益，将会形成暗图像和背光图像，以致红外热像中的某些关键特征细节信息被隐藏在阴影区域，对比度低，难以有效识别。为此，Shan等人提出了一个基于伽马校正的目标函数，以实现局部对比度增强和降低跨区域边界的灰度突变影响[43]。他们在低亮度区域拉伸灰色层次，但同时也导致了色调成分的失真。Wang等人基于Retinex理论提出将红外热像划分成反射率层和光照层[44]。他们在光照层使用特定的对数函数，使弱光像素变亮，然后通过联合原始的反射率层以及增亮的光照层合成输出增强后的红外热像。实验对比结果显示，此算法显著增强了红外弱光区域图像的对比度，但同时有可能使局部灰度图像饱和，进而产生视觉伪影现象。

在红外弱光区域图像对比度增强方面，Kim等人提出一种基于成对目标对比度和多尺度细节增强的图像增强算法，有效地结合了全局和局部算法的优点，通过最小化代价函数，得到了最优变换函数[45]。与传统算法相比，此算法可更有效地提高红外弱光区域图像的质量，增强弱光细节部分与邻近区域的对比度。

4 结 语

对红外热像增强算法的不断改进优化将成为提升红外热像质量的重要研究方向，今后的研究将侧重于以下几方面：

(1) 硬件检测性能提升及多种算法联合应用。当受外界干扰因素影响较大时，红外热像仪对部分细节信息的成像效果并不显著，导致后期的图像增强处理存在较大难度。因此，还需进一步提高探测仪的检测精度，增强测温能力，防止颜色失真。获得质量较好的初始图片，对后期的红外热像算法增强处理将具有重要意义。 通常，一种红外热像增强算法只能解决部分问题，不具备普适性。 采用多种增强算法相结合的方式，就能够弥补各种算法的不足，从局部到整体提升红外热像的质量。

(2) 对红外热像中不同的结构特征选择相应的算法，有针对性地提高图像关键信息部分的对比度。在改善红外热像对比度的相关算法中，基于传统的红外热像增强方法，如灰度映射和直方图修正算法等可以较好地改善红外热像的局部和整体对比度；然而，得到的部分图像仍存在局部对比度过低、细节信息不全的问题。其中很大一部分原因是，未对不同图像结构特征针对性地进行对比度增强处理。根据红外热像中的不同背景亮度处理对应的映射关系，将会是克服传统灰度映射算法不足的关键。

(3) 发展基于深度学习的红外热像增强算法。其核心在于，通过卷积神经网络的卷积层或堆栈稀疏去噪自编码器的编码层自动学习目标图像的数据信息，从而得到比较清晰的低噪声图像。近年来，随着神经网络训练数据库不断丰富，深度学习算法得到了迅速发展。其中，卷积神经网络具有强大的特征学习能力，对红外热像降噪和关键信息的提取发挥着重要的作用，发展前景良好。