基于空间域和曲率域多特征信息的红外图像增强算法研究

张婷婷 杜纪魁 沈建国

摘要：为了改善红外图像的成像质量，文章提出一种基于空间域和曲率域多特征信息的红外图像增强算法。该算法在隐式地使用曲率域信息的同时，结合空间域灰度信息，一方面，曲率域内进行图像重构，在达到很好的保持边缘和细节的效果的同时，保证了算法的效率；另一方面，在空间域利用全局信息构造出增强方程，能显著增强图像对比度。实验结果表明，相较于已有的空间域及梯度域图像增强算法，该算法既能有效增强对比度又能保持边缘和细节信息，算法效率显著提高。

关键词：空间域；曲率域；红外图像；增强方程

中图分类号：TP394.1；TH691.9  文献标志码：A

0 引言

由于红外成像技术存在固有的局限性，红外图像的质量可能受到外界环境因素的影响，导致红外图像存在对比度和分辨率低、边缘和细节信息损失等问题。因此，有必要对红外图像进行增强处理。红外图像增强在夜视图像视觉理解方法中占据核心地位，同时也在机器视觉和人工智能等领域中发挥着举足轻重的作用。

目前国内外学者已经研究出许多经典的图像增强算法，这些算法大多是在空间域和变换域进行图像增强。空间域增强方法通过分析局部或整体像素对像素值进行调整，该类方法运算量小实时性好。其中，Zimmerman等［1］提出了最为经典的直方图均衡化（Histogram equalization，HE）方法，但对图像细节的分辨能力较差。变换域的增强方法通过将图像从空间域变换到频域、小波域甚至梯度域进行处理，但也存在着频域处理的计算量大、实时性差等问题。

近年来，许多学者在空间域利用变分原理来改进图像增强方法。其中，在Perona等［2］的研究中，利用偏微分理论提出了各向异性扩散模型。Subr等［3］基于偏微分理论算法，将图像从空间域转化到梯度域，在图像的梯度域内实现图像的对比度的增强。该算法可以有效增强图像对比度，实现模糊边缘的锐化，但会同步增强图像中的微弱噪声，影响图像质量。Rudin 等［4］首次利用全变分（TV）模型得到分段平滑图像，实现保护图像的边缘信息的效果。Zhu等［5］在变分模型中引入均值曲率，提高了算法的效率，但可能造成噪声去除不完全。

由于已有的红外图像增强算法在增强效果和算法效率上具有一定的局限性，因此本文研究了一种结合空间域与曲率域信息的轻量级红外图像增强方法，隐式使用曲率域信息的同时结合空间域灰度信息，有效实现红外图像的视觉效果的增强。

1 算法原理及流程

本文提出了一种空间域与曲率域多特征信息相结合的红外图像增强方法。首先，将输入图像看作一个曲率域内高斯曲率处处为0的可展曲面［6］。其次，利用一个3×3的滑动窗口对所有像素点进行遍历，根据局部邻域内的像素点到切平面的最小距离对中心像素的灰度值进行修正，隐式地使用图像曲率信息。最后，利用多次迭代后得到的曲率域重构图像的全局灰度信息，设计了一个新型的曲率自然因子，最终通过计算输入图像和重构图像的偏差值，构造出增强方程。其具体流程如下。

步骤一：给定一幅输入红外图像I（x），其中x=（i，j）∈Ω，I（i，j）代表像素点（i，j）的像素值。将其从空间域变换到曲率域，表示为三维曲面（i，j，I（x）），即将输入图像看作一个高斯曲率处处为0的可展曲面。

步骤二：对于（i，j）处的像素，先计算以它为中心的局部邻域内的其他像素到切平面的不同距离，然后再根据最小距离调整法对这一中心像素的灰度值进行修正［6］。

步骤三：利用一个3×3的滑动窗口，对所有像素点进行遍历并更新灰度值，多次迭代后，得到曲率域重构后的图像C（x）。

步骤四：利用重构图像的全局灰度信息C（i，j），计算它对应的累积分布函数（Cumulative Distribution Function， CDF）［7］。详细计算过程如下。

灰度级范围为［0，L-1］的图像直方图是离散函数h（Ik）=nk。其中，Ik是第k级灰度值，nk是图像中灰度为Ik的像素个数。对直方图进行归一化，可以表示如下。

p（Ik）=nkn，k=0，1，…，L-1（1）

式中，p（Ik）是灰度值为Ik的像素在图像中出现的概率估计。概率p（Ik）和像素值Ik之间的关系被定义为概率密度函数（Probability Density Function， PDF）［7］，其对应的CDF可以表示如下。

c（Ik）=∑L-1j=0p（Ij）=∑L-1j=0nkn（2）

步骤五：图像的像素累积分布函数表征了图像的空间域全局灰度信息，在公式（2）的基础上，本文利用三元搜索法获得了2个表征图像空间域特征的值（T1和T2）［8］。由此就能构造出一个新型的曲率自然因子NC。

NC=（1-λ）T1T1_prior+λT2T2_prior（3）

其中，λ是一个权重系数且λ∈［0，1］，T1_prior和T2_prior为人为设置的先验参数，两者都为正数，根据不同场景自行设置。

步骤六：计算输入图像和重构图像的偏差值，利用曲率自然因子构造增强方程。

I′（x）=（I（x）-C（x））·NC+C（x）（4）

其中，I′即为增强后的图像。

2 本文算法创新点

本文提出的结合空间域和曲率域多特征信息的红外图像增强算法通过引入包含空间域灰度信息的曲率自然因子，对重构后的图像进行精细调整，进一步整合空间域和曲率域的信息特征。这一算法显著提高了图像平滑噪声和细节保持的能力，其创新点如下。

（1）本文创新地设计出包含空间域灰度信息的曲率自然因子，对重构后的图像进一步调整，能够更好地整合空间域和曲率域的信息特征，从而提高平滑噪声和细节保持的能力。曲率自然因子能够有效地保留图像的边缘信息和细节特征，避免传统增强方法中出现的过度增强和失真现象。

（2）本文将待处理的红外图像从空间域变换到曲率域，将其当作一个三维可展曲面来处理，避免了求导计算曲率的复杂过程，从而显著提高计算速度，优化了处理流程。

（3）本文利用曲率自然因子构造出了增强方程，可通过调整先验参数，对不同类型场景的红外图像进行增强处理。通过对先验参数的调整，可以实现对不同类型场景红外图像的针对性增强处理，提高图像的视觉效果和应用价值。

3 实验与结果

为了证明本文提出的结合空间域和曲率域多特征信息的图像增强算法的优势，将其与全局直方图均衡化（GHE）、局部自适应直方图均衡化（LAHE）进行对比，分别用于处理3种不同场景中的红外图像，实验对比结果如图1所示。图1中，第一行为用于人脸识别的人脸红外图像（场景一），第二行为用于车辆目标识别的马路场景红外图像（场景二），第三行为低对比度复杂场景红外图像（场景三）。

从图1（a）中可以看出，3类场景下的原始红外图像除了对比度和亮度不足的常见问题，显然还受到背景噪声的干扰，存在边缘模糊、细节信息丢失的问题。由图1（b）可以看出，原始图像在空间域内经过全局直方图均衡化算法的处理，虽然亮度大大提高，但会出现过度曝光，并且随着细节信息和边缘的增强，图像中的大部分噪点也会同时增强；如图1（c）所示，局部自适应直方图均衡化算法虽然能增强3类场景下的红外图像的对比度，但亮度有所欠缺，最关键的问题在于没有能够同步增强微弱的边缘信息，一些灰度相似或更小的细节丢失了。而本文算法同时结合空间域和曲率域信息对红外图像进行处理后，3类不同场景下的红外图像的视觉效果都得到了提高，一方面，显著增强了对比度和亮度，另一方面，同步增强了图像中灰度值较低的弱边缘信息。可以证明，本文提出的算法具有在整体和局部细节增强的优越性，传统的红外图像增强算法得到了有效改进。

同时，本文结合峰值信噪比（Peak Signal to Noise Ratio， PSNR）和结构相似度（Structural similarity index measure， SSIM）2个客观评价指标来衡量增强质量［9-10］。PSNR指标衡量了原始图像与增强后图像之间的相似度，而SSIM则用于衡量2幅图像的结构相似程度。当SSIM数值较大时，说明增强后图像的结构信息损失较少，因此增强效果较好。关于PSNR以及SSIM的计算方法此处不再赘述，见周景超等［9-10］的研究。

另外，本文还对比了提出的基于空间域和曲率域多特征信息的红外图像增强算法、GHE、LAHE的PSNR值和SSIM值，如表1—2所示。针对3类不同场景下的红外图像，本文算法获得的PSNR和SSIM值最高，再一次证明了本文图像增强算法相较于其他算法的增强效果最好。

另外，将本文算法的运算速度与GHE和LAHE模型进行比较，如表3所示。其中，所有实验图像大小都为240×320，可以发现，本文算法的处理速率明显高于其他算法，能够达到轻量级的效果。

4 结语

本文提出了一种结合空间域与曲率域多特征信息的红外图像增强方法，实验结果表明，相较于已有的空间域及梯度域图像增强算法，本文提出的算法隐式使用曲率域信息的同时结合空间域灰度信息，既能有效增强对比度又能保持边缘和细节信息，算法效率显著提高。

在未来的研究工作中，还可从以下2个方面进行深入和优化：一是拓展本文算法在其他类型图像处理任务中的应用，验证其普适性和实用性；二是针对算法优化和硬件加速等方面进行深入研究，进一步提高计算速度和处理效果。

参考文献

［1］ZIMMERMAN J B，PIZER S M，STAAB E V，et al.An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement［J］.IEEE Transactions on Medical Imaging，1988（4）：304-312.

［2］PERONA P，MALIK J.Scale-space and edge detection using anisotropic diffusion［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1990（7）：12.

［3］SUBR K，MAJUMDER A，IRANI S.Greedy algorithm for local contrast enhancement of images［J］.Lecture Notes in Computer Science，2005（1）：171-179.

［4］RUDIN L I，OSHER S，FATEMI E.Nonlinear total variation based noise removal algorithms［J］.Physica D Nonlinear Phenomena，1992（1-4）：259-268.

［5］ZHU W，CHAN T.Image denoising using mean curvature of image surface［J］.Siam Journal on Imaging Sciences，2012（1）：1-32.

［6］汤成.基于曲率滤波的图像去噪与增强研究［D］.杭州：浙江理工大学，2019.

［7］PIZER S M，AMBURN E P，AUSTIN J D，et al.Adaptive histogram equalization and its variations［J］.Computer Vision Graphics & Image Processing，1987（3）：355-368.

［8］BAJWA M S，AGARWAL A P，MANCHANDA S.Ternary search algorithm：improvement of binary search：computing for sustainable global development（INDIACom），2015 2nd International conference on computing for sustainable global development［C］.New York：IEEE，2015.

［9］周景超，戴汝为，肖柏华.图像质量评价研究综述［J］.计算机科学，2008（7）：1-4，8.

［10］SETIADI D R I M.PSNR vs SSIM：imperceptibility quality assessment for image steganography［J］.Multimedia Tools and Applications，2021（6）：8423-8444.

（编辑 沈 强）

Research on infrared image enhancement algorithm based on multi feature information in spatial domain and curvature domain

ZHANG  Tingting， DU  Jikui， SHEN  Jianguo

（Wuxi Vocational Institute of Commerce， Wuxi 214000， China）

Abstract：  In order to improve the imaging quality of infrared images and provide high-quality feature information for subsequent image processing， this paper proposes an infrared image enhancement algorithm based on multi-feature information in spatial domain and curvature domain. The algorithm implicitly uses the information in the curvature domain and combines the gray information in the spatial domain. On the one hand， the image reconstruction in the curvature domain achieves a good effect of preserving edges and details while ensuring the efficiency of the algorithm. On the other hand， the enhancement equation is constructed by using the global information in the spatial domain， which can significantly enhance the image contrast. Experimental results show that compared with the existing image enhancement algorithms in spatial domain and gradient domain， the proposed algorithm can not only effectively enhance the contrast but also preserve the edge and detail information， and the efficiency of the algorithm is significantly improved..

Key words： spatial domain; curvature domain; infrared image; enhancement equation