车载红外夜视图像的小波-遗传图像增强算法*

于 洋，康雪雪

(沈阳理工大学信息科学与工程学院，辽宁 沈阳 110159)

车载红外夜视图像的小波-遗传图像增强算法*

于 洋，康雪雪

(沈阳理工大学信息科学与工程学院，辽宁 沈阳 110159)

针对传统红外图像增强算法在视觉效果上不够理想的问题，提出了一种适用于车载红外夜视图像的图像增强方法。该方法利用红外夜视仪的非接触生成热图像的原理，建立了针对车载红外夜视图像的小波-遗传灰度图像增强方法，并将该方法与传统的直方图均衡化法和多尺度Retinex算法进行了对比。在红外夜视图像增强效果方面，该方法具有改善图像亮度均匀性、避免图像过分增强和抑制噪声的特点。实验表明，所提出的小波-遗传图像增强算法在车载红外夜视图像增强方面的处理效果较好。

红外夜视图像；小波-遗传；遗传算法；图像增强

1 引言

车载红外夜视仪是基于红外热成像原理而设计的汽车辅助驾驶系统，具有广泛的应用前景和巨大的商业价值。由于红外热成像技术是通过红外探测器接收汽车夜间行驶道路前方的目标与背景，会受到红外探测器噪声、大气等自然界各种热辐射因素的影响，其成像的形状和结构的信息不足，因而在图像研究领域中，如何提高红外夜视图像的增强效果是一个重要的研究课题[1,2]。

近年来，国内外学者在图像增强领域提出了许多新的方法和思路。常用的图像增强方法主要有直方图均衡化法[3]和动态多尺度Retinex图像增强方法[4]等，在提高了图像对比度的同时噪声不可避免地被放大。Stathaki T[5]对图像融合增强的相关算法进行了分析总结，但在工程领域的应用性不强；Pohl C等[6]对多传感器领域的图像融合技术进行了总结，并对相关概念、方法和应用进行了概述，但该方法的应用仅限于遥感图像中；Shah D等[7]提出增强图像背景信息的四种红外图像与可见光图像融合的方法，图像的增强效果较明显，但其对场景的静态要求较高，同时在总体细节方面，视觉上的模糊化痕迹比较明显。小波分析技术[8]通过对小波的分解与重构，能够良好地分离信号与噪声并抑制噪声，但对于光线暗或非均匀的红外图像，其增强后的视觉效果不佳。遗传算法[9]是一种通过模仿自然界的选择与遗传的机理来寻找最优解的进化算法，能自适应地调整搜索方向，同时具有可扩展性，容易与其他算法相结合。在计算精度方面，其具有收敛速度快、计算时间少、鲁棒性高等优点，并且在人工生命、信号处理、模式识别、自适应控制等领域具有广泛的应用。针对车载红外夜视图像的增强，本文提出了一种适用于车载红外夜视图像的图像增强方法，并通过实验仿真和理论计算对算法的性能进行了定性和定量的比较测试。

2 改进的小波-遗传图像增强算法

多分辨率分析方法是小波变换的核心思想。在小波分解的过程中，通过小波分解将待分解图像分解成两部分，得到低频系数部分和高频系数部分，同时由高频系数获得两个连续的低频系数之间损失的信息，保持高频系数部分不动，继续分解低频系数部分。

本文算法流程图如图1所示。

Figure 1 Flow chart of the wavelet-genetic image enhancement algorithm

本文提出的适用于车载红外夜视图像的增强方法首先将图像进行小波分解，对低频部分的图像采用遗传算法自适应确定分段点的位置，以达到增强低频图像的目的；对高频部分的图像则采用小波阈值去噪法进行增强，获得两个连续的低频系数之间损失的信息的同时又去除噪声；最后对两种频段增强后的图像进行小波重构，即可得到增强的车载红外夜视图像。

3 低频部分图像的遗传算法自适应增强

由于车载红外夜视仪采集的图像是灰度图像，故可用二维函数f(x,y)来表示，f(x,y)表示二维坐标点(x,y)的灰度值。本文采用分段线性变换将低频部分图像变为一个新的函数，以突出灰度区间或感兴趣的目标，即对图像的灰度区间分成三段，并对各个区间进行线性变化[10]。设图像经过小波分解后低频部分为f1(x,y)，三段线性函数的数学表达式如下：

(1)

对应的三段线性函数图像如图2所示。

Figure 2 Three sections of the linear transformation of the image

三段线性变换图中的两个折线拐点(T1,H1)、(T2,H2)比较重要，通过调整两个拐点的位置即可对灰度区间进行扩展或压缩。由此可见，确定最优参数T1、H1、T2和H2是增强低频部分图像的关键。

3.1 遗传算法的实现

本文采用遗传算法对此四个参数进行自适应确定。因此，在编码设计中，每条染色体可以用一维四元数组(T1,H1,T2,H2)表示，其中，每个基因与数组中的参数相对应，并采用实数编码，这样，该数学模型即为求目标规划下的(T1,H1,T2,H2)参数组合问题。

遗传算法通过构建适应度函数来提供个体进化的动力。为了兼顾图像的结构和细节、整体和局部之间的平衡，个体的适应度函数采用图像质量评价函数，计算公式为:

(2)

其中，i表示个体，n=M×N，f1i(x,y) 表示经过小波分解后的低频部分图像的个体。

公式(2)表明，图像的增强效果由适应度的值决定，即适应度值越大，图像的灰度分布越均匀，对比度越高。

遗传算子的设计由选择算子、交叉算子和变异三部分组成。先按照个体适应度的大小，对规模为p的群体pop={a1,a2,…,ap}进行降序排列；同时，从中挑出最优的个体，直接进入下一代种群，对于所有剩下的个体，一律进行交叉和变异操作。然后由交叉算子产生新一代的个体，但为了防止遗传算法过早地收敛，交叉操作采用算术交叉法，最终保护种群多样性。算术交叉变换公式为：

(3)

3.2 低频部分图像的遗传增强算法步骤

低频部分图像的遗传自适应增强算法流程图如图3所示。

Figure 3 Flow chart of the adaptive genetic algorithm for the low frequency part of image

算法实现的步骤为：首先，归一化处理低频部分图像灰度f1(x,y)，将其映射到区间[0,1]。归一化公式为:

(4)

其中，fmin表示该部分图像灰度的最小值，fmax则为最大值。初始种群设置为50，遗传算法的交叉概率设置为0.5，变异概率设置为0.03，最大进化代数设置为500。对于公式(1)中的参数(T1,H1,T2,H2)，使用遗传算法进行实数编码；同时，利用公式(1)对灰度图像进行三段线性变换，得到灰度拉伸图像g′(x,y)；接着反归一化处理灰度拉伸图像g′(x,y)，得到输出的低频部分图像f1′(x,y)。反归一化公式为：

f1′(x,y)=(fmax-fmin)g′(x,y) + fmin

(5)

对种群进行选择、变叉和变异操作，可产生新的种群。重复此过程，如果连续几代群体的最优适应度函数值变化不大并趋于稳定值，结束条件判断，此时个体的适应度值最大，将其作为最优解输出，反编码最优个体，即可得到最优参数；将最优参数代入到公式(1)中，最终得到低频图像遗传自适应增强的最优结果。

4 高频部分图像的小波阈值增强

红外夜视图像经小波变换后，其大部分噪声主要位于高频子带中，若增大分解尺度，则其噪声下降很快。因此，为了最大限度地降低噪声影响，首先对高频子带图像进行小波阈值去噪，其次由最大尺度低频子带图像的局部对比度确定高频子带的增益系数，以便对高频子带图像进行图像增强。

车载红外夜视图像经过小波分解后的高频系数为f2(x，y)。由于硬阈值函数在阈值处缺乏连续性，其重构的图像在边缘处可能会出现振铃等视觉失真现象；而软阈值函数处理图像的结果在视觉上相对平滑，效果更好。因此，本文采用软阈值函数进行去噪。

软阈值化处理就是将高频子带中的系数做柔性处理，根据分解系数绝对值大小的不同，所乘的系数也不同，若绝对值越小，所乘系数越小，否则所乘系数越大，但系数不超过1，其定义式为:

(6)

其中，ωs表示在软阈值函数作用下的估计小波系数，ω=f2(x，y)是含有噪声的高频子带图像中的小波系数，T为设定的阈值门限值。噪声标准差可根据Chang等提出的贝叶斯萎缩阈值估计法[12]求得:

(7)

其中，贝叶斯萎缩阈值估计函数为:

(8)

式(7)中median(·)表示求中值函数；式(8)中T为贝叶斯萎缩阈值，σ2为不同尺度下的噪声方差估计，σs为子带上图像信号标准差的估计值。

最后，由增强的低频子带图像和高频子带图像重构即可得到算法增强后的车载红外夜视图像。

5 实验结果分析

5.1 实验结果定性分析

对车载红外夜视仪采集的图像进行直方图均衡法、多尺度Retinex算法和小波-遗传自适应算法进行处理，采集两幅图像处理结果，如图4和图5所示。

Figure 4 Simulation results of the first picturewith different algorithms

Figure 5 Simulation results of the second picture with different algorithms

如图4a和图5a所示的图像是由数据采集卡采集的车载红外夜视图像。由红外夜视仪的成像原理可知，人、摩托车和路灯的温度要高于路面和树的温度。因此，图4a和图5a中的人、摩托车和路灯亮度要稍微高于路旁树木以及地面。但是，整体上车道行人、路灯与树和地面的亮度对比度不高，视觉效果不够理想。

由图4b和图5b所示，直方图均衡法对图像的对比度进行了很好的增强，同时显著地放大了噪声，有些区域甚至对图像进行了过度增强或增强不足。

由图4c和图5c所示，动态多尺度Retinex增强算法改善了图像的亮度均匀性，但是将图像的背景亮度也放大了，造成了人等感兴趣区域(ROI)在图像中并不突出，因此单一的多尺度Retinex方法仍存在不足。

采用本文算法对图像进行处理，得到的增强效果如图4d和图5d所示。从图4d和图5d可以看出，本文算法改善了直方图均衡法和动态多尺度Retinex增强算法的缺点，将淹没在阴影区域中的细节有效地显示出来，改善了亮度的均匀性；利用小波阈值法对高频子带系数部分进行图像的细节增强并抑制噪声，最终提高了图像的质量，改善了视觉效果。

5.2 实验结果定量分析

为了定量地评价各种图像增强算法，本文分别采用图像信息熵、平均梯度和信噪比作为图像质量的评价标准。

图像信息熵定义为：

(9)

其中，pi是图像的各灰度概率值。当图像均匀时，各灰度值的概率基本相等，熵可以达到最大。采集10组图像数据计算信息熵，结果如图6所示。

Figure 6 Information entropy of different algorithms

图像的清晰程度可以由平均梯度来衡量，它能将图像中微小的细节反差显示出来。公式如下：

1,j)]2+[f(i,j)-f(i,j+1)]2)/2)1/2

(10)

其中，f(x,y)为图像函数，g的值越大，说明图像越清晰。采集10组图像数据计算平均梯度，结果如图7所示。

Figure 7 Average gradient of different algorithms

图像的信噪比(SNR)等于信号与噪声的功率谱之比，但通常功率谱难以计算。这里采用信号与噪声的方差之比近似地估计图像的信噪比[16]。首先计算图像所有像素的局部方差，将局部方差的最大值作为信号方差S，最小值作为噪声方差N，求出它们的比值b=S/N，用经验公式1.04b-7进行修正，最后转成dB数，该方法适应的信噪比范围为20～50dB。信噪比越大说明增强的图像噪声抑制的效果越好。

(11)

采集10组图像数据计算信噪比，结果如图8所示。

Figure 8 SNR of different algorithms

对于小波变换的时间复杂度，无论是分解、重构还是系数处理，其值均为O(n)。此外，低频部分遗传算法的时间复杂度为O(T*n2)，其中n为种群个数，T为迭代次数。因此，本文算法的时间复杂度为：

O(n+T*n2+n+n)=O(T*n2)

(12)

计算图4和图5各种算法所消耗的时间，结果如表1所列。

Table 1 Time consumption of different algorithms表1 各种算法所消耗的时间 s

由图6～图8可知，小波-遗传图像增强算法与其他算法相比，其图像信息熵、平均梯度和信噪比均大于其他算法；其消耗的时间较大，但考虑到仅为毫秒级，不影响算法的实时性。对比结果表明：本文算法不仅增强了图像的局部微小细节，而且抑制了噪声，最终提高了图像的整体对比度。

6 结束语

针对传统的图像增强算法对车载红外夜视图像增强不够好的问题，提出了处理车载红外夜视图像的小波-遗传自适应图像增强方法。通过对该方法中关键技术的研究分析，由实验验证了文中提出的基于小波-遗传自适应图像增强方法是可行的，增强的图像噪声小，图像较为清晰，为后续的行人检测与识别研究提供了较好的基础。

[1] Li Jun-shan, Yang Wei, Zhang Xiong-mei. The infrared image processing, analysis and integration[M]. Beijing:Science Press, 2009. (in Chinese)

[2] Qidwai U. Infrared image enhancement using Hoobounds for surveillance applications[J]. IEEE Transactions on Image Processing, 2008, 17(8):1274-1282.

[3] Yin Shi-chang, Yu Song-lin. Infrared image enhancement algorithm based on wavelet transform and histogram equalization[J]. Laser & Infrared, 2013, 43(2):225-228. (in Chinese)

[4] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7):965-976.

[5] Stathaki T. Image fusion algorithms and applications[M]. New York:Academic Press is an imprint of Elsevier, 2008.

[6] Pohl C, Genderen J L V. Multisensor image fusion in remote sensing:Concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5):823-854.

[7] Shah P, Reddy B C S, Merchant S N, et al. Context enhancement to reveal a camouflaged target and to assist target localization by fusion multispectral surveillance videos[J]. Signal, Image and Video Processing, 2013, 7(3):537-552.

[8] Feng Zhen, Ma Qi-Shuang. Research on infrared image non-linear enhancement algorithm based on wavelet analysis[J]. Laser and Infrared, 2010, 40(3):315-318. (in Chinese)

[9] Ye Yu-lei, Dai Wen-zhan. Signal de-noising in wavelet based on new threshold function[J]. Computer Applications，2006,26(7):1617-1619. (in Chinese)

[10] Zou Mou-yan.Deconvolution and signal recovery[M].Beijing:National Defense Industry Press, 2001. (in Chinese)

[11] Cheng Li,Shao Gao,Du Yan-bi.A modified image enhancement algorithm based on color constancy[J]. Chinese Optics Letters, 2009, 7(9):784-787.

[12] Zhou Ji-liu, Lü Hang. Image enhancement based on a new genetic algorithm[J]. Chinese Journal of Computers, 2001, 24(9):959-964. (in Chinese)

[13] Li Xiao-bing.An adaptive piecewise linear gray scales transformation[J]. Optoelectronic Technology, 2011, 31(4):236-239.(in Chinese)

附中文参考文献：

[1] 李俊山,杨威,张雄美.红外图像处理、分析与融合[M].北京:科学出版社, 2009.

[3] 尹士畅,喻松林.基于小波变换和直方图均衡的红外图像增强[J].激光与红外, 2013, 43(2):225-228.

[8] 冯贞,马齐爽.基于小波分析的红外图像非线性增强算法[J].激光与红外,2010,40(3):315-318.

[9] 叶于雷,戴文战.一种基于新阈值函数的小波信号去噪方法[J].计算机应用, 2006, 26(7):1617-1619.

[10] 邹谋炎.反卷积和信号复原[M].北京:国防工业出版社, 2001.

[12] 周激流,吕航.一种基于新型遗传算法图像自适应增强算法的研究[J].计算机学报,2001,24(9):959-964.

[13] 李晓冰.一种红外测量图像自适应分段线性灰度变换方法[J].光电子技术, 2011, 31(4):236-239.

于洋(1963-),男，辽宁沈阳人，教授，研究方向为图像处理、网络化测控和智能检测。E-mail:yusongh@126.com

YU Yang,born in 1963,professor,his research interests include image processing, networked measurement and control, and intelligent detection．

康雪雪(1988-),女，安徽亳州人，硕士生，研究方向为图像处理。E-mail:kxx1208@163.com

KANG Xue-xue,born in 1988,MS candidate,her research interest includes image processing．

A wavelet-genetic enhancement algorithm for vehicular infrared night vision images

YU Yang,KANG Xue-xue

(School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,China)

Due to the fact that the traditional infrared image enhancement methods have imperfect visual effect, we propose an image enhancement method for vehicular infrared night vision images. We establish a wavelet-genetic grayscale image enhancement algorithm on the basis of the non-contact thermal image generation principle of the infrared night-vision goggles. Compared with the traditional histogram equalization method and the multi-scale Retinex algorithm, the proposed method can improve the image brightness uniformity, avoid excessive enhancement and effectively suppress noise. Experimental results show that the wavelet-genetic enhancement algorithm can achieve good performance in enhancing vehicular infrared night vision images.

infrared night vision image;wavelet-genetic;genetic algorithm;image enhancement

1007-130X(2015)09-1750-06

2014-07-03;

2014-08-14基金项目：辽宁省教育厅资助项目(LT2012005)

TN221;TN911.73

A

10.3969/j.issn.1007-130X.2015.09.025

通信地址：110159 辽宁省沈阳市沈阳理工大学信息科学与工程学院

Address:School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,Liaoning,P.R.China