激光图像融合算法

张合新,王 强,宋 睿

(火箭军工程大学 控制工程系，西安 710025)

激光图像融合算法

张合新,王 强,宋 睿

(火箭军工程大学 控制工程系，西安 710025)

为了有效提高激光强度图像的质量，使其能够更好地与其他多源图像匹配，提出了一种激光强度图像与距离图像融合的方法。该方法首先分析了激光强度图像与距离图像不同类型像素点之间局部统计信息的差异，然后利用Ostu算法和模糊最小误差阈值算法求出强度像和距离像的局部统计信息的全局阈值和最佳阈值，最后将这些阈值作为融合参数，按照一定的融合规则，将强度像与距离像进行融合。仿真实验表明：与单纯的滤波算法相比，该融合算法在控制激光散斑噪声的同时，通过融合不同源图像的互补信息，达到提高激光强度图像的各方面性能的目的。

图像融合；全局阈值；最佳阈值；互补信息

0 引言

与红外、可见光等成像方式相比，激光成像的一个显著优势就是能够一次性获取到目标的强度像、距离像、速度、距离等多种信息[1]。但是与那些发展比较成熟的成像方式相比，激光主动成像自身也有很多不足。其中，成像质量不高，易受散斑噪声的影响是抑制其实际应用的两个主要因素。激光图像的噪声抑制已经有很多比较成熟的滤波算法。

对于如何改进激光成像图像的质量，一般而言有两条途径。一是改善激光成像系统的硬件条件。从21世纪初，王琪院士带头研制的CO2激光相干成像雷达系统，到近几年孙秀东等以YAG激光器为光源研制的激光成像雷达系统，经过几十年的发展，激光成像系统的硬件条件已经有了很大的改善。二是从激光主动成像的理论方面进行了深入研究。就目前而言，图像融合是改善激光图像质量的一种比较好的方法。而现在比较成熟的图像融合算法一般都是像素级的融合。本文提出了一种基于激光图像局部统计信息的图像融合算法。实验结果表明，该算法能不仅够有效控制激光图像的散斑噪声，还能提高图像的清晰度等图像性能。

1 图像融合

图像融合是指将同一对象、不同来源的图像进行空间配准，将其中的优势信息或者互补信息有机结合的一种图像处理技术。融合后的图像信息更丰富、误差更小，能够更充分利用不同信息源提供的信息。

1.1 融合等级

根据图像融合水平的不同通常将图像融合分为三种不同的等级：像素级、特征级、决策级，这三种融合方法水平逐渐递增[2]。不同等级融合的特点及优缺点如表1所示。

表1 不同等级图像融合方法对比

从表1可以看出不同等级的融合有不同的侧重点。像素级的融合更加注重对于信息的保留和融合的精度控制，这就势必造成这种融合方法在容错性、抗干扰性和实时性这些方面不够理想；特征级融合是一种中等程度的融合，这种融合方法在各方面的表现比较均衡；决策级融合是最高等级的融合方法，它从图像的属性入手，对图像的属性进行融合，这种融合方法最大的优势在于容错性、实时性好，开放程度高。

1.2 融合方法

对于不同等级的图像融合，下面列举一些常用的融合算法[3]，如表2所示。

表2 融合方法

2 融合算法基础

2.1 局部标准差

局部标准差用于反映图像局部对比度的变化。对于d×d大小的窗口，局部标准差公式如下所示

(1)

(2)

2.2 梯度图像

图像的梯度既包含方向又包含大小。一般用梯度的幅度就能表现出邻域内灰度的变化。

Sobel梯度算子以像素点为中心的3×3邻域做灰度加权运算，其定义为

(3)

其中，fx和fy分别是在水平方向和垂直方向上的梯度值。所有像素点的梯度值就组成了一个梯度图像G。

2.3 Ostu算法求全局阈值[6-8]

首先应用式(3)和式(4)求取图像的局部标准差和Sobel算子的梯度值，再应用Ostu算法求得整幅图像的全局阈值T，根据全局阈值T可将整幅图像分为灰度平坦区和灰度突变区。

Ostu算法的基本思想为：设阈值T将其对应原图的灰度分为2组，一组对应灰度值变化不大的区域，一组对应灰度变化较大的区域。则这2组组内方差最小，组间方差最大。

组内方差为

(4)

组间方差为

(5)

(6)

Ostu算法考虑的是整幅图像的灰度分布情况，正是分离图像信息所需要的。

2.4 模糊最小误差阈值算法[8-11]

把像素灰度突变点分离为边缘点和噪声点是本文算法实现的关键所在，这里提出一种模糊最小误差阈值算法。把V2分成噪声点区域V21和边缘点区域V22。V21的隶属函数μ21=(k;a,b)、V22的隶属函数μ22=(k;a,b)，分别表示图像局部统计参数k对V21和V22的隶属程度，即是每个局部统计参数对应的像素点被划为噪声点和边缘点的概率，分别为：P21和P22。μ12(k;a,b)为S型函数，μ22(k;a,b)为Z型函数，具体形式如下：

(7)

μ22(k;a,b)=1-μ12(k;a,b)

(8)

(9)

(10)

(11)

(12)

定义误差函数J(a,b)定义为

J(a,b)= 1+2[Pe(a,b)logσe(a,b)+

Ps(a,b)logσs(a,b)]-

2[Pe(a,b)logPe(a,b)+

Ps(a,b)logPs(a,b)]

(13)

寻找参数(a,b)以得到图像中最佳阈值，选择最小分类误差所对应的参数值，即

(14)

代入最小误差公式，可以得到最优的参数(aopt,bopt)，从而得到最佳的阈值

(15)

3 本文融合算法

3.1 图像统计特性分析

激光强度图像与距离图像是不同传感器所成的异源图像，灰度级相差很多，灰度的表现形式也相差很大。对于像素级的图像融合肯定是不适用的，所以要侧重在特征级和决策级的图形融合上考虑[4]。

激光图像不论是强度像还是距离像都受散斑噪声的影响，为了研究方便，假设经过滤波处理的图像具有较高的信噪比。

在假设噪声分布符合均匀同概率和独立分布的条件下，不同信噪比图像在3×3邻域内出现噪声点的个数和概率如表3所示。

表3 不同信噪出现比噪声点点数及其概率

从表3中可以看出在信噪比低于90%时出现2个噪声的概率还是很大的。本文着重分析的是信噪比不是太低的情况。

在激光强度图像中，如果某像素点为信号点，在其邻域内肯定存在与此像素点像素值相近的点，那么该点的局部标准差就比较小。我们可以应用Ostu算法求取局部标准差的全局阈值T1，将整幅强度图像分为灰度平坦区域和灰度突变区。

灰度突变区域一般指的是噪声区域或者边缘区域。这两者的局部统计特征比较相近，但是也存在着一定的区别[5]。在噪声区域，因为信噪比不是很低，噪声点较少，所以其邻域内少有与之像素值相似的点，所以局部标准差就很大；在边缘区域，因为边缘具有连续性，邻域内肯定存在几个相似的像素点，所以局部标准差就比噪声点稍低。

局部标准差的稍大与稍小不好把握，在这里只把局部标准差大于模糊最小误差阈值T2的点定为噪声点。对于剩下的灰度突变区的点要结合距离图像来判断。

在强度像中一般只有均质区域会表现为灰度的连续性，与之不同的是在距离像中同一物体灰度值基本相同。所以在距离像中可以通过其梯度值的大小来判断像素点属于信号区域还是边缘区域。

与强度像处理方式相同，再一次利用Ostu算法和模糊最小误差阈值法求出距离梯度图像的2个阈值T3和T4。当某点的梯度值很大时，那么该点肯定为边缘点，而T4就作为判断的阈值。如果某点梯度值很小，小于全局阈值T3，那么该点在距离像中为信号点，但是强度像中局部标准差比较大，综合判断其在强度像中为噪声点。对于强度像中局部标准差在T1和T2之间，而且对应距离像中梯度值在T3和T4之间的点，结合强度梯度图像判断。

3.2 融合规则

从前文可知，通过选取不同的阈值可以将像素点划分为不同的区域，对于信号点和边缘点像素，不做任何处理地加以保留。而对于噪声点用邻域的8个像素均值代替[6]。融合规则如下：

(16)

对于中间点的规则是：T5是强度梯度图的最佳阈值，当大于T5时是噪声点，小于T5是边缘点。

4 评价指标

图像融合目的是通过融合不同源图像之间的优势信息或者互补信息来改善图像质量，增加图像中包含的信息量。而客观、准确的评价一个算法，对于改进算法或者提出新算法具有特别重要的意义。因此本文采用主、客观评价相结合的方法对本文融合算法做出评价。

4.1 主观评价

主观评价一般指的就是从视觉效果上定性地评价图像的质量。而在视觉效果中比较明显的两个方面是边缘的展宽和弱边缘的保护。边缘的展宽和弱边缘的保护对于图像后期的应用具有很大的影响。

4.2 客观评价

设图像的大小为M×N，融合后的图像为F(x,y)，下面列举了一些常用的评价标准。

1)均值：灰度的算术平均值，直观表现为图像的亮度。

(17)

标准差：反映了灰度相对于灰度均值的离散情况。

(18)

2)熵：融合图像熵值表示了图像包含的信息量，熵值越大，说明融合的效果越好，熵的定义如下。

(19)

其中，p(i)表示灰度值为i的像素数目Ni与图像总像素N之比，即：p(i)=Ni/N，其反映了图像中灰度值为i的像素概率分布，类似于图像的归一化直方图。

3)空间频率：能够反映一幅图像空间域的总体活跃程度，空间频率越大，说明融合效果越好，其定义如下：

(20)

(21)

(22)

其中，RF表示行频率，CF表示列频率。

4)清晰度：用来反映图像质量的改进程度、图像中微小细节反差和纹理变化特征。清晰度的提高往往表征图像的质量、细节信息和纹理特征的提高和增强。公式表示为

(23)

其中，△xf(i,j)、△yf(i,j)分别是f(i,j)沿x、y方向的差分。

5)散斑指数：该指标用来评价散斑噪声的抑制能力，图像的散斑指数越小，算法抑制散斑噪声的能力越好。

(24)

其中，M、N为图像的维数，σ(i,j)、μ(i,j)为计算窗口中元素的标准差和均值。

以上列举的评价指标是从图像本身来衡量图像质量的好坏。另外一种图像评价方法是从融合后图像和标准图像之间的关系来评价图像的质量。但是标准图像往往很难获取或者是根本不存在，这就极大地限制了这种方法的实际应用。本文用原图替代标准图像来获取图像的评价指标。常用的一些评价参数如下所示。

6)总体交叉熵：表示融合图像从源图像提取得到的信息量。

(25)

(26)

7)平均交叉熵MCE和均方根交叉熵RMSCE越小，说明融合图像从源图像中提取的信息越多，融合效果越好。

8)互信息：待融合图像A、B与融合图像F之间的互信息为：

(27)

(28)

其中，pA、pB、pF分别为图像A、B与融合图像F的归一化灰度直方图。互信息越大，说明融合图像从源图像中提取的信息越多，融合效果也越好。

9)联合熵：可以作为3幅图像之间相关性的量度，定义如下

(29)

联合熵反映了3幅图像之间的联合信息，源图像与融合图像之间的联合熵越大，融合效果越好。

10)偏差指数：可以反映融合图像与源图像在光谱信息上的匹配程度。如果待融合源图像为高分辨率图像A与低分辨率多光谱图像B，融合图像F，则融合图像F与原始多光谱图像B的偏差指数为

(30)

偏差指数越小，说明融合图像在提高空间分辨率的同时较好地保留了原始光谱图像的光谱信息。

5 实验结果及分析

与单纯的滤波不同，图像融合技术在滤除噪声的同时，还能结合不同源图像之间的互补信息，保护、强化细节、边缘等敏感信息[12-14]。例如：激光强度像在细节方面更加细致，距离图像在目标的边缘上更加突出，两者的融合使得融合后的图像在细节和边缘这两方面都能兼顾到。为了对比突出本文融合算法在这方面的优势，接下来将本文算法与单纯的滤波算法进行比较，用主、客观评价方法全面衡量本文融合算法。

在图1中，(a)、(c)、(d)分别是某地区激光雷达下视强度图像及其梯度像和标准差图像，(b)、(e)是激光距离图像和对应的距离梯度图像。根据融合规则首先计算出强度梯度像的最佳阈值和强度标准差图像、距离梯度的全局阈值和最佳阈值用于决策，分离参数如表4所示。

表4 分离参数

(a)激光雷达强度图像(b)激光雷达距离图像(c)强度图像的梯度图像(d)强度图像的标准差图像(e)距离图像的梯度图像

首先从主观上对图像进行评价。从图2中可以明显看到除了本文的融合算法，文中提供的几种滤波算法在滤除散斑噪声的时候或多或少都造成了图像的模糊，导致图像分辨率的下降，其中Lee滤波对图像的模糊作用最为明显。图像模糊带来的结果就是边缘的展宽、移位和细节信息的丢失。所以从主观上来判断本文融合算法相对于其他几种滤波算法具有绝对的优势。

(a)中值滤波(b)Lee滤波(c)加权平均融合滤波(d)小波融合滤波(e)本文融合算法

其次再对本文融合算法做出一个客观的评价。从表5所列的图像清晰度参数中可以看出，本文提出的图像融合算法能够小幅提升原图像的清晰度。从空间频率上来看，本文算法是几种算法中对图像的空间阈活跃程度保持最好的，融合的效果相比另外两种更加出色。

表5 性能参数比较

但仅从图像的本身参数不能完全说明融合算法的优劣，还需要将融合后的图像与理想图像进行对比[15]，由于理想图像很难获取或者说根本不存在，所以就将融合后图像与原图像进行比对，来评价本文算法，如表6所示。

表6 融合图像与原图之间性能参数

从表6中可以再次发现本文算法是一个表现十分全面的融合算法，不仅滤波效果明显，而且从原图中继承了大部分有用的熵值，较好地保留了原始光谱图像的光谱信息。

6 结论

本文提出了一种基于图像局部统计特性的激光图像融合方法。该算法首先分析了激光强度像、距离像中的信息点、噪声点和边缘点的局部统计特性，然后根据不同类型像素点局部统计特性之间的区别，选取合适的阈值作为融合参数，按照一定的融合规则将激光强度像与距离像进行融合。从实验结果可知，该融合算法不仅能有效滤除散斑噪声，还能有效继承原始图像的信息熵，保留原始光谱信息，全面提高激光强度图像的质量。

[1] 张腾飞, 张合新, 孟飞,等. 一种级联的激光主动成像图像融合降噪算法[J].激光与红外, 2015, 45(9):1133-1137.

[2] 杨桄, 童涛, 陆松岩,等. 基于多特征的红外与可见光图像融合[J].光学精密工程, 2014, 22(2):489-496.

[3] 朱炼, 孙枫, 夏芳莉,等. 图像融合研究综述[J].传感器与微系统, 2014, 33(2):14-18.

[4] 孟飞.激光成像制导图像处理与匹配算法研究[D].西安：第二炮兵工程大学，2011.

[5] Jiang Y, Wang M. Image fusion with morphological component analysis[J].Information Fusion,2014, 18(1):107-118.

[6] Zhang J, Zhang Q. Image fusion algorithm based on wavelet transform[C]//International Conference on Advanced Information Technology and Sensor Application. IEEE Computer Society, 2015:47-50.

[7] 邓江洪, 赵领. 基于小波变换的激光雷达图像融合研究[J].激光杂志, 2015， 36(12)：31-34.

[8] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J].自动化学报, 2014, 40(2):306-315.

[9] 袁卫. 多传感器图像融合系统设计[J].激光杂志, 2014,1(10):40-42.

[10] 敬忠良. 图像融合[M].北京： 高等教育出版社, 2007.

[12] 李奕, 吴小俊. 基于监督学习的Takagi Sugeno Kang模糊系统图像融合方法研究[J].电子与信息学报, 2014,36(5):1126-1132.

[13] Balasubramaniam P, Ananthi V P. Image fusion using intuitionistic fuzzy sets[J].Information Fusion, 2014, 20(1):36-47.

[14] 陈磊, 杨风暴, 王志社,等. 特征级与像素级相混合的SAR与可见光图像融合[J].光电工程, 2014,41(3):55-60.

[15] 于坤林, 谢志宇, 原振文. 改进的小波图像融合算法及应用研究[J].计算机与数字工程, 2014, 42(4):592-595.

[16] 张蕾, 金龙旭, 韩双丽,等. 采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J].光学精密工程, 2015, 23(3):810-818.

Laser Image Fusion Algorithm

ZHANG He-xin, WANG Qiang, SONG Rui

(Department of Automation , Rocket Force University of Engineering, Xi’an 710025, China)

In order to improve the quality of the laser intensity image effectively, to match with other multi-source images better. A laser intensity image and distance image fusion method is proposed. The method begins with an analysis of the local statistical information differences between the different types of pixels of the laser intensity image and distance image, and then calculate the local statistical information global threshold and the optimal threshold value of the intensity image and distance image by Ostu algorithm and fuzzy minimum error thresholding algorithm, and these thresholds will as image fusion parameters.Finally, according to some designated fusion rules, the intensity image and range image are fusioned. Simulation results show that compared with filtering algorithms , the fusion algorithm not only control of the laser speckle noise effectivly, but also can be to improve laser intensity image performance.

Image fusion； Global threshold；Optimal threshold value；Complementary information

10.19306/j.cnki.2095-8110.2016.06.010

2016-06-13；

2016-07-18。

国家自然科学基金(61203189)

张合新(1967 - )，男，教授，博士生导师，主要从事控制科学与工程方面的研究。

TN751

A

2095-8110(2016)06-0050-07