主被动光学图像融合技术研究

严　洁，阮友田，薛珮瑶

(中国电子科技集团公司 第二十七研究所，河南 郑州 450047)



主被动光学图像融合技术研究

严洁*，阮友田，薛珮瑶

(中国电子科技集团公司 第二十七研究所，河南 郑州 450047)

摘要：本文应用扫描式激光成像雷达获取试验数据并实现对激光数据的三维成像处理，给出了基于目标特征的激光雷达图像与被动光学图像的数据融合方法，实现了激光图像和光学图像间的三维融合。试验结果表明，本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的，融合后的图像具有丰富的光谱信息和三维立体信息。

关键词:激光成像雷达；图像配准；数据融合；立体测绘

1引言

激光成像雷达是一种主动式成像系统，能探识目标的位置、角度、距离、时间、强度等信息，为实时获取高分辨率的三维空间信息提供了一种全新的技术手段。激光成像的优点是测量目标位置精确，抗干扰和抗隐身能力强[1]，缺点是光谱信息单一，没有物体的平面几何形状、纹理等信息[2]。激光成像雷达研究始于20世纪80年代，相关研究机构在国家863计划的支持下进行了机载激光雷达和地面激光扫描测量系统的研制[3]，除此之外，近年来国内几所研究单位和大学也先后进行了激光成像雷达的研制工作。

光学成像为被动式成像，分辨率高，能真实记录目标表面的纹理等细节,特别是可见光图像不仅有明暗的变化，而且形状边缘清晰，图像细节比较明显，但其所成图像是二维平面的，得不到物体表面的相对空间位置。如果能充分发挥光学图像与激光图像这两种不同图像各自优势，进行融合处理，使得融合后的图像既能反映物体光谱信息，又包含物体几何空间位置信息，将大幅提高目标的测量、定位、识别和检测概率。二者融合后，也可以实现高精度、高分辨率的立体测绘，充分发挥现有测绘卫星数据的制图潜力，解决长期以来高精度测绘和高分辨率测绘能力无法实现统一的矛盾及大比例天基制图的技术瓶颈[4]。

主被动光学图像融合在军事领域应用广泛：(1)可生成数字三维电子地图，为弹道导弹(特别是潜射导弹)实现远程精确打击目标提供必要信息；(2)为海上兵力的最优部署以及海军和海军陆战队作战任务(如渡海作战、抢滩登陆等)的顺利完成提供强有力的技术支持；(3)能够获取重点作战区域的植被覆盖情况，包括树冠高度、植被覆盖率等，这些情报将为地面指挥提供有用信息，如选择隐蔽场所，或者寻找突袭路线等[5]。

主被动光学图像融合在民用领域也有广泛的应用前景，是三维数字城市最具有发展潜力的一种数据获取手段，可以应用于车辆自动导航、建筑

物测绘、道路网测绘、交通信号管理、车辆行驶速度和停车场违规现象的检测、高速公路路面测绘等[6]。

2激光成像雷达技术

2.1　激光成像雷达技术原理

激光成像雷达技术是一种主动式传感器技术。与微波雷达相比，由于激光比微波波长要短，激光成像雷达具有更高的分辨率；与普通光学成像技术相比，激光成像雷达可以提供距离数据，因而可以获取目标的三维图像[5]。

直接探测体制的扫描激光成像雷达主要是由激光发射/接收系统、发射/接收光学系统、图像处理单元[7]、信号探测系统、扫描系统、控制系统等组成[8]。在控制系统控制下，激光雷达完成探测区域地毯式逐点探测，经数据和图像处理完成整帧图像。激光扫描成像雷达的每个激光发射脉冲对应一个目标距离，对探测区域的测量通过多次发射测量完成，按一定时间、空间顺序逐点拼接后获得整幅图像。

激光图像又称为强度图像，是建立在单点、主动探测基础上的直接探测成像系统，激光的三维图像不仅有利于仔细观察目标的空间构成细节，还可以采用多种处理方式从各个方向、不同距离上对目标图像进行匹配和逼近，较之一般的光学二维成像有其特定优势，是一种有效的目标观测技术。

2.2　激光成像雷达的数据特点

激光成像雷达数据反映了目标的位置、角度、距离、时间、强度等多种信息。但实际应用中，根据不同的需要和设备状态，得到的往往是特定工作波长的目标距离和强度信息。激光成像雷达数据具有以下特点：

(1)在几何分布上，激光成像雷达数据是对真实目标物的抽样探测，其数据点是离散的、不连续的；

(2)数据量大，从时间上计算，试验设备每秒钟测量1×104个点，连续工作1 h产生的数据量

有3.6×107个点的数据；

(3)光谱信息单一，这也是很多应用研究中将激光雷达数据与其它光学传感器数据融合使用的原因之一；

(4)存在数据缝隙。由于遮挡、物体特性(如发生镜面反射时，盘古大观楼图像中的玻璃反射)等因素，数据中有时会出现区域无回波的现象，称为数据缝隙。

2.3　激光成像雷达的伪彩显示

激光成像雷达数据的伪彩色处理就是把激光扫描得到的各点距离值按照某种关系映射成相应的彩色，这种映射之间的对应仅限于输入和输出像素之间，而对于数据空间位置的变化并没有涉及。试验中采用的编码方式为彩虹编码，共256色，颜色与距离远近成线性关系。图1为盘古大观楼的可见光图像与激光图像色彩对比。

图1　盘古大观楼的可见光图像与激光图像 Fig.1　Visible-light image and laser image of Pangu Plaza

3主被动光学成像融合技术研究

3.1　融合流程

激光成像与被动光学成像的两种图像融合流程见图2。由于激光图像与光学图像分别由不同传感器获取，属非同质图像，在成像机理、电磁波段、时相、空间分辨率等方面存在较大差异，所以，二者间的图像降噪预处理和配准成为这两种图像相融合的前提和基础。

图2　激光图像与可见光图像的融合流程 Fig.2　Fusion process of laser image and visible-light image

3.2　激光雷达数据降噪预处理

从三维激光雷达扫描系统中得到的激光数据不可避免地存在着噪声，需要降噪预处理。在预处理中，主要工作包括由激光点云网格化，在激光点云网格化处理前，需要首先进行滤波去除噪声，通过内插得到格网数据以及等值线的追踪。得到格网数据后又将点云量化为距离灰度图像，同时为了单独提取出有用的建筑物，并对激光点云图像进行阈值分割。

3.3　可见光图像降噪预处理

光学图像经常被不同种类的噪声污染，如高斯噪声、椒盐噪声等。预处理主要完成图像的亮度调节、去除噪声[9]。在图像处理中去除噪声起着重要的作用，对图像分割、图像识别、特征提取具有直接影响。

图像滤波既要消除图像以外噪声，同时又保持图像细节。常用的线性滤波器和中值滤波器效果不佳[9], 自适应中值滤波是对中值滤波的改进，相应地可以保存更多的图像细节，并可以平滑密度更高的椒盐噪声[10]，因此，根据图像的特点采用改进型的自适应中值滤波器对光学影像进行了处理，该方法首先去除噪声图像滤波窗口中最大和最小灰度像素，然后求中值，再计算出该中值与对应的像素灰度值之间的差值，与阈值比较，以确定是否用差值代替该像素的灰度值。

3.4　激光图像与可见光图像的配准

不同设备获取得到的距离图像和光学图像，由于设备的视场、成像角度等的不同导致同一物体在不同的图像中成像大小比例和位置不同。图像融合关键的一步是图像配准，因此，图像配准的好坏决定图像融合质量的好坏[11]。图像配准就是两幅图像描述同一个物体的相同位置进行匹配，建立两幅图像之间的对应关系，确定相应几何变换，以便进行进一步的图像融合。图像配准在空间上将两幅图像进行配准，包括相对配准和绝对配准。绝对配准的对象为多幅图像，对它们在同一地理坐标系下进行几何校正，校正之后重新采样并形成相同分辨率的图像。相对配准的参考对象为某一波段图像，坐标系可以任意选择，配准的时候是图像对图像，另一幅图像与参考图像进行配准。通常情况下，将两个图像进行对比，然后选择同名控制点，并用二次或三次多项式的模型建立两个同名像素的关系，最终采样成相同分辨率的图像。本文采用相对配准的方法，相对配准多采用空间域配准，空间域配准通常可以分成以下步骤：

(1)选择明显的特征：将要配准的两幅图像进行对比，仔细找出它们比较显著的地物特征，如区域轮廓线、边界以及线状物交叉点等。

(2)特征匹配：匹配时要基于一定的配准算法，确定控制点，控制点可以选用两幅图像上对应的明显地物特征。

(3)找出空间变化：图像之间的映射关系要根据控制点来建立。

(4)插值：映射关系建立以后，根据此映射关系对非参考图像重新采样，最终获得与参考图像配准的图像。

一般情况下，需要1~2个像素来确立空间域配准的精度。空间域配准中，最关键的一步是找出控制点，控制点的选择需要借助特征匹配，找出对应的显著的地物点，这也是最为困难的一步。空间域配准方法有以下几种：

(1)配准时基于控制点的方法。点特征具有广泛的适用性，并拥有简单的计算与描述特征，点特征也是最基本的特征[12]。提取点特征需要用到兴趣算子或有利算子，比较常用的如Moravec 算子、Dreschler算子[6]、Forstner 算子、Hannah算子等。本文选择Forstner算子定位特征点，是因为它的精度与速度相比其它算子比较适中。特征点得到以后对其进行匹配，配准的时候先估计几何变换参数，这个过程需要遵循以下两个步骤：选择和匹配图像中的控制点，控制点匹配后，从中获取相关信息，并找出匹配函数，匹配函数要能够匹配图像中的剩余点。关于图像中的对应点的确定需要先选出控制点，控制点为每幅图像中选出的一个特别的可分辨点集。曲面高点、图像中线条交叉点或者边界封闭区域重心都可以作为控制点。从两幅图像中选出两个控制点集并确立后，然后对其进行匹配。在图像算法研究领域，这种配准方法以其优越的性能，成为图像配准算法研究领域的热点[13]。

(2)配准时基于矩的方法。本文用到的控制结构是一个图像矩，该图像矩比较复杂，其中的每幅图像都是被标准化的图像，也就是与一个矩被归一化的参照位置进行匹配[14-15]。

(3)配准时基于边缘的方法。控制点一般选择图像边缘，并实现边缘匹配，匹配的时候通过比较边缘像素密度来实现，直接导出几何变换参数并对其中一幅图像实施相应的变换[15]。

3.5　图像配准试验

图像配准的过程中有一个非常关键的问题，即如何对选定的图像进行空间变换或几何变换。选定标准图像为图像I(x,y)，选定待配准图像为图像J(x,y)，这个过程中找到一个最佳的变换T,这是图像配准的目的所在，即使得图像J(x,y) 经T变换后J′=T(J)，使得与标准图像的对齐度最大化。

采用的配准方法为基于控制点的方法，选定清华校门的激光图像和可见光图像，以此作为试验的对象，对其进行配准的实现步骤如下：

(1)标准图像和待配准图像分别得到之后，并将其读入工作区；

(2)图像中的成对控制点得以指定；

(3)控制点对得以保存；

(4)使用的变换类型选定后，借助控制点对推算出变换参数；

(5)借助变换参数将待配准的图像实施空间几何变换，获得配准后图像。

配准试验过程见图3，图3(a)是相机拍摄的清华大学校门可见光图像，图3(b)是由图3(a)得到的标准灰度图像，图3(c)是激光成像雷达得到的图像，图3(d)是由图3(c)经过降噪预处理得到的待配准图像。图3(e)是控制点选取界面，它能同时显示待配准图像和标准图像，并能分别进行放大显示以方便选取控制点，本例中选取了6个控制点，图3(f)是利用得到的变换函数对图3(d)进行配准后的结果。

3.6　基于像素特征的融合

设f(x,y)为激光图像 ，设(uL,vL)为中心点 ，设θ为任一像素点(x1,y1)对应的扫描线和激光雷达中心线的水平夹角，设φ为纵向夹角，设g(x,y)为摄像机获得的光学图像，设(uo,vo)为中心点，激光成像雷达和摄像机的标定获得两种图像，它们的分辨率比值为(ka,kb)，配准后，得到的激光图像的平移量为(tx,ty)。

激光图像上的任意一点和与其对应的光学图像上的像素点坐标之间存在的函数关系为对应关系：

(1)

式中：a(x),b(y)为ka,kb,tx,ty的函数。

深度图像上点A到对应光学图像上点A′的位置计算步骤为：

(1)把激光深度图像投影到光学图像上，获得深度图像的投影图；

(2)计算出与深度图像上点A 对应的投影图上的点B 的坐标值；

(3)通过配准，得到深度图像的投影图和光学图像中心点的偏移量tx,ty及二者的比值ka,kb；

(4)根据偏移量tx,ty及比值ka,kb计算出光学图像上对应于点B的点A′的坐标值。

经过变换后，给出深度图像上某一点的位置，就可以得到它所对应的光学图像上对应点的位置和颜色值，即对于空间图像上任一点的描述有两个值：一是颜色值(光谱信息值)，二是深度值(距离值)，这样所得到的图像数据包含的信息有被观测物体的光谱信息和三维深度信息。

3.7　融合试验结果及分析

根据所提出的数据融合思路，利用试验系统得到的数据，对配准后的清华大学校门等图像进行融合试验。

图4　清华大学校门融合图像 Fig.4　Fused image of Tsinghua University′s school gate

试验结果如图4所示，图中给出了相应场景的可见光照片。从试验结果可以看出，本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的。但从实际效果来看，融合后图像并没有可见光图像清晰，主要有以下原因：

(1)试验时可见光图像由数码相机得到，其光轴与激光成像雷达设备不完全同轴，二者间未经过严格标定；

(2)二者间的配准不十分严格，导致融合图像有明显缝隙；

(3)由于实际得到的可见光图像分辨率为2 816 pixel×2 112 pixel，激光图像分辨率为512 pixel×500 pixel，采取的融合方法是将可见光图像分辨率降低后与激光图像配准，使得图像的分辨率降低。

以上实验结果是目前技术所能达到的一个阶段水平。本文所讨论主被动图像融合技术是可行的，但还有很多算法需要深入研究，后续的研究工作仍然任重道远。

4结论

激光图像与光学图像两种不同质图像间相融合，可以使图像在具有丰富的光谱信息的同时，也具有三维立体信息，其融合结果对物体的认知有着重要意义。图像配准是进行融合的前提和基础，图像配准试验时采用基于控制点的方法效果显著，融合后图像中每个像元既反映光谱信息，又包含距离观测点的距离信息，该技术在探测、图像重建和计算机视觉等领域均可以得到应用[16]。本文利用激光成像雷达获取数据，给出了主被动光学图像融合方法，实现了激光图像和光学图像的三维融合， 融合后的图像具有丰富的光谱和三维立体信息，在未来三维城市、立体测绘等领域有着广泛的前景。

参考文献：

[1]张健，张雷，曾飞，等.机载激光3D探测成像系统的发展现状[J].中国光学，2011，4(3):214-217.

ZHANG J,ZHANG L,ZENG F,etal.. Development status of airborne 3D imaging lidar systems[J].ChineseOptics,2011，4(3):214-217.(in Chinese)

[2]戴永江.激光雷达技术[M].北京：电子工业出版社,2010:11-13，178.

DAI Y J.LaserTechnology[M]. Beijing:Electronic Industry Press,2010:11-13，178.(in Chinese)

[3]李清泉，李必军，陈静.激光雷达测量技术及其应用研究[J].武汉测绘科技大学学报,2000,25(5):387-391.

LI Q Q,LI B J,CHEN J. Lidar Measurement and its Applications[J].J.WuhanTechnicalUniversityofSurveyingandMapping,2000,25(5):387-391.(in Chinese)

[4]赵铭军，张晓鹏，周胜利，等.空间激光遥感技术研究[J].激光与红外,2009，39(1)：21-23.

ZHAO M J,ZHANG X P,ZHOU SH L,etal.. Study on the space-borne laser remote sensing technology[J].Laser&Infrared,2009，39(1)：21-23.(in Chinese)

[5]张清源，李丽，李全熙,等.直升机防撞激光雷达综合信息处理系统[J].中国光学，2013，6(1):80-87.

ZHANG Q Y,LI L,L Q X,etal.. Comprehensive information processing system for helicopter anti-collision Laser radar[J].ChineseOptics,2013，6(1):80-87.(in Chinese)

[6]刘晓艳,林珲，张宏.虚拟城市建设原理与方法[M].北京：科学出版社,2003:261-264.

LIU X Y,LIN H,ZHANG H.ConstructionPrinciplesandMethodsforVirtualCity[M]. Beijing:Science Press,2003:261-264.(in Chinese)

[7]屈恒阔，张清源，阮友田.扫描成像跟踪激光雷达[J].中国光学，2012，5(3):242-247.

QU H K,ZHANG Q Y,RUAN Y T. Laser radar based on scanning image tracking[J].ChineseOptics,2012，5(3):242-247.(in Chinese)

[8]李磊，严洁，阮友田.车载激光测绘系统的标定[J].中国光学，2013，6(3):353-358.

LI L,YAN J,RUAN Y T. Calibration of vehicular laser mapping system[J].ChineseOptics,2013，6(3):353-358.(in Chinese)

[9]何东健，耿楠，张义宽.数字图像处理[M].西安：西安电子科技大学出版社,2008:61-65，298.

HE D J,GEN N，ZHANG Y K.DigitalImageProcessing[M]. Xi′an:Press of Xidian University,2008:61-65，298.in Chinese)

[10]彭溯，王骞.应用径向基函数去除数字图像中的椒盐噪声[J].光学与光电技术,2012，10(6):86-89.

PENG S，WANG Q. Removing salt and pepper noises in digital images using radial basis functions[J].Optics&OptoelectronicTechnology,2012，10(6):86-89.(in Chinese)

[11]孙爱平，皮冬明，安长亮，等.光机装校阶段红外与可见光图像配准技术研究[J].红外技术，2013，35(1):50-55.

SUN A P; PI D M,AN C L,etal.. Study on IR/Visible Image Registration for Lens Assembly[J].InfraredTechnology,2013，35(1):50-55.(in Chinese)

[12]梁洪有，余涛，顾行发.基于MATLAB图像处理工具箱IPT函数的遥感图像配准[J].测绘与空间地理信息，2008，31(5)：8-11.

LIANG H Y,YU T,GU X F. Remote sensing image registration based on the IPT function of MATLAB[J].Geomatics&SpatialInformationTechnology,2008，31(5):8-11.(in Chinese)

[13]杨健，李若楠，黄晨阳,等.基于局部显著边缘特征的快速图像配准算法[J].计算机应用,2014，34(1):149-153.

YANG J,LI R N,HUANG CH Y,etal.. Fast image registration algorithm based on local salient edges[J].J.ComputerApplications,2014，34(1):149-153.(in Chinese)

[14]金星,马艳华,舒嵘.遥感图像的图像配准方法[J].红外，2004(9)：23-24.

JIN X,MA Y H,SHU R. Image registration methods of remote sensing image[J].Infrared,2004(9):23-24.in Chinese)

[15]张毅，柏连发，陈钱,等.基于像素空间相关度的微光双谱图像实时配准[J].南京理工大学学报，2009，33(4)：506-510.

ZHANG Y,BO L F,CHEN Q,etal.. Dual-band low level light image real-time registration based on pixel spatial correlation degree[J].J.NanjingUniversityofScienceandTechnology(Natural Science),2009,33(4)：506-510.(in Chinese)

[16]王安宙，张智杰，余徽，等.基于亮度对比度传递红外与可见光图像融合方法研究[J].光学与光电技术，2013，11(6)：7-10.

WANG A ZH,ZHANG ZH J,YU H,etal.. Research on the image fusion algorithm based on brightness-contrast transfer[J].Optics&OptoelectronicTechnology,2013,11(6)：7-10.(in Chinese)

严　洁(1973—)，女，河南信阳人，硕士，高级工程师，1997年于杭州电子科技大学获得学士学位，2006年于西安电子科技大学获得硕士学位，主要从事激光测量、激光雷达、图像处理等方面的研究。E-mail:1916757427@qq.com

阮友田(1973—)，男，湖北孝感人，本科，高级工程师，2002年于长春理工大学获得学士学位，主要从事激光测量、激光雷达、图像处理等方面的研发工作。E-mail:nbaibai@sohu.com

薛珮瑶( 1982—)女，陕西大荔人，硕士，工程师，2008年于长春理工大学获得硕士学位，主要从事光学设计及光学应用技术研究。E-mail:64558394@qq.com

《光学 精密工程》(月刊)

● 中国光学开拓者之一王大珩院士亲自创办的新中国历史最悠久的光学期刊

● 现任主编为国家级有突出贡献的青年科学家曹健林博士

● Benjamin J Eggleton, John Love等国际著名光学专家为本刊国际编委

《光学 精密工程》主要栏目有现代应用光学(空间光学、纤维光学、信息光学、薄膜光学、光电技术及器件、光学工艺及设备、光电跟踪与测量、激光技术及设备)；微纳技术与精密机械(纳米光学、精密机械)；信息科学(图像处理、计算机应用与软件工程)等。

❋ 美国工程索引EI核心期刊

❋ 中国出版政府奖期刊提名奖

❋ 中国精品科技期刊

❋ 中文核心期刊

❋ 百种中国杰出学术期刊

❋ 中国最具国际影响力学术期刊

主管单位：中国科学院

主办单位：中国科学院长春光学精密机械与物理研究所

中国仪器仪表学会

地址：长春市东南湖大路3888号邮编：130033

电话：0431-86176855传真：0431-84613409

电邮：gxjmgc@sina.com网址：http://www.eope.net

定价：100.00元/册

Active and passive optical image fusion technology

YAN Jie*, RUAN You-tian, XUE Pei-yao

(The27thResearchInstituteofChinaElectronicsTechnology

GroupCorporation,Zhengzhou450047,China)

Abstract:In this paper, we use scanning laser imaging radar to acquire test data and achieve three-dimensional imaging process to laser data, giving data fusion method based on target features between laser radar image and passive optical image, and realizing three-dimensional fusion between laser image and optical image. The test results show that the fusion method of different image qualities based on target features proposed in this paper is feasible. The fused image has both rich spectral and three-dimensional informations.

Key words:laser imaging radar;image registration;data fusion;stereo mapping

作者简介：

*Corresponding author, E-mail:1916757427@qq.com

中图分类号：TP751

文献标识码:A

doi:10.3788/CO.20150803.0378

文章编号2095-1531(2015)03-0378-08

收稿日期:2014-12-19；

修订日期:2015-02-15