基于图像融合的全景泊车辅助系统研究

张平改,魏利胜,周圣文(安徽工程大学电气工程学院,安徽芜湖 241000)

基于图像融合的全景泊车辅助系统研究

张平改,魏利胜∗,周圣文
(安徽工程大学电气工程学院,安徽芜湖 241000)

针对全景泊车辅助系统中图像融合效果较差的问题,提出一种渐入渐出的图像融合算法.首先,根据配准完成的全景图像选取出重合区域,并确定其边界的坐标参数值;在此基础上,计算该区域中像素点坐标到其边界的最短距离以得出融合算法的权值,并采用上述权值进行图像融合,从而得出汽车四周的全景图像;最后,利用实例验证了该方法的有效性与可行性.

图像融合;渐入渐出;重合区域;泊车辅助

随着科学技术的发展与生活水平的提高,汽车已经走进了人们的生活.与此同时,伴随着汽车数量的逐年增加,导致交通事故频发,给事故受害者及其家属带来了极大的伤害.为了一定程度上避免交通事故、提高驾驶行车的安全性,泊车辅助系统逐渐被安装到汽车上.然而,由于配准后图像融合效果较差,导致汽车四周全景图像的视觉效果不佳,使驾驶人员不能较好地把握车身四周情况[1-2].因此,如何将配准后图像进行有效地融合具有重要的研究意义.

自全景可视化问世以来,泊车辅助系统已成为图像处理领域研究的热点问题,国内外学者对其进行了大量的探索,并取得了丰硕的研究成果.刘春晖[3]等介绍了2011款新途锐的行车辅助系统,通过配置多功能摄像头系统来采集图像,并进行图像合成以提供给行车驾驶人员;周猛[4]等采用TMS320DM6437处理器与TVP5158视频解码器为硬件系统,并以图像矫正、俯视变换与全景拼接算法为软件核心,实现汽车四周的全景成像;王旭东[5]等利用采集的图像进行车身景象重构,并利用双圆弧路径规划算法与改进PID路径跟踪算法,以实现自动泊车;程志刚[6]等设计一种辅助泊车系统的模糊控制器,并采用遗传算法对其参数进行寻优,从而达到自动泊车目的;张宝龙[7]等利用COMS图像传感器获取图像信息,并通过双向FPD-Link串行/解串器进行信号传输,以实现车身四周图像的全景显示;程刘胜[8]等设计一款矿用无轨胶轮泊车辅助系统,并详细介绍其工作原理,以提高采矿作业的安全性;常嘉义[9]等利用运动的方法检测出高于地面的物体,并建立图像信息的三维模型,以实现障碍物的检测;马世典[10]等在Bootstrap理论的基础上,构建出小样本的泊车系统精度评价函数,以辅助驾驶人员进行精确泊车;陈烁华[11]等利用Sobel算法以突出物体的边缘,并采用Hough算法检测出其边缘区域,使驾驶人员更加直观地把握车身四周情况.

综上所述,研究人员对泊车辅助系统进行了大量研究,并取得了一定的研究成果,但经配准后图像融合的效果较差,不能较好满足视觉的要求.为了解决上述问题,在现有研究的基础上,提出了一种渐入渐出的图像融合算法,对重合区域的图像信息进行融合,以解决全景图像视觉效果较差的问题.

1 图像融合原理

图像融合是图像处理领域的一个重要研究分支,通过将多幅图像信息按一定规则进行融合,以得到一幅清晰完整的图像信息,从而有效地改善融合后的图像视觉效果.传统的图像融合是将待融合图像信息进行叠加,并除以其图像的总数,从而得出重合区域图像灰度平均值.该方法权值大小相对固定、计算量相对较小,然而其融合效果不佳,不同图像之间的连续性较差,不利于视觉的观看效果.

为了克服融合后图像的不连续性,现采用一种渐入渐出的图像融合算法对配准后图像进行融合,以改善图像的视觉效果.渐入渐出图像融合算法的权值大小随着融合像素位置的改变而变化,当待融合像素位置在重合区域边界上时,与其接近的源图像权值大小为1,另外一幅源图像权值大小为0;当待融合像素位置远离该边界而向另一个边界靠近时,上述权值大小1会逐渐减小,而权值大小0会逐渐增大;当待融合像素位于重合区域的相对应边界上时,上述权值大小1会减小为0,而权值大小会增大到1.其融合算法模型原理图如图1所示.由图1可知,四边形abcd表示待融合图像1、2的重合区域,m表示重合区域上某一像素点,l1、l2、l3、l4分别表示点m到重合区域边界的垂直距离.如果l1＜l2、l3＜l4,则像素点m到重合区域的边界最短距离分别为l1、l3,故可计算l1、l3分别占其之和的比例以确定其权值大小.通过上述的图像渐入渐出融合,像素信息由一幅图像向另一幅图像实现了逐步过渡,从而尽可能地保持融合后图像的连续性,以满足人们的视觉效果.

2 基于渐入渐出的图像融合算法

渐入渐出图像融合算法可分为两大步骤:第一步,待融合图像重合区域边界的确定,为后期的图像融合作准备;第二步,对确定出的重合区域进行图像信息融合处理,从而得出汽车四周的全景图像.以汽车前方、左侧图像进行融合算法的推导与计算,其渐入渐出图像融合算法示意图如图2所示.

2.1 重合区域的确定

假设待融合图像1、图像2已完全配准,并分别对其第一行与第一列进行扫描以确定第一次出现像素信息点的坐标,从而得出点a的坐标值,即(x1,y1).设待融合图像1、图像2的大小分别为m1×n1、m2× n2,可得关系式如式(1)、式(2)所示:

从而得出点b、c、d的坐标值分别为b(x1,y2)、c(x2,y1)、d(x2,y2),并通过上述的坐标值可确定重合区域的位置.

2.2 渐入渐出融合算法

待融合图像1、2的重合区域位置确定后,利用渐入渐出算法对该区域像素信息进行有效地融合处理.为了方便算法的演示以简化计算量,现以点m(x,y)进行计算公式的推导,设点m(x,y)距离线段ab、bc、da、cd的长度分别为l1、l2、l3、l4,则其表达式分别如式(3)～式(6)所示:

然后,分别将l1与l2、l3与l4进行比较以得出点m(x,y)到源图像1、图像2的最短距离l5、l6,其表达式分别如式(7)、式(8)所示:

由点m(x,y)到源图像1、图像2的最短距离计算出图像融合的权值大小p、q,其表达式分别式(9)、式(10)所示:

而待融合图像1、图像2分别表示为f1(x,y)、f2(x,y),则融合后图像为f(x,y),其关系表达式如式(11)所示:

从而最终完成重合区域图像的清晰融合,以改善图像的视觉效果.

2.3 图像融合的评价指标

通过上述的渐入渐出算法融合后,得到一幅汽车四周的全景图像,而全景图像的融合好坏可以直接用肉眼进行评价,以自己的主观感觉对融合后图像质量的优劣做出评价.然而这种方法过于简单,受人们的主观因素影响较大.为更加客观评价融合后图像的效果,且全景图像融合后视觉效果越清晰越好,故选取文献[12]所列出的融合评价指标(平均梯度与空间频率)对其进行评估,以说明所提出方法的优越性.其中,平均梯度反映融合后图像中微小细节的反差能力,当平均梯度越大时,图像的层次感越好,图像也就越清晰;而空间频率反映一幅图像空间域的总体活跃度,它包括空间的行频率与空间的列频率,当空间频率越大时,图像融合质量越好,融合评价指标的关系表达式如式(12)～式(15)所示.

平均梯度:

空间行频率:

空间列频率:

空间的频率:

3 实例验证

为了验证算法的可行性,现通过鱼眼镜头来采集图像进行融合实验,以仿真出汽车四周图像的采集效果,其中实验平台为window 7操作系统,CPU为3.3 GHZ,内存2 G,编程环境Matlab 7.1,鱼眼镜头采集图像如图3所示.图3由汽车前后、左右的4个鱼眼镜头采集,通过鱼眼图像畸变矫正算法校正与透视变换处理,并对其边缘进行裁剪以利于后期的全景图像融合实验,其待融合全景图像如图4所示.

由于上述融合算法是在图像配准完成的基础上进行的,故利用拼接软件进行位置的移动,其拼接后待融合图像如图5a所示.为了说明所提出方法的优越性,现以所提出方法进行全景图像融合实验,并将其与加权平均法融合后图像进行对比实验,其全景图像融合效果对比图如图5b、图5c所示.从图5b中可以看出,加权平均法融合后图像上存在明显的融合缝隙,且图像的重合区域依稀可见,相邻图像之间的连续性较差,不利于视觉的观看效果.从图5c可以看出,融合后图像的整体连续性较好,实现了从一张图像到另一张图像的渐变过渡,并有效地避免了融合后图像的视觉效果不佳的问题,提高了图像的整体连续性,改善了全景图像的视觉效果.

为了进一步说明所提出方法的优越性,现以上述所列出的融合评价指标对全景图像重合区域融合效果进行评估,其评价指标对比表如表1所示.从表1中可以看出,在4个全景图像融合区域上,所提出方法计算出的平均梯度与空间频率都要比加权平均法计算出数值更大,从而有效地说明所提出方法融合后图像的层次感更强、质量更好、清晰度更高.因此,渐入渐出图像融合算法有利于全景图像的融合,改善了图像的视觉效果.

表1 融合算法评价指标对比表

4 结论

由于汽车全景显示中相邻图像融合效果较差,从而在一定程度上影响了人们视觉效果.为了改善图像的融合效果,提高图像的清晰程度,本文提出了一种渐入渐出的图像融合算法,先由配准完成的全景图像确定出重合区域,然后计算出重合区域像素信息到源图像1、2的最短距离,并根据其之间的关系得出待融合图像的权值大小,从而最终完成汽车四周全景图像的融合.

[1] E N Malamas,E G M Petrakis,M Zervakis,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2] A Lucchi,K Smith,R Achanta,et al.Supervoxel-based segmentation of mitochondria in EM image stacks with learned shape features[J].IEEE Transactions on Medical Imaging,2012,31(2):474-486.

[3] 刘春晖,张文.2011款途锐驾驶辅助系统解析[J].新车新技术,2013,1(3):24-26.

[4] 周猛,乔瑞萍,王效鹏,等.基于Da Vinci的360度全景泊车影像系统的设计与实现[J].电子技术应用,2014,40(10): 20-26.

[5] 王旭东,王春香,杨明,等.一种基于环视相机的自动泊车方法[J].上海交通大学学报,2013,47(7):1 077-1 086.

[6] 程志江.遗传算法在自动泊车辅助系统模糊控制中的应用[J].模糊系统与数学,2010,24(3):160-167.

[7] 张宝龙,杨继超,李丹.基于CMOS图像传感器的车载高清全景成像系统设计[J].光学技术,2015,41(3):247-251.

[8] 程刘胜,吕小强,陈亚,等.矿用无轨胶轮车泊车辅助装置设计[J].工矿自动化,2014,40(7):19-21.

[9] 常嘉义,秦瑞,李庆,等.基于全景鸟瞰视图的障碍物检测方法研究[J].计算机科学,2014,41(11):78-82.

[10]马世典,江浩斌,吴狄,等.基于Bootstrap方法的自动泊车系统精度评价研究[J].机械设计,2014,31(12):71-74.

[11]陈烁华,冯桑,余刚,等.Sobel-Hough检测方法在机器视觉倒车辅助系统的应用研究[J].机械设计与制造,2011,2: 149-151.

[12]高超.图像融合评价方法的研究[J].电子测量,2011,7:30-33.

Panorama parking assist system based on image fusion

ZHANG Ping-gai,WEI Li-sheng∗,ZHOU Sheng-wen
(College of Electrical Engineering,Anhui Polytechnic University,Wuhu 241000,China)

The issue of fade-in-fade-out algorithm for panoramic image fusion of parking assist system was proposed to improve the visual effect of image fusion.The overlap region was determined by according to panoramic image of registration.And the coordinates of the boundary parameter were determine.Based on this,the shortest distance of the pixel coordinates to its borders was derived to determine the weighting of fusion algorithm.And these weights of image fusion were used.Then the panoramic image around the car was given.Finally,the examples were presented to verify the feasibility and effectiveness of the proposed results.

image fusion;fade-in-fade-out;overlap region;parking auxiliary

TH85＋5

A

1672-2477(2015)05-0058-05

2015-08-05

国家自然科学基金项目资助(61203033、61172131、61271377)

张平改(1990-),男,安徽马鞍山人,硕士研究生.

魏利胜(1978-),男,安徽巢湖人,副教授,博士.