基于图像拼接技术的电子对景图制作技术*

郑亚波,王　科,郭海亮

(海军大连舰艇学院,辽宁大连　116018)



基于图像拼接技术的电子对景图制作技术*

郑亚波,王科,郭海亮

(海军大连舰艇学院,辽宁大连116018)

摘要:针对当前对景图制作存在的问题,提出了一种基于图像拼接技术的电子对景图的制作技术,该技术采用SIFT算法提取海区图像的特征点,使用RANSAC算法对特征点进行精确提纯,最后使用加权平均法实现图像的平滑过渡。实验表明该技术可实现海区图像的无缝拼接,真实感强。

关键词:图像拼接;电子对景图;SIFT算法;RANSAC算法;加权平均法

陆标定位和导航是保证船舶沿岸航行安全的主要手段之一,也是航海人员必备技能之一,而正确地识别岛岸物标则是准确定位和导航的前提。对景图作为陆地和海上物标与船舶相对位置的缩影,可以有效地帮助航海人员辨别复杂海区目标相对位置、识别航向水道和转向目标,从而保证船舶的航行安全。

目前,许多国家的海图和《航路指南》等航海资料中都插有对景图,这为船舶安全航行提供了非常有利的条件,但在实际使用中也暴露出一些问题,如:对景图的数量有限,清晰度不够高,图幅不够广,展现的细节不够多等,而全景图拼接技术正好可以解决这些问题。

全景图拼接技术是将数张有重叠部分的图像拼接成一幅大型的无缝高分辨率图像的技术,目前全景图像已经成为计算机仿真、计算机视觉模拟、图像处理和计算机特效以及虚拟现实研究中的热点和关键技术,在地质勘测、军事侦查、航空航天以及视频会议等多个领域发挥着重要作用。全景视图可提供一种在虚拟场景中交互式浏览的感觉,为用户提供了极大的观察自由度,用户可在场景之间自由切换漫游,使之可从不同的观察点和方向了解环境。

本文首先介绍对景图制作技术的现状,针对其存在的不足,提出了基于图像拼接技术的新型电子对景图概念,然后对电子对景图制作技术的原理和步骤进行描述,实现了海图景象的真实重现。

1对景图制作技术现状

当前,国内外所使用的对景图主要通过两种手段获取:一是海上素描,二是现场拍照。海上素描便于组织实施,使用的器材较简单,是制作对景图的重要手段,目前,中版航海资料中的对景图大多是素描图。但素描对景图对制图人员绘画功底和船舶的运动状态要求较高,绘制花费时间长,绘制的对景图并不清晰直观,精度和清晰度不足。因此,国外的航海图书资料更多采用现场拍照对景图。现场拍照对景图对拍摄人员和船舶运动状态要求低,制作速度快,目标相对位置准确,图像清晰直观,精确度高,真实感强,可见,现场拍照对景图是航海对景图发展的趋势。但目前国内外的现场拍照对景图只是一些显著助航标志、建筑物等的单幅照片,展现的海域不够广阔,不能反映整个海区的景观全貌,且这些对景图以出版物的形式发行,受版面限制涵盖的范围有限,不方便查看和调阅。因此,研究视域较大的新型电子对景图制作技术对于船舶航行安全具有重要的实际意义。

2图像拼接原理

全景图通常是将反映各自投影平面的相互重叠图像映射到几何体表面上后,再对投影图像进行无缝拼接而成的。根据所映射的几何体不同,全景图可分为球面全景图、立方体全景图和圆柱面全景图。球面和立方体全景图能够完整地反映整个视点空间,展现的信息比较全面,但在图像合成算法和投影算法等方面难度较大,处理时间过长。柱面全景图虽只能反映视点附近局部空间信息,但其算法相对简单,数据采集相对容易,且柱面全景图可直接展开成矩形图像,查看调阅方便。由于航海上使用的对景图只关注海面附近岛屿、助航标志、危险物等物标信息,并不需要天空和海面信息,因此,柱面全景图可较好地表达出海区环视环境,能够满足对景图制作的基本要求,且实现起来相对容易。

电子对景图的拼接分为图像获取、图像配准和图像融合三个步骤。

2.1海区图像获取

目前,获得图像序列的方法有很多,考虑到经济性和拍摄条件的限制,本文采用回转连续拍摄法获取图像素材,即:拍摄者手持相机,采用定点旋转的拍摄方式获取图像数据。该方法仅需一台单反数码照相机,方便实用。拍摄时有以下要求:

1)定焦按序列拍摄,相邻图像间应有重叠区域,且不宜过大或过小,过大会导致匹配特征点过多,计算量过大,过小会导致无法进行准确的匹配,理想的重叠区域为单张图像宽度的20%-30%;

2)尽量缩短拍摄时间间隔,拍摄者所处的船舶航速不能太快,最好静止,否则视点位置变化过大,会增大拼接难度,甚至出现“鬼影”现象;

3)尽量避免图片素材中出现动态物体(例如:航行的船舶),以免拼接时出现“鬼影”现象;

4)如无法避免动态物体,应当缩短拍摄时间间隔,并控制动态物体在重叠区域之外;

5)图片素材要尽量以水天线为中线,避免错落起伏。

一方面，对于中型水电站来说，调度系统以及远程监控设计比较复杂，如果为梯度开发的水电站，需要组成水电站无人值班梯级调度系统，并要保证监控网运行的可靠性与稳定性。监控系统的设计可以选择双星型以太网或者环形以太网，以水电站运行规模为基础，配置工作站、视频工作站以及各种服务器等，一般情况下可以选择用LED显示屏或者是DLP数字拼接墙等。另外应该选择用2根光纤通讯通道来保证通讯的可靠性。另一方面，对于小型水电站监控系统的设计，为了实现经济性原则，可以选择双以太网或者单环形以太网组成，并以水电站实际需求配置相关设备，同样选择用2根光纤通讯通道，或者是在保证通讯可靠性的情况下选择其他通道[3]。

2.2图像配准

图像配准是图像拼接的关键技术,目前,图像配准技术有很多,而基于图像特征的配准方法由于具有适用范围广,拼接效果好,计算量小等优点,得到了广泛的应用,该方法首先在相邻两幅图像提取特征点,通过相似性度量找到匹配的特征点对,然后匹配得到图像空间坐标变换参数,最后进行图像配准。其中,特征点提取和匹配是配准技术的核心。

2.2.1特征点提取

船舶和拍摄位置的变化会导致输入的海区图像序列在视角和尺度上存在噪声,为了克服噪声干扰,本文采用SIFT算法进行图像序列特征点的提取[1]。

SIFT(尺度不变特征变换匹配)算法是一种基于不变量技术的特征描述算法[2-4],可在空间域和尺度域上同时进行特征点的计算和提取,所提取的图像局部特征不仅对平移、缩放、旋转变换具有不变性,而且对视角变化、光照变化、仿射变形、加性噪声等影响也具有较高的容忍度,能够正确地提取尺度和视角变化较大的图像序列中的特征点,非常适宜海上复杂环境中所拍摄图像的特征点提取。

SIFT算法可在视角、光照等条件产生变化的情况下查找图像间的不变性特征,并识别出图像间的相同特征,利用统计法对这些不变量进行分析,并从多方面进行限制与筛选,进而在选择候选特征点时充分根据配准的需要提取出稳定的特征描述。

SIFT提取特征点一般包括以下4个步骤[5]:

1)构建高斯差分(DOG)金字塔,进行尺度空间上极值检测,确定候选特征点;

2)对候选特征点进行进一步检验,通过曲线拟合去除低对比度的特征点和不稳定的边缘特征点,精确定位关键点;

4)用128维的向量(包括位置、尺度、方向等信息)表示每个特征点,生成用于图像特征点匹配的图像特征点描述符。

2.2.2特征点匹配

提取特征点之后,可通过计算相邻两幅图片之间特征点的欧氏距离进行特征点匹配。具体过程是:在待配准的图像上选取一个点,从参考图像中选取与该点欧氏距离最近的前两个特征点,然后计算出其欧氏距离的比值,若该比值小于设定的匹配度阈值,则认为匹配成功。

2.2.3图像配准

运用SIFT算法可以获取2幅图像的粗匹配点对,抽取粗匹配点对经过齐次坐标变换,可得到变换矩阵的公式。但由于SIFT算法并不能实现精确匹配,粗匹配点对中存在误匹配点对,在误匹配的情况下得到的变换矩阵往往不稳定。因此,为了提高图像配准的精度,本文利用容错能力很强的RANSAC算法进行检错,剔除误配点对, 通过反复迭代对图像变换矩阵进行求解与精炼。

2.3图像融合

根据相邻图像间的变换矩阵,可以对相应图像进行变换以确定图像间的重叠区域,从而实现图像的拼接。但由于相邻图像在亮度和色差上有差异,并且普通数码相机拍摄的海区照片边缘往往存在失真现象,导致了全景图中相邻两幅图像间会出现很明显的边界,影响拼接图像的质量,因此,必须对拼接后的图像进行融合,使相邻图像重叠区域过渡得更加自然、平滑。目前,解决这一问题的方法有直接平均法、加权平均法、中值滤波法、基于塔形分解的图像融合方法和多分辨率样条技术融合法等[6-7],本文采用加权平均法进行图像融合。

3实验结果

图1　原始海区图像序列

图2　局部拼接效果图

图3　电子对景图

图4　素描对景图

图5　局部放大图

实验选取8张通过回转连续拍摄法拍摄的某海区的场景照片进行实验,每张照片原始的像素为5184×3456。图1为利用数码相机在某海区拍摄的海区景物图像序列,图2为前两张图像的拼接效果图,可以看出利用本文方法可以实现相邻图像的平滑无缝拼接。图3为拼接后该海区的电子对景图,拼接后的图像视野范围得到了很大的扩展。实验表明电子对景图可以从多方位、多距离、多视角展现航经海区的陆标、助航标志、碍航物等情况,具备视角多样,视域广阔的优点,相较图4的素描对景图,电子对景图展现的场景更加精细,层次感更强。如图5为将电子对景图方框部分放大后某个岛屿的图像,可见电子对景图所展现的岛屿、助航标志的细节信息更显细腻详尽,具有真实逼真的优点,可为航海人员带来全方位、身临其境的感受,从而使航海人员可以更加快速、准确地了解海区情况。

4结束语

本文提出了一种基于图像拼接技术的电子对景图制作方法。通过采用实景场景拍摄和全景拼接技术将航行海区的陆标以全景图的形式展现出来,真实感强,相较传统的对景图,具备视角多样,视域广阔，图像逼真，细节细腻，数据量小等优点,可为航海人员带来全方位的真实感受。电子对景图制作技术对硬件要求低,开发周期短,开发成本低,推广使用简单,经济性非常好。

参考文献:

[1]宗岩,王阳萍,刘萍. 改进的基于特征点的图像拼接融合算法[J].兰州交通大学学报,2012,31(1):89-92.

[2]Brown M,Lowe D. Recognizing Panorama[C]∥Proc. of the 9th International Conference on Computer Vision, Nice, France:[s.n.].2003:218-225.

[3]Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004, 60(2):91-110.

[4]张炜,刘伟,普杰信. 一种基于SIFT和区域选择的图像拼接方法[J]. 微电子学与计算机,2010,27(6):205-207.

[5]郝飞,陈文艺. 基于特征点匹配的图像拼接方法[J]. 西安邮电学院学报,2012,17(1):87-91.

[6]张晓亮,李丽. 全景图拼接技术研究及应用[J]. 现代计算机,2011，16(8):27-29.

[7]赵向阳,杜利民. 一种全自动稳健的图像拼接融合算法[J]. 中国图象图形学报,2004，9(4):417-422.

Electronic Front View Making Technique Based on Image Mosaic Technique

ZHENG Ya-bo, WANG Ke, GUO Hai-liang

(Dalian Naval Academy, Dalian 116018, China)

Abstract:Aimming at the making problems of the front view currently, a new electronic front view making technique based on image mosaic technique is proposed. This technique adopts SIFT algorithm to extract feature points and RANSAC algorithm to filter those feature points exactly. Finally the method of weighted mean is used to realize images transition smoothly. Experimental results show that the electronic front view making technique can realize the sea area images mosaic smoothly and provide a strong sense of reality for seamen.

Key words:image mosaic; electronic front view; SIFT algorithm; RANSAC algorithm; method of weighted mean

中图分类号:TN966；E992.2

文献标志码:A

DOI:10.3969/j.issn.1673-3819.2016.02.025

作者简介：郑亚波(1985-),男,湖北襄阳人,硕士研究生,助教,研究方向为军事航海以及水面舰艇战斗。郭海亮(1984-)，男，本科。

*基金项目：国家自然科学基金项目(61273262)；辽宁省自然科学基金项目(2015020086)；2015年度海军大连舰艇学院科研发展基金资助军事学术项目

收稿日期：2016-01-08

文章编号：1673-3819(2016)02-0120-03

修回日期： 2016-02-16

王科(1979-)，男，讲师。