基于真实场景的全景显示方法研究

章 盛， 李培华， 吉 涛， 刘玉莉， 季常刚， 周 萌

(中航华东光电有限公司， 安徽 芜湖 241002 ；安徽省现代显示技术重点实验室， 安徽 芜湖 241002；国家特种显示工程技术研究中心， 安徽 芜湖 241002；特种显示国家工程实验室， 安徽 芜湖 241002)

全景显示方法是近年来国内外研究热点，广泛应用于混合现实、航空航天与机器人等领域[1-3]。全景显示方法按照流程分为三个阶段:图像配准、图像融合和全景浏览。在图像配准阶段，1997年，S.M.Smith等人[4]提出SUSAN(Smallest Univalue Segment Assimilating Nucleus)算法，原理是使用含37个像素的圆形模板在图像上逐像素点检测，计算每个像素点的USAN(Univalue Segment Assimilating Nueleus)值，进而判断该像素点是不是特征点；1998年，Trajkovic等人[5]提出Trajkovic算法，是在SUSAN算法的基础上改进的算法，判断特征点的依据是通过圆形模板中心的直线与圆形模板边缘交叉的两个像素点与模板中心像素点的灰度值变化程度；Edward Rosten等人[6-7]提出了FAST (Features from Accelerated Segment Test) 算法，是在Trajkovic算法的基础上改进的算法，与SUSAN算法、Trajkovic算法的区别是将圆形模板边缘的连续16个像素与模板中心像素的灰度值变化程度作为判断依据；为了解决上述图像特征提取算法所存在的对尺度、光照和旋转敏感的问题，David Lowe等人[8-9]提出了SIFT(Scale Invariant Feature Transform)算法，对尺度、光照和旋转保持适应性，但存在图像配准时间长的问题；为了解决SIFT算法所存在的问题，2004年，Yan Ke等人[10]使用PCA (Principle Component Analysis)算法对图像特征描述符参数进行降维，降低了图像特征配准时间，得到PCA-SIFT算法；2006年，Herbert Bay等人[11]提出了SURF(Speed-Up Robust Features)算法，这种算法是在SIFT算法的基础上提高了图像配准速度，同时对尺度、光照和旋转保持适应性。在图像融合阶段，国内外常用的算法有直接平均算法、加权平均算法、多分辨率样条算法与最佳缝合线算法[12]。在全景浏览阶段，可以使用全景浏览框架进行全景显示[13]。全景显示方法能够实现人机交互、指南针指示、缩略图地形图导航与背景音乐场景音乐的切换等功能。

ORB(oriented FAST and rotated BRIEF)算法[14]作为全景显示方法的重要组成部分，在全景显示方法中起到承上启下的作用。本文针对传统ORB算法存在图像配准准确度不高的问题，提出使用双向匹配算法进行优化，首先使用ORB算法提取配准图像的特征点，然后使用配准图像甲的特征点匹配配准图像乙的特征点，得到图像匹配点对集合A，反之，得到图像匹配点对集合B，最后比较图像匹配点对集合A与图像匹配点对集合B中的匹配点对，相同匹配点对为最终匹配点对。

为了满足图像配准实时性要求，Rublee等人[14]在FAST算法与BRIEF(Binary Robust Independent Elementary Features)算法[15]基础上提出ORB算法，该算法图像配准速度快，但图像配准准确度不高，本文使用双向匹配算法提高图像配准准确度，即得到优化ORB算法。

1 全景显示方法

在全景浏览过程中，使用KRPano全景浏览框架对拼接图像进行处理[14]，实现全景浏览的基本功能，再使用XML语言实现全景浏览的辅助功能，如缩略图导航、场景语音介绍等。全景显示方法的实现流程框图如图1所示，其中图像配准、图像融合与全景浏览共三个阶段合并为全景显示方法，其中图像配准与图像融合两个阶段合并为图像拼接方法。

图1 全景显示方法的实现流程框图

1.1 传统ORB算法

第一步，提取特征点。ORB算法判断图像特征点依据是圆形模板边缘连续像素点与中心像素点的灰度值变化程度，本文ORB算法中使用FAST-9算法，即圆形模板的边缘连续9个像素点与中心像素点作比较。

第二步，分配特征点方向参数。ORB算法使用灰度质心算法分配特征点方向参数，灰度质心算法假定特征点的灰度和质心之间存在一个偏移向量，ORB算法使用该偏移向量表示特征点方向参数，邻域矩定义式如(1)式所示：

(1)

其中m代表邻域矩；I(x,y) 代表在(x,y)处的像素点灰度值；p,q∈(0,1)。

质心定义式如(2)式所示：

(2)

其中C代表质心；m10,m00,m01代表在(x,y)处的像素点邻域矩。

特征点的灰度与质心的夹角定义式如(3)式所示 ：

θ=arctan(m01,m10),

(3)

其中θ代表特征点的灰度与质心的夹角。

第三步，生成特征点描述符参数。ORB算法使用BRIEF算法生成特征点描述符参数，首先把坐标轴旋转到特征点方向，在特征点的S×S大小的图像邻域P的准则τ(P;x,y)如(4)式所示

(4)

其中P(x)代表平滑后的图像邻域P在x处的像素灰度值，P(y)代表平滑后的图像邻域P在y处的像素灰度值，本文S设定为8。

选取n对像素点进行二值测试，BRIEF特征描述符为n维的二进制比特串，定义式如

(5)

其中fn(P)代表n维的二进制比特串，n可以为128、256、512等，选择不同值需要在速度、存储效率和识别率之间权衡，本文选择256维的二进制比特串。

第四步，特征点匹配。传统ORB算法使用Hamming距离匹配算法进行单向匹配。Hamming距离是一个概念，主要用于二进制比较，表示针对相同长度的数码，不相同的对应位数量。设置一个适当的阈值与汉明距离结果值进行比较，筛选出正确的特征点匹配对。

1.2 优化ORB算法

首先，假定参考图像与待配准图像为一对配准图像，参考图像中特征点集为U，待配准图像中特征点集为V，然后以特征点集U中特征点Ui为对象，使用公式(6)遍历特征点集V中特征点，得到Ham的最小值与Ham的次最小值，即最近邻特征点V1j和次最近邻特征点V2j，如果Ham的最小值和Ham的次最小值满足公式(7)，则特征点集U中特征点Ui的对应匹配特征点为特征点集V中特征点V1j，遍历特征点集U中所有特征点，得到匹配特征点对集合。

⊕yi,

(6)

其中xi,yi代表两个描述符在第i位的比特值，⊕代表异或运算,Ham代表两个描述符的Hamming距离，Ham值越小，表示两个特征点相似度就越高。

(7)

其中Ham(Ui,V1j)、Ham(Ui,V2j)分别代表特征点集U中特征点Ui与特征点集V中最近邻特征点V1j、次最近邻特征点V2j的Hamming距离值，Tn代表设定的阈值，本文设定为0.8。

1.3 基于优化ORB算法的全景显示方法

本文首先使用优化ORB算法进行图像配准，再使用最佳缝合线算法进行图像融合，在进行图像融合前需要对原始图像进行扭曲与估计补偿曝光误差，经过图像配准和图像融合处理后得到拼接图像，将拼接图像作为KRPano全景浏览框架的输入素材，得到全景显示方法的基本框架模型。基本框架模型实现全景浏览的基本功能，主要包括场景信息，如视图、预览图与场景图像的设置。除了基本功能外，通过XML语言实现全景浏览的辅助功能，如背景音乐、场景音乐与地图导航功能。

2 实验验证

实验编程软件为Visual Studio 2008与OpenCV2.4.8，计算机使用Intel Core i3-3240 CPU @ 3.40 GHz 四核，内存为4 GB，操作系统为32位Windows 7。

本文使用Tsukuba大学立体视觉数据库中Tsukuba图像与Normal Brain Database中的MR_T1脑部医学图像作为实验一图像，其中图2 (a)—(b)是Tsukuba大学立体视觉数据库中发生水平位移的Tsukuba图像，大小为384×288像素，图2 (c)—(d)是Normal Brain Database中发生形变的MR_T1脑部医学图像，大小为250×190像素。

使用传统SIFT算法、传统SURF算法、传统ORB算法与优化ORB算法对实验一图像进行图像配准，得到的图像配准结果如图3所示。同时为了能够明确传统SIFT算法、传统SURF算法、传统ORB算法与优化ORB算法之间的效率，选择配准图像的特征点数、特征点匹配对数、特征点正确匹配对数、配准准确率、配准时间与配准时间下降率作为评判标准，其中配准正确率和配准时间下降率的计算公式如(8)、(9)所示

(8)

(9)

(a) Tsukuba左图像 (b) Tsukuba右图像 (c) MR_T1左图像 (d) MR_T1右图像

图3 图像配准结果图

图像配准定量分析图如图4所示。通过图4(b)可知，优化ORB算法与传统SIFT算法、传统SURF算法比较，图像配准准确率相当；与传统ORB算法比较，优化ORB算法使用了双向匹配算法进行图像匹配，图像配准准确率提高了9.67%；通过图4(d)可知，优化ORB算法与传统SIFT算法、传统SURF算法比较，优化ORB算法使用了FAST算法提取图像特征点，图像配准时间降低70.40%、41.52%；与传统ORB算法比较，图像配准时间相当。

图4 图像配准定量分析图

为了验证优化ORB算法的运行速度，从一个包含400对图像集合中，分别选取100、200、300、400对图像作为实验子集合，对传统SIFT算法、传统SURF算法、传统ORB算法与优化ORB算法的图像配准运行时间、图像配准准确率进行统计，结果如表1所示。通过表中可知，优化ORB算法与传统ORB算法相比，图像配准时间相当，图像配准准确率提高了11.98%；优化ORB算法与传统SIFT算法、传统SURF算法相比，图像配准准确率相当，图像配准时间下降了68.05%、48.10%。

表1 不同规模图像集合的运行时间、准确率比较

实验二以中航华东光电有限公司园区与安徽工程大学校园场景为对象，选择中航华东光电有限公司大门、中航华东光电有限公司标志建筑物、安徽工程大学东门、安徽工程大学东图书馆为验证场景点。针对验证场景点图像，首先使用优化ORB算法进行图像配准，再使用最佳缝合线算法进行图像融合，最终得到全景拼接结果二维显示图(如图5)；针对全景拼接结果图，使用KRPano基本框架和XML语言进行全景显示，三维空间显示如图6所示。此三维空间全景真实场景弥补了全景接拼图的不足，更加随意浏览不同角度场景。

(a) 中航华东光电大门 (b) 中航华东光电标志建筑物 (c) 安徽工程大学东门 (d) 安徽工程大学东图书馆

(a) 中航华东光电大门 (b) 中航华东光电标志建筑物 (c) 安徽工程大学东门 (d) 安徽工程大学东图书馆

3 结 论

ORB算法作为全景显示方法中最重要的部分，本文使用双向配准算法对其进行优化，得到优化ORB算法。通过将优化ORB算法与传统SIFT算法、传统SURF算法、传统ORB算法作对比实验，验证了该算法的普遍适应性。经过实例验证了优化后全景显示方法的实用性。

[ 参 考 文 献 ]

[1] 黄进,韩冬奇,陈毅能,等.混合现实中的人机交互综述[J].计算机辅助设计与图形学学报,2016,28(6):869-880.

[2] 周忠,周颐,肖江剑,等.虚拟现实增强技术综述[J].中国科学:信息科学,2015,45(2):157-180.

[3] 颜云辉,徐靖,陆志国,等.仿人服务机器人发展与研究现状[J].机器人,2017,39(4):551-564.

[4] SMITH S M,BRADY J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of Computer Vision,1997,23(1):45-78.

[5] TRAJKOVIC M,HEDLEY M.Fast Corner Detection[J].Image and Vision Computing.1998,16:75-87.

[6] ROSTEN E,PORTER R,DRUMMOND T.Faster and better: a machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,32(1):105-119.

[7] ROSTEN E,DRUMMOND T.Machine Learning for High-Speed Corner Detection[C]//European Conference on Computer Vision.Springer-Verlag,2006:430-443.

[8] LOWE D G.Object Recognition from Local Scale-invariant Features[C]//iccv.IEEE Computer Society,1999:1150.

[9] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[10] KE Y,SUKTHANKAR R.PCA-SIFT:A More Distinctive Representation for Local Image Descriptors[C]//IEEE Computer Society,2004:506-513.

[11] BAY H,TUYTELAARS T,GOOL L V.SURF:Speeded Up Robust Features[C]//Proceedings of the European Conference on Computer Vision,2006:404-417.

[12] EFROS A A,FREEMAN W T.Image Quilting for Texture Synthesis and Transfer[C]//Conference on Computer Graphics and Interactive Techniques.ACM,2001:341-346.

[13] 章盛.图像拼接算法的优化及漫游系统的研究[D].芜湖:安徽工程大学，2016.

[14] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:An Efficient Alternative to SIFT or SURF[J].Proc of Iccv,2011,58(11):2564-2571.

[15] CALONDER M,LEPETIT V,STRECHA C,et al.BRIEF:Binary Robust Independent Elementary Features[C]//European Conference on Computer Vision.2010:778-792.