基于单目几何的三维全景图研究与构建

苏泽清 刘忠艳 陈子韵 乔付

摘要：三维全景图广泛应用于房地产装潢、旅游景点、数字展馆等领域，提供了一种在虚拟场景中交互浏览的感觉，使用户有更强的身临其境的浏览体验，从不同方向角度来了解环境。本文从图像特征点提取、特征点匹配及图像融合等关键步骤进行阐述。最后，利用VS2012+Opencv开发工具，对实验室场景环绕360。采集5幅图像，完成全景图构建，效果良好。

关键词：特征点提取;特征点匹配;图像融合;RANSAC算法

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2021）14-0174-02

Abstract： Three dimensional panorama is widely used in real estate decoration， tourist attractions， digital exhibition halls and other fields， it provides a feeling of interactive browsing in the virtual scene， which enables users to have a more immersive browsing experience and understand the environment from different directions. This paper describes from the key steps of image feature point extraction， feature point matching and image fusion. Finally， using vs2012 + Opencv development tool， five images of the laboratory scene were collected around 360 degrees to complete the panorama construction， and the effect was good.

Key words： feature point extraction ;feature point matching; image fusion; RANSAC algorithm

三维全景图比传统的二维全景图提供了更直观和更加逼真的全景场景感觉，因此，广泛应用于房地产装潢、旅游景点、数字展馆等领域[1-5]。即可以弥补二维效果图信息量少、角度单一、立体感差的缺憾，又比通过矢量建模的三维虚拟全景技术经济实用。三维全景技术是通过把照相机在场景中环绕360°方向拍摄有重叠部分的一组场景照片，然后进行图像拼接形成一幅全景图像，可在移动终端或PC端用一个专用的播放软件浏览，让使用者能通过鼠标控制环视的方向，可左可右、可近可远观看物体或场景。三维全景技术可以为不在现场的用户提供身临其境的浏览感受，是真实场景的三维展现。另外，有一定的交互性，用户可以通过鼠标选择自己的视角，在任意位置点放大和缩小场景，移动及旋转场景等，如亲临现场般的环视、俯瞰和仰视的视觉感受。因此，研究三维全景图的构建具有重要意义。

1 全景图构建步骤

三维全景图的获取步骤如下。

（1）图像采集

通过摄像头连续采集多幅场景图像，相邻两幅图像要有一定的场景重叠，并把多幅图像按顺序传送给计算机。

（2）图像预处理

对获得的图像去除噪声、灰度化、平滑及滤波等处理，以确保后续操作的顺利进行。其中，噪声严重影响图像的视觉效果及图像的应用处理，因此，去除噪声是图像处理中必不可少的步骤，去除噪声的方法很多，中值滤波法是一种非线性的滤波技术，可以在一定条件下，克服线性滤波使图像细节变得模糊的情况，所以，本文在对采集的场景图像去除噪声处理时采用的是中值滤波法。中值滤波法[3]是一种非线性滤波技术，其原理是将数字图像中的每一个像素点的像素值用该点某个大小邻域窗口内所有像素点的中间的值来代替，使周围点的像素值更接近真实值，由此便可以达到抑制噪声的目的。

（3）特征点提取及配准

为了构建三维全景图，需要实现重叠图像的配准。其中基于特征点的配准应用较为广泛，进行特征点配准的两个主流算法为：SURF（Speeded Up Robust Features）和SIFT（Scale Invariant Feature Transform），由于SURF是一个积分图在Hessian矩阵上的使用以及采用降维的特征描述子，所以执行效率高于SIFT算法，因此，本文特征点提取采用的是SUFR算法完成的。首先对有重叠部分的相邻两幅图像利用SURF算法提取图像中灰度变化比较明显的点，以便形成特征点集，然后在得到的对应的特征点集中利用BBF（Best-Bin-First）查询算法，该查询算法能确保查询结果优先包含最近邻的空间，将存在对应关系的特征点对选择出来，根据RANSAC（Random Sample Consensus）算法剔除误匹配[6-8]。

SURF算法根据Hessian矩阵的行列式作为判别式来寻找局部极大值的方法来判别特征点，经过构建多尺度的图像金字塔，在不同尺度上寻找特征点。对提取的图像特征点，通过相似性度量找到相邻圖像匹配的特征点对，特征点匹配的方法就是构建数据索引，实际数据一般都会呈现簇状的聚类形态，因此，实现特征点的快速匹配就是通过索引树完成。索引树是一种树结构的索引方法，其中K-D树是典型的索引树，对数据点在K维搜索空间中进行划分。特征点集中所有的特征点都存在最近邻的点，但是只有处于左右两幅图像中相互重叠的部分的特征点的匹配点对才有可能是正确的。所以按照最近邻查找结束后，左右两幅图像中找到大量的错误的匹配点对，这些错误的匹配点对会对后期的图像拼接及融合产生严重影响，因此必须去除这些错误的配点对。本文采用RANSAC法对匹配点对进行去除误匹配。

（4）图像拼接融合

利用照相机360°方向拍摄场景图像的过程中，不可避免地受光照、拍摄场景等因素的影响，使图像会有亮度及颜色的差异。如果对图像不进行预处理就直接把图像拼接在一起，这样得到的拼接图像肯定会在存在明显的拼接缝隙，严重会导致重叠区域的模糊以及失真等情况。所以，必须选择相应的图像融合算法来处理图像，要求在实现无缝拼接的同时尽量不要损失原始图像信息。因此，图像融合是构建三维全景图中至关重要的一步。

目前，图像融合算法有很多，大致分两大类：空间域图像融合算法和变换域图像融合算法。其中基于变换域图像融合算法中的小波变换法，由于其具有良好的时频局部化分析特性以及多分辨率特性，是目前进行图像融合的主流方法。本文采用基于小波变换的图像融合算法来进行重叠图像的融合处理。首先将图像分解为低频一系列的低频背景轮廓信息和高频的图像细节信息，并且每一次分解都使图像的分辨率降为原来的一半，接着应用不同融合准则在不同的特征域中进行融合，进而利用小波变换的逆变换算法构造所有频率上的图像拼合成原分辨率下的全景图像，融合效果良好而且具有很高的应用价值。

2 实验

实验采用VS2012+OpenCV作为开发工具，基于单摄像头的三维全景图构建系统主界面如图1所示。打开摄像头，连续采集多幅具有一定重叠区域的场景照片，图片进行去噪、截取等预处理，然后提取特征点、完成特征点的匹配，最后通过融合，获得场景的三维全景图。连续采集实验室场景的5幅图像如图2所示。由5幅图像拼接、融合后的三维全景图如图3所示。

3 结论

本文主要介绍了基于单目的三维全景图系统的构建原理，通过实验验证了采用本文方法获得的三维全景图效果较好，可以满足人们的视觉感受的需求。

参考文献：

[1] 刘忠艳，房俊龙，田淑梅.广义Morse小波在物体三维轮廓测量中的应用[J].计算机工程与应用，2017，53（23）：190-196，229.

[2] 韩松卫.运用特征点匹配的图像快速拼接算法研究[D].天津：河北工业大学，2011.

[3] 何昌鸿.基于FPGA的GigE高速图像采集及处理系统的研究与应用[D].抚州：东华理工大学，2019.

[4] 邓敬宏，张粉层.720°全景技术在土地房产交易平台的应用[J].地理空间信息，2020，18（8）：110-113，8.

[5] 刘衍，张沫岩，陈睿昕，等.基于全景图的城市街区太阳日总辐射计算方法对比[J].建筑节能，2020，48（7）：53-57.

[6] 王殿伟，韩鹏飞，刘颖，等.低照度全景图像增强处理研究进展[J].西安邮电大学学报，2018，23（5）：48-53.

[7] 黄春凤，刘守山，别治峰，等.改进的SURF算法在圖像匹配中的应用[J].现代电子技术，2020，43（10）：111-115.

[8] 丁辉，李丽宏，原钢.融合GMS与VCS+GC-RANSAC的图像配准算法[J].计算机应用，2020，40（4）：1138-1143.

【通联编辑：唐一东】