基于双目视觉的三维全景图像生成技术研究

赵阳 谢驰港

摘要：设计开发了一套基于双目视觉的三维全景图像生成系统。首先对利用双目视觉平台获取的一对图像进行三维重获取了点云数据。然后将双目视觉平台旋转过一定角度，采集第二对图像再次生成点云数据，针对相邻两个时刻获取到的点云数据进行拼接，最后生成了具有较宽视角的三维全景图像。实验结果表明基于双目视觉生成三围全景图像仅仅利用两台工业相机便可生成具有较宽视角的三维全景图像，具有很好的性价比。

关键词：双目视觉 三维重建 点云预处理 点云匹配 点云拼接

中图分类号：TP18 文献标识码：A 文章编号：1007-9416（2016）07-0074-01

1 引言

在我们的日常生活，学习和工作中，我们通常会需要拍摄具有较宽视角的三维全景图像，当我们使用普通相机来拍摄这些视野较宽的全景图像时会遇到不能拍摄完整场景的情况，更不可能得到三维全景图像[1]。本文研究了一种基于双目视觉的三维全景图像生成技术。

2 获取点云数据

为了获取点云数据在进行图像采集之前需要进行相机标定，进行相机标定后在t1时刻采集具有部分重叠区域的图像left1与right1，再对双目视觉平台进行旋转一定的角度，在t2时刻采集具有部分重叠区域的图像left2与right2，然后对采集得到的每对图像分别进行稀疏匹配，图像校正，稠密匹配，三维重建生成点云文件cloud1，cloud2。在相机标定模块本文采用传统的相机标定法来实现相机标定，稀疏匹配采用Harris来找出特征点，RANSAC进行匹配。在对图像进行校正时采用的是Hartley方法，在进行稠密匹配时采用的是基于图像的最小切割立体匹配算法，三维重建采用的是最小二乘的欧氏空间三维重建方法，并用Open GL对生成的点云文件进行了显示。

3 点云拼接

具体拼接过程如下：

设双目视觉获取点云文件1中的所有点云所在的坐标系是O1X1Y1Z1，点云文件2中所有点云所在坐标系为O2X2Y2Z2。将坐标系O1X1Y1Z1中所有点云与坐标系O2X2Y2Z2中所有点云进行拼接，其实就是通过重叠区域的点云的坐标变换来将坐标系O2X2Y2Z2中所有点云变换到坐标系O1X1Y1Z1中。如公式（1）。在

公式（1）中R是比例和旋转因子，T为平移变换因子，如果求出了最佳的旋转矩阵R和平移矩阵T就可以把坐标系O2X2Y2Z2中所有点集转换到坐标系O1X1Y1Z1中就可以实现相邻点云文件的拼接[2]。

（1）

4 结语

拼接生成具有较宽视角的三维全景图像如图1所示。通过图1可以看出本文研究的基于双目视觉平台来获得三维全景图像的方案可以生获得具有较宽视角的三维全景图像。

参考文献

[1]耿晓玲.大视场视频全景图拼接方法研究[D].[硕士学位论文].青岛：中国海洋大学，2009.

[2]Besl P M，Kay N. A method for Registration of 3-D Shapes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence （PAMI），1992，14（2）：239-256.