双目视觉三维点云重建的误差度量模型

卞玉霞，刘学军，王美珍，周 业，甄 艳

(1. 成都信息工程大学资源环境学院，四川 成都 610225； 2. 南京师范大学虚拟地理环境教育部重点实验室，江苏 南京 210097； 3. 四川省第三测绘工程院，四川 成都 610501)

双目视觉三维点云重建的误差度量模型

卞玉霞1，刘学军2，王美珍2，周 业3，甄 艳3

(1. 成都信息工程大学资源环境学院，四川 成都 610225； 2. 南京师范大学虚拟地理环境教育部重点实验室，江苏 南京 210097； 3. 四川省第三测绘工程院，四川 成都 610501)

从图像中快速提取并构建三维模型是GIS空间数据获取的重要途径之一，作为智慧城市建设的基础数据，如何度量和控制图像三维模型质量成为阻碍智慧城市发展的首要问题。本文以立体像对为数据源，在研究三维点云重建模型的基础上，结合矩阵微分理论和协方差传播律构建了双目视觉三维点云误差度量模型及量化表达方法，为图像三维建模质量控制和精度评估提供理论依据。

双目视觉；三维点云；误差；协方差传播律

与人类视觉水平相比，基于双目视觉原理重建的三维模型显得较为粗糙，如：人脸识别会因光线、阴影或表情等变化而得不到有效检测；地理场景的三维重建与实际不完全一致，特别是地理环境中的风吹草动识别的准确度远不及静态场景。双目视觉三维重建的精度如何？精度受哪些因素影响？诸如此类问题[1]影响着数字城市建设及智慧城市的应用和发展。

双目视觉三维建模是图像三维建模的重要分支，其误差受不同工作环节的影响。在三维重建的误差领域，众多学者基于双目视觉的结构参数对三维误差的影响进行了研究[2-8]，如摄像机光轴夹角、基线距离和方向、焦距、畸变系数等、空间点位与摄像机方位关系等。Fooladgar[6]研究了图像量化误差引起的三维误差及分布，构建了两斜锥相交的三维点位置的几何误差模型。Debei[9]、唐巍[5]和Belhaoua[10]等研究了特征点定位(识别)误差对三维误差的影响，也有针对摄像机标定对三维误差影响的研究。

有关双目视觉三维重建误差的研究较多集中于影响因子的定性分析，缺少定量研究。本文结合矩阵微分理论研究双目视觉三维点云重建的误差传播，在此基础上构建双目视觉三维点云重建误差的度量模型，为双目视觉三维模型误差提供度量方法，为图像三维建模质量控制和精度评估提供理论依据。

1 双目视觉三维重建原理

若从两个视点观察同一场景，在获取不同视点图像的基础上，基于视差原理可恢复物体的三维几何信息，图1是双目视觉三维重建技术的流程。从图中可以看出，构建三维模型受特征匹配、基础矩阵估计、摄像机自标定、三维点云恢复、稠密匹配等环节的影响，其中点云精度对稠密匹配、三维模型的影响至关重要。

图1 双目视觉三维重建流程

若已知空间点位坐标X、摄像机内部参数K、旋转矩阵R和平移向量T，根据小孔成像原理可以求得图像中对应的特征点坐标x

(1)

在双目视觉三维点云重建过程中，特征匹配能够寻找立体像对的同名特征点x，基础矩阵估计能够估算图像之间的对极几何关系F，摄像机自标定能够计算立体像对的摄像机内部参数K，在求解立体像对之间旋转矩阵R和平移向量T的基础上，根据式(1)即可求得三维点云坐标X。结合旋转矩阵R和平移向量T的可分解性(R=UWVT，T=UB)，以及正交矩阵U、V、W的特性(UT=U-1,VT=V-1,WT=W-1)，三维点云X可以表示为

X=VWT(UTK-1x-B)

(2)

2 三维点云误差模型

如图1所示，立体像对获取、特征匹配、基础矩阵估计、摄像机自标定等各环节不可避免地会引入误差，这些误差被传播并逐渐积累和放大，直至影响三维模型的精度。为此，本文拟以双目视觉三维重建原理为研究对象，研究三维点云重建过程中的误差传播。

式(2)中，数值型函数X的自变量有：矩阵型变量U、V、K和x。结合全微分相关理论，可得三维点云X的微分表达式

dX=dV⊗(WTUTK-1x-WTB)+(VWT)⊗

(dUT⊗(K-1x)+UT⊗d(K-1)⊗x+UTK-1dx)

(3)

RTK-1Kd(RX+UB)+RTK-1xd

(4)

又，本质矩阵E=UDVT，则

(5)

需注意的是，本质矩阵E有2个相同特征值，第3个特征值为0，即矩阵D=g×diag(1,1,0)，由此可以认为，式(5)中Ud和Vd的第3列微分均为0向量。鉴于上述情况，U和V的微分形式应该表示为

(6)

式中，Ud3和Vd3分别表示U3和V3的微分量，而U3和V3是利用立体像对中图像对极点的坐标向量表示的。又，R=UWVT，T=UB，则

(7)

此时

(8)

将式(8)代入式(6)，可以表达Ud和Vd。

综合上述分析，在已知Ud、Vd、Kd、Fd和xd等情况下，结合式(4)，即可实现三维点云X的微分表达

(9)

在双目视觉三维点云重建中，基础矩阵F和摄像机内部参数K是依据特征匹配点x集合求得的，与任意一组特征匹配点x的关联不大，因此本文三维点云误差不考虑基础矩阵F、摄像机内部参数K和特征匹配点x之间的关联性。若已知Fd、Kd、xd的协方差，结合矩阵协方差传播律，则可以实现三维点云误差(协方差DX)的估算

(10)

式中，DK表示摄像机内参矩阵K的误差——9×9协方差矩阵；Dx表示匹配点的误差——3×3协方差矩阵；DU、DV是由本质矩阵E分解为U、V的协方差阵。

式(10)中，基础矩阵F和摄像机内部参数K均是基于特征匹配点x求得的，特征匹配点是双目视觉三维重建的基础数据。若仅考虑特征匹配点对三维点云误差的影响，三维点云的协方差矩阵：DX=RTK-1DxK-TR。由此认为，三维点云误差与摄像机内部参数成反比，摄像机焦距越大，三维点云误差越小；与摄像机外部参数成正比，摄像机的旋转矩阵越大，三维点云误差也越大；随匹配点位误差变化而变化，图像边缘比像主点的三维点位误差大。

3 试验分析

3.1 试验数据

图2是室外标定场数据，图中分布着大量的标定点，这些标定点具有真实空间点坐标。图2(a)是基准图像，图2(b)是相应的匹配图像，图中加号“+”表示基于SIFT模型提取的特征点，两幅图像中相同编号的特征点组成了一组特征匹配点。

图2 以标定场为数据源的立体像对

本文仅针对图2中均匀分布在图像不同位置，且在标定场中具有真实点位坐标的三维点云坐标及其误差进行分析。表1是基于上述立体像对重建的三维点云与标定场坐标的对比结果。

表1 重建的三维点云与标定场坐标的对比结果 m

3.2 结果分析

4 结 语

本文结合矩阵微分理论在研究非线性三维点云重建模型线性化的基础上，构建并验证了双目视觉三维点云误差模型。该模型与摄像机内部参数成反比，摄像机焦距越大，三维点云误差越小；与摄像机外部参数成正比，摄像机的旋转矩阵越大，三维点云误差也越大。

需要说明的是，本文是在假设特征匹配点、基础矩阵和摄像机内部参数矩阵相互独立的基础上，运用协方差传播律进行的双目视觉三维点云重建误差的研究。下一步将深入研究特征匹配点、基础矩阵和摄像机内部参数之间的关联性。

表2 双目视觉三维点云重建的误差

[1] 黄健,王继.多视角影像自动化实景三维建模的生产与应用[J].测绘通报,2016(4):75-78.

[2] XU G,LI X,SU J,et al.Precision Evaluation of Three-dimensional Feature Points Measurement by Binocular Vision[J]. Optical Society of Korea,2011,15(1):30-37.

[3] SEDLAZECK A,KOCH R.Perspective and Non-perspective Camera Models in Underwater Imaging—Overview and Error Analysis[M]. Berlin:Springer Berlin Heidelberg,2012: 212-242.

[4] ZHANG T,BOULT T.Realistic Stereo Error Models and Finite Optimal Stereo Baselines[C]∥Proceedings of IEEE Workshop on Applications of Computer Vision. Kona: IEEE, 2011:426-433.

[5] 唐巍,叶东,袁峰,等.均匀设计与灰色理论应用于视觉系统误差分析[J].仪器仪表学报,2013,34(2): 371-378.

[6] FOOLADGAR F,SAMAVI S,SOROUSHMEHR S,et al. Geometrical Analysis of Localization Error in Stereo Vision Systems[J].Sensors Journal, 2013,13(11):4236-4246.

[7] 肖志涛,张文寅,耿磊,等.双目视觉系统测量精度分析[J].光电工程,2014,41(2):6-11.

[8] LU B,LIU Y,SUN L.Error Analysis of Binocular Stereo Vision System Applied in Small Scale Measurement[J].Acta Photonica Sinica,2015,44(10):1-6.

[9] DEBEI S,ABOUDAN A,COLOMBATTI G,et al. Lutetia Surface Reconstruction and Uncertainty Analysis[J].Planetary and Space Science,2012,71(1):64-72.

[10] BELHAOUA A,KORNMANN A,RADOUX J P.Accuracy Analysis of an Augmented Reality System[C]∥Intornational Conference on Signal Processing. Hangzhou: IEEE,2014:1169-1174.

[11] 陈杰春,丁振良,袁峰.三维重构不确定度的两阶估计方法[J].光学精密工程,2008,16(6): 1110-1116.

[12] LEO G,LIGUORI C,PAOLILLO A.Covariance Propagation for the Uncertainty Estimation in Stereo Vision[J].Instrumentation and Measurement,2011,60(5):1664-1673.

[13] OTERO J,SANCHEZ L.Soft Methods for Bounding the Uncertainty of Stereo Calibration and Triangulation[C]∥2013 IEEE International Conference on Fuzzy Systems. Hyderabad: IEEE, 2013: 1-8.

ErrorMetricModelfor3DPointCloudReconstructionBasedonBinocularVision

BIAN Yuxia1，LIU Xuejun2，WANG Meizhen2，ZHOU Ye3，ZHEN Yan3

(1. College of Resources and Environment, Chengdu University of Information Technology,Chengdu 610225, China; 2. Ministry of Education Key Laboratory of Virtual Geographic Environment, Nanjing Normal University, Nanjing 210097, China;3. The Third Surveying and Mapping Engineering Institute of Sichuan, Chengdu 610501,China)

Rapid extraction and construction of 3D model from the images play an important role in the spatial data acquisition. Considering the basic data of smart city construction, how to measure and ensure the accuracy of images-based 3D model reconstruction will become one of research questions. Firstly, the model of 3D point cloud reconstruction need to be studied, and then binocular vision 3D point cloud error metric model and quantitative expression method can be constructed, based on the matrix theory and differential covariance propagation law. This research would provide a theoretical basis for the quality control of 3D image modeling and accuracy assessment.

binocular vision;3D point cloud;error;covariance propagation

卞玉霞，刘学军，王美珍，等.双目视觉三维点云重建的误差度量模型[J].测绘通报，2017(11)：64-67.

10.13474/j.cnki.11-2246.2017.0349.

P237

A

0494-0911(2017)11-0064-04

2017-02-22

国家自然科学基金(41601422；41401436；41401442)；四川省教育厅科研计划项目(17ZB0089)；成都信息工程大学校引进人才启动项目(KYTZ201606)；成都信息工程大学校选项目(CRF201610)

卞玉霞(1987—)，女，博士，讲师，主要研究方向为视频GIS、空间数据不确定性等。E-mail: byx310@163.com