基于立体成像技术的三维环境设计建模方法研究

田婧

摘  要： 针对环境设计中的三维建模需求，文中在非平行双向立体投影框架下，提出基于立体匹配算法的三维环境建模方法。通过构造并最小化匹配代价函数计算最优三维建模坐标，为了进一步提高三维建模的精度，文中采用基于图像深度提取的重构优化补偿算法。该算法可以利用像素几何关系提取深度信息并反解三维坐标，优化补偿重构误差。仿真验证与数据分析结果表明，文中所提算法在空间多点三维建模中的误差精度较小，且在相同环境下的重构精度和复杂度方面的性能明显优于现有三维重构算法，具有一定的工程实用价值。

关键词： 环境设计; 三维建模; 立体成像; 匹配代价函数; 重构误差; 仿真验证

中图分类号： TN948.47?34                          文献标识码： A                     文章编号： 1004?373X（2020）24?0072?03

Research on 3D environment design modeling method based on stereo imaging technology

TIAN Jing

（Institute of Information Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A 3D environment modeling method based on stereo matching algorithm is proposed under the framework of non?parallel bidirectional stereo projection to satisfy the requirements of 3D modeling in environment design. The optimal 3D modeling coordinates are calculated by constructing and minimizing the matching cost function. The reconstruction optimization and compensation algorithm based on image depth extraction is adopted to further improve the accuracy of 3D modeling. This algorithm can be used to extract depth information， inversely solve 3D coordinates， and optimize and compensate the reconstruction errors by using the pixel geometric relationships. The simulation verification and data analysis results show that the proposed algorithm has less error precision in spatial multi?point 3D modeling， and its performance of reconstruction accuracy and complexity in the same environment is obviously better than existing 3D reconstruction algorithms. It has a certain practical value in engineering.

Keywords： environmental design; 3D modeling; stereo imaging; matching cost function; reconstruction error; simulation verification

0  引  言

隨着虚拟现实技术的发展，三维环境设计和建模技术得到了较为广泛的关注[1]，在网络虚拟辅助、城市规划和3D游戏设计方面均得到一定的应用[2?3]。但现有的三维建模方法重构误差精度较大，在诸多领域中尤其是环境设计方面的实用性受到限制[4?6]。环境设计的三维建模对所需要的立体还原度较高。基于单视角的重构方法还原精度有限[7]，基于双视角多维数据的三维建模方法成为主流[8]。在多向三维建模框架下，基于纹理映射的环境建模方法在一定程度上可以实现立体还原[9]。为了进一步提高建模精度，基于学习感知类的三维方法得到了广泛研究[10?13]。面向环境设计的需求，本文提出基于立体成像技术的三维建模方法。在非平行双向立体成像框架下，提出利用立体匹配方法，通过最小化匹配代价函数实现最优三维建模。为了优化建模精度，文中进一步提出图像深度提取方法反解三维坐标，优化补偿三维重构的误差。仿真结果表明，本文所提算法的重构误差相对于现有算法具有一定的优越性。

1  系统模型

本文针对环境设计的实际需要，研究基于立体成像技术的三维环境设计建模方法，该方法可以有效建模三维场景，提高环境设计的真实度，具体方法原理见图1。

在两个不平行方向上进行图像提取，利用三角投影法可提取不同坐标系下的场景三维坐标。在此基础上，本文利用立体投影匹配算法对三维场景的像素点进行坐标匹配。考虑到利用二维图像进行三维重构建模会有立体失真，文中在传统三维建模的基础上对提取图像深度信息进行立体补偿，最终实现高度还原的三维场景重构。非平行双向立体成像三维建模方法的示意图如图2所示。

图2中，[P]在[O1]和[O2]两个坐标系进行立体投影，投影平面的投影点分别为[P1]、[P2]，[P1]与[P2]在[O1]和[O2]为原点的坐标系下的观察坐标分别为[P1x1，y1]、[P2x2，y2]。令[Xt]表示[P]的真实坐标，用[Xl]与[Xr]分别表示[P1]和[P2]在观察坐标系下的坐标，则可得对应关系为：

[Xl=klXt+tlXr=krXt+tr] （1）

式中，[kl]，[kt]，[tl]和[tt]为两个观察坐标系和三维真实坐标系之间的立体投影变换参数。对式（1）进行变换，可得：

[Xr=KXl+T] （2）

式中，[K]和[T]为立体投影变换参数矩阵，其定义为：

[K=krk-1lT=tr-Ktl] （3）

不同点处的立体投影变换参数不同，立体三维匹配即进行非线性优化确定最优的立体投影变换参数矩阵。

2  立体匹配

本文提出利用立体匹配法进行立体投影三维重构。在非平行双向立体成像模型的基础上，根据两个方向的投影点坐标进行像素匹配，实现极线校正。经过校正好的投影点坐标关系为：

[y1=y2d=x1-x2] （4）

式中，d为像素差值。

文中所提的立体匹配算法步骤如图3所示。首先根据投影像素差值构建相似代价函数进行匹配，图像相似度越高，像素差值越小。根据构建的代价函数进行局部优化，选取聚合窗口，在聚合窗口内进行局部匹配。在局部匹配后，计算视差代价函数并将其最小化进行代价细化补偿，从而确定三维投影坐标。

全局匹配代价函数可以表示为：

[Et=Ed+Es] （5）

式中，[Ed]与[Es]分别表示匹配代价函数的数据代价和平滑代价，其定义为：

[Ed=NCpdp] （6）

[Es=NVpdp，ds] （7）

式中：N表示图像中像素点个数;p为其中1个像素点;[Cpdp]表示p处的视差匹配代价;[Vpdp，ds]表示p处的平滑代价。相邻像素点的差值越小，平滑代价越小，则进行立体匹配即是最小化匹配代价函数：

[X，Y，Z=argminpEs] （8）

为了进行细化补偿，首先需要构造细化代价函数。一般利用匹配均方根误差和误匹配率进行构造，其计算方式分别为：

[RMS=x，ydm-dt2N] （9）

[Re=x，ydm-dtN，  dm-dt<δ] （10）

式中：[dm]表示匹配后的像素视差;[dt]表示图像真实的像素视差;[δ]表示视差门限。

为了综合考虑均方根误差和误匹配率的影响，本文构造的细化补偿代价函数为：

[J=λRMS+Re] （11）

式中，[λ]为调节系数。则细化补偿只需要最小化补偿代价函数：

[X，Y，Z=argminpJ] （12）

3  深度信息提取

在立体投影匹配后可以初步实现三维立体建模。但由于利用二维图像进行三维立体投影重构，难免会出现立体失真现象，从而需要进一步提取图像深度信息，补偿三维建模失真。

利用非平行双向立体成像方法进行三维建模，三维模型中的投影点[P]在左右两个投影平面的投影点分别为[P1]和[P2]，如图4所示。

设f為坐标原点到投影平面的距离，B表示两个观测原点之间的水平距离，则可根据几何关系得：

[Xx1=ZfB-X-x2=Zf] （13）

令F表示f在像素维度的投影大小，其定义为：

[F=fd] （14）

则根据式（13）和式（14）可得：

[Z=BFdX=Bx1dY=Byd] （15）

像素差值的大小与真实距离的远近成反比，可以根据像素差值的大小和投影参数提取图像三维深度信息，并对立体建模进行融合补偿。

4  仿真验证与性能分析

为了验证所提的基于立体成像技术的三维环境设计建模方法的有效性，本文对实际图像进行三维建模。分析文中所提的立体成像三维匹配空间多点重构的匹配均方根误差和误匹配率，并分析同一环境下本文所提方法与传统方法的性能对比。

如表1所示，空间上取不同的4个点，应用本文所提算法进行三维重构。对比立体匹配均方根误差和经过深度信息补偿后的重构误差可以发现，均方根误差越大，补偿效果越好。均方根误差和误匹配率并不是完全呈现正比关系，这说明了本文所设定代价函数的合理性。总体上看，文中所提算法的三维重构误差较小。

为了进一步说明本文所提算法的有效性，文中在同一环境下对图像使用不同算法进行三维重构，如表2所示。基于纹理映射重构方法的误差在4个点的误差均最大，基于深度感知三维重构方法的误差与本文所提算法的误差基本相当，但其训练复杂度远高于文中所提算法。

5  结  论

本文研究了基于立体成像技术的三维环境设计建模方法。在非平行双向立体成像三维建模框架的基础上，采用立体匹配算法通过构造匹配代价函数进行匹配，从而确定出最优的三维重构坐标。文中方法利用图像深度信息进行基于几何关系的图像深度提取，反解三维坐标进行优化补偿。从而实现最优的三维环境设计建模，并有效提高了重构精度。仿真实验结果证明，本文所提算法的误差在厘米级范围，且相对于现有算法在重构精度上有明显的提升。

参考文献

[1] 郑朝鑫，董晨，贺国荣，等.基于改进粒子群算法的动态3D实时建模技术[J].计算机工程与应用，2019，55（5）：65?71.

[2] NYSETVOLD J， SALMON J. Evaluation of user preferences for 3D modeling and design reviews in virtual reality [C]// International CAD Conference and Exhibition. Barcelona： IEEE， 2020： 203?205.

[3] 戴艳红，崔健.基于改进半边数据结构的计算机仿真3D建模平台研究[J].现代电子技术，2017，40（1）：159?162.

[4] HUANG H， LIN C， CAI D C. Enhancing the learning effect of virtual reality 3D modeling： a new model of learner′s design collaboration and a comparison of its field system usability [J]. Universal access in the information society， 2020（4）： 1?12.

[5] DENG F， GAN B Q. Research on the application of 3D virtual simulation technology in ancient village restoration [C]// 4th International Conference on Mechanical， Control and Computer Engineering. Hohhot： Springer， 2019： 36?42.

[6] 傅敏，张江龙，刘培刚.三维环境下交互式点云对象提取方法[J].计算机工程与应用，2019，55（24）：265?270.

[7] 郭伟青.基于镜面成像技术的单目全景立体感知三维重构技术研究[D].杭州：浙江工业大学，2019.

[8] 张志佳，王博实，李雅红，等.基于双视角的可见外壳三维重建研究[J].计算机技术与发展，2015，25（3）：50?53.

[9] 张春森，张卫龙，郭丙轩，等.倾斜影像的三维纹理快速重建[J].测绘学报，2015，44（7）：782?790.

[10] 徐晟.基于双目立体视觉的深度感知技术研究及实现[D].广州：华南理工大学，2018.

[11] 高伟，王昱霖，宋笑迎，等.基于虚拟现实技术下深度学习环境的构建研究[J].软件，2019，40（5）：42?46.

[12] HU Y C， SUN W， LIU X G， et al. Tourism demonstration system for large?scale museums based on 3D virtual simulation technology [J]. The electronic library， 2020， 38（2）： 367?381.

[13] 白童垚.基于深度学习的三维场景下障碍物感知技术的研究与应用[D].西安：西安建筑科技大学，2019.

作者简介：田  婧（1985—），女，江西九江人，硕士，副教授，研究方向为环境设计。