基于增强现实的堆石坝工程三维可视化场景构建研究

王志宁，崔 博，任炳昱，吴斌平，关 涛

(天津大学水利工程仿真与安全国家重点实验室，天津300072)

目前我国水利水电事业发展迅速，堆石坝工程规模越来越大，这些工程规模浩大、施工布置复杂，通过传统的图纸很难对工程现场有准确、全面的认识，为此学者们对工程三维可视化做出了大量研究：国外针对工程可视化的研究多集中于土木工程领域，如Al-Hussein M[1]、Mawlana M[2]、Brito D M[3]、Jaehyun Park[4]等。国内对水利水电工程可视化的研究较多，相对比全面，钟登华[5]课题组对水利水电工程可视化的研究较早，其实现可视化的方式主要基于GIS平台；胡程顺等[6]对土石坝施工中的土石方调配进行了研究，在基于GIS平台的三维环境中将土石方调配结果展示出来；钟登华、张琴娅等[7]利用CATIA的参数化建模实现了模型的动态修改以及基于CATIA的堆石坝动态三维可视化仿真；钟登华、宋洋等[8]对大型水利水电工程可视化建模技术进行了研究，采用面向对象技术和结构化方法对工程中的不同建筑物进行建模并在三维仿真环境中进行展示；刘宁等[9]研究了高心墙堆石坝施工过程中的交通进行了仿真研究并以三维交互式可视化的仿真对仿真结果进行了展示；钟登华等[10]利用GIS平台对大坝施工的全过程进行了三维动态可视化输出；吴康新等[11]针对碾压混凝土坝的特点，利用数据库技术和VC++开发平台，实现了碾压混凝土坝施工过程动态仿真并开发了基于GIS的三维可视化系统；钟登华、石志超等[12]考虑到基于GIS和3d Max建立的三维模型不易修改，提出了基于CATIA的心墙堆石坝三维建模方法，并在CATIA平台上开发了交互式三维可视化系统。

以上研究多是虚拟三维场景，为展示整个施工场景都需要建立大量的环境模型(地形、地物等)，消耗资源较大，并且环境模型多是根据前期勘测结果建立，与施工现场存在一定偏差，直观性受到影响，针对以上不足，本文提出基于增强现实AR(Augmented Reality)[13]的堆石坝三维可视化场景构建方法，并实现基于增强现实的堆石坝工程场景三维可视化，该方法不仅可以保证三维可视化场景与工程真实场景的一致性，还省去了复杂的环境模型的建模过程。

1 基于AR的堆石坝工程三维场景的实现

堆石坝工程三维可视化对相关管理人直观的认识工程面貌、总体把握工程情况以及工程当前工程进展具有非常重要的辅助作用。基于AR的堆石坝工程三维场景的可视化主要包括水工建筑物模型的建立、现场场景获取以及虚拟相机的三维注册和虚实融合，如图1所示。首先，根据各水工建筑物模型设计资料建立三维实体模型；然后,利用视频监控技术以及布设与施工现场的视频监控网获取施工现场的图像信息；最后，利用固定于摄像头上的动态实时差分全球定位系统(Real-Time Kinematic difference-Global Positioning System，RTK-GPS)与惯性测量单元(Inertial Measurement Unit，IMU)获取真实摄像头的三维空间坐标及姿态，并进行虚拟相机的三维注册以及虚拟图像和真实图像的融合。

图1 基于增强现实的堆石坝工程三维场景构建

2 基于增强现实的堆石坝工程三维场景构建关键技术

2.1 水工建筑物三维建模关键技术

利用前期CAD设计资料以及3ds Max软件对堆石坝工程进行水工建筑物的三维建模已非常成熟[8]。首先,根据设计图纸中水工建筑物的相关信息对图纸进行重新整理，保留与水工建筑物形体面貌有关的点、线、面，然后对水工建筑物进行结构分析，并确定控制点坐标；其次,将平面线条导入3ds Max，以闭合曲线生成水工建筑物剖面，进而以面的拉伸、放样等操作形成实体；然后，根据水工建筑物的结构进行旋转、平移、布尔运算等操作获得水工建筑物三维实体模型；最后，根据水工建筑物各个部位不同的材质进行材质贴图，最终获取带材质的水工建筑物三维实体模型。

2.2 基于增强现实的可视化关键技术

2.2.1 基于硬件的相机注册技术

考虑到堆石坝工程规模大、视野开阔以及现场基础设施比较健全(RTK-GPS、视频监控网及数传网络等)等特点，本文采用基于硬件的相机注册技术来实现增强现实。相机注册即将虚拟相机的参数设置为与真实相机一致的过程。由于本文采用获取现场图像的摄像头为定焦摄像头，故将相机模型抽象为六自由度(三维空间坐标、三维空间转角)的相机模型。所以，如何获取相机的6个参数成为相机注册的关键所在。考虑到工程现场具有覆盖广的RTK-GPS系统，可快速准确地获取一个点的三维坐标，故采用RTK-GPS来获取摄像头的空间坐标。三维转角采用IMU原件，将IMU原件固定于摄像头上，其z轴方向与摄像头光轴方向保持一致，通过IMU原件可以直接获取摄像头转角参数。相机的6个参数传回客户端，由客户端解析并将6个参数赋予虚拟相机，即完成相机三维注册，如图2所示。

图2 虚拟相机注册

2.2.2 真实场景的获取及虚实融合

真实通过布设在工程现场的摄像头获得。施工现场布设大量的视频监控摄像头，其中，布设在坝肩等高处的摄像头为观察工程整体面貌提供了便捷条件，利用高处摄像头可获得清晰的工程施工场景。

虚拟场景的获取靠虚拟相机完成，由2.2.1节可知，利用固定于摄像头上的位置(RTK-GPS)和姿态(IMU)传感器传回的6个参数可进行虚拟相机的三维注册，此时虚拟相机拍摄到的虚拟场景和真实相机拍摄到的真实场景是重叠的，由于不考虑遮挡，直接将虚拟相机拍摄的图像简单叠加到真实相机拍摄的图像中，即可反应他们真实的空间关系，如图3所示，在完成虚拟相机注册以后，虚拟相机和真实相机具有相同的参数，故用一个坐标系表示，假设真实空间中存在点A(X1，Y1，Z1)和点C(X3，Y3，Z3)，虚拟空间中有一点B(X2，Y2，Z2)，三点的关系如图所示，c为相机成像平面，A点和B点在成像平面中成像为同一点(a点和b点重合)，则优先显示虚拟相机成像的点(b点)，C点成像点c和b点的关系则可以反映空间中B点和C点的关系。

图3 虚实融合成像

3 工程实例

以我国西南某大型心墙堆石坝工程为例进行基于增强现实的三维场景可视化研究。大坝主要分为15个分区，总填筑方量4 160万m3，工程计划分14期进行，2016年6月大坝开始填筑。

3.1 水工建筑物三维模型建立

根据前期设计资料获取水工建筑物形体、位置等信息，通过分析、提取得到各水工建筑物模型的典型断面、几何尺寸等完整的平面图形，导入3dsMax，然后利用线对象生成面对象，再由面对象生成实体对象，通过对各个实体对象的旋转、平移、组合以及布尔运算，获得由设计资料生成的水工建筑物三维实体模型，最后根据水工建筑物的特征对各个模型进行材质贴图，得到最终的水工建筑物三维实体模型，如图4所示。

图4 水工建筑物三维实体模型

3.2 真实场景获取

施工现场布设有大量视频监控摄像头，并有完善的图像传输系统，设置在高处的视频监控摄像头则可以清楚地观察到整个施工区的面貌，本文利用右岸坝肩的摄像头获取施工区的图像，如图5所示。

图5 右岸坝肩摄像头获得的现场图像

3.3 基于硬件的相机注册

固定于摄像头上的位置传感器(RTK-GPS)和姿态传感器(IMU)将摄像头当前时刻的摄像头参数传回客户端，客户端通过指定格式的解析，获得三维空间坐标和三维空间转角这6个参数；三维姿态原始数据是经传感器直接传出的数据，将处理完的6个参数赋予虚拟相机，完成相机注册，如图6所示。

图6 虚拟相机注册

3.4 基于增强现实的堆石坝工程可视化

在如3.4节中进行虚拟相机注册以后，可通过虚拟相机获得水工建筑物图像，此时获取的虚拟水工建筑物模型的图像与在3.2节中获取的真实施工图像处于同一空间，由于不考虑虚拟物体与真实物体的遮挡关系，直接将虚拟水工建筑物的图像叠加在真实场景的图像上，即可反应虚实物体的空间关系，获得增强现实效果。为将虚拟物体成像叠加在真实场景中，需同时遍历两张图像的每个像素，若一像素上同时存在虚拟物体模型的成像点和真实场景的成像点，则显示虚拟水工建筑物的成像点。

基于增强现实的堆石坝工程可视化效果如图7所示(模型半透明显示)。

图7 基于增强现实的堆石坝工程可视化

4 结 论

针对目前堆石坝工程三维可视化场景构建中需建立大量环境模型造成的可视化直观性下降、建模耗费大量资源的问题，本文开展了基于增强现实的堆石坝工程可视化研究，得到如下结论：

(1)将增强现实引入堆石坝工程可视化中，利用工程现场的视频监控系统获取现场真实场景，使堆石坝工程可视化展示的场景与真实的工程场景高度一致，增加了工程可视化的直观性，使相关管理

人员更容易理解。

(2)使用现场真实图像作为堆石坝工程三维可视化的背景环境，省去了大量复杂的环境模型的建模过程，使可视化效率更高。

(3)利用现场视频监控摄像头，基于增强现实构建了堆石坝三维可视化场景。