移动端地下管线增强现实系统设计

李 睿，陈 强，张新宇，闫丰亭，郭梦茹

移动端地下管线增强现实系统设计

李 睿，陈 强，张新宇，闫丰亭，郭梦茹

（上海工程技术大学 电子电气工程学院，上海 201620）

针对传统地下管线信息系统存在的查看管线空间感不足、管线施工决策不灵活、对本地软件程序依赖性高的问题，设计了一个基于移动端的地下管线增强现实系统。为实现移动端增强现实管线建模功能，利用圆参数方程结合标架技术的方法对管线自动化三维建模，并通过高精度定位来加载附近管线数据；然后，设计了一种视觉与多传感器融合的方法，实现混合跟踪注册；最终，基于阿尔·吉斯（AR.js）技术编写代码实现了系统的整体功能。实验表明，系统三维模型渲染流畅，位姿估计误差小，在查看地下管线作业中具有直观准确、便捷灵活、运行环境适应性强的特点，在智慧城市推进工作中，为管线信息的智能化管理，提供了稳定可靠实时交互可视化的系统方案。

增强现实；地下管线；实时定位；三维建模；跟踪注册

0 引言

随着我国新时代城镇化的迅速发展，地下管线也在迅速扩张铺设与改建。地下管线包含有供水管线、排水排污管线、燃气石油运输管线、电力通信管线等[1]，具有分布错综复杂、种类多样、铺设更新速度快的特点。当前城市已经步入数字化智能时代，传统地下管线系统的二维数据表达已经不能满足当前的用户需求[2]，由于画面空间感不足，用户在分析地下管线分布情况时可能出现误判，导致管道铺设冲突和开挖施工事故，对管线三维可视化管理已是必然需求。

目前，国内有很多学者基于计算机利用虚拟地理环境（virtual geographic environments, VGE）与地理信息系统（geographic information system, GIS）来解决上述问题[3]。文献[4]基于GIS平台建立的管线数据应用管理系统，将地面建筑物和地下管线三维可视化，实现了对园区内建筑物及地下管线二、三维一体化管理；文献[5]以阿尔克·吉斯（ArcGIS）、结构化查询语言服务器（structured query language server, SQL Server）、内特（.NET）框架（Framework）为应用支撑平台，将三维仿真技术和传统的管线信息系统有机结合，构建了三维化、立体化和精细化的三维管线信息系统。以上方法虽然弥补了传统查看地下管线方式的不足，但是仍存在着系统对硬件要求高、海量地面建筑模型存储和渲染难度大、无法及时同步真实场景变化的问题。国外很多研究学者将增强现实技术（augmented reality，AR）与GIS结合应用于地下管线管理工作[6]。文献[7]基于Unity3D平台和Google Tango Phab2研究开发了一种地下管线增强现实显示系统；文献[8]利用增强现实技术并基于硬件设备Tango，实现了地下管网设施生命周期管理过程中的主要功能。在移动端通过AR技术实现地下管网三维可视化，虽然减少了大量地面建筑模型存储与渲染的工作量，但是系统依赖本地插件程序和特定硬件设备的问题依然没有解决，使应用不易跨平台。

本文基于移动端，通过实时定位技术、三维建模技术和混合跟踪注册技术，研究设计了一套在网页上实现的地下管线增强现实系统，通过移动端浏览器实现了以AR的方式实时定位查看地下管线分布情况，同时可以实时交互，不仅有效解决了VGE决策不灵活、海量数据存储和显示的问题，还可以轻松跨平台使用，方便快捷。

1 系统框架设计

本文采用智能手机作为系统应用平台，近些年智能手机的性能迅速提升，不仅具有高清摄像头，还具有灵敏的惯性测量单元[9]，并在移动网络支持下，已满足增强现实需求。本文系统整体架构如图1所示。

图1 系统架构设计

移动端部分有五大模块组成：1）定位模块，该模块包含全球卫星导航系统（global navigation satellite system，GNSS）接收机和手机的全球定位系统（global positioning system, GPS）接收机，用于实时获取高精度定位坐标和位移；2）数据传输模块，该模块为手机中的蓝牙，用来与GNSS接收机进行数据交互；3）位姿测量模块，该模块由重力加速度计、电子罗盘和摄像机组成；4）数据处理模块，该模块由基于进阶精简指令集机器（advanced RISC machine, ARM）架构的微处理器组成，用于移动端本地数据处理和协调控制工作；5）显示模块，该模块为显示屏。

该系统使用超文本5.0（hyper text markup language 5, HTML5)、层叠样式表3级（cascading style sheets level 3, CSS3）和贾瓦·斯克里普特（JavaScript）等技术实现系统网站搭建，通过网页实时通信（web real-time communication, WebRTC）技术，实时获取真实场景，采用蒙戈（Mongo）数据库（database, DB）作为数据库，利用思里·吉斯（Three.js）技术[10]渲染三维模型，基于阿尔·吉斯（AR.js）和奥彭·克夫·吉斯（OpenCV.js）实现AR功能，并将系统部署在阿里弹性云服务器（elastic compute service，ECS）上。

2 系统关键技术

2.1 高精度定位与数据筛选

该系统由于根据实时定位获取数据库中的地下管线信息进行建模并渲染，对定位的要求非常高，所以，采用实时动态载波相位差分（real-time kinematic，RTK）定位技术，获取高精度的定位坐标[11]以满足系统需求，精度可达到厘米级[12]。本文利用一台GNSS接收机在连续运行参考站（continuously operating reference stations，CORS）模式下作为移动站进行测量定位，并将安卓（Android）手机代替为RTK手薄获取高精度定位坐标，根据用户需要导出对应格式坐标文件。

系统将高精度定位坐标为圆心，30 m为半径作为筛选条件，从数据库中选取符合范围的管线数据进行建模，数据库存储的管线数据分为属性数据和空间数据[13]，其中空间数据用于系统三维建模，结构如表1所示。

表1 管线段的空间数据结构

（续）

2.2 自动化三维建模技术

利用圆参数方程结合标架技术的方法对圆形管线建模，主要思路为利用管线中心线建立标架[14]，通过参数方程和设置的管线半径以及精细度计算得出模型表面顶点坐标，按照一定顺序连接顶点形成多个小三角形来拟合管线模型表面[15]，如图2所示。

图2 管线表面拟合示意图

在管线建模过程中，拐角部分采用倒圆角处理[17]，利用微分的思想将圆弧分成多个小直线段组成，再利用直线段建模方法建立三维模型。

2.3 多类信息融合三维跟踪注册技术

基于计算机视觉跟踪注册方法具有良好的准确性，但是有时无法识别到足够的特征点从而导致跟踪注册失败，无法保证实时性[18]。利用硬件传感器进行跟踪注册具有较好的实时性，但是在准确性方面存在不足[19]。本文设计的多类信息融合三维跟踪注册方法，融合了基于视觉位姿估计信息与基于硬件传感器的位姿估计信息实现最终的跟踪注册，保证了系统跟踪注册的准确性和健壮性。

2.3.1 视觉位姿估计

本系统利用WebRTC技术，通过摄像头实时获取视频流[20]，以固定时间间隔将帧图像上传至服务器进行处理并解算出位姿估计信息。

1）特征提取与描述。本文使用定向的FAST和旋转的 BRIEF（oriented FAST and rotated BRIEF, ORB）算法对帧图像进行特征提取与描述，其中FAST（features from accelerated segment test）是基于加速分割测试的特征，BRIEF（binary robust independent elementary features）为二进制鲁棒独立基本特征。ORB特征由有向加速段测试的特征（oriented features from accelerated segment test, oFAST）关键点和旋转二进制鲁棒独立基本特征（rotated binary robust independent elementary features, rBRIEF）描述子构成[21]。

ORB算法对图像建立图像金字塔保证特征点的尺度一致性[22]，然后在图像中选取像素点比较灰度值大小来确定FAST关键点，因为其不具有方向信息，所以采用灰度质心法保证了旋转不变性[23]，计算步骤如下。

FAST关键点增加了旋转和尺度的描述后为oFAST关键点。提取特征点时使用非极大值抑制法，避免检测出的特征点集中分布。

rBRIEF描述子是由256个0、1组成的二元特征向量，描述了关键点周围像素点对之间的关系[24]。ORB算法首先将oFAST关键点的方向信息赋予描述特征点的像素点对，计算得到steerBRIEF描述子，保证了旋转不变性，再利用一种贪婪算法得到可区分性较强的rBRIEF描述子。

2）特征匹配。基于描述子用0和1表示，采用汉明距离法统计特征点描述子之间对应不同元素数量，将其作为匹配度量[25]。比较两帧图像特征点描述子之间的对应元素，若描述子的相似度大于阈值则判定为同一特征点。

2.3.2 多传感器融合位姿估计

图3 重力加速度计测量示意

右手坐标系下，在三个坐标轴上的旋转矩阵分别为

2.3.3 信息融合跟踪注册

2.4 虚实融合

系统采用两种方式对管线与真实场景叠加：一种是基于虚拟标志平面确定管线映射位置，并将平面作为参考对模型跟踪注册；另一种是根据管线的坐标将世界坐标系中的位置分配给管线模型，使用户将设备朝向管线位置时就可以看到它，并利用传感器实现对管线模型的运动跟踪。

其中，对真实场景道路进行平面检测基于随机抽样一致算法（random sample consensus, RANSAC）实现[30]，首先选取3个特征点构造坐标矩阵，根据三点建立平面方程，然后计算所有其他特征点到平面的垂直距离，将距离小于阈值的点记为内点，并统计个数，重复上述步骤，得到多个平面，最终选取内点数量最多的平面作为虚拟标志平面。为了防止平面检测错误，需要判断平面的法向量与世界坐标系轴是否趋于平行。

3 系统实现与测试

3.1 实验环境

本实验测试所采用的移动端设备如表2所示。

表2 实验设备

GNSS接收机采用上海华测RTK i80设备进行实时定位，当拿着手机步行到管线附近时，开启RTK i80，手机端打开测地通软件，开启蓝牙与i80连接，设置好相关配置，登陆CORS账号，接入CORS网开始测量，待手机接收到精确坐标后，通过浏览器打开系统进行定位查看管线。

3.2 系统功能实现

以校园地下管线为例，通过增强现实技术实时定位查看地下管线分布情况，本系统分为“俯视查看”和“沉浸式查看”两种模式，前者基于虚拟标志平面进行跟踪注册，后者基于坐标位置关系进行跟踪注册。实验测试如图4所示，对应的沉浸式查看效果图如图5所示。

图4 俯视查看效果

图5 沉浸式查看效果

通过系统的“沉浸式查看”方式进一步查看实验地点旁边的排水管线，并点击“查看管线属性”获取此时正在查看的管线对应的属性数据，如图6所示。

图6 沉浸式查看排水管线效果

3.3 系统性能测试

1）查看管线时系统性能情况如表3所示，其中FPS（frames per second）为一秒钟渲染的帧数。

表3 手机端渲染性能

2）对不同手机浏览器和操作系统的兼容性测试如表4所示。

表4 兼容性测试情况

实验测试表明，该系统可轻松实现跨平台应用，常用的浏览器均可兼容，并且系统使用过程中模型渲染流畅，跟踪注册状况良好，漂移误差小。

4 结束语

本文依据RTK载波相位差分技术、自动化三维建模技术和混合跟踪注册技术，设计了基于移动端地下管线增强现实系统并通过手机浏览器实现了系统应用。该系统增加了用户查看管线的便利性；采用RTK设备结合手机GPS定位，提高了系统定位准确性；利用自动化三维建模技术，提高了管线模型精细度；基于视觉和传感器融合的方式，提高了跟踪注册的准确性与健壮性，使用户拥有更好的感官体验。本系统有效解决了用户依靠传统地下管线系统在地下管线施工和设计中，决策不及时、查看管线空间感不强烈和系统对本地软件程序依赖性高的问题，在数字化智慧城市发展建设中可以发挥良好的作用，更好地避免在施工过程中因管线位置不明确而造成的工程事故。

[1] PANG L Y, LAN G W, TAO Y Y. Design and implementation of 3D urban underground pipe network system[EB/OL]. [2021-06-24]. https: //iopscience. iop. org/article/10. 1088/1755-1315/283/1/012013/pdf.

[2] 李健, 王顺利, 潘华, 等. 基于移动终端的增强现实地下管线可视化技术[J]. 郑州大学学报(理学版), 2019, 51(3): 115-119.

[3] MA R , YI C Z, ZHANG L , et al. Design of and research on underground pipeline system in campus based on 3DGIS[EB/OL]. [2021-06-24]. https: //doi. org/10. 1051/e3sconf/202016503004.

[4] 冯琳. 地下管网信息化在智慧园区建设中的应用[J]. 测绘通报, 2020(12): 144-147.

[5] 罗强. 三维仿真技术在地下管线成果中的应用[J]. 测绘通报, 2020(增刊1): 65-69.

[6] FENAIS A, ARIARATNAM S, AYER S K, et al. Integrating geographic information systems and augmented reality for mapping underground utilities[J]. Infrastructures, 2019, 4(4): 60.

[7] LI W, HAN Y, LIU Y, et al. Real-time location-based rendering of urban underground pipelines[J]. ISPRS International Journal of Geo-Information, 2018, 7(1): 32.

[8] SORIA G, ORTEGA A L M, FEITO F R. Augmented and virtual reality for underground facilities management[J]. Journal of Computing and Information Science in Engineering, 2018, 18(4): 1-9.

[9] 刘星, 郭杭. 手机视觉与惯性融合的松耦合滤波算法[J]. 测绘通报, 2020(2): 61-65.

[10] 陈林. 基于Three. js的地下管线三维建模可视化研究[J]. 测绘与空间地理信息, 2018, 41(8): 93-96.

[11] 梁健, 韩彦岭, 于文浩, 等. 低成本GNSS/INS组合导航系统探讨[J]. 导航定位学报, 2019, 7(4): 110-117.

[12] 陈波, 高成发, 刘永胜, 等. 安卓手机终端原始GNSS观测数据质量分析[J]. 导航定位学报, 2019, 7(3): 87-95.

[13] 张玉红, 任东风, 贲忠奇, 等. 基于skyline的城市地下三维管线建立研究[J]. 测绘工程, 2016, 25(2): 71-76.

[14] 程筱胜, 徐白, 戴宁. Sweep曲面离散建模技术研究[J]. 机械设计与制造工程, 2016, 45(11): 13-18.

[15] 周京春, 李清泉, 施昆. 利用Sweep造型法进行管网精细化三维建模[J]. 武汉大学学报(信息科学版), 2015, 40(5): 661-666.

[16] 赵江洪, 马思宇, 黄明, 等. 地下工井电缆网络模型及拓扑关系构建[J]. 测绘科学, 2019, 44(3): 142-148.

[17] 詹勇, 陈良超. 城市地下管网参数化三维建模流程与方法[J]. 城市勘测, 2017(2): 19-24.

[18] 韩玉仁, 李铁军, 杨冬. 增强现实中三维跟踪注册技术概述[J]. 计算机工程与应用, 2019, 55(21): 26-35.

[19] 曲毅, 李爱光, 徐旺, 等. 面向ArGIS的多传感器混合跟踪注册研究[J]. 测绘与空间地理信息, 2017, 40(3): 114-117, 121.

[20] 何洪磊, 胡平. 基于WebGIS和WebRTC的可视化校园[J]. 实验室研究与探索, 2018, 37(12): 141-146.

[21] 樊彦国, 柴江龙, 许明明, 等. 基于ORB与RANSAC融合改进的图像配准[J]. 光学精密工程, 2019, 27(3): 702-717.

[22] 雍玖, 王阳萍, 党建武, 等. 改进TLD与ORB的AR系统长时跟踪注册方法[J]. 计算机工程与应用, 2021, 57(7): 178-184.

[23] 李一, 冯楠, 谭顺成. 基于KCF与改进ORB的增强现实方法[J]. 计算机工程, 2019, 45(8): 230-235.

[24] 沈燕芬, 张小红, 朱锋. ORB-SLAM2车载双目视觉的自主导航性能评估[J]. 导航定位学报, 2018, 6(2): 29-35.

[25] 杨炳坤, 程树英, 郑茜颖. 改进的ORB特征匹配算法[J]. 传感器与微系统, 2020, 39(2): 136-139.

[26] 侯守明, 韩吉, 张煜东, 等. 基于视觉的增强现实三维注册技术综述[J]. 系统仿真学报, 2019, 31(11): 2206-2215.

[27] 傅思勇, 吴禄慎, 陈华伟, 等. 综合多畸变因素的摄像机标定[J]. 仪器仪表学报, 2018, 39(2): 248-256.

[28] 周玲, 陈强. 城市地下管网增强现实系统研究[J]. 计算机工程与应用, 2020, 56(1): 251-256.

[29] 张会清, 许潇民, 代汝勇. 基于MEMS与Android智能手机融合的室内个人导航算法[J]. 北京工业大学学报, 2017, 43(5): 729-735.

[30] 苏云龙, 平雪良, 李楠. 基于RANSAC三维点云的平面提取算法[J]. 激光与红外, 2019, 49(6): 780-784.

Design of mobile underground pipeline augmented reality system

LI Rui, CHEN Qiang, ZHANG Xinyu, YAN Fengting, GUO Mengru

（School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China）

Aiming at the problems of the traditional underground pipeline information system, such as insufficient sense of space for viewing pipelines, inflexible pipeline construction decision-making, and high dependence on local software programs, a mobile-based augmented reality system for underground pipelines is designed. In order to realize the mobile-end augmented reality pipeline modeling function, the method of circle parameter equation combined with frame technology is used to automate the three-dimensional modeling of the pipeline, and the nearby pipeline data is loaded through high-precision positioning; then a vision and multi-sensor fusion is designed. The method realizes hybrid tracking registration; finally, the code is written based on AR.js technology to realize the overall function of the system. Experiments show that the 3D model of the system renders smoothly, the pose estimation error is small, and it is intuitive and accurate, convenient and flexible, and adaptable to the operating environment in viewing underground pipeline operations. It is the intelligent management of pipeline information in the promotion of smart cities. A stable and reliable real-time interactive visualization system solution is provided.

augmented reality; underground pipeline; real-time positioning; 3D modeling; tracking registration

P228

A

2095-4999(2022)02-0183-08

李睿，陈强，张新宇，等. 移动端地下管线增强现实系统设计[J]. 导航定位学报, 2022, 10(2): 183-190. (LI Rui, CHEN Qiang, ZHANG Xinyu, et al. Design of mobile underground pipeline augmented reality system[J]. Journal of Navigation and Positioning,2022, 10(2): 183-190. )

10.16547/j.cnki.10-1096.20220224.

2021-06-24

国家自然科学基金资助项目（61705127）；上海市科技委员会重点项目（18511101600）；上海联盟计划基金资助项目（LM201745）。

李睿（1996－），女，河南信阳人，硕士研究生，研究方向为增强现实。

陈强（1965－），男，湖北荆州人，博士，教授，研究方向为地球探测与信息技术、软件工程、增强现实与虚拟现实。