基于无人机VR全景的水域岸线监管数字孪生系统研究

张钟海 管林杰

摘要：目前，人工巡查、自动监测站、无人机、卫星遥感等监测手段已广泛应用于河湖岸线监管业务，但这些成果数据的展示与管理仍存在展示形式单一、不能反映岸线真实场景、无法掌控岸线全局等问题。为提升监测数据管理能力，提出了一种数字孪生系统，通过无人机获取河道及其岸线的全景图及全景视频，并结合VR技术，实现水域岸线监管，提供VR全景下的岸线综合展示、实时监测、远程控制、模拟仿真等功能，并实现室内无人机视角下的水域岸线虚拟巡查，有效解决真实场景大范围、广视角下的监管难题。研究成果可应用于河湖长制巡河、岸线监管等水利业务中。

关键词：水域; 岸线监管; 无人机; 全景VR; 数字孪生

中图法分类号：P237 文献标志码：A DOI：10.15974/j.cnki.slsdkb.2022.01.019

文章编号：1006 - 0081（2022）01 - 0102 - 05

0 引 言

水域岸线是指河流（湖泊）两侧（周边）水路边界一定范围内的带状区域，具有行洪调蓄、维护河流健康和土地利用等属性[1]。在河长制建设中，中国明确提出了要加强河湖水域岸线的管理保护，加强岸线监管、建立河湖日常监管巡查制度等工作要求[2]。岸线监管存在点多、面广、工作量大的特点，是一项复杂的系统工程[3]。当前，除了传统的人工巡查、自动监测站外，衛星遥感[4]、无人机[5]等监测手段也越来越普及，这些措施大大提高了岸线监测效率。但目前对这些监测数据的管理仍停留在地图展示及图表管理阶段，且存在展示形式单一、不能反映岸线真实场景、无法掌控岸线全局等缺点。在应用系统中克服这些缺陷具有重要的现实意义。当前，数字孪生作为解决虚实之间双向映射、动态交互、实时连接的新技术，备受社会各界的广泛关注[6]，因此，本文提出通过无人机采集岸线的全景图及全景视频，并结合VR技术，构建了水域岸线监管的数字孪生系统。该系统提供岸线全景VR场景下的涉水要素叠加展示、交互查询、实时监测、远程控制、模拟仿真等功能，能够实现河湖水域岸线的数字孪生管理，满足水行政管理部门水域岸线监管需求[7]。

1 系统总体设计

1.1 设计思路

首先使用无人机搭载的高清摄像机或全景视频摄影机沿着河湖岸线进行航拍，再经过匀光调色、图形拼接等操作后，制作完成河湖水域岸线的无人机全景场景[8]。通过Web端的全景组件，实现无人机全景图及全景视频的浏览与管理，并在这些河湖水域岸线场景下，叠加河湖岸线数据、涉水工程分布、前端感知设备分布、涉水问题分布等空间信息，同时结合VR眼镜或头盔，在无人机VR全景下，进行各涉水要素的基本信息、实时信息、告警信息等的查询、展示、地图互操作，以及对数字孪生体的远程控制、模拟仿真等功能，实现河湖水域岸线的数字孪生管理，可应用于河湖长制巡河、岸线监管等水利业务中。

1.2 总体架构设计

系统的总体架构从逻辑上可分为6层，从下至上依次为物联感知层、基础设施层、数据资源层、业务应用层、展示层、用户层，如图1所示。

（1） 物联感知层。运用物联网技术，通过接入河湖水域岸线关联的雨量站、水位站、流量计、水质站、视频监测站等感知设备，实现水雨情实时监测、水质实时监测、视频实时监控。同时，利用无人机搭载高清摄像机或全景视频摄影机，获取岸线的全景图及全景视频，为上层服务提供基础数据资源。

（2） 基础设施层。为系统提供网络及硬件环境支撑，主要包括互联网、4G网络、自建专网等通信链路，以及显示器、服务器、存储设备、网络设备（路由器、交换机等）、安全设备（防火墙、安全审计等）等硬件设备。

（3） 数据资源层。为系统提供数据存储及管理服务，包括无人机全景数据、基础地理数据、业务数据、实时数据和告警数据等。其中，无人机全景数据包括无人机全景图和全景视频，主要由无人机搭载的摄像头获取;基础地理数据包括岸线、涉水工程、前端感知设备、涉水问题等内容;业务数据指涉水工程、涉水问题等基本信息和详情信息，如问题的描述、处置过程、结果等;实时数据由前端的感知设备采集，当设备的监测值超过预设的告警阈值时，系统将产生告警信息。

（4） 业务应用层。提供系统的主要业务应用，通过无人机全景场景，结合VR和数字孪生技术，实现全景VR场景管理、岸线综合展示、实时监测、轨迹地图联动、远程控制、模拟仿真等功能。

（5） 展示层。通过Web端浏览器向用户展示系统的各项功能，同时可结合VR眼镜或头盔等设备，实现岸线虚拟场景中的数据浏览与查询。

（6） 用户层。系统主要面向涉水管理部门进行日常岸线监管，指挥决策人员进行全局概览以把控河湖岸线总体情况，并可供外部体验人员进行VR体验参观。

2 无人机全景

2.1 无人机全景图采集

无人机航拍前，需要对飞行器进行调试，确认飞机是否能正常起飞、电池和备用电池电量情况、拍摄地点天气是否良好以及地形地貌情况、是否存在禁飞（如国家军事区、机场周围、变电站信号干扰）等安全因素[9]。

无人机起飞拍摄后，飞行高度尽量维持在50～120 m，也可视拍摄地情况而定，以拍摄画质清晰为宜。全景图拍摄时，一般要求：① 在水平方向上，摄像头依次旋转45°角连续拍摄8张照片，并保障相邻2张照片有25%的重合角度;② 使摄像头向下45°，依据水平方向的拍摄方法，再拍摄一圈8张照片;③ 使摄像头再向下25°拍摄一圈4张照片;④ 摄像头竖直向下拍摄1张照片。在拍摄过程中，需保持无人机定点悬停，即无人机位置不变，只旋转无人机上的摄像头拍摄角度。

若无人机上搭载的是包含上下两个全景摄像头的全景视频摄影机，则可用于采集现场 360°全景视频，能保证视场的全方位覆盖，并能够实时将上下两个摄影机的图像进行无缝连接，形成完整的球形影像。

2.2 无人机全景场景制作

在获取到无人机的全景图后，需要用ptgui，Autopano Pro，hugin，Panorama Studio等软件进行全景场景制作，该过程可概括为匀光调色、图形拼接、全景补天等步骤[10]。

（1） 匀光调色。为了让采集到的影像尽可能接近现实，更符合人眼观赏需求，需要对拍摄的图片进行预处理操作，包括对图片亮度、饱和度、对比度等参数的调整[11]。

（2） 图形拼接。利用拼接软件，可将每个拍摄点下的全景照片自动拼接成全景图像，然后通过人工浏览全景图进行检查，对存在拼接裂缝处进行手动调整。

（3） 全景补天。普通的无人机摄像机没有控制摄像头仰角拍摄天空的部分，在拼接后的全景图中天空会缺失一半，因此需要对全景图的天空进行填补，填补的素材宜与拍摄地的天空相差不大，在拍摄地拍摄天空最佳。

3 系统功能

系统采用B/S架构，设计并实现了全景VR场景管理、岸线综合展示、实时监测、轨迹地图联动、远程控制、模拟仿真等功能。系统采用的技术框架如图2所示，后端开发采用Springboot，MyBatis框架，前端开发采用Vue.js，地图组件使用Openlayer，全景VR组件使用Krpano[12]，模拟仿真使用Three.js，数据库采用Mysql，GIS平台采用Geoserver。

3.1 全景VR場景管理

全景VR场景管理可提供对场景基本信息的新增、修改、查询与删除等操作，场景基本信息包括采集时间、单位、联系人、关联河流的名称、巡查长度和历时等内容。同时，可通过Krpano实现对全景场景的展示与操作，包括一般模式和VR模式。其中，一般模式如图3（a）所示，提供360°全景图的上移、下移、左移、右移、放大、缩小、场景切换等操作;VR模式如图3（b）所示，支持通过VR眼镜或头盔，让用户体验无人机视角下的虚拟巡河。

3.2 岸线综合展示

岸线综合展示支持在全景VR场景中集成了如表1所示的各类河湖岸线相关数据，包括基础数据、涉水工程、前端感知设备、涉水问题等信息，提供涉河点、线、面要素在全景VR场景中的叠加展示，以及点击查询要素的基本信息等功能。

为快速在全景VR场景中定位到涉水工程、前端感知设备、涉水问题、测站告警等要素的分布信息，系统还提供列表快速定位、鹰眼图快速定位等功能。

（1） 列表快速定位。将岸线相关数据按类别进行筛选，以表格形式展示每个类别的要素列表，通过点击表格中的要素，可快速定位场景中的具体位置。

（2） 鹰眼图快速定位。在全景VR场景中叠加鹰眼地图，通过地图展示各要素的空间分布，点击地图上的要素，可快速定位场景中的具体位置。

3.3 实时监测

全景VR场景中集成的前端感知设备，除了可展示前端感知设备的基本信息外，还可对测站实时采集的数据进行管理，包括实时监测信息和监测告警信息，如图4所示。

（1） 实时监测信息。提供对各类前端感知设备实时数据和历史数据的展示、查询等功能。其中，雨量、水位、流量、水质等测站实时监测值以图表形式展示，可查询每个监测指标的历史变化趋势，并提供图表统计、结果导出等功能;而视频站则可提供实时视频查看，以及历史视频回放、视频截图等功能。

（2） 监测告警信息。系统可根据每个测站预设的告警阈值，在超过该值时，自动提醒系统用户。

3.4 轨迹地图联动

轨迹地图联动利用GIS技术实现在二维地图上实现无人机视频与巡河轨迹展示的精准联动，如图5所示，它以左右屏幕分别展示地图和无人机巡查视频画面，地图可展示当前视频所在的地理位置，且两者间可实现相互联动效果。

（1） 轨迹交互。左侧在地图上展示轨迹的播放动画，用户可在轨迹上通过点击获取当前点击处的视频画面，也可通过拖动轨迹上的无人机图标，实现视频的跟踪播放，视频进度会根据地图轨迹联动。

（2） 视频交互。右侧展现无人机巡河视频，用户可播放、暂停、放大及下载当前视频，可查看视频时长、类型、播放时间、进度等信息。同时，用户可以通过点击或拖动视频进度条，来控制视频播放与左侧轨迹的实时联动，可直观地了解当前巡河视频帧所在的地理位置。

3.5 远程控制

远程控制是通过VPN专线，对物联网设备进行远程操控，实现对水域岸线数字孪生体的反向控制，形成数字孪生的物联感知操控能力。系统的远程控制主要包括对远程视频云台的操控和水闸远程控制。

（1） 远程视频云台操控。云台是一种可用于支持摄像机实现水平和垂直方向运动的工作台，通过视频基础软件平台，可在全景VR场景中实现远程视频的上移、下移、左移、右移、摄像头变焦等操控。

（2） 水闸远程控制。通过闸站PLC可对水闸的闸门开度进行远程控制，从而实现对水闸启闭机的有效调度。

3.6 仿真模拟

仿真模拟推演能力是数字孪生技术的核心能力，它通过孪生体建模、事态拟合，可对特定事件进行评估、计算、推演。系统借助Three.js图形库加载三维水闸模型，并融合到Krpano组件中，可在全景VR场景中实现对水闸的模拟仿真，如模拟水闸的启闭、开度等状态及过程，如图6所示。

4 结 语

本研究以无人机采集的岸线全景图及全景视频为基础数据，结合VR技术，在系统中实现全景VR场景的展示，构建水域岸线数字孪生场景;同时，在场景中叠加河湖岸线、涉水工程、前端感知设备、涉水问题等空间数据，向用户提供各要素基本信息、实时信息、告警信息的查询、展示、地图互操作以及对数字孪生体的远程控制、模拟仿真等功能，实现河湖水域岸线的数字孪生管理。本研究在河湖长制巡河、岸线监管等水利业务中，能有效解决大范围、广视角下的监管难题，满足岸线全景虚拟巡查、全局掌控的需求。

參考文献：

[1] 张瑞美， 陈献， 张献锋， 等. 我国河湖水域岸线管理现状及现行法规分析——河湖水域岸线管理的法律制度建设研究之一[J]. 水利发展研究，2013，13（2）：28-31.

[2] 郭宝丽. 关于全面推行河长制的意见[J] .内蒙古水利， 2017（1）： 3-4.

[3] 金晶， 孙昱昌， 王志林， 等. 河湖岸线监测管理系统设计与实现[J]. 江苏水利， 2020（5）： 59-63.

[4] 崔倩， 陈德清. 遥感技术支撑河湖监管典型案例分析[J]. 水利信息化， 2020（2）： 9-13.

[5] 金晶， 庞亚威， 温旋， 等. 无人机遥感技术在河湖岸线监管中的应用研究[J]. 科技创新与应用， 2020（14）：175-176.

[6] 陶飞， 张贺， 戚庆林， 等. 数字孪生十问：分析与思考[J]. 计算机集成制造系统， 2020， 26（1）： 1-17.

[7] 蒋亚东， 石焱文. 数字孪生技术在水利工程运行管理中的应用[J]. 科技通报， 2019， 35（11）： 5-9.

[8] 余建军， 徐攻博， 郭望成， 等. 天地一体全景影像快速获取与应用技术[J]. 测绘通报， 2017（7）： 103-107.

[9] 陈静. 基于无人机的室外全景漫游地图设计与实现[J]. 物联网技术， 2019，9（1）： 103-104， 107.

[10] 李韵. 浅谈航拍摄影中全景图片拍摄与制作[J]. 长江丛刊， 2017（19）： 138-139.

[11] 张玲，付克兰，任华，等. 基于全景图的校园虚拟漫游系统设计[J]. 电子技术与软件工程，2016（2）：98-99.

[12] 杭永冲， 洪祎晨. 基于krpano的校园全景VR漫游系统的设计与实现[J]. 现代计算机（专业版）， 2017（25）： 57-61.

（编辑：高小雲）

Research on a digital twin system for shoreline supervision based

on drone panoramic VR

ZHANG Zhonghai1，2， GUAN Linjie1，2

（1. Changjiang Survey， Planning， Design and Research Co.， Ltd.， Wuhan 430010， China; 2. Changjiang Spatial Information Technology Company， Wuhan 430010， China）

Abstract： At present， monitoring methods such as manual inspections， automatic monitoring stations， unmanned aerial vehicles and satellite remote sensing have been widely used in the supervision of river and lake shorelines. However， there are still some problems in display and management of these achievements' data， such as the single display form， inability to reflect the real scene of the shoreline， and inability to control the overall situation of the shoreline. In order to improve the monitoring data management capabilities， a digital twin system is proposed. Drones are used to obtain panoramic images and panoramic videos of river and its shoreline， and VR technology is combined to build this system for waters shoreline supervision. This system provides functions such as comprehensive shoreline display， real-time monitoring， remote control， and simulation in the panoramic VR scene， and can realize the virtual inspection of the waters shoreline from the indoor drone's perspective. It can effectively solve the supervision problems in a wide range of real scenes and a wide angle of view. The results can be applied in water conservancy businesses such as tour check and shoreline supervision of rivers and lakes in implement of river chief system.

Key words： waters; shoreline supervision; drone; panoramic VR; digital twin system