内河信息无人化协同采集三维显示系统研发

刘俊涛，安永宁，雷 鹏*，王方正，季祥坤，杨 柳

(1.交通运输部天津水运工程科学研究所，天津 300456；2.天津水运工程勘察设计院有限公司，天津 300456；3.天津市水运工程测绘技术企业重点实验室，天津 300456)

内河通航水域地理信息的掌握，对于航运管理、通航安全保障、航道整治维护十分重要，但由于内河水上水下地理空间复杂，要素丰富，包括河床、河滩、岸坡、航槽、航标、航道整治建筑物等多种内容，再加上堤岸、陆域空间等要素，使得地理信息的采集成为一项复杂困难的工作[1]。随着内河航道设施的日益复杂化，以及对采集成果要求的日益精细化，常规水域船载测量、陆域地形测量等手段在效率、质量和安全性等方面逐渐落后[2]，而以无人机、无人船、水下机器人等为载体的无人化信息采集手段，以其快速、便捷、安全等特点[3-4]，应用越来越广泛，技术也日渐完善成熟。

无人机主要搭载激光雷达、多镜头相机等传感器，采集水面以上地形、地物等影像图及三维点云数据[4]；无人船可以搭载多波束、侧扫声呐、浅地层剖面等传感器，采集水下地形、微地貌和地质剖面的声学图像；水下机器人可以搭载三维成像声呐，抵近式扫描水下堤坝、航道整治建筑物等结构的垂直部位，采集高密度三维点云数据，获得目标物的细部特征[5]。

将各类信息及无人载体的实时位置统一在一个三维可视化系统之内，实现对无人化协同作业的实时监控与智慧决策，能提升无人化采集的整体技术水平，对内河航道设施服役信息快速采集有重要的实际应用意义，但不同载体平台跨类跨域协同作业，存在较多差异及受限条件，如无人载体与控制终端的通讯模式，无人平台采集范围及进度，载体间的相互干扰等[6-8]。

针对无人机(UAV:Unmanned Aerial Vehicle)、无人船(USV:Unmanned surface vessel)、水下机器人(ROV:Remote Operated Vehicle)在空中、水面、水下的一体化作业场景，基于远程通讯、三维地理信息、空间数据库等技术，本文设计开发了内河信息无人化协同采集三维显示系统，实现无人平台跨类跨域协同控制、内河航道服役信息快速采集及三维可视化展示。系统不仅可用作现场作业时的任务管理，也可用作采集后的成果展示。

1 系统架构

1.1 基本框架

基于三维地理信息系统技术基础，通过对监测数据格式分析、多源异构无人平台通讯协议解析，内河信息无人化协同采集三维显示系统(简称“系统”)开发技术框架如图1所示，系统开发采用分层架构技术，以通用性、稳定性划定层次，同一层次以功能划分包，以上层服务为开发导向，逐步细化层间内容，从逻辑上分为基础层、数据层、功能层和应用层四个方面[9]。

图1 系统开发架构图Fig.1 System development architecture diagram

(1)基础层。

基础层为系统运行提供基础保障，由参与内河航道服役状态检测的多种软硬件设备构成，可分为三方面，数据获取：由多源异构无人平台(UAVUSVROV等)及其观测载荷系统(相机多波束声呐等)、应力应变传感器、通信网络设备、控制终端等软硬件构成；数据传输与存储：由网络通讯设备(路由器无线网桥3G4G·G等)、数据服务器、数据管理软件等软硬件构成；协同控制：由系统部署的控制终端及其附属的显控设备构成。

(2)数据层。

数据层是系统功能与基础软硬件交互的中间件，以数据库的形式对基础层获取的数据进行分类、归纳、存储，为功能层各种功能实现提供数据调用、编辑，管理数据包括基础地理数据、三维模型等基础数据，正射影像、三维多波束点云、三维声呐点云等多类型监测数据以及其他相关附属文件。

(3)功能层。

功能层的设计基于三维地理信息平台，根据需求将各项功能作为单独模块来开发，逐步搭建系统各项功能，将数据通讯协议、三维可视化等技术内置于系统中，满足多源异构无人平台协同显示与三维可视化等功能，主要功能包括：作业前的工程项目配置、通信管理、测线规划：作业期间多源异构无人平台协同显示；后期地貌影像、点云等监测数据及航道结构物等数字重构成果的展示[10]。

(4)应用层。

应用层是系统的成果体现，形成人机交互的“内河信息无人化作业协同显示三维系统”。

1.2 功能模块设计

系统基于三维地理信息开发平台STARGIS-EARTH开发，采用C#语言和.Net Framework开发框架，集成物联网通讯技术，按照具体功能特点，系统所开发的功能可以分为三个模块组，分别为：系统基础模块组、协同显示模块组、数据可视化模块组。

(1)系统基础功能组。

系统基础功能组的构建参考相关地理信息软件(如Hypack等)的功能设计，该模块组主要为测量前的工作准备提供服务，包括工程项目设置、场景构建、测线规划以及常用的测量功能，工程项目设置与场景构建主要功能为通过新建一个工程项目，设置地理坐标参数，导入网络底图、卫星影像、航道设施、无人平台等数据构建三维作业场景；多源异构无人平台在作业方式、作业速度均存在差异，测线规划模块可根据测量范围及要求规划各无人平台的计划线，添加多种布线方式、测线重叠覆盖率统计和叠加分析等功能，辅助作业人员判断测线布设的合理性。此外也包括一些常用的测量功能，如场景漫游、缩放、旋转、平移、升降等。

(2)协同显示模块组。

协同显示模块为系统的核心模块之一，为多源异构无人平台协同显示提高具体功能，包括通讯配置、航迹管理、覆盖范围显示、屏显内容分发。由于无人平台控制终端之间相互独立，通讯配置模块将各个设备抽象成虚拟的设备类，各个设备对象具有相应的属性特征，并通过对象关系映射方式将各个对象保存在数据库中，内嵌无人平台及其荷载探测设备数据格式信息，并提供串口、UDP/IP、TCP/IP等多种通讯端口，按照通讯协议添加无人化设备或传感器，并测试设备是否联通且数据正常；航迹管理与覆盖范围显示功能是读取无人平台输出的位置、姿态数据，通过三维空间位置解算、实时数据采集范围分析等内置算法，得到无人平台作业期间航迹记录，根据航迹记录计算各无人平台作业覆盖范围。

此外对于岸坡变形、渗漏等状态监测内容，采用了应力应变、变形、含水量、加速度等传感器，基于传通讯协议解析，将传感器系统通过读取传感器监测数据，监测作业期间以动态文本或动态曲线等形式展示监测数据。

(3)数据可视化模块组。

数据可视化包括三维场景可视化、实时数据可视化、三维成果可视化，三维场景及实时数据可视化集成在系统基础模块组和协同显示功能组中，三维成果可视化面向后期成果展示，该模块主要对基础地理信息数据、DEM数据、正射影像(DOM)数据、倾斜摄影数据、三维点云数据等内河航道数据进行综合管理与展示，在该模块中实现水上水下三维数据一体可视化，并以此构建出内河航道的三维场景。

2 关键技术

2.1 多源异构无人平台远程通讯技术

多源异构无人平台均有各自的通讯系统、导航定位方式，无人船、无人机采用无线电进行远程通讯，采用GNSS对平台位置进行实时确定，ROV采用电缆通讯，超短基线对ROV进行定位及相对坐标传递，多源异构无人平台能够协同控制的核心问题是解决通讯方式之间的差异。

图2 多源异构无人平台通讯流程Fig.2 Communication process of multi-source unmanned platform

多源异构无人平台通讯流程如图2所示，基于对无人平台通讯协议，在各无人平台控制系统中预留数据输入/输出接口，接口能输出无人平台实时作业信息，转发数据严格按照规范要求，以字符串形式转发，在本系统中配置相关端口，对无人平台转发数据读取与解析。具体实现方式为无人观测平台控制端采用双网口设置，一个网口与无人平台进行通讯控制，另一个网口用以协同组网数据转发。数据转发可根据需要采用UDP/IP、TCP/IP协议，其中UDP/IP通讯协议主要用在现场通讯，采用工业无线网桥作为AP终端与数据通讯节点，通过mesh组网，建立覆盖工区专用的无线/有线数据传输网络，UAV、USV、ROV、应力应变检测传感器控制终端通过网口2接入现场通讯网络系统，来对数据转发；TCP/IP协议主要用于远程控制，各控制端采用DTU(内置SIM卡)、宽带等接入公网，将数据通过TCP/IP协议转发出去，控制终端通过公网读取数据来实现远程控制。数据服务器一方面可部署在现场作为数据存储调用的支撑，另一方面在远程控制阶段，也可以通过数据服务器实现对数据的转发工作，各无人平台控制电脑能快速便捷访问数据服务器中存储的地形、卫星影像等基础地理信息数据。

图3 多无人平台实时三维可视化Fig.3 Real-time 3D visualization of multiple unmanned platforms

作业过程中，多源异构无人平台所获取的各类信息会通过数据通讯管理模块实时传输到系统终端电脑中，经过数据融合计算可获得无人平台的实时位置姿态信息以及扫测覆盖信息。利用双缓冲绘图、消息队列等可视化控制技术，将多无人平台、无人平台扫测范围等动态目标以及水底地形、地貌等静态目标实时显示在场景中，直观展现各个目标之间的相对关系，作业过程中，系统根据数据融合模块的计算结果，应用各个目标的仿射变换矩阵自动实时更新三维场景中各个要素，实现动态场景展示，见图3。根据数据通信配置以及系统的屏显内容分发功能，系统可将无人平台协同作业进度再分享给各个无人平台控制终端，便于系统性配置。

2.2 无人平台实测多格式数据快速建模

图4 无人平台实测多格式复杂数据快速建模Fig.4 Rapid modeling of multi-format complex data measured by unmanned platform

无人平台实测多格式数据快速建模，如图4所示，主要围绕两个技术路线设计，一方面作业期间数据实时显示，USV、UAV、ROV在作业期间实时采集的激光点云、多波束点云、三维声呐点云数据给控制端，在控制端内嵌点云自动化处理程序，通过对点云进行粗滤波、真坐标改算、抽稀、点云输出(xyz格式)等进行简单处理，将处理后的点云按照一定时间间隔分割打包，通过数据通信网络传输给数据服务器，系统平台通过读取数据服务器实时更新数据，在系统中对多源点云数据按照真坐标位置进行简单融合处理，在该环节允许展示数据存在一定的误差。另一方面为三维成果展示，主要将采集到的数据经过专业数据处理软件进行精细化处理，经过水下点云融合、水上水下点云融合、影像附着贴片、裁剪修饰，系统平台通过调度处理后的三维地理数据及变形监测数据，在平台中完成后期的成果展示工作。

2.3 三维地理数据组织

系统以三维地理信息平台为开发核心，采用了三维地理信息平台内置的海量数据信息调度与存储技术，实现对内河航道获取的正射影像、倾斜摄影、三维激光点云、三维声呐点云、侧扫声呐图像、多波束点云等多源数据一体化组织与管理，并可对内河三维数字场景的快速构建。

面向多源且海量的内河航道服役监测数据，其数据表达形式、结构特点均存在差异，其数据组织与管理策略存在一定的差异，采用数据分块与索引方法组织存储的形式对数据进行管理，使用多级LOD金字塔、多种空间索引等技术对数据进行分块与索引，关系型数据库BLOB字段进行分块大数据存储[11-12]，三维空间外包盒进行数据空间分析判断。

(1)图像数据。

DEM、正射影像、水下侧扫声呐为规则化图像文件，采用同一数据组织形式，对图像数据建立多级LOD层级的金字塔，使用四叉树索引方案进行数据分块并建立索引信息，根据索引信息对图像数据块进行重采样，最后将分级分块后的图像数据和索引信息分别存储到关系型数据库中。倾斜摄影数据自带LOD层级金字塔和数据分块类型。在倾斜摄影模型数据存储时，利用原生的多级金字塔级别，直接在数据库中以二进制数据的形式存储独立的倾斜摄影文件，并建立文件索引。

(2)三维点云数据。

多波束扫测数据、三维声呐扫测数据、三维激光扫测数据为数据点云，在存储时，根据数据范围和点密度，采用八叉树索引方案对点云进行规则化划分，建立各层八叉树节点数据结构，采用数据分块处理、逐结点保存的文件映射机制将点云分块数据写到数据库，同时保存索引信息。在可视化阶段，基于OSG分页细节层次结点的实时调度技术[13]，对海量点云数据进行调度，避免数据索引与原始点云文件全部载入内存，从而降低计算机硬件设备要求。

3 应用推广

2020年9月，本系统在长江中下游某河段航道设施服役状态检测中得到成功应用，在本次应用中，无人机、无人船、ROV、岸坡变形检测设备等参与了航道服役状态信息监测，无人机搭载三维激光扫描仪、GNSS、摄像机，无人船搭载多波束声呐、GNSS、光纤罗经，ROV搭载水下三维扫描声呐、超短基线信标，岸坡变形检测设备由多种应力应变传感器构成，无人机、无人船主要对航道进行快速扫测，ROV在人工控制下对岸壁、坍塌的岸坡等复杂区域进行抵近式监测，应力应变传感器对危险岸坡进行位移、渗透压等内容进行监测，现场由无人平台采集数据建立的三维场景见图5。

图5 试验区多源数据融合展示Fig.5 Multi-source data fusion display in the experimental area

本系统通过与各无人载体控制终端、应力应变传感器控制终端建立通讯，获取无人载体平台、应力应变传感器的实时数据，对作业期间工区扫测面积、工程进度进行实时展示。完成检测后，通过读取处理后的数据，将三维激光点云、倾斜摄影测量模型、多波束点云、三维扫描声呐点云和岸坡变形监测数据融合处理，进行了内河航道服役信息的三维可视化展示，所获得航道服役信息检测成果已共享给相关单位。系统在多种无人载体作业协同性、数据展示时效性、场景展现真实性等方面技术优势突出，随着长江黄金水道建设的推进和内河航道整治的广泛开展，系统有望进一步推广应用。

4 结论与展望

内河航道服役状态对通航保障、航道的治理维护至关重要，无人化平台在内河航道数据采集中应用越发广泛。通过对多源异构无人平台通讯协议解析，基于三维地理信息平台，按基础层、数据层、功能层和应用层四层架构，开发出一套内河无人化作业协同显示三维系统。该系统集成了远程通讯、三维地理信息、空间数据库等多种技术方法，支持无人机、无人船、ROV等无人平台以及多类传感器在数据采集中的可视化显示以及后期的数据融合展示，该系统在长江中下游某河段航道设施服役状态检测中进行了示范应用，不仅用作现场作业时的任务管理，也用在了采集后的成果展示，具有重要的推广意义。