基于虚拟现实交互的智能船舶感知测试系统

祝添权，吴 勇，郑 茂，初秀民

(1.武汉理工大学 国家水运安全工程技术研究中心，湖北 武汉 430063；2.闽江学院，福建 福州 350000)

智能船舶融合了先进感知、大数据、人工智能及自动控制技术，具有安全可靠、节能环保、经济高效等显著特点，是未来船舶发展的重点方向。在人工智能等先进技术的驱动下，智能船舶等级不断提高，系统复杂性进一步增加，再加上多变的海洋天气和复杂的海况，都为智能船舶测试评价提出了新的挑战。为了测试智能船舶的性能水平，国内外高校和企业加大了对智能船舶测试技术的研发投入，欧洲先后建设4个无人船海上测试场，我国也在山东威海、广东万山、浙江舟山规划建设3个海上测试场。2018年11月30日，广东万山无人船在海上试验场正式启用，并被授予测试场服务供应方认可证书，标志着我国智能船舶测试认证进入标准化、规范化时代。

然而，随着研究的深入，学者们逐渐认识到：需要测试的航行场景错综复杂，如果全部进行实际海上测试，投入的时间和费用都将难以计量。现有的海上场地测试已经无法满足智能船舶的测试需求，于是，专家学者们开始把目光转移到一种不下水也能训练智能船舶性能的方法——虚拟测试技术。虚拟测试技术是在仿真场景下，根据测试标准，对待测模型的性能和功能进行的测试技术。利用虚拟测试技术，不但能够在船舶正式投入使用前找出存在的安全隐患，而且能够对十分恶劣的海况下船舶的航行性能进行检验，确保产品的安全性和可靠性。

近年来，虚拟测试技术已被广泛应用于航空航天、汽车、兵器制造等领域，但船舶领域的虚拟测试技术仍处于起步阶段。测试数据集匮乏，无法满足测试研究需求，测试方法研究进展缓慢，系统研究存在短板。针对以上问题，本文提出一种基于虚拟现实交互的智能船舶感知测试系统，对智能船舶感知测试系统进行详细设计，同时对感知数据采集、数据重构和数据增广3项关键性技术进行了针对性研究，旨在推进船舶智能航行感知系统测试集构成和测试方法更新。

1 系统框架

基于虚拟现实交互的智能船舶感知测试系统结构示意图如图1所示。基于虚拟现实交互的智能船舶感知测试系统主要由船舶智能航行感知采集子系统、虚拟仿真子系统和基于虚拟现实交互的平行测试与评估子系统组成。

图1 基于虚拟现实交互的智能船舶感知测试系统结构示意图

1)船舶智能航行感知设备采集子系统，包括雷达、摄像头、AIS、GPS和罗经等感知设备，负责在真实世界中采集船舶航行数据，并生成真实数据测试集。一方面，得到的真实数据测试集更新到基于虚拟现实交互的平行测试子系统中供测试使用；另一方面，真实数据也同步更新到虚拟仿真子系统中进行仿真。

2)虚拟仿真子系统，包括船舶操纵仿真、雷达图像仿真、AIS数据仿真和视频图像仿真等，负责对虚拟世界中的船舶航行环境数据进行仿真，生成虚拟数据测试集。

3)基于虚拟现实交互的平行测试子系统，其功能为将船舶智能航行感知设备采集子系统生成的真实数据集和虚拟仿真测试子系统生成的虚拟测试集更新到平行测试子系统中。被测智能船舶感知系统通过与该平行测试子系统互动开展集成测试，有效评测智能船舶的智能水平、环境认知能力和适应能力等。

此外，系统引入复杂与对抗性场景，将通过数据采集得到的实际真实数据和场景仿真得到的虚拟测试数据反馈到系统中，系统能够自动生成较现阶段复杂的新的航行场景，这些场景可以呈现复杂、动态的航行环境，以促使智能航行船舶进一步提高适应复杂航道环境的能力，促进船舶智能航行感知技术的发展。从这个角度来看，基于虚拟现实交互的智能船舶感知测试系统可以在人类专家的偶尔指导下进行自我升级。

综上所述，所设计的基于虚拟现实交互的智能船舶感知测试系统与现有一般测试系统的关键区别在于：该系统以一种新的平行测试方法来测试智能船舶对复杂航道场景的感知能力，构建了一个人工闭环的平行智能测试模型，使其具有在人类专家指导下自动自我升级的认知机制。

2 关键技术

基于虚拟现实交互的智能船舶感知测试系统，采用真实原始数据与虚拟人工数据相结合的方式，对待测试智能船舶进行训练和更新，在数据测试集成、构成上，主要应用了数据采集技术、数据重构技术与数据增广技术。数据采集技术指通过船舶感知设备采集船舶及其周边环境的信息，以获取真实数据测试集；数据重构技术是以真实感知数据为基础，根据复杂与对抗性的航行场景，进行航行环境数据的仿真，以获取复杂与对抗性航行场景测试集；数据增广技术主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。以下对所设计的测试系统中的数据采集、数据重构和数据增广技术分别进行介绍。

2.1 数据采集技术

1) 雷达数据采集。首先，雷达反射回波经过变频、放大和滤波等处理变成具有一定强度的模拟信号；其次，经A/D转换为数字信号；再次，通过FFT(快速傅里叶变换)运算、杂波抑制、CFAR(雷达恒虚警)检测等图像处理；最后，生成雷达图像。海事雷达图像按照雷达输出的信号类型，可分为模拟视频图像和数字以太网图像。

(1) 模拟视频图像。雷达的模拟视频图像以VGA制式为主，如古野、JRC雷达等。雷达通过VGA接口输出R、G、B三基色模拟信号和场、行同步信号。VGA信号多采用视频编码器，如海康威视DS-6701HTH-4K编码器，将模拟视频图像按照H.265/H.264协议压缩后，转为数字码流，再通过TCP/IP协议进行网络传输。用户可通过网口进行雷达图像采集和存储。

(2)数字以太网图像。部分雷达提供以太网接口，如SIMRAD的4G连续波固态雷达，其内部以数字信号方式生成显示图像，并通过UDP协议在局域网内传输，用户可以直接通过网口采集雷达图像并实现对雷达的参数控制。

综上所述，提供VGA接口的雷达输出模拟视频图像后，需要通过图像识别的方法识别雷达参数，系统较为复杂；提供以太网接口的雷达输出数字以太网图像后，可直接进行图像采集和存储，而且可以控制雷达参数设置，系统更加简单，使用更加灵活。

2) 视频数据采集。视频数据采集过程中，摄像机输出的视频图像信号可分为模拟信号和数字信号，输出模拟信号的摄像机为模拟摄像机，输出数字信号的摄像机以网络摄像机为主。

(1)模拟摄像机。模拟摄像机输出模拟视频图像，经视频编码器将模拟信号转为数字信号，然后通过网络进行传输。如海康威视DS-2CC11A7P-A摄像机，摄像机通过BNC接口输出电平幅度为1 V、阻抗75 Ω的模拟信号，信号经编码器的BNC接口输入，并按照H.264视频压缩标准压缩后转为数字信号，最终遵循Ipv4/v6网络协议，通过RJ45以太网接口进行传输。

(2)网络摄像机。网络摄像机提供以太网接口，输出数字视频图像。网络摄像机内部自带网络编码模块，通过网络编码模块对模拟视频图像进行M-JPEG/H.264编码压缩成数字视频图像后，按照TCP/IP网络协议直接通过以太网接口输出数字视频图像。

综上所述，网络摄像机因组网灵活、采集存储方便等特点，其整体性能已远超传统模拟摄像机，应用范围更为广泛。

3) AIS数据采集。AIS船台一般提供RS422和RS232这2种接口，以串行方式输出本船及目标船的静、动态信息，用于在计算机系统上采集和处理信号。AIS信息的输出遵循ITU-R M.1371协议。对于RS232接口的船台，如古野FA-150，信号可直接传输至PC机。而对于RS422接口的船台，如赛洋AIS9000-15，信号必须经过转换器完成RS422信号到RS232信号的转换，然后通过串口送入PC机[1]，由PC机完成信号的采集和处理。

2.2 数据重构技术

1)船舶运动仿真。目前，广泛使用的船舶运动数学模型主要包括整体型模型、分离型模型和操舵响应模型[2]。

针对船舶操纵性的仿真，本文选用操舵响应模型，在建立模型之后，可使用欧拉法或龙格-库塔等方法对状态进行积分求解运算，以实现船舶运动状态的仿真。

2) 雷达图像仿真。雷达图像仿真的3个主要要求为：一是要有明确的遮挡判断算法，二是回波强度的计算要合理，三是要保证实时性。常见的雷达图像仿真方法有以下几种。

(1)扫描线求交算法[3]。扫描线求交算法基于岸线数据，岸线数据由若干线段组成。扫描线求交算法示意图见图2，先求出扫描线与岸线的交点，再利用Bresenham画线算法从该点出发向岸侧画一段任意长度的线段，产生类似用铅笔在海图上沿岸线向陆地侧涂抹的效果。扫描线求交算法生成仿真雷达图像虽实时性得到满足，但因缺少合适的遮挡判断算法和回波强度算法，导致真实感较差。

图2 扫描线求交算法示意图

(2)射线追踪算法[4]。射线追踪算法是通过射线模拟电磁波对目标的入射，求出每条射线管投影坐标与射线管的出射场强，然后在图像域上对所有射线管的贡献进行累加，最后通过加窗处理获得雷达图像。射线追踪算法具有较高的真实感，但要保证实时性使用的射线不能太多。

(3)基于雷达方程的回波强度算法[5]。高真实感的仿真雷达图像离不开合理的回波强度算法，合理的回波强度算法可以判断一个未被遮挡的目标是否应该显示出来，更好地模拟增益和调谐功能。基于雷达方程的回波强度算法采用了雷达波的传播衰减算法和雷达天线方位图函数，实现了回波的横向扩展和径向扩展效果以及旁瓣假回波，使得仿真雷达图像的真实感进一步提高。

3) 视频图像仿真。视频图像仿真是指在真实船舶航行环境基础上利用三维仿真技术对现实场景进行模拟和还原。首先对岛屿、船舶、航标、水文等航行场景进行三维建模；之后将模型文件导入模型驱动平台；最后通过程序对三维模型予以驱动。

4) AIS数据仿真。首先，根据船舶仿真数据，得出经纬度、航速航向等，再根据AIS消息1(船舶动态信息)和消息5(船舶静态和航行相关信息)进行分类；其次，按照ITU-R M.1371协议，对AIS数据进行编码，生成AIS仿真报文；最后，根据AIS船舶航行速度确定发送间隔，发送AIS仿真报文。

2.3 数据增广技术

1)雷达图像增广。

(1) 海况条件。海杂波是指来自海表面的散射回波，在生成雷达回波图像时，可以用典型的海杂波幅度分布随机生成杂波图像，叠加在雷达回波图像上达到数据增广的目的。典型的海杂波幅度分布模型有瑞利分布、对数正态分布、韦布尔分布和K分布，高铮对上述4种典型海杂波幅度分布模型进行仿真[6]，并使用海杂波的实际测量数据来检验模型的拟合度，结果表明，K分布模型更具实用性，可以描述多种海杂波的幅度分布规律。

(2) 雨雪条件。空中的雨雪在一定范围内可以视为是众多均匀分布的散射粒子。每个散射粒子回波的任意变化导致总的回波幅度变化呈现随机性。在生成雷达回波图像时，同样可以通过雨雪杂波幅度分布随机生成杂波图像，叠加在雷达回波图像上达到数据增广的目的。相比海杂波幅度分布，无论雷达分辨力的高低，都可以用瑞利分布来描述雨雪杂波的幅度分布[7]。

2)视频图像增广。视频图像增广可分为色彩增广和几何增广。对于背景复杂的特性，常采用色彩增广的方法，通过调节色彩图像R、G、B这3个通道的亮度值，使其增广后的图像与原图像具有不同的色彩呈现，以弱化训练出的模型对目标色彩属性的依赖；对于视角特性，常采用几何增广的方法，通过图像翻转、缩放、平移和旋转等操作来改变目标在图像中的位置，达到数据增广的目的。此外，还可将翻转、缩放、平移和旋转等操作进行变组合来进行增广。

3)AIS数据增广。在实际AIS数据采集过程中，经常会出现某时间段数据缺失的情况。如单个船舶的AIS数据理论上是每10 s输出1条AIS数据报文，但实际情况是由于雨雾天气或地形的影响，时常出现2 min左右的数据缺失情况。因此，可通过人工随机地去除单位时段内某些船舶AIS语句，或改变某一地区AIS语句的输出频率，以模拟地形遮蔽等特殊情况，生成新的测试数据样本，从而达到数据增广的目的。

3 结束语

本文基于数据采集、数据重构与数据增广技术，提出了基于虚拟现实交互的智能船舶感知测试系统，实现了智能船舶航行感知系统测试与评估的目的。在系统结构上采用人工闭环的模式，使其可以不断自我升级；在测试船舶感知能力上，采用平行测试的方法，使其不局限于实际测试场地；在测试数据集构成上，采用数据采集技术、数据重构技术、数据增广技术，有效解决了现阶段测试数据集匮乏的问题。基于虚拟现实交互的智能船舶感知测试系统不仅能为发展水上交通环境感知提供基础数据，而且有助于促进人工智能与智能船舶融合，引领智能船舶技术体系发展，在未来智能船舶感知测试系统搭建上，有重要的应用价值。