无人艇光视觉感知研究发展综述

王 博

(哈尔滨工程大学水下机器人技术国防科技重点实验室，黑龙江 哈尔滨 150001)

0 引 言

水面无人艇（unmanned surface vessel，USV），简称无人艇，是一种无人操作的水面舰艇。水面无人艇拥有部分自主或完全自主完成工作任务的能力，水面无人艇与其它常规海洋装备相比，具有维护成本，能源消耗低，连续作业时间长等特点，能够满足现实水面大区域、长时间的研究任务和工程项目的需求。此外，水面无人艇能够代替人从事复杂危险的工作，比如灾难事故搜救，水文信息监控采集，海洋生物信息采集，区域海图地形绘制，海洋气象预报；邻海防御任务；特定水域的搜查，侦测及排雷，打击海盗，反恐任务等。

以上任务要求无人艇必须能够平稳航行，进行环境探测、水面目标检测、目标识别、自主避障以及自主完成任务。这些能力的实现要以无人艇的环境感知技术为支撑。与其他感知技术相比，光学图像中包含更丰富的目标区域细节信息，数据容易获取并且信息量大[1]，有助于其完成自主规划、自主避碰和环境监测等任务的实现[2]。

1 基于水面无人艇的水面图像预处理

水面图像预处理的目的通过处理原始图像得到清晰稳定的图像序列，稳定清晰的图像序列能大大提高无人艇光视觉避障、检测、跟踪和识别的能力。因此针对各种运动的稳像技术研究具有很强的现实意义[3]。同时清晰的场景信息也是实现无人艇视觉系统功能的有力保障之一。然而海雾使图像的能见度和对比度大幅降低。因此，有效地消除海雾影响成为提高无人艇图像数据可用性的必要途径。

1.1 针对无人艇不规则摇晃的稳像方法

通常采用的稳像方法有主动稳像，被动稳像和电子稳像3 种。主动稳像和被动稳像可配合使用实现宽范围的稳像。但是，由于高精度的陀螺稳定平台不仅结构复杂，体积大、价格昂贵、功耗大，所以使用最广泛的是电子稳像技术来实现电视图像的稳定[4]。

图 1 广义水天线的电子稳像效果Fig.1 The electronic stabilization effect of generalized sea sky line

图 2 北京理工大学稳处理效果图Fig.2 The stabilization effect from Beijing Institute of Technology

针对海面环境下的成像特点，薛言太[5]基于帧间补偿法设计了基于水天线特征的电子稳像算法，平均处理每张典型的海天图像时间为39 ms，处理受天气影响的图像为41 ms，有障碍的海天图像时间为52 ms，都满足工程上要求。在此基础上，北京理工大学使用从连续帧中提取的特征点来估计用于图像稳定的运动参数。在跟踪窗口大小为1×12×128 像素的情况下，稳定率达到每秒25 帧。

无人艇上应用的稳像方法主要包括了：帧间补偿法、基于图像特征方法、基于图像块法等[6]。帧间补偿法只能用于静态背景且摄像头固定的情况；基于图像特征的稳像方法能确保图像的精度但不能确保处理的实时性；基于图像块的稳像方法鲁棒性好，但精度有待提高。

1.2 水面图像的去雾、增强的研究

海雾使大气能见度下降，光学设备图像模糊，分辨率降低，无法获得清晰的图像表面特征信息，严重影响了图像信息的提取，给图像信息提取带来了极大的困难。目前，国内外许多学者对影响图像质量的雾化进行了大量的研究，主要有2 种方法[7]基于物理模型的恢复方法，建立图像退化模型，利用现有知识恢复场景；另一种方法是基于图像增强，通过增强低质量对比度满足主观要求，从而达到清晰的目的。

哥伦比亚大学基于物理模型提出了一种针对恶劣天气条件下图像增强方法，使用场景包括航空和航海图像，该算法不需要任何先验场景结构信息[8]，但处理效果并不如针对特定天气下的处理方法优秀。

何凯明[9]提出利用暗通道算法用于单幅图像去雾，并且结合了之前的雾气成像模型，恢复高质量的无雾图像。大连海事大学采用暗通道先验知识初步估计海上图像的透射率，利用引导图像滤波对初步估计的透射率进行细化，建立雾天退化物理模型[10]。

还有一种去雾方法是基于大气散射物理模型的海雾去雾方法，哈尔滨工程大学[11]采用基于大气分析天空区域特征得到天空亮度估计值，并且利用帧差法背景提取方法，通过计算同一背景下雾的分布图提高视频图像的去雾速率。

综上，在水面图像去雾领域的研究工作中，以下几个方面值得研究学者开展工作：首先，要提高算法的自适应调整能力。再有去雾算法的复杂度仍有待降低。

2 水界线的检测

无论是对于单目视觉的目标检测来说，还是对于双目视觉的目标测距来说，海天线或海岸线都是一则非常有意义的信息。高精度地检测水界线对于无人艇应用至关重要。

图 3 基于小波变换的海天线检测Fig.3 The sea sky line detection based on wavelet transformation

图 4 基于梯度显著性的海天线检测Fig.4 The sea sky line detection based on gradient saliency

赵凝霞等[12-15]通过对无人艇获取的图像进行小波变换来进行水界线检测。王博[16]提出一种基于梯度显著性的海天线检测方法。梯度显著性的计算有效增强了海天线的直线特征并抑制了各种干扰因素，采用区域生长方法实现了对海天线的检测和辨识。

寻找感兴趣区域是现在水界限检测的主流方法，在感兴趣区域辅助下确定海天线位置。以色列信号和图像处理实验室Ran Gladstone 通过找到最大稳定的极值区域来估计目标与海面的接触点[17]，然后利用地球的几何形状和相机的光学性质来计算距离，平均误差为7.1%。

图 5 感兴趣区域及水天线检测结果Fig.5 The region of interest and the sea sky line detection results

Bok-Suk Shin 等提出分层随机抽样一致性算法来检测水天线[18]。首先在缩小的梯度图像中应用RANSAC估计水天线位置，然后在原始图像的感兴趣区域的边缘检测图像中采样适量的图像块，最后用RANSAC 聚合方差较小的候选图像块。

3 水面目标检测方法研究

对于水面目标直接检测较困难的问题，有的研究学者结合了水面图像的具体特点进行目标检测。万磊等[19]针对无人艇对复杂海岸背景下的水上目标检测问题，提出基于海岸线信息的近海目标自动检测方法，获取目标位置。采用哈夫变换进行投票加权处理，确定海岸线的精确位置，单帧处理在0.2 s 以内。

多光谱信息处理国家处理实验室常莉提出运用显著性的概念来获取显著性特征[20]。融合对象和显著性的结果，平均准确度为82%，每帧耗费时间为0.268 s。后期李畅在此基础上将目标特性和显著性相结合，剔除假目标，验证得到准确率在80%以上[21]。

图 6 基于海岸线信息的近海目标自动检测结果Fig.6 The offshore target detection results based on coastline

图像稀疏性是图像一个重要特点，萧正莫[22]就通过探索图像块的全局稀疏性。实现对目标的检测。王晗[23]在此基础上开发了实时障碍物检测系统。该系统能够在海面上检测和定位30～300 m 范围内的多个障碍物。

牟晓正等[24]提出一种基于实时视觉的水面无人艇远距离目标检测与跟踪算法。在研究中使用高清图像（2736×2192）以便得到高精度的目标距离。为了保证处理这种高分辨率图像实时性，提出了一种由粗到精的方法。

深度学习的兴起丰富了水面运动目标的检测方法，已有研究结构将深度神经网络应用到水面运动目标检测的实际应用中。杨建等[25]提出一个基于神经网络的水面目标的监测跟踪定位系统。利用分割精确检测结果解决了目前基于CNN 的检测方法定位精度低的问题。同时使用KF 来跟踪多个帧的对象来提高效率。

图 7 试验得到部分视频帧的检测效果Fig.7 The detection effect of partial video frames in experiments

图 8 改进后算法目标检测与识别结果统计Fig.8 The target detection and identification result statistics of improved algorithm

图 9 基于视觉的无人艇目标跟踪试验效果图Fig.9 Target tracking effect of USV based on vision

图 10 （a）初始检测框（b）区域图像（c）分割图像（d～f）将超级像素组合在初始检测框内的过程（g）精确检测框Fig.10 (a) original detection box (b) region image (c) segmented image (d) the process of combining super pixels into original box(e) accurate detection box

韩国Jonghong Park[26]为了估计每个目标相对于无人艇的范围和方位，利用连续白噪声加速（CWNA）模型的扩展卡尔曼滤波器（EKF）算法对障碍物进行精确定位，经过现场实验证明其方案的可行性和有效性。美国喷气推进国家实验室的特里亨斯伯格等[27]搭建的Hammerhead 视觉障碍物检测系统可以生成基于网格的危险图，在2009 年美国詹姆斯河流域对三叉戟水面无人艇进行了测试。

图 11 基于视觉的碰撞的现场实验结果Fig.11 The experimental results of collision avoidance based on vision

由于深度学习的兴起，现在目标检测的趋势是采用深度学习的方法但这种方法是依赖前期大量训练数据的积累。另一方面可以发挥不同传感器优势，进行检测信息融合，可以提高运动目标的检测效果。

4 水面运动目标跟踪

水面运动目标跟踪是一个充满各种挑战的任务，主要是由于水面运动目标周围环境充满各种干扰而且经常发生变化，或是运动目标自身形状和大小在图像序列中展现多样性。因此在水面复杂环境中能准确识别并跟踪运动目标就成为一个存在各种影响的难题。

图 12 检测和跟踪具有挑战性帧的试验结果Fig.12 The detection and tracking in challenging frames,with targets labeled by green boxes

Bok-Suk Shin[28]针对大浪、水面有雾等恶劣条件下目标跟踪问题，根据试验得到该系统目标检测和跟踪的距离最远为500 m。Ran Gladstone 等[29]通过发现最大稳定极值区域（MSER）来检测目标与海面的接触点，显示相对于GPS 的平均绝对误差在4.8%到9%的范围内，总体平均误差为7.1%。

还有一些研究机构将新信息融合方法应用到水面目标检测与跟踪任务中，主要是基于视觉和激光雷达融合或者视觉与GPS 的融合等。萧正莫等[30]将单目摄像机与GPS 和罗盘信息集成，将测距能力提高500～1 000 m。D.Hermann * R 则直接将雷达和视觉信息进行融合，可以适用于30 m/s 运行的无人艇[31]，能对175 m范围内的障碍物达到实时检测。

传感器信息融合实现对水面目标的检测跟踪是趋势，是提升全天候下跟踪性能的重要解决方案。但如何实现真正的信息融合而且保证对目标的长时间准确检测跟踪是难题。

5 结 语

无人艇光视觉系统与其他感知系统相比有其明显的优势，近年得到了越来越广泛的应用，但现在国内外对于光视觉技术的研究还不能使无人艇真正达到智能自主，其中存在许多需要改善的方面：

1）一个可以投入实际使用的基于视频图像的无人艇感知系统应该具备处理时间短、自适应强和可靠性高的特点。

2）无人艇光视觉研究需要确定清晰完整的工作过程。基于传感器（摄像头或雷达）录入信息后的数据处理和行为预测，并反馈到感知系统进行校正和预测都是需要解决的问题。

3）借鉴无人车的发展经验，无人艇光视觉研究智能化水平还有待提高。无人艇与无人车的工作模式类似，只是工作的环境更加复杂，对自身系统的稳定性要求比无人车要高。

未来这一领域的发展应该是围绕上述问题的解决而展开，发展趋势主要是：

1）多专业领域交叉融合。实际上无人艇也和感观系统、大脑系统、决策系统相类似，是一个多学科、多领域交叉融合的系统。随着计算机、自动控制、信息处理、通信与网络、动力与能源、新材料等高新技术日臻成熟，无人艇正呈现出综合化发展态势。未来无人艇系统将逐步成为体系的有机组成部分，其技术体系势必是光视觉和其他感知技术的统一，是环境感知和控制、规划领域的交叉融合。

2）模块化、标准化、通用化进一步发展。无人艇的研发目的是代替人类执行各种复杂危险的任务，其多用途和高标准决定了无人艇需要在功能的多样性和精确性上下功夫，对环境感知领域更是如此，模块化可以使无人艇智能选择合适的方法进行正常地感知探测，标准化和通用化使感知系统适用于各种不同型号和任务。

3）将实现高度智能化。无人艇实现高度智能化将具有以下特点：一是具有记忆和思维能力，能够存储感知到的外部信息同时能够利用已有的知识对感知到的信息进行分析；二是具有学习能力和自适应能力，通过不断学习积累知识，使自己能够适应环境变化；三是具有行为决策能力，形成决策并传达相应的信息。

4）水面图像的增强复原研究。需要建立一套能满足各种天气环境的水面图像增强复原系统，能根据外界环境自适应对图像进行复原，保留图像的关键信息。

5）传统感知算法和深度学习感知算法的算法融合研究。传统的感知算法具有理论性强和可靠性高的特点，深度学习的感知算法具有鲁棒性强、准确度高等优点。可以融合传统算法和深度学习算法，得到拥有两种算法优势的感知框架，提高水面无人艇感知环境的能力。