基于残差回归网络的复杂背景下海界线检测∗

邱艺铭 杜华军 马 杰 郭砚辉 吕 武

（华中科技大学自动化学院 武汉 430074）

1 引言

无人水面艇（Unmanned Surface Vessel），是一种无人操作的水面舰艇，需要在复杂海情下（海、天、地背景）自动检测和识别海面目标，海界线的检测具有非常重要的价值。主要体现在：1）排除陆地和天空的虚假目标或者噪声所带来的干扰；2）在远距离平视观测状态下，舰船目标大概率会出现在海界线位置，检测出海界线的位置有利于缩小海面目标搜索范围；3）根据多帧海界线的历史运动轨迹，可以估计无人艇当前的运动姿态，消除惯导累积误差，提高航行过程中的稳定性和安全性。

图1 残差回归网络结构图

海界线是由海面向天空或者海面向陆地的一条明显分界线，但是由于海面天气复杂（如雨、雾、霾等），会降低图像清晰度，导致海界线的边缘信息不明显；海界线附近干扰物（如礁石、轮船）会破坏其直线特征；海面的波浪及天空的云层还有陆地的建筑等可能呈现出与海界线相似的直线特征，造成误判。因此进行海界线的精准检测至今未取得较好的解决方法。针对该难题，近年来国内外学者进行了大量的研究工作，王博［1］等首先采用梯度显著性计算有效增强海界线的直线特征，再采用梯度生长方法实现了最终海界线的检测。Wang［2］和 Kim［3］等利用随机一样性（RANSAC）算法实现对海界线的拟合；Zou［4］等提出了一种基于剪切波变换算法，通过辨识边缘的梯度方向信息来进行海界线检测；曾文静［5］等采用周围纹理抑制的Canny边缘检测和Hough变换的方法实现了海界线检测；孙雄伟［6］等利用双边滤波原理实现海界图像的保边抑噪，图像边缘方向信息相位编码的增强和抑噪，然后以相位组分内扫描线的响应强度累积值和海界区域内像素强度分布模式的差异值辨识出最优海界线的位置。Evgeny［7］等对几种常用的海界线检测算法进行了对比总结。上述方法基本都是基于边缘梯度特征来进行海界线的提取，但是由于海面状况复杂，各种干扰信息（如云层、水花、水波浪纹、海面船只、礁石及建筑信息等）都会造成与海界线相似的梯度特征，影响最终海界线的精确检测。

基于浅层的图像梯度信息是很难将图像中非海界交界处的边缘特征滤除掉。为了解决这个问题，我们设计了一个基于卷积神经网络的残差回归模型来进行海界线检测，其能有效地滤除除了海界线之外的梯度信息，精准地检测出当前图像中海界线的位置。

2 基于残差回归的海界线检测

近年来随着公用数据集的增长，GPU并行速度的倍增及深度学习的迅猛发展，计算机视觉领域中的卷积神经网络研究得到了质的飞跃，各种网络结构 模 型 层 出 不 穷 ，比 如 AlexNet［8］、VGG16［9］、GoogLeNet［10］及 ResNet［11］，基本都朝着网络深度加深并且训练速度加快的方向发展。CNN模型中拥有着多层的卷积、激活及池化层，通过反向传播的训练方式，能够自动提取非线性表达能力强、可区分能力佳的高级特征。采用CNN模型后，不仅在高级任务（如检测、跟踪、识别）等取得了重大的突破，在一些低级任务中，如图像去噪、超分辨率及去雾等领域也有了显著的提升。本文方法有效地利用了CNN自动提取高级特征的优点，设计了残差回归网络进行海界点的概率估计（网络结构如图1所示），再通过OTSU及meanshift聚类算法，去除无效的干扰点，最终通过最小二乘有效进行海界线的检测。本文主要突出点如下所示：

1）采用在海界线处用白线描绘的方式进行标签集的制作，突显网络的学习目标是海界线，有效滤除复杂海界背景下其他梯度信息的干扰，且网络的输出结果易于理解，方便后续进一步处理。

2）基于 ResNet［11～12］的思想，采用残差回归的方式进行网络训练，将标签图与原图相减后的残差图作为我们需要学习的目标，简化学习的任务，有效缩减模型深度，提高模型的收敛速度。

3）采用深度学习与传统机器学习相结合的方式进行海界线的提取，在测试集上的检测准确率相比传统的海界线提取算法有显著提升。

4）既可以检测直线形式的海界线，也可以检测曲线形式的海界线。

3 模型构建

由于学习目标是检测海界线的位置，所以采用回归模型来进行网络搭建。在学习任务的描述上，先后采用了多种方式进行试验。

图2 原图与标签图

3.1 模型设计

我们开始尝试着进行图与图之间像素点的直接回归，简化学习的抽象程度。在标签集的制作上，采用了巧妙的方法，为了强调海界线是需要学习的对象，人工对处于海界线处的像素用白线进行描绘，提高其与周围背景的对比度。采用白线的原因主要两个：1）该颜色与整个海界背景具有较为明显的差异性2）通过将网络训练出来的输出图与原图进行相减，得到的差值图中每个像素点的值可以大致理解为该像素点属于海界点的概率大小，利于后续算法处理。原图与标签图对比如图2所示。

模型代价函数为最小平方和损失函数如下：

其中X表示输入图片，Y表示输出图片，h表示卷积网络中间处理过程。由于是进行全图直接回归任务，所以为了不破坏空间位置信息，中间没有采用任何池化操作，基本单元由卷积和修正线性单元（Relu）组成。训练过程的损失值变化如图3所示，可明显观察到损失值只在刚开始有过一次显著下降，之后就呈小幅震荡状态，并未收敛。对输入图和标签图的颜色直方图（如图5（d）和5（e）所示）进行分析，其中所有像素值都已经归一化到了[ ]0，1 ，可以发现回归模型要学习的任务需要将输入图中所有范围为的像素值映射到输出图中所有范围值为的像素值，这是一个较为复杂的任务，对于我们当前的模型容量来说明显处于严重欠拟合的状态。

图3 不同网络收敛性对比，纵轴对数处理

3.2 残差回归

在当前的模型容量中，如果要使得网络得以收敛，需要简化学习的任务，从残差网络［13～14］中得到了启发。由于网络学习的目的是得到海界点的位置，那么将标签图Y与原图X相减得到的残差图(Y-X)即为海界点概率图，其颜色直方图如图5（f）所示，与图5（d）和图5（e）相比，可以发现其颜色变化范围已经显著缩减，大部分区域属于0附近，如果将残差图作为回归任务要学习的目标，学习任务即可以得到大大的简化。新的网络模型结构如图1所示，其中将输入图像与最后一层卷积层的输出直接逐像素叠加，作为目标函数的输入，新的模型代价函数如下

通过图3分析，可以发现残差回归网络的收敛性能相比直接回归大大提高。

为了进一步加快网络收敛速度，通过分析残差图，可以得知最后一个卷积层的输出除了海界线位置外应该基本都为0，再进一步分析图1中的网络中间层结构（简化为如下公式所示）。

其中*表示卷积操作，w为卷积核，b为偏置，若将卷积单元和修正线性单元（Relu）作为网络中一个基本单元，则F1为原始输入图像，Fx表示经过x个基本单元处理后的输出特征图，k表示网络中间层数。为了使得Fk中的元素基本为0，就必须使得每一层的w和b基本为0，又为了打破网络对称性，所以我们采用高斯核初始化w，对b则采用固定值进行初始化，经过实验，发现w在均值为0、方差为0.001，而b在值固定为0的时候收敛最快，其网络收敛性如图4所示，通过与经典MSRA的参数初始化方式相对比，可以发现在训练初始阶段，网络的损失值就已经很小，显著加快了收敛速度。

图4 不同参数初始化对网络收敛性影响，纵轴对数处理

3.3 数据集的生成

由于网上没有公开的关于海界线检测的数据集，所以我们人工制作了一个，数据集中图片分别来源于 VOC［13］、IMAGENET［14］、COCO［15］这些公开数据集及搜索引擎获取的与海界面相关的图片。为了获得较为真实的实验结果，对数据集中的图片进行了严格的筛选，对于人工合成、卡通、高压缩、严重运动模糊、低曝光或者高曝光等严重失真的图片都一律舍弃。经过筛选之后，最终确定的数据集共有2817张图片。然后经过随机抽取，总共选取其中2317张作为训练集，500张图片作为测试集。而在标签集的制作上，我们采用的方法是对于处于海界线的像素点全部采用半径为1的白色圆点进行标记。对于横跨海界线的，比如轮船、礁石、鱼等，一概不予标记。

图5 颜色直方图对比

4 Meanshift聚类与曲线拟合

4.1 Meanshift聚类

原始图片经过残差回归网络处理后，其输出的残差图即为海界线概率图（如图6（b）），我们首先采用OTSU算法对概率图进行阈值分割，初步获得所有前景点，但是由于噪声点的存在，并非所有的前景点都是海界点。根据观察分析可知，海界点在图像处中所处的行位置信息及其四周的颜色特征一般都比较相近。于是对于每个前景点，共提取了7 维特征 (Row，Ru，Gu，Bu，Rd，Gd，Bd)来对其进行表征，其中Row表示前景点所处的行数，Ru，Gu，Bu表示前景点上方中心(W*H)范围内所有像素的RGB 平均值，Rd，Gd，Bd表示前景点下方中心(W*H)范围内所有像素的RGB平均值。根据对比实验，W取值为9，H取为8。然后采用聚类算法对所有的前景点特征向量进行有效归纳，在聚类算法的选择上，采用了meanshift算法，又称为均值漂移算法，其无需预先设定聚类的个数，并且对离群点很鲁棒。其主要聚类过程如下：

1）在未被标记的前景点中随机选择一个点作为中心点。

2）采用欧式距离计算所有前景点到中心点的距离，然后找出距离中心点在δc内的所有前景点，记为集合M，设定这些前景点属于类C并进行标记。把这些内点属于类C的频率加1，如果内点个数小于指定的阈值δn，则重新回到步骤1）。

3）通过式（4），计算出偏移向量 Δx，其中 n表示所有的内点，x表示当前的中心点，w表示各个特征。

4）权重值，⊙表示点乘。然后重新计算新的中心点 x=x+Δx。重复步骤2）、3）直到 Δx的值收敛小于指定阈值δΔx或者超过指定的迭代次数δt，然后保存当前的中心点。

5）重复1）、2）、3）、4）直到所有的前景点都遍历过。

6）对于每个前景点，获取对其访问频率最大的那个类作为其所属类。

根据大量对比实验，最终 h、δc、δn、δΔx、δt的取值分别0.35、0.35、0.1n、0.00035、20，其中 n 表示前景点的个数。而在w中Row的权重为6，其余颜色特征权重都为1，最终处理结果如图6（d）所示。

4.2 曲线拟合

由于海界线不仅有直线也有曲线的形式，在此我们采用最小二乘法对经过噪声处理后的海界点进行曲线拟合。

图6 算法处理过程示意图

设定拟合多项式为

其中y表示海界点的纵坐标，x表示海界点的横坐标，k表示维度，本文取为2。其偏差平方和则为

对等式右边的ai{i=0，1，...k}求偏导，可以得到：

经过化简并写成矩阵形式，可以得到：

然后采用LU分解，即可得到最终的系数解，其最终的拟合结果如图6（d）所示。

5 实验

为了体现本文算法的高性能，我们与另外两种常用的海界线提取算法 RANSAC［2］和 HOUGH［5］方法进行对比。采用Caffe深度学习框架来进行残差网络的训练，训练时间需要10.5h，训练参数如下所示。

5.1 参数设置

经过实验分析，我们最终使用的网络深度为5，采用随机梯度下降法（SGD）来进行训练，权值衰减系数为10-4，动量（momentum）为0.9，批大小为16，总训练批次为80000。学习率刚开始为10-4，经过迭代60000后改为10-5。网络中所有的卷积核大小都为3×3，除了最后一层卷积核通道数为3之外，其余的通道数都为64，较大的通道数有利于获得跟多的特征信息，提高结果的准备性。输入图片大小统一缩放到224×224，这个尺度能够在缩小处理时间的同时保证检测率基本不变。数据集只采用了翻转扩增方法，所以最终总共有4634张训练图片，1000张测试图片。

5.2 测试集处理效果

图7展示了采用本文基于残差回归网络的海界线检测效果图，使用的都是属于测试集中的图片且每张都十分具有代表性，分别是在存在大量云层干扰、海浪干扰、大面积遮挡、海界线分界不明显、陆地信息复杂及海界线为曲面的情况下采集得到的。图7（b）中算法采用的核心思想是计算图像中每列梯度的最大值点然后用RANSAC进行直线拟合，但是在复杂背景中，云层、海浪及船只等所形成的边缘梯度很可能会大于海界线的梯度，所以导致较高的错误率。图7（c）则是利用HOUGH方法［5］得到的结果，但是同样在复杂背景下，云层、海浪及船只等边缘形成的干扰直线特征对最终的检测结果造成了严重的影响。而图7（d）则是采用本文的海界线检测方法，从效果图中可以看出在各种复杂海界背景下，其依然能精准地检测出海界线的位置。

5.3 性能测试

测试平台采用的PC操作系统是Windows 10，拥有32GB内存，4.2GHz的CPU及NVIDIDA的1080GPU，拥有8GB显存。对于海界线检测准确率的计算，我们采用平均偏离误差大小来判断海界线是否检测准确，其计算方式如下：

其中n表示测试集的大小，m表示图像的列数，tj和pj分别表示标签图和实际预测图中海界线在第j列中的位置，由于在标签图中海界点被遮挡的位置由-1表示，所以需要排除这些点。k则表示标签图中有效的海界点个数，而e则为允许容忍的误差。各种海界线检测方法在测试集上的检测准确率和平均计算速度如表1所示，所采用的测试图片大小都为224×224，其中本文方法和RANSAC方法［2］都采用GPU进行优化。通过对比可以发现，RANSAC方法［2］虽然具有较快的计算速度，但检测准确率太差。而HOUGH方法［5］相比RANSAC方法［2］在检测准确率上虽然有一定的提高，但依然达不到可用的标准。而本文方法在检测准确率远远高于其他两种方法的同时还能保持较好的实时性，且当容忍平均偏离误差减小的情况下，检测准确率基本没有太大的变化，充分说明了本文方法的抗干扰能力极强，在复杂背景下，依然能精准地检测出海界线的位置。

图7 海界线检测效果对比图

表1 海界线检测效果对比

6 结语

在复杂海天或者海陆背景下，由于云层、海浪及嘈杂海面等各种干扰因素存在，对于海界线的检测产生了严重的干扰。本文提出了一种基于卷积神经网络的海界线检测算法，利用残差回归网络获得海界点的概率图，然后使用传统机器学习聚类算法meanshift进行干扰点排除，最终通过最小二乘法获得最终海界线的位置。经过测试集的验证和分析，结果表明了本文方法在检测准确率大幅度高于RANSAC［2］及 HOUGH［5］等方法的同时，依然能保持着很好的实时性，非常具有实际使用价值。