多模块融合的浮游生物检测器

2021-11-10胡姣婵于双和

江苏大学学报（自然科学版） 2021年6期

齐雷，胡姣婵，于双和, 阎妍，赵颖

(1. 大连海事大学船舶电气工程学院，辽宁大连 116026； 2. 大连海事大学环境科学与工程学院，辽宁大连 116026)

浮游生物是海洋生物资源的重要组成部分，在海洋生态系统的物质循环和能量流动中起着极其重要的作用.有效掌握海域中浮游动植物的类群、密度和多样性是海洋生态学研究中的基础性科学问题.

传统浮游生物自动检测是基于人工设定特征进行检测的方法.这些人工设定的特征依靠大量的先验知识，并且人工设定的特征参数数量有限，检测结果常常受到人为偶然误差的影响.尤其是浮游生物种类之间形态类似，使得人工提取目标特征过程变得复杂且冗余，因此限制了目标的检测精度.基于机器学习的检测方法是通过提取目标物特征，利用大数据的优势,使用分类器对特征进行处理的1种方法.文献[1]将不变矩特征和具有灰度形态粒度的傅里叶边界描述子结合起来，形成特征向量，捕捉浮游生物图像的形状和纹理信息进行分类，首次实现了浮游生物的自动分类，最后利用自适应特征选取的快速线性分类器实现目标分类.文献[2]采用主成分分析(principal component analysis, PCA)和独立成分分析(independent component ana-lysis, ICA)相结合的多层混合分类模型，提取浮游生物样本特征，并结合改进的K-最近邻算法进行分类.文献[3]提出1种基于多核学习的多视图特征相结合的浮游生物图像自动分类系统，通过使用3个核函数，将不同类型特征进行组合，达到更高的分类率.

随着计算机性能以及卷积神经网络的发展，卷积神经网络用于提取图像特征的方法也取得了巨大的成就，它是基于动物视觉感受域而设计的[4].文献[5]提出了1种基于多尺度滑动窗口的分类、定位和检测方法.文献[6]提出YOLO(you only look once)算法，可直接学习图像的全局特征[7]，将目标检测作为1个回归问题，预测对象的类别和位置.文献[8]引入了多种改进YOLO的策略，如采用新的网络结构、引入维度聚类及提出1种联合训练方法等.文献[9]提出了1种SSD(single shot multibox detector)方法，利用不同尺度和长宽比的先验锚框覆盖整个区域，提取不同尺度的特征，生成特征图，并用卷积直接检测.针对小目标检测性能较差的问题，文献[10]提出了将低层特征与高层特征相结合的特征金字塔网络(feature pyramid networks, FPN)，构建了1个更深层次的特征金字塔，并整合了多层特征信息，提高了小目标的检测性能.文献[11]通过对主干网的改造，并引入FPN的思想，成为当时最先进的检测算法.文献[12]提出了1种新的损失函数来处理类不平衡问题.近年来，有人基于FPN的思想，提出了许多特征融合方法.文献[13]将基特征发送到1组交替连接的简化U形模块中，建立更深层的特征金字塔.文献[14]引入了自底向上的路径聚合结构，充分利用了目标的浅层特征.文献[15]公开了包含大量浮游生物的数据集，利用现有检测算法进行检测，但并未进一步提高检测精度.

由于SSD既结合了YOLO的回归思想，又结合具有代表性的Faster R-CNN(faster region-based convolutional neural networks )中锚框机制[16]，实现了检测速度和精度间的平衡.为此，针对浮游生物检测，笔者在SSD算法基础上进行改进，提出多模块融合的浮游生物检测器(multi module fusion single shot detector，MMFSSD)，生成多尺度特征图，并进行预测，以实现浮游生物检测精度与速度间的平衡，解决传统识别中依靠手工提取特征的浮游生物检测准确率低、过程繁琐、冗余等问题，同时尽可能地识别出图片中所有特定的浮游生物，更好地进行浮游生物及整个海洋生态系统的监测.

1 检测方法

图1 MMFSSD整体结构图

该检测器由增强的SSD、特征信息增强模块(feature information enhancement module, FIEM)和选择性特征融合模块(selective feature fusion mo-dule, SFFM)3个部分组成.特征信息增强模块由常规卷积和空洞卷积组成，该模块获取不同感受野的多尺度上下文信息，提高锚框第1次修正时的判断能力.选择性特征融合模块可以学习不同特征图在网络中的权重，更好地融合特征.

1.1 增强的SSD

SSD是目前流行的目标检测算法之一，许多新的检测算法都是基于SSD进行改进的.为了提高浮游生物检测精度，使用了文献[17]提出的两步级联检测.在第1次修正锚框时去除冗余的负样本，减少搜索空间，同时修改锚框的位置和大小，有利于坐标回归，提高第2次预测时的精度.

1.2 特征信息增强模块

图2为特征信息增强模块.在通常的特征提取网络过程中，会丢失一些浅层特征信息，降低了检测精度.基于这一考虑，在浮游生物检测中，本检测器使用特征信息增强模块来增强特征图的低级特征信息，第1次修正锚框时提高了锚框的预测精度.它是1个比较简单的多分支卷积组模块，如图2所示，其灵感来自于文献[18].

图2 特征信息增强模块

为了将该模块的输出注入到由特征提取网络获得的特征图中，本模块以下采样图像作为输入，通过交替1×1卷积层和3×3卷积层来提高网络的非线性表达能力，从而在分支前形成基本特征图.为了增加各层特征图的感受野，获得多尺度的上下文信息，对不同的分支使用了不同膨胀率的空洞卷积，最后将来自不同分支的特征图连接起来，并通过1×1卷积层来降低特征图的通道数.随后将此模块的输出注入到特征提取网络提取的特征图中，再对融合后的特征图进行下采样，将其注入到其他特征图中，以提高校正能力.该模块可以有效地增强特征图的低级特征信息，弥补卷积过程中丢失的信息，提高浮游生物的检测精度.

1.3 选择性特征融合模块

图3为选择性特征融合模块.以往的特征融合方法是先将不同分辨率的特征图按一定的规则缩放到相同大小，然后采用元素相加、元素相乘或通道连接等不同融合方法.虽然这些方法都取得了良好效果，但是注意到在融合过程中，不同分辨率特征图对融合后输出特征图的贡献是不同的，不同特征图在同一空间位置上的信息是不同的.因此，在融合时要考虑各输入特征图的权重.在融合过程中，也尝试手动设置权重，最后受到文献[19]启发，在网络中自动学习权重，选择性进行融合.

图3 选择性特征融合模块

记不同分辨率等级的特征图为xi(i∈{1,2,3,4})，记融合后的每个分辨率等级的特征图为yl，有下列公式：

(1)

其中，xi→l为特征图从分辨率等级i调整到l，即4个不同尺度的特征图被缩放到相同比例，然后进行融合.wi和wj为不同输入特征图的权重，可以从网络中自动学习.将权值量纲一化的目的在于其值可以是无穷的，在训练过程中可能会导致整体效果的下降，甚至出现发散.σ为1个设置得非常小的正数，以确保有效计算.融合公式等价如下：

(2)

在相同融合方式下，融合后得到的4个输出作为检测层的输入.

2 试验过程

2.1 数据集与评价指标

目标检测中使用PASCAL VOC数据集和MS COCO数据集来验证算法的有效性，本研究中使用PASCAL VOC、MS COCO和PMID2019等3个数据集进行大量试验.PASCAL VOC数据集包含20个不同的目标类别，数据集中的目标尺度分布相对均匀.试验中使用含有5 000张图像的VOC 2007训练验证集，以及包含11 000张图像VOC 2012训练验证集进行训练，使用含有5 000张图像的VOC 2007测试集进行测试.MS COCO数据集包含80个目标类别，数据集中的大多数目标在图像中比例非常小，使用包含35 000张图片的训练验证集进行训练，并使用测试集对训练结果进行评估.PMID2019数据集共包含10 908张浮游生物图像，每个图像都包含一些浮游生物细胞，平均每张图片包含3个目标类别，其中包含24个种类.由于数据集中某些类别数据量较小，在训练中容易导致过拟合，因此使用该数据集中图像数据量大于100张的类别进行训练，共计10 225张浮游生物图像，总共18个类别.

试验中，以平均精度均值(mean average precision,mAP)作为模型性能评价指标.在PMID2019和PASCAL VOC数据集中，使用交并比(IOU)阈值为0.50时的mAP作为评价指标，在MS COCO数据集中，统计了10个不同IOU阈值下的mAP，并使用10个mAP的平均值作为评价指标.同时，统计了不同平均精度(average precision,AP)，即IOU阈值为0.50时的平均精度AP50和IOU阈值为0.75时的平均精度AP75.

2.2 试验结果与分析

2.2.1PASCAL VOC数据集

所提出的检测器与其他目标检测器进行了比较，结果如表1所示.

表1 PASCAL VOC数据集中不同检测器的检测精度

从表1可以看出：与其他目标检测器相比，本研究中的检测器获得了良好的检测性能；当输入分辨率为320×320时，该检测器的精度为80.70%；当输入分辨率为512×512时，精度进一步提高到81.90%，充分验证了该检测器的有效性.本检测器在PASCAL VOC数据集中的检测结果显示在图4中，可以看到每个目标的检测精度较高，本检测器可以在PASCAL VOC数据集上进行良好的检测.

图4 PASCAL VOC数据集检测结果

2.2.2MS COCO数据集

与其他目标检测器相比，该检测器获得了较好的检测性能.当输入分辨率为320×320时，该检测器的精度为32.20%，超过RFBNet.当输入分辨率为512×512时，精度可进一步提高到36.30%，且在小目标和中目标的检测精度上有了较大提升，充分验证了检测器的有效性.本检测器在MS COCO数据集中的检测结果如图5所示，无论是大目标还是小目标，该检测器都可实现较好的检测.