面向海洋渔业捕捞生产的深度学习方法应用研究进展

张胜茂，孙永文，樊伟，唐峰华，崔雪森，伍玉梅

(1.大连海洋大学 航海与船舶工程学院，辽宁 大连 116023； 2.中国水产科学研究院东海水产研究所 农业农村部渔业遥感重点实验室，上海 200090)

2019年，全球海洋捕捞年产量约8 000万t，其中，四分之一的种群处在生物不可持续水平上捕捞，兼捕的海龟Cheloniamydas、海鸟、鲸豚等，在捕捞过程中也面临威胁[1]。随着生产方式的转变，渔业观察员制度可有效减少渔业捕捞中的兼捕，在资源养护和管理中起着至关重要的作用。然而，人类观察员方式执行成本高、覆盖率低。如观察员制度比较完善的金枪鱼延绳钓覆盖率仅为5%，受新冠疫情影响，观察员派遣更加困难。而且该制度记录数据时效性差，受主观因素影响，有时所收集的数据不够客观可靠[2]。近年来，计算机视觉技术发展迅速，电子监控(electronic monitoring,EM)为人类观察员计划提供了有益补充。推广电子监控可降低监测成本、扩大覆盖范围，同时可以客观地监督渔船捕捞活动，减少弃鱼量，维护海洋生态环境健康的可持续性[3]。海洋渔业资源的充分开发已经受到各国重视，各国均不断加强捕捞监管，并投入了大量的人力、物力，通过引入新的技术手段，以自动获取、分析渔船作业现场数据，掌握渔场捕捞状况，进而提升相关管理的科学性、可靠性和便利性。

深度学习是通过构建具有较多隐藏层的机器学习模型并储存海量的训练数据，学习更有用的目标特征，进而提升分类和预测的准确性的一种技术。随着深度学习技术的快速发展，其在海洋领域的应用趋于成熟，在海洋捕捞[4-5]、保护珍稀海洋生物[6-7]等方面取得了突破性进展。如利用渔获物图像或视频帧识别渔获物及计算渔获物数量，并通过测量渔获物体长、体宽，进而预估捕捞努力量，以及利用卫星遥感影像识别船舶等。目前，在上述具体应用中利用深度学习方法所取得的准确率，基本可以满足业务化需求，但由于海洋环境复杂、背景噪音和图像失真等问题，准确识别实地场景中的渔获物、船舶和网具等遇到了各种挑战。因此，在实际的海洋环境中，如何快速准确地识别、测量实地对象，仍存在许多需要加强的领域，如不同类型渔船的检测与识别，以及提高相似鱼种的识别准确度等。本文从数据获取、数据预处理、算法设计、模型训练和模型精度评价等方面，总结了渔业捕捞生产监测模型的构建过程，以渔船与渔船行为、渔获物、渔场预报、船员和渔具为对象，综述了深度学习技术在海洋渔业捕捞中的应用，并针对实际应用中存在的问题，提出了未来重点研究方向。

1 海洋渔业捕捞中深度学习发展历程

1.1 深度学习在海洋渔业捕捞中的近期应用

在20世纪初，深度学习模型就已经运用于测量鱼类的大小，但受当时计算机算力低等限制未能推广。随着计算机算力的提升，以及各种检测速度快、检测精度高的模型诞生，国内外学者开展了大量深度学习应用于海洋渔业捕捞生产领域的研究。2017年，Tung等[8]开发的VGG-16(visual geometry group-16)、Inception-V3两个卷积网络分类器，实现了金枪鱼Thunnus、比目鱼Pleuronectiformes、大青鲨Prionaceglauca的识别，VGG-16的准确率达94.5%，Inception-V3的准确率达92.25%。2019年，陈英义等[9]针对背景干扰较强、鱼类目标偏小等因素导致训练结果较差的问题，构建了FTVGG-16(fine-tuning VGG-16)卷积神经网络(convolutional neural network, CNN)，对长鳍金枪鱼Thunnusalalunga、大眼金枪鱼Thunnusobesus、黄鳍金枪鱼Thunnusalbacores、鯕鳅Coryphaenidae、月光鱼Xiphophorusmaculatus、大青鲨和带鱼Trichiuruslepturus进行训练识别，平均准确率为97.66%，FTVGG-16模型优于VGG-16、VGG-19和ResNet-50(residual network-50)。2019年，Fitzgerald等[6]运用CNN和CNN结合支持向量机(support vector machine，SVM)，对莱桑信天翁Phoebastriaimmutabilis、黑脚信天翁Phoebastrianigripes和北富尔马信天翁Fulmarisglacialis等11种海鸟副渔获进行识别，总体平均正确率达93.0%。2018年，Allken等[10]开发了一个Inception-V3神经网络，可自动分类来自深度视觉拖网摄像头系统图像中的物种，包括蓝鳕Micromesistiuspoutassou、大西洋鲱Clupeaharengus和鲭Pneumatophorusjaponicus等，准确率达到94%。2020年，Zhong等[7]构建了一个集成的CNN模型(AlexNet、VGG16、ResNet、DenseNet)，经过训练被动声学，可将白鲸Delphinapterusleucas检测结果分类为真或假，准确率达到96.57%。2020年，Tseng等[11]设计了一种可识别鱼头、鱼尾叉和色板的CNN分类器，通过估算鱼类体长，实现鱼类体长的自动测量，模型检测准确率为98.78%，鱼体体长的平均绝对误差和测量的平均相对误差率分别为5.36 cm和4.26%。2020年，Hu等[12]运用改进的Fast R-CNN模型开发了一种可识别北太平洋火枪乌贼Loligobeka、褶鱿鱼Todarodespacificus、柔鱼Acalamary的手持图像采集系统，测试准确率为85.7%，平均运行时间为0.144 s。2020年，Tseng等[13]提出了一种使用Mask R-CNN在电子监控系统视频中自动预筛选收获鱼的方法，运用该模型可识别金枪鱼、马林鱼Histiophorusorientalis、大青鲨及浮标，鱼类检测与鱼类识别平均检测精度(mean average precision，MAP)为93.51%和98.06%。2021年，Chen等[14]提出了运用一种改进的YOLOv3(you only look once v3)模型(AE-YOLOv3)，训练合成孔径雷达(synthetic aperture radar，SAR)影像识别6种船，该模型对矿石船、散货船、普通货船、集装箱船、渔船和客船的检测精度平均达98.72%，优于Fast R-CNN、YOLOv3两种深度学习模型。

1.2 深度学习方案的改进

除了直接对鱼类应用深度学习技术之外，在利用单一的深度学习模型，其准确率难以提高的情况下，有学者提出了一些改进方案。2018年，顾郑平等[15]为解决小规模数据集需要人工提取特征的不可迁移性，运用卷积神经网络CNN鱼类分类模型与SVM模型的混合分类模型识别23类鱼种，准确率达98.6%。2021年，Fu等[5]提出了一种从二维海洋环境模式预测鲣鱼Katsuwonuspelamis捕捞量的方法，该方法第一阶段运用了Faster R-CNN模型训练海温图，提取出候选的鲣鱼在地图上的位置，第二阶段运用了支持向量回归(support vector regression，SVR)估计捕获量，结果显示，提出的方法比普通渔民预测捕捞量的准确率平均提高3%。

1.3 主要应用对象

深度学习在海洋捕捞生产中的主要应用对象有渔船与渔船行为、渔获物、渔场预报、船员和渔具。深度学习技术在海洋领域的应用多围绕解决有效监管渔获物滥捕及人员安全问题，进行渔船、渔具和预测渔场位置等研究也是为了更好地监管。有关深度学习技术的更多研究则是直接检测渔获物。随着常见海洋渔获物的识别、分类和尺寸测量的准确率进一步提高，以及被识别生物的种类是否属于受保护生物、生物的生长阶段及生物开始出现至最终出现的区域等细化分析程度的增强，深度学习为预估捕捞量、预测捕捞区域和设置海洋生物保护区等方面提供了重要的技术支持，并为国家海洋牧场建立了更加完善的自主监管系统。但相关技术应用仍然存在挑战：数据量少，数据扩充后的实地有效数据量仍不能达到提高模型准确度的效果；数据标签需要人工标注，较费时；目前可使用的模型仍不能同时满足海洋渔业捕捞生产实时的高精度、高检测速度。

2 渔业捕捞生产监测模型的构建

深度学习方法应用于海洋捕捞生产智能识别领域中，可实现目标的检测与识别。应用深度学习方法的过程一般包括数据获取、数据预处理、算法设计、模型训练和模型精度评价(图 1)。首先获取原始数据，对于传送到模型的原始数据或文件，均有或多或少的背景噪音，符合基本训练要求的数据量有限，若直接进行模型训练，效果一般较差。因此，在模型训练初始阶段，需要运用预处理方法处理数据，生成数据集。经过预处理后的数据可直接选择已训练好的经典算法，在此基础上进行微调模型或固定特征模型训练，也可设计新的模型重新训练。创建完成模型之后，将训练集(一般将处理好数据的70%～80%作为训练集)导入模型中进行训练，训练结束后导入测试集(剩余数据的20%～30%作为测试集)测试模型精度。

图1 深度学习一般流程图Fig.1 General flowchart of deep learning

2.1 获取数据的方法

数据获取是模型训练的基石，采用适当方法获取画质高清且数量足够的待识别目标的数据，可大大减少预处理工作量，并提升模型的识别准确率。目前，获取实际场景数据的主要方法有卫星拍摄[6]、海上无人机录像[7]、船上安装电子监控系统[8-19]、船上安装声呐[20]和船上安装水听器[21]等。具体获取数据的工具及其用途如表1所示。

表1 获取数据的工具及其用途Tab.1 Tools for obtaining data and their uses

2.2 数据预处理方法

在实际应用中，选择合理的数据预处理方法，将极大地提高模型训练精度和泛化能力。用于海洋捕捞生产数据的预处理方法较多，常用方法有数据清洗、数据增强和数据打标签等。表2简述了海洋捕捞生产中常用的数据预处理方法、特点和适用场景，其中，数据清洗是模型训练的第一步，可初步筛选出包含待识别目标的数据集。常用的数据增强方法包括几何翻转、Mosaic[22]、SamplePairing[23]、Mixup[24]、Cutout[25]、CutMix[26]和Fmix[27]，上述数据增强方法丰富了训练和测试的样本，提升了模型的稳定性。除此之外，Mixup、CutMix等可结合数据增强策略进一步提升模型性能，数据增强策略包括Autoaugment、Rand Augment、Fast Autoaugment和Trivial Augment等[28]。数据打标签是指为待识别目标打上特定标签，为模型学习样本做准备。常用的打标签工具有Labelimg[29]或Labelme，Labelimg主要用于对目标进行大致的标定，常见有框选标定，用于目标检测；Labelme主要用于较为细致的轮廓标定，用于语义分割或实例分割。对于识别图像中渔获物或其他目标，需要人工标注；对于判定渔船状态的图像，可使用机器打标签。预处理方法多是针对二维图像，但在当前海洋渔业捕捞生产中，特别在远洋渔业领域多为视频数据，对视频数据的预处理方法，大多先采用降维，再选择二维图像预处理方法处理数据，也有使用视频软件按帧数输出二维图像进行降维的。

表2 数据预处理方法、特点和适用场景Tab.2 Preprocessing methods，features and applicable scene of data

2.3 深度学习模型及分类

1)深度学习模型。卷积神经网络(CNN)是深度学习模型中的一种基础模型，其广泛应用于图像分类。CNN基础架构：导入一个图像作为输入层，对输入的图像进行若干“卷积+池化”，最后利用全连接层实现图像的分类。随着深度学习模型在各领域的应用逐渐增多，传统模型的缺陷愈发明显，最终难以达到理想效果。有学者选择在原有模型基础上，逐步加入新的模型改进或设计新的模型，在以CNN为基础的经典网络中，LeNet5是开山之作，AlexNet开始展现出CNN的强大[28]，并为后续模型的改进提供了经验和技术。在海洋渔业生产领域研究较成功的模型主要有VGG系列[30]、ResNet系列[31]、Inception系列[32]、R-CNN系列[33]和YOLO系列[34]等。

2)模型的分类。根据检测问题的步骤不同，深度学习模型可划分为两阶段目标检测模型和一阶段目标检测模型。其中，两阶段目标检测模型，是指先产生候选区域，后对候选区域进行分类；一阶段目标检测模型，是指直接产生目标的类别概率和位置坐标值。两阶段目标检测模型中，发展迅速的模型有以R-CNN为基础的Fast R-CNN、Faster R-CNN、Mask R-CNN等。图2简述R-CNN系列具有代表性模型的发展、功能。2014年，Girshick等[35]提出R-CNN模型，应用后发现了模型存在弊端，将特征提取、分类和回归整合，提出了Fast R-CNN[36]。2017年，Ren等[37]在Fast R-CNN基础上加上候选框生成模型，提出了Faster R-CNN模型。2017年，He等[38]在Faster R-CNN模型基础上增加了预测分割Mask分支,建立了Mask R-CNN模型。R-CNN模型的不断创新，促进了两阶段目标检测模型识别被遮挡目标或变形目标精度的不断提升。

图2 4种两阶段目标检测模型Fig.2 Four types of two-stage target detection model

与一阶段目标检测模型相比，两阶段目标检测模型检测精度较高，但其检测速度较慢。一阶段目标检测模型主要有SSD、RetinaNet、YOLO系列等，其中，YOLO系列模型因检测速度快、精度不断提升得到学者青睐。表3简述YOLO系列模型的功能、提升和应用情况，其发展过程主要包括：2016—2018年，Redmon等[39-41]从YOLOv1完善至YOLOv3；2020年，Bochkovskiy等[22]提出YOLOv4模型；2021年Ultralytics公司推出了YOLOv5模型[42]。YOLO系列极大地提高了检测速度，可满足渔业捕捞实时监测的要求。

表3 YOLOv1～YOLOv5目标检测模型及应用Tab.3 Model and application of YOLOv1 to YOLOv5 target detection network

2.4 模型训练

深度学习模型擅长从大量标记特征数据中学习，但面对实际应用场景中无足够大小的数据集时，选择的训练模型更多是随机初始化，过程中需要反复调整模型，最终效果难以预知。在实际应用中，解决上述问题的方法大多是建立在预训练模型之上，即迁移学习。根据有无专用的大型数据集分为新模型训练和迁移学习训练。

1)新模型训练。 在捕捞生产中，面对不具有可使用的大型或专有数据集情况下，首先需要花费大量时间和资金，通过人工或摄像头等方式获取数据。然后通过构建网络结构与更改激活函数，进而改进原有模型。

2)迁移学习训练。迁移学习方案应用最为广泛，可分为微调模型和固定特征模型两种实现方式。微调模型迁移训练是指在非常大的数据集上对卷积神经网络进行预训练，运用预训练后的模型初始化网络，模型的其他部分按照正常训练流程进行。固定特征模型迁移训练是指将预训练后模型的最后一个全连接层删除，保持其余网络的权重不变，即以其余卷积神经网络作为新数据集的固定特征提取器，并将具有随机权重的新层作为最后一个全连接层，仅训练具有随机权重的新层。根据两种主要迁移学习方式，提出4种数据情况和2种模型选择的建议(表4)。

表4 4种典型场景下迁移学习模型选择Tab.4 Selection of transfer learning models in four typical scenarios

2.5 模型评价

海洋捕捞生产中，利用深度学习方法主要实现目标检测和目标分类功能，根据实际应用中实现的功能不同，评价模型性能可分为目标检测性能指标和目标识别性能指标(表5)。

表5 不同功能下评价模型性能的指标Tab.5 Model evaluation performance indicators under different functions

1)目标检测性能指标。平均检测精度(mean average precision，MAP)是衡量模型平均检测和分类能力的重要指标，当MAP大于提前设定的阈值时，则认为检测成功，且MAP值越大越好；交并比(intersection of union，IOU)指预测框与真实框的重叠率，重叠率越高越好；检测速度(frames per second，FPS)指一秒钟可处理图像的数量，处理的数量越多，模型运算能力越强。

2)目标分类性能指标。精确率(precision)是预测结果为正的样本中真正样本与所有预测结果为正的样本的比值，可反映一个类别的预测正确率。召回率(recall)是预测结果中的正样本与数据集所有正样本的比值，可衡量模型找到所有相关目标的能力。准确率(accuracy)一般用于评价模型的全局准确程度，可衡量模型找到相关目标的能力。一个较好的分类器性能应该有如下表现：召回率增长的同时，准确率保持较高水平。实际情况中，仅依据精确率或召回率不能全面评价模型的优劣，可采用绘制模型的精确率-召回率(precision-recall，P-R)曲线，横轴为召回率，纵轴为精确率，P-R曲线包围面积为检测精度(average precision，AP)，AP值越大，说明模型性能越好。F1-score为精确率和召回率的调和平均值，根据P-R曲线可计算出F1-score值，F1-score值越高，说明模型的稳健性越好。ROC曲线(receiver operating characteristic curve)由改变分类的阈值产生，AUC (area under curve)是指ROC曲线与坐标轴组成的面积，AUC值越大，说明模型性能越好。

3 深度学习在渔业捕捞中的应用

深度学习模型可为海洋领域智能化发展提供强有力的技术支持，特别是在海洋渔业生产领域的检测与识别中，可通过训练SAR影像、人工标定或者算法跟踪的目标局部特征，以及语义、视频帧[3]等实现目标检测与识别。目前，深度学习方法在海洋渔业捕捞生产中有着较为广泛地应用，表6和表7简述了深度学习在海洋渔业捕捞生产应用中获取数据的方法、模型及适用场景，面对不同的研究需求，表6中几种获取数据的方法可供选择；面对等量、等质量的输入数据，表7中模型可供选择。图3简述了模型中应用最广泛的YOLO、R-CNN模型，并举例说明其应用目标，如渔船与渔船行为、渔获物、渔场预报、船员和渔具等。

图3 模型及应用Fig.3 Model and application

表6 数据搭载平台及适用场景Tab.6 Data acquisition platform and applicable scenarios

表7 模型及适用场景Tab.7 Models and applicable scene

3.1 渔船及渔船行为

运用深度学习方法检测和识别渔船及渔船行为是当前智能化监测渔船捕鱼行为的热门研究方法(表8)。利用深度学习模型检测与识别SAR影像中的各类船舶，可确定渔船进出港口时间，促进渔船规范出港，如表8前两个研究数据源均为SeaShips数据集，特征增强的AE-YOLOv3模型识别准确率较高，其扩充样本量为YOLOv4的两倍是检测效果提升的原因之一，但相应的训练耗时也会增加。基于VMS(vessel monitoring system)获取的空间数据，运用深度学习方法识别渔船捕鱼行为也是当下研究的热点之一。2020年，Gao等[50]提出了一种基于特征融合的VMS渔船作业类型识别算法，提高了渔船作业类型识别的准确性。2022年，Wang等[51]建立了3D卷积神经网络模型，实现了限额捕捞渔船状态识别方法。目前，YOLOv3、YOLOv4对于常见船只的识别准确度较高，但两阶段算法识别船舶的应用较缺乏，其中，Faster R-CNN可直接对全局提取特征，建议采用Faster R-CNN分析不同类型渔船的特征，如有无桁架、有无集鱼灯等。VMS数据作为模型输入参数，可通过增加有效参数量提升识别渔船行为的准确率。

表8 深度学习应用于渔船及渔船行为识别的研究Tab.8 Research on the application of deep learning in fishing boats and fishing boat behavior recognition

3.2 渔获物

海洋渔获物作为全球捕捞渔业产量增长的主要驱动力，巨大的捕获量可能会影响海洋生物的生态平衡，因此，对其监管刻不容缓。如果未来仅靠观察员手动记录的渔获日志作为规范指标，成本高且准确度较低，而采用深度学习方法，其自动检测和识别鱼类的能力较突出，可作为规范海洋捕捞的技术手段。近几年，为规范捕捞量、监测生物多样性、获取海洋资源管理指标、保护海洋物种及监测入侵物种，许多学者利用深度学习模型训练渔获物及受保护海洋生物(表9)，随着模型的不断改进或创新，各国可通过深度学习方法收集准确的数据，以规范海洋渔业的捕捞生产。

表9 不同研究的目的及模型Tab.9 Objectives and algorithm models of different studies

深度学习方法应用于渔获物的检测和识别，可实现渔获物的计数、分类及体长与体宽的测量。具有代表性的两阶段目标检测模型Mask R-CNN，已经被用于解决图像或视频中目标检测、计数和测量的问题。如2022年，Palmer等[64]运用Mask R-CNN设计了一个自动估计海豚数量与平均叉长的模型，平均精度为79.8%，海豚级别精度为96.06%，海豚级别召回率为90.54%，模型精度为86.10%。两阶段目标识别模型精度较高，但其检测速度较慢，且需要多个GPU训练模型。一阶段目标识别模型应运而生，其中，具有代表性的YOLO模型可在短时间内完成模型的训练，并实现目标检测，该模型也被学者应用于渔获物的检测。2021年，王书献等[18]运用YOLOv5中的4种模型检测金枪鱼与浮球，结果证明，YOLOv5l模型最适用于检测金枪鱼。虽然深度学习技术的精度与速度不能同时满足实际需求，但应优先考虑精度，对特定鱼种开展模型预训练，在保持鱼类识别、计数等准确度的同时，加强对有遮挡物的相似鱼种的识别，通过提取目标区域周围多尺度上下文信息特征，进一步提升识别精度。

3.3 渔场预报

为了在捕捞作业期间将捕捞能力最优化，常采用新的渔场寻找技术，较准确地判断渔场位置，可减少寻找鱼类的时间，减少油耗，增加下网次数，从而提高捕捞产量。目前，大多数渔民仍依据自身经验判断渔场位置，效果不尽如人意。为解决这一问题，2020年，Xu等[65]将配备北斗导航渔船返回的轨迹数据输出热力图，运用CNN模型寻找图像中与尺度、方向相关的高概率数据，以估计未来渔场位置。2021年，Fu等[5]提出一种Faster R-CNN结合支持向量回归的方法，从二维海洋环境模式预测鲣鱼捕捞量，所提方法比普通渔民的经验预测准确率平均提高了3%。目前，分别应用卷积神经网络模型学习渔船轨迹或海洋环境因子分布来预测渔场，预测的渔场较人为判断准确，建议今后将渔船轨迹与海洋环境因子分布结合起来，预测渔场位置。

3.4 船员

人员定位系统已广泛应用于民用船舶安全管理系统中，实现了对大型船舶的人员管理和安全事故中人员的疏散和逃生管理。与大型船舶相比，中小型船舶状况较差、设备不足，需要采取措施加以改善。已有学者开展了运用深度学习方法提高船员人身安全系数的研究。如2019年，Ma等[66]运用融合算法对视频中的人脸图像资源进行采集和整合，并运用R-CNN训练来往船上的人脸，搭建了船员人脸识别定位分析应用平台，通过识别人脸，实现了船上人员的定位；2021年，Kim等[67]运用YOLOv2识别船员人脸，建立了船员坠落检测系统，并经过测试验证了系统的可用性，船员识别的平均精度为46.76%。由于每艘渔船人员不能固定，建议渔业部门汇总并预训练船员人脸信息，形成合法船员识别系统，以提高船员的安全保障能力。

3.5 渔具

非法、未报告和无管制的捕捞活动，是对海洋生态系统和可持续渔业的全球性威胁。运用深度学习方法检测渔具并对渔具计数，可为监管捕鱼行为提供辅助信息。2017年，Branquinho等[68]运用CNN训练船载摄像机拍摄的360张有渔具与无渔具的图像，实现自动学习算法检测并记录捕鱼活动，准确率约为85%，并且成功实现渔具计数。2020年，汤先锋等[69]基于VMS获取的刺网和拖网渔船数据，微调VGG16模型后，实现了辅助刺网、拖网作业类型的识别，检测精度达94.3%。目前，深度学习方法可通过检测二维图像中渔具特征进而判断捕鱼事件的发生，却无法判断放网还是收网。建议数据采用视频帧[70]，加入时间维度可实现判断。

4 存在问题及展望

4.1 存在问题

目前，利用深度学习技术解析海洋捕捞渔船捕捞信息还未得到广泛应用，究其原因有诸多方面，如人为干扰、监测环境复杂、监测技术限制、捕捞方式多样和渔业管理需求存在差别等。

1)人为干扰。渔船作业中不仅可能存在非法转载，以及误捕的海鸟、海龟和鲨鱼等是否及时放生等问题，而且还可能存在涉及渔业捕捞商业秘密等问题。为防止不合理的作业行为被记录，船员会故意损坏、关闭摄像机，影响数据获取。

2)监控设备部署。海洋渔业捕捞作业是一种流程复杂、协调性高的多人合作作业方式，并且渔船“一船一型”，渔具收放、渔获收集等所在的操作位置、占用空间大小存在差别，以及监控设备安装的适宜性等，直接影响渔获、渔具和船员作业等信息获取的完整性。

3)光照因素制约。除摄像机本身因素外，光照是影响成像质量的主要因素，影响光照的条件主要有4方面因素：一是，海上作业天气多变，阴、雨、雾会对灯光或自然光光照产生影响；二是，捕捞作业全天均可能进行，不同时刻自然光差别大；三是，晚上作业渔船使用照明灯有多种，不同灯光的亮度、强度存在差异，有时目标还存在阴影；四是，渔具材料多样，渔获反光影响成像等。

4)目标因素制约。识别检测的目标具有多尺度、多角度和不完整等问题。如渔获物在甲板上放置角度不固定，渔获物大小差别大，同种鱼类个体大小也存在差异，从而影响目标的识别和测量。部分作业方式动作相似度高，少量图片难以区分，如卷绳机放线和收线就难于区别。船员上鱼或收放渔具等操作动作快，需要开发快速识别检测的模型。受目标因素制约，面向海洋渔业捕捞生产的深度学习方法需要大量地标注样本训练模型，样本收集和样本标注的标准化情况也影响模型的应用推广。

5)数据量制约。海洋捕捞渔船一般至少安装4个摄像机，其图像分辨率有QCIF、CIF、D1、720 P和1 080 P。在720 P的情况下按H.264压缩，一年数据量为21TB，以现在海上通信条件，回传万分之一的数据价格高达百万，故实时获取捕捞信息时，数据量成为制约因素。

6)渔业管理需求差别。各个国家和区域，以及各海域渔业组织，受其渔业资源种类、捕捞方式、管理流程和关注角度等因素影响，对电子监控获取内容千差万别，受电子监控解析技术限制，许多需求还未能满足。

4.2 未来重点研究方向

通过总结深度学习技术的应用发现，获取原始数据的方法多为电子监控拍摄，预处理方法中应用最多的是数据扩充、数据压缩和数据标签，训练对象包括图像、视频帧和音频。实现海洋渔业生产目标检测的主流方法是深度学习，总结近几年深度学习在海洋渔业捕捞生产中的应用发现：模型中两阶段目标检测模型检测精度高但速度较慢，一阶段目标检测模型检测速度快但精度较差；两阶段模型中R-CNN系列愈发精准，一阶段模型中YOLO系列模型检测速度保持较高的同时精度在不断提升，当YOLO系列模型具有数量充足的高质量数据时，则与两阶段模型精度相近。针对目前模型在海洋渔业捕捞应用中存在的问题，今后需在以下方面重点开展工作：

1)利用迁移学习或强化学习等方法来拓展识别目标种类及增强检测模型。当前大多数目标检测方法，对于检测识别数据集上干扰程度低的目标准确率较高(如检测图像中仅有单一的鱼种)，对海洋环境中如遮挡、模糊、光线变化和物体变形等目标检测识别的鲁棒性较差，因此，在缺少待验证目标经验的条件下，利用迁移学习或强化学习等方法来拓展识别目标种类及增强检测算法，实现目标的精确检测是未来的研究热点之一。

2)利用高精度的特征提取网络有效提高目标分类准确率。当前大多数目标检测模型运用性能较高的分类网络完成特征提取。然而，检测与识别分类间的差异性致使深度学习的结果会产生误差，因此，研究适用于海洋渔业生产相关目标检测的特征提取网络很有必要。此外，特征提取网络的参数规模需要耗费大量硬件资源进行训练，为满足实时目标检测需求，如何压缩和加速网络训练也是一个值得研究的方向。

3)通过边缘计算技术解决电子监控实时解析和数据传输压力。边缘计算的发展及云计算、大数据和物联网技术的发展息息相关，其核心是保障网络边缘侧应用的实时性问题。AI摄像机、AI船载处理器的出现为电子监控数据实时解析提供了条件，电子监控中使用具有GPU计算能力的终端，利用边缘计算技术，实时提取捕捞作业信息并发回，基本可以解决数据量问题。

4)制定统一标准以规范电子监控在渔业管理中的应用。各国负责自己专属经济区内的渔业资源管理，区域渔业管理组织(regional fisheries management organizations，RFMO)共同负责管理世界上大多数高度洄游的鱼类种群。为确保渔业发展的可持续性，需要有关渔获量、兼捕量、捕捞努力量和法规遵守情况的可靠数据。电子监控可以实现高覆盖率，是人类观测员的有效辅助或替代手段，通过一套技术和操作标准实施统一的电子监控方法，对于确保信息准确收集和共享至关重要。目前，中国在渔船电子监控方面研究薄弱，且电子监控涉及商业信息和隐私，因此，需要加快电子监控相关研究积累，实现数据自控，制定中国电子监控标准，在国际渔业管理中提出中国方案，发挥中国负责任的渔业大国作用。