基于机器视觉的水产养殖计数研究综述

张涵钰，李振波*，李蔚然，杨 普

（1.中国农业大学 信息与电气工程学院，北京 100083；2.农业农村部 国家数字渔业创新中心，北京 100083；3.农业农村部 智慧养殖技术重点实验室，北京 100083；4.农业农村部 农业信息获取技术重点实验室，北京 100083）

0 引言

中国是世界上唯一养殖水产品总量超过捕捞总量的主渔业国家，农业农村部通过数据统计得出中国水产养殖产量从2016 年的4 793.2 万吨增长至2021 年的5 388 万吨，预计2022 年将进一步增长至5 630 万吨，充分说明发展渔业的重要性［1］。但是在水产养殖中，养殖密度过高或投喂饵料过少会导致水产动物出现缺氧、抢食和生长缓慢等现象，从而影响水产养殖的产出；密度过低或投喂饵料过多则浪费养殖基地的养殖空间及养殖成本；此外，是否能根据养殖密度合理预估市场水产品价格对水产养殖经济效益影响较大。因此，养殖数量统计是水产品饲养销售过程中的重要任务，为饲料投喂、养殖密度调整、经济效益估算等提供了极大便利［2-3］。

虽然水产品数量统计对于水产养殖具有重要作用，但目前水产养殖计数领域仍普遍使用人工计数方法，主要有称重法、杯量法等，此类方法具有很多局限性。首先，人工计数需要大量时间与精力的投入，存在人为误差，会造成经济损失；其次，鱼类、虾类等水产动物对外界环境变化感受较敏感，容易出现窜游、惊跳、昏迷、食欲不振等应激反应，鱼体易受到物理损伤且影响计数准确性，而虾类甚至会出现大量死亡导致农民严重损失［4-5］；最后，人工计数使不良商家在水产品销售中缺斤少两具有可操作性，例如在使用称重计数过程中，水产动物规格是否均匀、称重围数时是否将水产动物分布搅拌均匀都会直接影响最后统计出总数量的误差率［6-7］。

因此，为克服人工计数带来的弊端、实现水产养殖的智能化处理，目前已有部分学者利用传感器计数研发了水产动物计数方法：何贞俊等［8］设计出一种基于光栅的鱼道过鱼计数系统，利用遮挡红外技术对通过的鱼类进行计数；武智等［9］设计了一种利用鱼道进行过鱼计数的声学评估方法，对采集的声学数据进行分析得到鱼道的过鱼数量。与人工计数方法相比，这些计数器装置一定程度上减少了对水产动物的损伤和人力物力的投入，但安装过程较复杂，需要提前勘察水产养殖环境，且计数精度受到水产动物尺寸的限制。

近年来，数据采集设备和计算机处理器等硬件设备、图像技术、深度学习等取得了极大进步［10-11］。机器视觉作为一种非入侵技术，利用相机与电脑模拟人眼对目标进行识别、跟踪、测量等操作，也因此在各行各业拥有广泛应用，包括人脸识别闸机、自动跟踪摄像机、自动驾驶汽车等较常见的实际产品［12］。基于机器视觉的自动化水产动物计数方案因低成本、高精度、高效率的特点，逐渐成为水产养殖计数的重要研究方向之一。本文通过综述水产动物的数据采集方法、计数方法实验研究和计数方法具体应用三个方面，展开机器视觉在水产养殖计数方面的整体研究应用过程，研究对象主要以水产养殖中鱼类、虾蟹和扇贝等常见的养殖品种为主。

1 数据采集设备

在早期水产养殖的计数研究中，由于设备和方法的稀缺简陋，大多采用红外传感器等硬件设备实现水产动物计数。基于机器视觉的计数方法由于对图像数据具有较强的依赖性，数据集不足且质量较差而限制了它的发展。如今随着光学、声学成像系统创新改进，机器视觉技术逐渐成为水产养殖计数研究的新选择。其中采集数据使用的相机主要分为光学相机和声呐相机两大类：光学相机随着光学成像技术的不断创新和图像分辨率的突破性提高，已经成为可固定于水上或水下进行水产动物数据采集的重要设备［13］；由于部分水域环境存在照明不均匀、水质浑浊、背景复杂等问题，光学相机难以采集到高质量的数据，而声波不仅在水下传播的衰损较小且可采集到水下较大范围的水产动物，因此声呐相机可以解决光学相机的水下使用问题，是实现浑浊水域下数据采集的主要手段［14］。

1.1 光学相机

光学相机根据数据采集原理可以分为单目多光谱相机、双目多光谱相机、单目近红外相机和单目高光谱相机四类。

单目多光谱相机结构简单、成本低，容易获取二维图像或视频，但是由于水产动物群体通常具有遮挡重叠等现象，因此在利用单目多光谱相机计数时，常在限制目标群体通过的空间内进行数据采集，以减小目标群体遮挡粘连导致的误差。刘世晶等［15］利用焦距8 mm，采样频率24 frame/s 的单目多光谱相机以固定帧率在透明有机玻璃材质制作的过鱼管道上方拍摄管道内介质运动情况，并将拍摄图片实时传到计算机端获取过鱼数量。Hashisho 等［16］利用透明有机玻璃及白色塑料板制作一种用于虾类生产槽的水上浮动箱，通过限制浮动箱中虾群的数量，减少虾群互相遮挡及波浪状水面对相机拍摄效果的影响，进而实现虾群的检测计数。总的来说，单目多光谱相机能快速获取所需的水产动物信息，但是由于水产动物群体的遮挡问题，在计数过程中需要对目标群体运动进行限制，且对计算量要求较高。

双目多光谱相机采用两个处于固定位置关系的单目相机，同时获取相同时间位置的检测对象的两个二维信息，构造目标群体的三维图像或视频数据，有助于解决高密度群体中的遮挡问题，实现对自由游动的水产动物的数量统计。Costa 等［17］利用双目相机获取金枪鱼从渔网转移到浮动笼的视频，估算出该批次金枪鱼数量，在金枪鱼转移过程中，两台由电缆连接同步的相机每秒记录两张图像，由人工神经网络将每对图像中像素之间的距离转换为真实物体中点之间的距离，自动校正估计到相机和方向的距离，并分析图像获取多个生物特征信息用于鱼群数量估计。双目相机对于高密度群体的使用效果优于单目多光谱相机，但由于双目相机需要配置校对等操作，便捷性相对较差。

单目近红外相机的感光元件区别于多光谱相机，主要强调红外辐射信号的接收，因此与双目多光谱相机通过计算两幅图像对应点间的位置偏差获取物体三维信息不同，近红外相机利用水体吸收红外光、水下动物反射红外光、水下动物在不同水深的红外光反射强度不同的原理，构建反射光强度与水下动物深度之间关系，实现了单台相机的三维成像采集。相较于双目多光谱相机，单目近红外相机不仅降低了需要多个相机的设备成本，还避免了数据校对融合等问题。另外，单目近红外相机已被广泛应用于鱼类行为分析，实现了在光照条件差、遮挡严重问题下单个鱼类的检测［18-20］。但目前基于近红外图像的水产动物计数研究较少，且单目近红外相机仍存在精度较低，易受水面噪声、反光影响的问题。

单目高光谱相机拍摄可以获得从紫外光、可见光到红外光的丰富光谱信息，与多光谱相机相比，具有更高的光谱分辨率和光谱内容，为水产动物的准确探测提供了丰富特征，在水下光线昏暗、背景复杂的环境下获取图像或视频信息具有优势。因此部分学者基于单目高光谱相机进行水下数据采集技术研究，Fu 等［21］提出了一种基于波段选择的高光谱水下目标检测方法，以约束目标最佳折射率选择光谱波长中专用于被检目标的波段子集，构建了一个集成最佳波段子集的水下光谱成像系统，从而进行水下目标图像采集，获得比未进行波段选择的高光谱检测更高的图像采集检测速率。虽然高光谱相机的丰富光谱信息有利于水下目标成像，但正是由于光谱信息较多，导致高光谱数据冗余度高、成像慢、处理时间长，不能满足水产动物计数实时性的要求，因此高光谱相机的实际应用能力还需提高［22］。

1.2 声呐相机

随着设备仪器的进步，声呐成像作为一种新的探测深海生物的方法出现，声呐相机也因此被应用于水产动物计数。目前，自适应分辨率成像声呐（Adaptive Resolution Imaging Sonar，ARIS）和双频识别声呐（Dual-frequency IDentification SONar，DIDSON）在鱼群计数方面运用较广泛［23-24］。Shahrestani 等［23］将ARIS 集成在一个2 轴旋转器中处理连续59 h 记录的镜头，探测码头附近的鱼类，该方法成功地以高于94%的准确率统计水下大型自由游动鱼类的数量。Jing等［24］将DIDSON 部署在水下0.5 m 的船舷上，获取不同时间段的水下鱼类声呐图像，结果表明利用声呐图像的自动计数的误差约10%。而侧扫声呐（Side-Scan Sonar，SSS）则对扇贝生物量统计具有不可或缺的作用［25-26］，栖息于海床中的扇贝与砾石、海沙等海底沉积物遮挡混合问题严重，因此获取高质量的海底图像是实现扇贝计数的首要任务。Enomoto等［25］将SSS 部署于水下航行器获得海底图像，并根据扇贝的纹理特征设计一种从海底沉积物中分类出扇贝区域的方法，该方法以超过96%的识别率实现了水下扇贝自动计数。

在水下难以观察、结构复杂、浑浊和黑暗的环境中，声呐相机以非破坏性的方式对水下动物的数量、大小和行为进行采样，而且声呐相机不局限于单点部署，可以部署在移动应用程序中，成功解决了海洋、淡水采样的诸多限制。但是声呐相机也存在多处缺陷，其中常用于获取水下鱼群信息的DIDSON、ARIS 声呐主要存在以下问题：声呐成像易受环境干扰，若水底的反射强度掩盖接近水底的鱼类反射，会导致水底的鱼类无法成功成像［27］；船只等移动设备的噪声驱赶鱼群，导致探测范围内鱼类偏少，增大计数误差［24］；声呐图像或视频的分辨率较低，远离声呐设备且体型较小的鱼群在声呐图像中难以辨别［14］。而常用于海底扇贝的SSS 声呐则存在目标影像模糊、畸变、易受载体运动状态及海洋环境噪声影响等问题。5 种常见成像设备对比分析如表1 所示。

表1 五种常见图像采集设备的对比分析Tab.1 Comparison analysis of five common image acquisition devices

1.3 其他设备

在水产养殖计数领域，除上述使用一种相机进行数据采集的方法外，少数学者基于光学相机与声呐相机自身的特点，将两者结合使用，以完成特定的计数任务。Chang 等［28］为实现网箱内特定种类的鱼群生物量估计，利用声呐相机与双目相机共同拍摄网箱内同一区域，通过检测声呐图像与双目图像产生的重叠三维点云区域确定计数范围，实现目标群体的数量、长度等生物量统计；然而该方法主要依靠声呐图像进行数量统计，其中的双目图像仅协助声呐设备获取目标鱼群的分布信息。目前大多数计数研究仍以单一数据分析为主，尽管部分学者使用Gavia AUV［29］、HabCam Ⅱ［30］等集成声呐相机与光学相机的设备进行数据采集，但仍以该类设备中单一类型相机所采集的数据进行计数分析。

2 基于机器视觉的水产动物计数方法

目前，大多数学者利用机器视觉技术对人群、车流等群体进行计数方法研究，该类计数方法能实现对公共场所的人群密度与分布的智能监控，有助于避免人群聚集，提高社会安全防范能力，具有一定的现实意义［31］。其中计数方法主要分为两大类：基于传统机器学习的计数方法与基于深度学习的计数方法。传统的计数方法一般是在提取到目标群体的图像特征后，使用机器学习实现目标群体的计数，在处理大量复杂数据方面具有一定优势［32］；但是深度学习不需要复杂的特征提取工程且适应性强［33-34］，在生物量统计领域表现出了明显优势。因此，在水产养殖领域，部分学者将基于机器视觉的人群计数方法用于水产动物群体，而局限于人体、车体目标与水产品目标的个体特征与活动场所的不同，基于机器视觉的水产动物计数方法仍具有水产动物种类繁多、水下数据采集困难、高密度群体互相遮挡等待解决问题。

2.1 基于传统机器学习的计数方法

水产动物的轮廓、面积、骨架和端点等几何特征是基于传统机器学习进行计数研究的重要数据依据。在鱼群数目较小、遮挡问题不严重时，鱼群在图像中的斑点信息与轮廓信息可通过连通域面积法计数。Toh 等［35］在过滤图像噪声和背景后，在图像中保留仅对应鱼的斑点，取斑点的中间区域作为鱼的计数依据，但是该方法要求鱼类大小需要保持基本相同，且随着鱼数量的增加，鱼群之间相互遮挡现象增多，导致估计精度降低。除了利用斑点信息以外，也有学者利用鱼类轮廓的面积信息统计鱼群数量，Labuguen 等［36］利用图像处理技术检测鱼苗轮廓所占像素面积，以每个轮廓内的像素面积之和获得鱼群数量，虽然该方法对700 条以下的鱼苗鱼群的计数准确率能超过95%，但是与利用斑点信息计数的缺陷一样，当鱼苗数量过多、鱼群相互遮挡时计数误差增加。

由于基于鱼类轮廓、面积等特征的计数精度容易受到鱼体遮挡影响，因此部分学者利用鱼类的骨架、端点等特征进行鱼群计数方法研究，从而降低鱼体相互遮挡对计数精度的影响。范嵩等［37］利用先膨胀后腐蚀的闭运算获取鱼苗端点，并采用逐个遍历连通域根据端点判断鱼苗数目的方法计数，实验结果表明平均误差为7.34%；但仍存在一个较明显的问题：图像边缘的鱼苗颜色偏淡且图像分割后的长宽比不足，边缘鱼苗容易被腐蚀成孤立的像素，而不是理想状况的端点，从而增大计数误差。

而在利用几何特征进行鱼群计数的方法中，除了连通域面积法和端点细化法，曲线演化法也是较常见的一种计数方法。王硕等［38］针对单帧大菱鲆鱼粘连现象，提出一种基于曲线演化的图像处理方法，将图像预处理后的二值鱼苗粘连轮廓曲线作为初始演化曲线进行处理，通过水平集方法进行常值演化，统计演化过程中最大轮廓曲线数得到鱼苗数量。实验结果表明，与面积法、端点法相比，曲线演化法可以有效对粘连的大菱鲆鱼分离计数，计数精度接近100%；但该方法易受外部杂质影响且仍无法完全解决鱼重叠时的计数问题。

上述基于几何特征的计数方法不仅适用于鱼群，也同样适用于其他水产动物的计数研究；而且，基于扇贝、虾类等水产动物的个体特征，模板匹配法也被部分学者用于生物量统计，进而提高计数精度。Khantuwan 等［39］结合连通域面积法与模板匹配法提出一种虾苗计数方法，该方法将虾群图像拆分为无遮挡图像和高密度遮挡图像，分别利用连通域像素面积法与模板匹配法进行生物量统计，其中模板匹配法通过比较模板虾体与虾群图像的相似度获取密集区域的虾群数量，最终以97%准确率得到虾苗整体数量。Kannappan 等［40］则利用模板匹配法评估图像分割结果与扇形的相似性来获得图像中扇贝的数量，能使用低分辨率图像数据以较高精度获得扇贝生物量。除此之外，基于太平洋白虾苗体积较小、身体透明的特点，Kesvarakul 等［41］直接检测图像斑点信息实现了虾苗的数量统计，误差相比人工计数降低6.9%；但由于该方法依赖透明虾体内脏等部分与水体环境的对比实现计数，因此不同养殖环境的水中杂质及水体外观均会影响计数效果，在实际使用中需要根据情况调整图像处理程序中的水体参数，具有一定不便性。

由于视频帧相比单独图像具有空间、时间维度等更多信息，因此在基于图像处理的水产动物计数方法研究之外，利用水下视频进行计数也是多数学者关注的研究重点，可从中寻找精度更高、效率更快的计数方法。部分学者利用图像中鱼群多个连通分量之间的关系实现鱼群生物量统计：Fabic等［42］设计了一种基于连通分量标记的斑点计数法用于视频序列中的鱼群计数，利用Canny 边缘算法捕捉鱼的轮廓，通过连接分量分析将检测出的轮廓转换为斑点，并对斑点进行计数，计数平均误差低于10%；Hernández-Ontiveros 等［43］则开发了一种嵌入式系统，直接利用图像中鱼体面积及周长的连通分量关系直接计算鱼群的数量，计数精度高于96.64%，此类方法易于操作且成本较低，但同样易受高密度鱼群互相遮挡影响。鱼类定位是鱼类检测、识别、计数和跟踪的重要步骤，因此部分学者以提高定位速率及精度实现鱼群计数，Li等［44］利用图像的归一化梯度特征区分背景中的鱼群，并对归一化梯度特征进行二值化处理提高鱼群定位的速率，最终以97.1%的召回率实现鱼群定位并计数。除此之外，目标跟踪也是部分学者通过水下视频实现计数的主要方法，Morais等［45］基于贝叶斯滤波算法对水下鱼类进行视觉跟踪与计数，不仅可以获取不同鱼类的游动能力、迁徙时间和峰值流量等相关信息，还可以估计鱼类随时间运动轨迹，实现在浑浊水下、鱼群相互遮挡的情况下，精度高达81%的鱼群计数。不同于Morais 等基于光学数据的跟踪计数研究，沈蔚等［46］利用Echoview 声学数据处理软件以及相关算法对DIDSON 在水库中采集到的声学数据进行处理，以α-β轨迹跟踪算法在声学数据中进行跟踪，并根据鱼类目标回声阈值进行目标识别计数，平均计数误差为7.2%。跟踪计数方法在其他水产动物计数领域也有应用，Tan 等［47］远程操控水下潜水器获取视频序列，通过目标检测与跟踪进行水下龙虾数量的统计，计数精度为83%。该方法基于检测龙虾洞穴的数量估算龙虾生物量，但摄像机与洞穴之间的距离或角度会导致洞穴形状变化从而影响检测精度。上述方法在离散目标的识别准确率上有所提升，能获得相对较高的统计精度；然而，对于鱼群这类具有较高密度、个体姿态多且活动范围较大的群体，虽可以在一定程度上降低鱼体遮挡对计数精度的影响，但仍存在多个跟踪轨迹相互交叉、跟踪ID 易切换的情况，从而产生重复计数或少计数的问题。

对于水下动物自动化计数，部分学者关注目标群体相互遮挡影响计数精度等问题。重叠鱼类的计数主要由轮廓、面积、端点等几何特征决定，Fan 等［48］提出将计数问题转化为分类问题，使用反向传播神经网络（Back-Propagation Neural Network，BPNN）和最小二乘支持向量机（Least Squares Support Vector Machine，LSSVM）［49-50］构建分类模型，实验表明，结合了多个几何特征的LSSVM 比BPNN 更优，平均计数准确率高达98.73%，而BPNN 只有94.4%；Le 等［51］提出了另一种基于骨架端点的算法，不同于范嵩等［37］提出的方法受鱼群遮挡影响较大且会出现边缘鱼类无法得到理想端点的缺点，该方法结合自适应阈值分割法和骨架提取方法有效地解决了图像中鱼群重叠遮挡的问题，且对高密度鱼群的计数仍可达到较高精度，平均计数误差小于6%。基于传统机器学习的计数方法的对比分析如表2 所示。

表2 基于传统机器学习的计数方法的对比分析Tab.2 Comparison analysis of counting methods based on traditional machine learning

2.2 基于深度学习的计数方法

基于传统机器学习的计数方法在进行图像处理时，大多需要人工提取复杂的特征。为特定的对象和场景设计选择合适的特征费时费力，而且提取的特征是否合适往往取决于研究人员的经验。采用深度学习的计数方法能通过神经网络自动提取语义特征，与传统的机器学习方法相比，具有更优的泛化能力和准确性。深度学习中应用于水下动物计数的神经网络主要分为人工神经网络（Artificial Neural Network，ANN）和卷积神经网络（Convolutional Neural Network，CNN）。基础CNN 的结构如图1 所示。

图1 基础CNN的结构Fig.1 Structure of basic CNN

早在1995 年，便有学者基于视频图像分析ANN 在水产动物计数研究中的可行性，Newbury 等［52］利用像素求和、直方图频率单元求和的传统统计方法与ANN 中的反向传播网络结构实现鱼群计数，并对三种计数方法的结果进行对比，两种传统统计方法的计数准确率分别是85%、88%，但它们的计数误差与鱼群密度成正比，仅对低密度鱼群计数效果较好；而在相同数据集上，ANN 的计数方法最佳，准确率可达94%，且计数前无须人工提取图像特征，验证了ANN 对实现鱼群计数等任务具有良好效果。

自此，部分学者基于ANN 研究鱼群计数的新方法，Zheng 等［53］提出了一种利用模糊人工神经网络实现鱼群计数的方法，以鱼群阴影的平均长度作为依据，利用基于神经网络反馈的数字图像智能窗口将鱼群图像划分为不同级别的网格，并将每个网格数据作为ANN 输入，进而实现准确率为95%的鱼群数量统计。该方法虽能解决重叠鱼群对计数问题的影响，但需要提前设置合理的窗口大小，窗口较大适合低密度鱼群，窗口较小适合高密度鱼群，因此对于不同的应用场所需要设置不同规格的智能窗口。同样，为解决鱼群遮挡对计数精度的影响，Zhang 等［54］提出一种基于图像密度分级和局部回归的鱼群计数方法，采用基于连通区域面积的阈值法对鱼群密度等级进行分级，并为每个密度级别的数据集分别构建基于BPNN 的回归模型，实现在鱼群图像子区域的局部计数，最后通过合并同一图像的连通区域计数结果获得平均绝对误差为0.298 5 的鱼群整体数量统计。该方法在一定程度上减少了鱼群粘连对计数结果的影响，而且不同密度级别的数据集解决了不同密度水平下鱼群图像样本不均衡问题，提高了计数的稳定性；但该方法基于实验室环境实现，尚未在实际养殖环境进行验证，具体应用效果仍待研究。

然而，ANN 需要在模型训练前将二维图像转化为一维向量，容易导致图像空间特征丢失且模型训练参数量较大。因此，自2012 年AlexNet 成功运用于视觉任务中，基于CNN 的深度学习研究不断出现并改进创新，在各个领域广泛应用［55］。水下动物计数也因CNN 的发展逐渐出现了相关的图像分割计数、检测计数、跟踪计数和回归计数等方法。

在基于图像分割的水产动物计数研究中，由于U-Net 分割效果较好且完全适用于小数据集［56］，Thai 等［57］基于U-Net提出一种虾群计数方法，利用U-Net、分水岭分割对图像进行分割，并通过阈值分割提取虾群信息，最后通过虾群轮廓和边界框计算虾群数量及虾体长度。实验表明，该方法可以获得平均绝对误差0.093 的虾群计数结果和均方根误差0.293的虾体长度估计，但虾群密度过高、虾体相互遮挡重叠仍会影响计数性能。为了解决虾群计数中遮挡粘连对计数结果的影响，Nguyen 等［58］利用两阶段掩膜的基于区域卷积神经网络（Mask Region-based Convolutional Neural Network，Mask R-CNN）［59］实现了虾苗的分割计数，以两阶段重复对同一图像进行预测计数，对于低重叠、中度重叠和高度重叠水平的图像可分别达到99.7%、95.4%和72.9%的计数精度，一定程度上解决了虾群重叠遮挡对计数结果的影响，但该方法计数速度及在高密度虾群的计数性能仍需进一步提高。而在鱼群分割计数中，针对鱼群活动行为较明显的现象，Tseng等［60］不局限于单独对图像进行处理，而是利用Mask R-CNN对鱼群视频帧进行像素级的背景检测和目标分割，从而识别出图像中的鱼体目标，并在此基础上，通过使用时间阈值法与距离阈值法确定鱼群数量，召回率可达93.84%。基于图像分割水产养殖计数方法虽然可以得到较高的计数精度，但是有一个较明显的共同问题：计数速度需进一步提高且仍无法完全实现高密度群体的准确计数。

不同于图像分割直接对目标像素进行定位，目标检测仅需要预测出目标边界框，便可得到相关计数依据，更加方便快捷。基于目标检测的水产动物计数方法则根据检测方法的不同分为一阶段检测计数与二阶段检测计数两种方法：二阶段方法首先生成可能包含水产动物的候选区域，通过特征提取、边界回归等方法不断细化，进一步准确定位物体的位置实现计数［61］；一阶段方法直接在网络中提取图像特征实现图像中的水产动物检测计数。在二阶段方法中，部分学者通过改进网络模型提高检测计数的精度，Li 等［62］在Faster RCNN（Faster Region-based Convolutional Neural Network）［63］的基础上级联线性整流函数（Rectified Linear Unit，ReLU）、Inception 和HyperNet 等构建块改变卷积层的结构，构建了新的鱼类识别模型，进一步提高检测效果，识别计数准确率达到89.95%，且单张图像检测时间为0.089 s，接近实时检测的要求，但计数精度有所牺牲。而一阶段方法在保持一定精度的前提下可以实现更快甚至实时的检测，Lainez 等［64］以改进图像预处理结果实现高精度的鱼群检测计数，将鱼群图像裁剪为400 像素×400 像素大小，并利用图像灰度处理与图像分段技术，使CNN 直接运用于不同图像片段中实现99.63%平均精度的检测，最后通过检测阈值调整实现99.17%平均精度的鱼群计数；该方法虽然具有较好的检测计数效果，但仅适用于分辨率为400×400 的图像，因此具有应用局限性。Rasmussen 等［26］则以改进的CNN 模型实现计数应用，直接以YOLOv2 架构［65］构建野生扇贝计数模型，不仅可以独立分析水下机器人采集的连续图像，而且在实时速度下的平均计数精度达到了86%。张璐等［66］则针对水产养殖中鱼群图像背景复杂、目标多尺度的问题，提出一种基于多尺度融合与无锚点YOLOv3［67］的鱼群计数方法，以96.26%准确率实现鱼群的生物量统计。目前基于检测的计数方法具有较高精度，但是检测计数需要使用滑动窗口逐个检测对象，在高密度鱼群相互遮挡的情况下，与分割计数的方法具有同样问题，无法检测部分被遮挡物体。

除了上述直接利用检测结果进行计数的方法，部分学者从实际问题出发，将基于深度学习的检测模型与多目标跟踪算法相结合，利用目标跟踪的方法统计水下运动动物的数量。Xu 等［68］将自动检测技术应用于水下机器人进行海洋小目标探测，提出一种基于Faster R-CNN 检测模型和核化相关滤波跟踪算法的海洋目标检测方法进行海参、扇贝等生物计数，平均检测精度为79.6%，对浑浊水下的低密度水产品有较好的跟踪计数效果；但模型复杂度较高，无法实现海洋目标的实时监测。在跟踪计数方面，除了将滤波类跟踪算法与检测模型结合外，部分学者将SORT（Simple Online and Realtime Tracking）［69］、DeepSORT［70］等综合跟踪算法用于跟踪计数，具有更好的跟踪效果。Tanaka 等［71］利用YOLOv3 与SORT 构建了捕鱼船进鱼量统计模型，对金枪鱼的计数准确率为89%，召回率为87%；然而，此类跟踪计数方法为解决传统跟踪中跟踪目标id 切换对计数的影响，只能跟踪某一固定区域的群体实现数量统计，且该固定区域常需要根据实际问题设计，所以该类方法的使用不具有通用性，但由于它直接面向现实问题设计，因此具有一定的应用性。

基于检测和图像分割的方法在高密度群体中的计数效果较差，因此基于密度图回归的方法逐渐被用于解决高密度群体的计数问题［72］。Lempitsky 等［73］首次提出采用密度图模拟计数目标的空间密度分布的方法后，大量基于密度图估计的方法被提出，在计数领域取得了显著的进步［74-75］。基于密度图的计数方法减小了计数过程中检测和定位计数目标的工作量，将问题归纳为图像密度的估计问题，在密度图任何区域通过积分获取该区域内目标的数量。Yu 等［76］提出了一种基于多尺度残差网络［77］的鱼群计数方法，利用多尺度注意力机制提高了网络提取不同大小鱼类特征的能力，并通过残差网络模块融合图像中的深浅层特征，获得了清晰度较高的密度图准确反映鱼群分布情况，计数误差较低。Zhou等［78］则为了消除摄像机透视效应和图像分辨率对密度估计的影响，提出一种基于多尺度上下文增强卷积网络的鱼类密度估计方法，采用多尺度滤波器并行处理鱼群图像，并用上下文增强模块帮助网络理解图像全局上下文信息，从而将不同特征图融合在一起构造鱼群密度图，计算鱼类数量，相比先前的密度图方法有效地解决了鱼群遮挡、粘连的问题，提高了计数精度；但多尺度卷积网络明显存在训练时间长、多列结构参数冗余的缺陷。因此，王金凤等［79］利用扩展CNN［80］构建鱼群密度检测模型，在保持分辨率的同时扩大感知域，生成高质量的鱼群分布密度图，鱼群密度检测准确率高达90%以上。密度图的方法除了用于鱼群，对密集程度较高、体积较小的虾群也具有相关应用。Zhang 等［81］提出一种基于完全卷积回归网络的虾卵计数方法，通过将输入的图像回归到它的密度图中来计算密集分布的虾卵，平均计数准确率可达99.2%。密度图的方法在保留了局部特征信息的同时，提供了目标群体的二维分布信息与群体运动的速度信息，在一定程度上提高了计数的准确性，但在实际的养殖场景中含有气泡、光线、遮挡等干扰因素，导致所呈现的预测密度图存在一定误差［78］。基于深度学习的计数方法对比分析如表3 所示。

表3 基于深度学习的计数方法的对比分析Tab.3 Comparison analysis of counting methods based on deep learning

3 计数方法在主流养殖模式中的应用

上述计数方法的研究均以实际养殖中水产品数量统计为目的，本章将基于主流实际养殖模式，对深水网箱养殖、循环水养殖和池塘养殖等养殖模式中水产计数方法的实际应用与相关市场产品进行综述。

3.1 深水网箱养殖模式

深水网箱养殖是指在较深海域内搭建网箱并利用投饵系统、水下监控系统等配套措施，进行离岸养殖的一种海水养殖模式。其中的网箱则分为传统网箱与大围网两类：传统网箱常采用网衣、浮力装置组成木质浮式网箱；而大围网则利用打桩、沉沙袋将网衣沉入海底，形成网兜用于养殖［82］。近年来，我国在深水网箱数字化设计、装备自动控制、数字化管理以及大型鱼类网箱养殖等方面取得了重要进展［83］。但是如何在复杂的网箱环境中获取网箱内鱼群数量，进而评估网衣完整性及饲料投放情况仍是目前多数学者关注的重点。

深水网箱养殖大多属于浑浊海域，水下能见度低，利用机器视觉技术在网箱内实现鱼群计数具有一定限制。因此，声呐计数法是目前机器视觉技术应用于深水网箱中较常见的计数方法，基于光学图像的计数方法则需要以提高图像质量作为计数前提，较繁琐。黄健等［84］将超声波换能器基阵置于网箱中部水下，利用分裂波束接收目标回波并对空间采样，实现网箱内生物量实际情况的探测，通过水上信号收发电路向换能器基阵发射超声频电信号并接收处理换能器输出的电信号为生物量评估处理提供数据基础。另外，他们还构建了相应的深水网箱生物量评估模型，运用单回波脉宽检测和跟踪方法在单体鱼连续的回波踪迹中检测鱼的游速及方向，并利用图像分析技术压缩回波噪声，实现了在低信噪比数据中对网箱中生物量的检测估计。如图2（a）所示，可以发现该方法利用多个换能器组成换能器基阵实现多个波束共同作用进行目标探测，导致设备的体积大且成本较高。刘延猛等［85］针对上述问题提出了无人艇声呐计数方法，区别于超声波换能器基阵技术，利用鱼鳔中空气与水体中其他物体声呐特性的显著区别进行鱼体目标识别，在无人艇上安装探测声呐及无线收发器，管理人员通过对水中无人艇远程遥控实现探测声呐对水下目标信息的探测与处理，并通过无线收发器将数据传送到远程终端机，利用声呐回波能强度实现鱼群计数、获取鱼类体型大小及重量等目标。当然，也有部分学者直接利用单目多光谱相机在水下进行鱼群图像采集并计数，Zhang 等［86］在深水网箱底部安装与水面形成一定角度的单目多光谱相机，自下而上拍摄鱼类照片，如图2（b）所示，其中相机与水面形成的角度一定程度上避免了垂直光对图像采集的影响，但受水下海域水质浑浊、能见度低的影响，水下图像质量较低。因此他们在图像预处理部分通过颜色校正与对比度增强的方法实现水下图像质量的提高，为鱼群计数提供可行性，最后以混合神经网络模型进行密度图估计，鱼群计数精度为95.06%。

图2 深水网箱养殖计数方法的实际应用示意图Fig.2 Schematic diagrams of applications of counting methods in deep water net cage culture

深水网箱中鱼群生物量的评估为相关管理人员掌握鱼类生长情况、获取鱼群逃逸信息和判断网箱的损坏情况提供了数据依据，有利于根据鱼群数量控制饵料投放和检查网箱完整性；但是，中国种类繁多的海水鱼中适应深海网箱养殖的种类较少，主要是大黄鱼、美国红鱼、大西洋鲑鱼等品种。因此目前面向深水网箱的鱼群计数方法适用的鱼类品种较少，我国深水网箱的养殖品种仍待丰富，相关计数方法也将因此快速发展。

3.2 循环水养殖模式

循环水养殖是通过一系列水处理单元将养殖池中产生的废水处理后再次循环回用的新型养殖模式，以去除养殖水体有害污染物、净化养殖环境为目的，利用物理过滤、消毒等处理将净化后的水体重新输入养殖池的过程，解决了水资源利用率低的问题，为高密度养殖提供了有利条件［87］。但养殖密度过高将引起水产动物应激反应，改变它们的内在生理状况，导致养殖群体的生长率和存活率下降，增大个体间生长差异，因此水产品计数在循环水养殖中具有一定应用价值［88］。循环水养殖模式在不断推广下，已经逐渐发展出各种分支，主要包括池塘工程化循环水养殖和工厂化循环水养殖等模式，根据循环水养殖模式在不同环境的应用，水产动物数量的统计方法也具有不同特点。

池塘工程化循环水养殖模式俗称为跑道鱼模式，通过创建仿生态的常年流水环境，实现多个鱼类品种的高密度养殖，如草鱼、鲈鱼、鲫鱼等常见的淡水鱼品种［89］。基于池塘循环水养殖过程中，鱼群以流水鱼道为生活环境的现象，陈从平等［90］提出一种基于水下视频的鱼道过鱼量自动计数系统，主要包括水下摄像机和视频处理工作站，水下摄像头与视频处理工作站中的图像采集卡连接，安装在鱼道侧壁靠近防逃网出口的位置进行图像数据采集，而视频处理工作站在视频处理过程中首先在视场中设计部分区域视为计数缓冲区以降低计算量，并在计数缓冲区中进一步设置增强计数区，当鱼从一侧逐渐进入有效计数区，系统自动对鱼体进行连续识别跟踪，连续3 帧图像均检测到则进行计数，从而实现计数时段内鱼道内实际过鱼量的全天候自动计数。该方法结合计数现场实际情况，对计数方法和规则进行了相应开发且避免过多设备的附加使用，对于自然情况下的池塘循环水跑道鱼计数具有一定的实用价值。

工厂化循环水养殖模式不同于池塘循环水养殖中利用推水增氧装置和吸污装置实现池塘水24 h 循环流动增氧及鱼粪残饵收集，而是将鱼群直接放养于静水养殖池，并利用微滤机、低压溶氧机和颗粒收集器等设备直接对养殖池中的循环水进行处理，相比易受水温、气候、环境等各种因素影响的露天池塘循环水养殖模式，工厂化循环水养殖受自然环境的影响较小，且根据养殖者需求更易于调整养殖程序［91-92］。但工厂化循环养殖车间一般光线较暗，若直接增加光源或额外补光，将影响鱼类的正常生长，因此为获得较好的图像拍摄效果，周超等［93］将近红外相机应用于工厂化循环水养殖鱼类的行为评估中，通过设置近红外相机与近红外光源获取鱼体的近红外图像，并利用软件处理分析近红外图像获得鱼类的游动速度，为监控鱼类行为提供了信息依据。这种利用近红外相机获取光线较暗的养殖池图像的方法同样对工业化循环水鱼群计数获取高质量鱼群图像具有借鉴意义。除此之外，由于养殖池内鱼群密度较高，养殖品种主要是半滑舌鳎、大菱鲆、红鳍东方鲀等遮挡粘连严重的鱼类［92］，导致基于机器视觉的鱼群计数方法使用具有一定局限性。因此，吸鱼泵等实现鱼群分离的硬件设备具有不可或缺的作用，王硕等［38］利用吸鱼泵将大菱鲆鱼苗吸入数鱼机通道中，并利用通道斜上方的工业相机对通道内的大菱鲆鱼苗进行拍摄，吸鱼泵一定程度上减少了鱼群粘连对拍摄效果的影响，并设计曲线演化法实现通道内粘连鱼群的分离计数。除此之外，利用三维图像信息解决鱼苗重叠问题对于鱼群计数具有较好效果，但目前三维图像多用于鱼体体长测量，在鱼群计数方面的应用还需进一步拓展［94-95］。

3.3 池塘养殖模式

池塘养殖模式是利用人工开挖或天然池塘进行水产经济动植物养殖的一种生产方式，主要包括鱼菜共生养殖模式、多级人工湿地养殖模式和稻鱼综合种养模式，且草鱼、鲢鱼、鲤鱼、香鱼等鱼类是我国池塘养殖中较普遍的品种［96］。然而，池塘本身的封闭性易引起水体流动不畅通而出现水质问题，低质量的水质直接影响池塘养殖的经济产出，因此利用鱼群计数方法定期获得池塘鱼群数量对养殖人员评估养殖情况具有重要意义。

克服解决浑浊水质对计数结果的影响，是基于机器视觉的鱼群计数方法应用于池塘养殖模式必须解决的问题。因此，与深水网箱中解决浑浊水质对计数影响的方法一致，声呐计数方法同样适用于池塘养殖计数，而由于应用范围的不同，池塘养殖更适合小型声呐的计数方法。童剑锋等［97］将DIDSON 声呐相机探头安装在水下20 cm 处，在黑暗浑浊、能见度较低的水中，利用声呐镜头以10 frame/s 的帧率形成声波波束进而生成接近光学照片画质的图像，并基于游动的鱼群与落叶、垃圾等杂质的移动速度、方向区别较大的特征，正确地对游动的鱼群进行跟踪计数；但该方法将声呐相机安装在固定地点，计数前需要在池塘中设定计数区域，对自然情况下的池塘使用具有不便性。张翔等［27］将DIDSON 声呐探头安装在船舷左侧置于水下0.5 m 处，如图3 所示，根据双频识别声呐的低频1.1 MHz、高频1.8 MHz 的两种工作频率探测距离的不同对水库进行自动调节的走航式调查，并利用检测跟踪算法对声呐图像中的鱼体进行跟踪统计。虽然该方法利用船只实现了池塘全范围探测计数，具有一定的实用价值，但声呐相机自身的缺陷及池塘环境的限制仍将导致计数误差，面向浑浊水域的鱼群计数方法仍需进一步研究。

图3 池塘养殖声呐计数方法应用示意图Fig.3 Schematic diagrams of application of sonar counting method in pond culture

综上所述，基于机器视觉进行不同养殖环境的水产品计数所需的数据采集与计数方法各有不同。深水网箱的养殖模式水下能见度低、大多属于浑浊水域，多以声呐、超声波设备进行数据采集，且由于其养殖范围较大、养殖群体较多，因此跟踪计数是常选择的一种计数方法，但是对于扇贝类常隐匿于水底的养殖品种，其他计数方法同样具有应用需求；循环水养殖模式主要分为池塘化循环养殖与工厂化循环养殖，其中池塘化循环养殖因其独特的跑道式养殖方法，常利用光学相机与跟踪计数方法进行跑道内鱼群数量统计，而工厂化循环养殖主要进行大菱鲆等遮挡粘连严重的鱼类养殖，计数过程常利用吸鱼泵等设备进行鱼群分离，直接利用光学相机采集吸鱼泵通道内的鱼群数据并以常规的几何特征计数方法进行计数，但是根据其他对于遮挡鱼群的研究可知，近红外、双目等三维图像相机对于该养殖模式下的鱼群计数具有参考意义，计数方法也可随之改变；池塘养殖模式虽同样存在浑浊水质的问题，但是由于养殖范围较小，因此小型声呐与船只的结合使用可完成该养殖环境下的数据采集，且常规的计数方法均可完成数量统计。

总的来说，对于不同的养殖环境，主要区别就是数据采集方式，而计数方法的使用则是根据养殖范围与计数需求的不同略有区别。水产计数方法在各种养殖模式中应用的对比分析如表4 所示。

表4 基于实际水产养殖环境的计数应用Tab.4 Counting applications based on actual aquaculture environment

3.4 其他

除上述基于实际水产养殖环境所设计开发的水产品计数应用外，部分学者以设计通用计数设备为主，使水产品计数脱离实际养殖环境，根据水产动物的个体特点直接进行计数设备的研究，能更广泛地应用于不同品种的水产品。

在鱼群计数方面，Garcia 等［98］利用跟踪计数方法设计出了一套鱼苗计数器，令鱼体通过水流进入扫描区域，利用相机将流水鱼群图像进行记录，并采用自定义软件通过跟踪计数算法分析和计算每个图像，从而得到通过该计数器的鱼苗数量。目前已有多个公司利用此类流水计数方法进行鱼类计数器装置的开发，主要有冰岛VAKI 公司、挪威AquaScan公司、法国Faivre 公司和比利时的Calitri Technology 公司，其中VAKI 公司以机器视觉计数方法为主，AquaScan 公司与Faivre 公司偏重红外传感器成像计数方法，Calitri Technology公司则以光电计数方为代表［99］。以机器视觉计数方法为主的VAKI 公司，已针对不同使用场景、不同尺寸的鱼类研发了各类功能和大小的计数器，主要包括通道计数器、管道计数器，如用于捕捞船的Smolt 计数器配合大型真空泵和捕捞船上的加压水流能以每小时360 000 尾的速度进行500 g 以上的鱼类计数；用于渔场的Micro 计数器可在将鱼类从孵化场运出时，在捕捞船和运输卡车上实现0.1 g～200 g 小鱼的分级计数，甚至可以达到每小时500 000 尾的计数速度。

而在虾苗水产品的计数设备研发方面，多数学者将密度图计数方法嵌入计数设备实现虾苗计数设备的集成开发。范松伟等［100］设计出一套虾苗计数仪原型机，利用漫反射光源灯箱集成补光灯与虾苗容器白扁盘，将虾苗放置在箱体下方的白扁盘中，利用箱体顶部的手机实现虾苗图像的拍摄与数量统计。目前，加拿大科技公司XpertSea 所开发的XperCount 虾苗计数设备是基于此类方法的成熟产品，将虾苗等水产品倒入测量桶内，通过装备顶部的触摸显示屏可直接对设备内部的水生生物进行计数、测大小、称重和成像，从而获得虾群每日生长速率、饲料转化率、放养密度和存活率等精确数据［101］。

虽然上述产品使水产品计数不再局限于相应的养殖环境，令用户可以更方便快捷地获得水产品的数量，但仍存在两个明显问题：1）目前已成熟的数鱼器产品均根据目标鱼体特征设计，不能广泛应用于多种鱼类，如大多数设备仅能用于长宽比不大的鱼类，而对于体型修长、鱼体柔软的鱼类难以获得较好结果；2）上述鱼苗、虾苗的计数设备都需要将相应水产品从养殖场所取出，使它们进入计数设备进行生物量统计，此类做法不仅易导致养殖动物的应激反应，造成经济损失，而且人工取苗将消耗人力资源，没有达到智慧渔业中装备机械化、操作智能化的目标。

4 展望

在水产养殖中，水产品计数是进行种群评估和合理规划养殖的重要手段，基于机器视觉的自动计数方法既降低了计数的成本与时间，又避免了计数过程中人为误差的出现，在计数领域具有更准确简便的优势；但由于图像处理技术、硬件设备和视觉原理等条件限制，水下动物自身运动遮挡、水下环境复杂和生活习性等问题的影响，机器视觉技术在水下动物计数中的研究与实际使用还存在一些不足和局限性：

1）数据集不足。水下动物数据集的采集具有采集环境复杂、拍摄亮度较低和生物运动干扰等问题，而且在数据集标注中，水下动物数量庞大导致标注工作量较大。我国目前开源的大规模水下动物数据集较少，且在一些分散的小型数据集中存在数据样本少、分类不准确和查询不方便等问题，而基于深度学习的计数方法最重要的就是利用大量样本进行模型训练，虽然目前大多数研究人员通过添加噪声、调整图片对比度和饱和度等图像预处理方法进行数据扩充，但仍未解决本质问题，大规模水下动物图像数据库的构建在未来研究中将是一个重要研究目标。

2）数据采集方法待改进。目前水下动物计数算法大多基于实验室中满足光照条件的多光谱数据进行研究，而在实际生活中，多光谱相机采集水下信息易受光照强度、水下动物遮挡和复杂背景的影响。近红外、高光谱相机与声呐相机根据它们自身特点可以有效解决采集环境对图像或视频信息的影响。因此，不同类型的相机结合使用，利用信息融合技术实现水下动物多类型数据信息融合，可以有效解决水下动物生活环境与不同相机自身缺陷对数据采集的影响，此外，无人机、捕鱼船、潜水艇等相机承载设备的改进同样对获得高质量的图像或视频信息以实现更好的水产品生物量估计具有促进作用。

3）高密度群体互相遮挡。基于传统机器学习的计数方法大多仅适用于中低密度群体，高密度群体相互遮挡会导致计数准确率降低，而模拟水下动物群的空间密度分布进行积分计数的密度图方法与利用视频帧的空间时间维度信息的跟踪计数方法，可以有效解决高密度群体的遮挡粘连问题。但密度图的生成容易受到原始图片中无关元素的干扰，从而影响计数准确率，而且目前对于密度图是否能正确反映群体的空间分布缺少研究。在群体总数估计正确的情况下，若局部区域的数量估计存在较大误差，可能导致密度图无法正确反映真实的空间分布，基于视频帧的跟踪计数方法则会由于多个目标轨迹交叉切换导致重复计数或少计数等问题。因此提高密度图估计的准确性与跟踪算法的轨迹稳定性是未来解决高密度群体互相遮挡问题、提高计数算法准确性的重要方向。

4）算法对高算力的依赖性。基于深度学习的计数方法在高密度水下动物群图像中的计数准确性较高，但是深度学习对硬件设备的算力要求较高，与一些传统的机器学习算法相比，应用场景受到一定限制且实时效果较差。在实际水产养殖环境中，为减少样本的大量标注工作并提高方法的实时效果，利用半监督或无监督学习的训练方法在水产养殖中实现计数任务可能更实际，而在深度学习方法中降低模型的参数量，应用轻量级网络，在保障计数准确性的基础上，提高算法的实时性，也是基于深度学习的水产品计数方法未来可以考虑的研究要点。

5）迁移模型具有局限性。近年来，基于机器视觉的人群、车流计数方法应运而生，为水产养殖计数研究提供了诸多可参考内容。然而，水产养殖环境完全区别于其他物种、水产品种类繁多，同一种类的水产品仍具有较大的特征差异、鱼虾等群体无规则运动更易遮挡等问题，使基于机器视觉的其他群体计数方法直接运用于水下动物具有挑战性，因此，根据水产品自身特点及其养殖环境对所迁移的模型进行改进是未来将其他物种的计数方法应用水产养殖的首要考虑问题。

6）计数方法与实际养殖结合不足。目前基于机器视觉的水下动物计数算法大多处于实验室研究创新阶段，在实际生活中的具体使用仍缺乏相关研究，在不同的养殖环境对计数算法运用的限制各有不同，因此基于不同养殖环境进行水产品计数硬件开发是水下动物计数在实际生活中使用必不可少的内容，而在水产品计数硬件开发中设备的便携性、物理稳定性和可调节性等内容均是需要考虑的内容。

7）产品成熟度有待提高。目前我国渔业仍以小规模养殖为主，存在养殖规范性和科学性弱、机械化水平较低且水产养殖品种众多等现象。而目前较成熟的计数设备大多面向大规模养殖中的单种水产品，无法广泛应用于多种水产品，因此水产品计数设备应以小型化、模块化为改进方向：小型化设计更适用于小规模养殖，降低成本且便于转移；以零部件更换为主的模块化设计，可应用于多种类型的水产品；此外，自动吸鱼泵、分级机等机械化设备的同步发展对计数产品的使用具有促进作用。

5 结语

本文通过对图像数据采集设备的应用、近20 年基于机器视觉的水产动物计数方法和不同水产养殖模式中水产动物计数实际使用进行深入分析，阐述了基于机器视觉的计数方法对现代水产中实现非入侵式水下动物计数的重要意义。随着图像采集设备、图像处理技术和计算机算力的不断改进更新，水产品计数在复杂环境获取图像、低质量图像处理和计数方法改进等方面得到了更大的突破。然而基于机器视觉的水产品计数方法大多处于实验室研究阶段，而已有的计数产品仍需改进，真正实现计数算法在不同养殖模式中的使用有待继续研究。