基于特征加权融合的鱼类摄食活动强度评估方法

陈 明 张重阳 冯国富 陈 希 陈冠奇 王 丹

(1.上海海洋大学信息学院， 上海 201306； 2.农业农村部渔业信息重点实验室， 上海 201306)

0 引言

中国水产养殖面积达718.952万hm2，超过77.29%的水产品是人工养殖[1]。计算机视觉技术的发展助推了工厂化循环水养殖，使之成为现代渔业的重点研究方向，其中投喂控制是精细化养殖的关键。传统的人工和机械投喂模式，忽略了鱼类的养殖密度、摄食需求和水质环境等因素的影响，因投喂不足或过度投喂而造成水质污染和资源浪费[2-3]。大量研究表明，在不同生长阶段和不同水质环境下，鱼类的摄食行为和摄食活动强度存在明显的差异[4-5]。近年来，鱼类的福利问题愈发引起重视，分析量化鱼类的摄食行为和摄食活动强度不仅可以提高饵料利用率、改善水质环境，而且可以提升养殖效益，从而实现精准投喂[6-7]。

计算机视觉技术具有经济、快速、客观和高精度检测的优点，已逐渐应用于水产动物属性研究领域[7-8]。结合图像处理技术，通过提取鱼群运动的参数信息可以实现对摄食行为的检测。赵建等[6]利用光流法和统计学方法，结合罗非鱼的肠胃饱满指数和水面反光区域变化特征，提出了一种改进动能模型的摄食活动强度评估方法，避免了对个体鱼的追踪，但该方法易受外界环境的干扰。陈彩文等[7]利用图像处理技术、对比传统面积法，提出了一种基于图像纹理的摄食活动强度评估方法，其相关性达0.89。但该方法的模式较为固定，且特征过于单一，干扰抵抗性较差。胡利永等[8]基于机器视觉方法分析了鲈鱼的聚集和饥饱程度，并结合鱼群摄食规律提出了一种基于面积比率的智能投饵方法，提高了饵料利用率，但该方法对养殖规模和鱼的大小有一定的限制。LIU等[9]利用计算机视觉技术，通过计算连续帧图像间的差分值对鱼群的摄食活动强度进行了量化，但该方法需滤除水面反射误差的影响，计算量较大。ZHAO等[10]基于动能模型，通过提取摄食图像的分散度、相互作用力和水流场变化幅度等特征，实现了对鱼群食欲的强度评估，但该方法易受图像质量和光照等因素的干扰。SADOUL等[11]通过分析摄食前后鱼群面积和扩散程度等信息，利用分散性和游动活性2个指标表征鱼群的活跃程度，但该方法受限于鱼的数量和光照等外界条件。

本文针对目前摄食活动强度研究中易受光照、水质环境和复杂背景影响等特点，提出一种特征加权融合的摄食活动强度评估方法。首先利用背景减、最大类间方差法(Otsu)、灰度化和形态学方法处理摄食图像，通过图像质心确定鱼群的游动轨迹；其次，分别提取颜色、形状和纹理等13维特征；结合Relief和XGBoost算法进行特征的选择，筛选出贡献率较大的3个特征作为摄食评价因子，并使用加权融合方法确定其权重；最后，通过融合后的特征，对比鱼群聚集面积法，实现摄食活动强度的评估。

1 材料和方法

1.1 试验系统

试验系统如图1所示，主要由水槽、生物滤池、摄像机和便携式计算机组成，试验对象选用体长为15～20 cm的镜鲤(Cyprinuscarpiovar.specularis)。试验前，先将镜鲤饲养在高1.2 m、直径1.5 m的水槽中数日。摄像机位于水槽斜上方垂直高度1 m处，选用尼康D90型摄像机进行拍摄，图像格式为JPEG，分辨率为1 280像素×720像素，试验分摄食前、摄食中和摄食后3个阶段进行图像拍摄，后期选用Matlab R2016a进行处理和分析。

图1 试验系统结构图

1.2 算法流程与图像预处理

1.2.1算法流程

鱼类摄食图像研究的难点主要在于光照强度和复杂背景下单体鱼位置的确定，所以分割和提取鱼群中单条鱼的特征是困难的。为提高摄食活动强度评估准确性，降低试验难度，本文以鱼群为研究对象进行图像特征的分析。为降低噪声和水质环境对图像分割和特征分析的影响，采用均值背景建模、中值滤波和形态学方法对图像进行预处理操作，实现图像的降噪和灰度化，算法流程如图2所示。

图2 算法流程图

1.2.2图像预处理

鱼类运动行为具有显著的时空异质性，不同种类、不同水深环境下呈现出不同的状态，同一种类在不同时刻也会呈现出明显的视觉差异(水平、垂直和旋转)。

对镜鲤而言，通过观察其摄食前后的行为发现，非摄食阶段鱼群游动速度较为缓慢，且群浮于水底，而在摄食阶段，游动呈杂乱无章状态，且较为剧烈，摄食前后状态如图3所示。

图3 鱼群摄食前和摄食时图像

1.2.3摄食图像质心标定

在采用背景差分法对鱼群目标进行处理时，通过对检测到的鱼群面积进行形态学处理，采用质心算法获得连续帧图像的鱼群质心点坐标(xi,yi)，并计算出鱼群的运动轨迹，从而实现摄食行为的分析。质心坐标值计算公式为

(1)

式中N——目标区域中像素点总数

(xj，yj)——像素点j的坐标

试验中以图像左上角为xoy坐标系的坐标原点，竖直向下为x轴正方向，水平向右为y轴正方向。

1.3 摄食图像特征提取

文献[12]发现，随着鱼群摄食状态和强度的变化，其运动速度、方向和聚集面积也会发生改变，图像特征的复杂性也会不同，为实现不同特征间信息互补，本文提取摄食图像的颜色、形状和纹理3类特征对鱼群的摄食活动强度进行研究。

1.3.1颜色特征

在图像底层特征中，颜色是图像最重要的视觉特征[13]。根据鱼群摄食图像特点，本文将RGB空间转换为HSV空间模型，提取H和S分量的颜色矩作为颜色特征，并使用一阶矩(Mean)、二阶矩(Variance)和三阶矩(Skewness)来表示摄食图像的颜色分布信息，其中一阶矩描述图像色彩的平均强度，二阶矩表示图像的颜色方差，三阶矩表示图像的色彩偏移性[14]。因此，利用图像HSV的低阶矩对鱼类摄食前后图像进行颜色矩统计，共得出H、S分量的6个特征向量，其参数区间范围如表1所示。M11、M12、M13为摄食前、中、后阶段H分量的一、二、三阶矩，M21、M22、M23为摄食前、中、后阶段S分量的一、二、三阶矩。

表1 H、S分量参数的区间范围

由表1可以看出，摄食前、中、后3个阶段的某些参数区间存在重叠部分，为提高试验效果，剔除M13和M23，使用M11、M12、M21和M22作为颜色特征，并分别记为T0、T1、T2、T3。

1.3.2形状特征

图像的形状特征是一种全局特征，可以通过图像的边缘、区域和面积反映一幅图像内容的紧凑程度[15]。对摄食图像而言，鱼群在不同时刻呈现出不同的群聚形状，为清晰描述图像的形状变化，在提取特征前使用Canny算子对鱼群摄食前后的图像进行边缘检测，边缘检测图像如图4所示。

图4 鱼群摄食前后边缘检测效果图

根据鱼群摄食前后呈现出的不同状态，提取图像面积S、周长L、紧凑度F和圆形度E共4个几何特征作为图像的形状特征，并分别记为T4、T5、T6、T7。

F=4πS/L2

(2)

E=L2/S

(3)

1.3.3纹理特征

通过分析不同摄食阶段的图像发现，鱼类摄食行为存在周期性变化的特点，摄食阶段图像纹理较为粗糙，非摄食阶段相对平滑，所以通过构建灰度共生矩阵(GLCM)[16]提取图像的纹理特征来表征摄食行为的变化。试验中，将图像灰度级压缩至16级，并提取方向角θ在0°、45°、90°和135°共4个方向上的能量En、熵Ent、对比度Con、相关性Cor和逆差矩Hom共计20个特征值，各特征值如表2所示。

表2 鱼群摄食图像的灰度共生矩阵特征值

由表2可知，鱼群摄食图像的纹理信息在0°、45°、90°和135°方向上的变化趋势一致，所以选取0°方向的能量、熵、对比度、相关性和逆差矩5个特征表示其纹理特征，并分别记为T8、T9、T10、T11、T12。

1.3.4归一化处理

为保证各特征数据的尺度一致性，避免异样值的干扰，对提取的4维颜色特征、4维形状特征和5维纹理特征进行归一化处理。

1.4 鱼群摄食图像特征加权融合

特征融合的目的在于使用较少的特征表达较多的图像信息，以达到较高的准确率[17]。针对传统人工和自适应融合方法的耗时耗力和准确率低的问题，本文结合XGBoost算法，提出一种基于Relief特征加权融合算法。如图5所示，首先使用图像预处理技术提取图像的颜色、形状和纹理特征，其次按照Relief算法计算出的权重对特征进行贡献率排序，然后结合XGBoost的分类准确率剔除冗余和不重要的特征，筛选出摄食评价因子。最后使用特征加权算法进行加权融合，从而对比面积法实现摄食活动强度的评估。

图5 特征加权融合算法流程图

1.4.1Relief算法特征选择

特征提取为摄食行为的研究提供了丰富的数据信息，但大量的特征间容易存在较高的相似性，导致冗余数据消耗过多的时间，不利于鱼群摄食行为的在线研究，所以需要筛选出与摄食研究最相关的特征，从而减少数据冗余，增强算法的泛化能力，进一步提高算法的评估精度。

Relief算法[18]是一种通过计算样本权重进行特征选择的算法，根据基于特征对近距离样本的区分能力来确定权重。设样本集合f=(f1,f2,…,fn)，每个样本包含k个特征fi=(fi1,fi2,…,fik)(1≤i≤n)，L=(l1,l2)为类别集合。Relief算法首先对各特征进行初始化，并从F中随机选择一个样本fi，然后根据L分别从同类样本和异类样本中选择一个距离fi最近的样本，并记为H和M，最后更新特征i的权重。

ωi=ωi-1-diff(i,fi,H)/n+diff(i,fi,M)/n

(4)

式中ωi——特征i的权重

diff(i,fi,H)——同类样本近邻相关统计量

diff(i,fi,M)——异类样本近邻相关统计量

由式(4)可知，在权重迭代计算中，具有较强区分能力的特征在异类样本间差异较大，而在同类样本间差异较小。根据Relief算法计算的权重ωt对特征进行排序，权重ωt越大，表示其贡献率越大，对应的分类能力越强；反之，能力越弱。最后设定阈值t，权重ωt大于t的特征视为有效特征，小于t的特征剔除，从而实现特征选择。

1.4.2XGBoost算法分类准确率

XGBoost(极端梯度提升)[19]是GB集成学习的改进算法，是通过弱分类器的迭代计算实现较高精度的分类，在将损失函数进行二阶泰勒展开的同时，引入了L2正则化项，克服了决策树易过拟合的缺点，可快速实现特征维度上的并行运行，且其内置的交叉验证特点提高了结果准确性。其具体的实现过程如下：

设数据集D=(xi,yi)(|D|=n,xi∈Rm,yi∈R)，集成树模型为

(5)

则目标函数为

(6)

(7)

式中xi——样本ω——权重

T——叶子节点数

γ——惩罚力度i——预测值

λ——惩罚系数

fk(xi)——回归树

ξ(xi,i)——损失函数

为防止模型过拟合，在学习过程中不断加入新的函数ft。

(8)

在加入新的函数ft后，目标函数变为

(9)

此时，对其进行二阶泰勒展开

(10)

其中

式中Ij——第j片叶子节点上的所有样本集合

gi——一阶导数hi——二阶导数

假设最佳权重ω=ω*,则

(11)

此时，目标函数的最优值为

(12)

在XGBoost构建决策树的过程中，一个特征出现的次数越多，表示该特征越重要，基于这一特点，结合Relief特征选择算法和鱼群摄食特征XGBoost模型中的分类准确率，确定鱼群的摄食评价因子。

1.4.3特征加权融合

由于鱼群摄食期间的快速连续变化，使用单一特征无法全面对其摄食行为和摄食活动强度进行准确检测和评估。为实现特征间的信息互补，对提取的摄食评价因子使用加权融合方法[20]进行特征融合，通过多次更改权重比较摄食行为的检测效果，以选择适当的权重进行加权融合。

2 结果与分析

2.1 摄食图像特征分析

随着鱼群摄食状态和强度的变化，其游动轨迹、方向和聚集面积随之发生改变，图像特征的复杂度也会不同。摄食前后，鱼群的游动速度和方向的改变是摄食行为检测和摄食活动强度评估的重要指标，轨迹行为的变化直接反映了鱼群摄食活动强度的变化，且不同阶段，摄食图像的颜色、形状和纹理特征表达的信息也会不同。

2.1.1鱼群运动轨迹

运动轨迹分析对鱼群摄食行为的跟踪研究具有关键作用。按照视频的时间顺序，以图像质心表示鱼群中心，使用式(1)计算得出鱼群摄食前后的运动轨迹如图6所示。对比图6a、6b发现，鱼群在摄食前的运动轨迹较为简单，运动速度缓慢，且质心坐标集中在一定数值区域内；而摄食中的运动轨迹则变得复杂，游动速度和方向变化较快，轨迹出现多次剧烈波动。

通过运动轨迹发现，摄食前鱼群运动范围的x轴和y轴坐标值区间为[130，262]和[511，808]；而摄食过程中的鱼群游动范围x轴和y轴坐标值区间为[230，388]和[429，793]，区间范围较摄食前变大，即通过运动区间可看出摄食前后的变化，表3为质心点的坐标。

2.1.2摄食强度随图像特征的变化

根据鱼群摄食图像的颜色、形状和纹理特征的参数信息，选取其中300帧连续图像信息进行摄食行为描述，如图7所示。

图6 鱼群摄食前后运动轨迹

表3 鱼群游动的质心坐标

图7 基于图像特征的鱼群摄食行为变化曲线

从图7可以看出，摄食图像的T3、T5、T6、T7、T10和T11的值随鱼群摄食强度的增强而变大，而图像的T1、T2、T4、T8、T9、T12和T13的值随摄食强度的增强而减小。从其特征变化曲线可知，0～100帧曲线变化缓慢，鱼群处于未摄食状态；101～200帧期间，曲线呈现明显的变化，此时鱼群处于争抢摄食阶段；而曲线在201帧以后逐渐平缓，摄食基本结束；但265～280帧期间短暂的变化是由个别鱼争抢残饵引起水面波动所致。鱼群摄食强度随图像特征的变化为摄食行为的研究提供了重要的数据依据，可用来表征鱼群的摄食活动强度变化。

2.2 基于Relief算法的鱼群摄食特征选择

为通过Relief算法得到摄食图像特征的权重分析结果，将鱼群摄食前、中、后3个阶段归一化后的T0～T12共13维图像特征及其对应的类别标记输入构建的Relief模型中，为避免抽样随机性和保证权重的代表性，试验中选择对每类特征计算20次，并以其平均值作为最终的特征权重，结果如图8所示。

图8 基于Relief算法的特征权重

由图8可知，设置不同的阈值t对应不同的特征维度，t越小，得到的特征维度就越大。根据Relief算法计算的权重ωt(0≤t≤12)对特征进行排序，由大到小依次为T6、T1、T11、T2、T5、T7、T8、T9、T10、T0、T12、T4、T3。由此可知，当阈值t设定为0.075时，T6、T1、T11和T2等4个特征能够较好地描述图像，对摄食行为检测和强度的评估具有较大作用。

2.3 基于XGBoost的摄食评价因子确定

摄食评价因子是进行摄食活动强度研究的基础，Relief算法已经得出摄食特征的重要性排序，为验证其结果的有效性，使用建立的XGBoost算法对提取的T0～T12共13维特征进行摄食分类准确率检测。试验中，选择数据集的2/3用于训练，1/3用于测试，模型中树的最大深度max_depth设置为3，学习率eta设置为0.1，迭代次数n_estimators设置为50，L2正则化项的权重lambda设置为1，其他参数为默认值，试验结果如图9所示。

图9 基于XGBoost算法的摄食行为检测结果

由图9可以看出，特征T1、T6和T11的分类准确率较高，这与Relief算法的权重测试结果相似，进一步说明了摄食图像特征权重ωt的判断对鱼群摄食行为的检测是有影响的。

为获取具有高代表性的摄食评价因子，在上述试验结果的基础上，使用建立好的XGBoost模型对提取的T0～T12共13维特征按照Relief算法权重进行组合试验，结果如表4所示。

表4 基于XGBoost模型的特征组合试验结果

由表4可知，T1、T6和T11等3个特征作为摄食活动强度评价因子的检测效果即可达到13维特征的识别准确程度，且速度提升了3/5，实现了在特征降维的同时降低了数据的冗余。试验进一步验证了权重ωt较小的几个图像特征在鱼群摄食行为研究和摄食活动强度评估过程中的作用较小或起到抑制作用，同时证明了本文提出的基于Relief算法特征权重及XGBoost算法特征选择的有效性，可以将通过该算法得到的T1、T6和T11共3个特征作为摄食活动强度评价因子用于鱼群摄食活动强度的评估研究。

2.4 基于摄食评价因子的特征加权融合

根据以上试验结果，选择T1、T6和T11等3个特征作为鱼群摄食评价因子，进行加权融合，分别将其设为t1、t2、t3，权重分别为α1、α2、α3，且α1+α2+α3=1，加权融合后特征记为F，则有

F=α1t1+α2t2+α3t3

(14)

根据式(14)，通过多次更改t1、t2和t3的权重比较融合后的检测效果，试验结果如表5所示。

表5 基于摄食评价因子的加权融合试验结果

由表5可以看出，在鱼群摄食特征的加权融合过程中，同一特征取不同权重时会得到不同的检测结果。当摄食评价因子T1、T6和T11的权重分别取0.23、0.40、0.37时，融合后的特征识别准确率最高，为98.89%，优于传统特征融合方法的97.98%，可以较好地描述鱼群摄食图像的信息。因此，提取的T1、T6和T11共3种特征可以作为摄食评价因子应用于鱼群摄食行为研究和摄食活动强度的评估。

2.5 基于特征加权融合的鱼类摄食活动强度评估

文献[8]根据鱼群摄食前后的聚集度和摄食规律提出了一套投喂策略，提高了养殖的自动化程度。为了验证本文方法的可靠性，试验中以摄食图像的前景目标鱼群的聚集面积为参数来表征鱼群的摄食活动强度，同时对比了使用鱼群摄食前后图像的单一形状特征、单一颜色特征和文献[7]中的纹理方法与使用鱼群聚集面积参数进行摄食活动强度的量化情况，结果如表6所示。

在图像采集过程中，光照、水面波动和外界噪声的干扰等因素会给摄食图像带来不良的影响，使得单一的图像特征不能全面地表达图像信息，从而给研究造成较大的误差。由表6可知，基于形状特征和颜色特征的活动强度评估的相关性基本相同，R2约为0.65。文献[7]基于纹理特征的活动强度评估的相关性较基于形状和颜色特征的相关性高，使用纹理熵的决定系数为0.834 2，而使用本文方法得到鱼群摄食活动强度的相关性最好，R2最高可达0.904 3，均方误差最小，为0.017 8，且基于本文方法进行摄食行为检测的识别准确率为98.89%。因此，基于特征加权融合的方法实现了不同特征间的信息互补，提高了检测准确度和活动强度的相关性，可以较好地进行鱼群摄食行为的在线检测和摄食活动强度的评估研究。

表6 不同方法的摄食活动强度量化对比

3 结论

(1)试验环境中，鱼群摄食图像经均值背景建模、中值滤波和形态学处理获得前景目标，在避免复杂环境中单体鱼分割的基础上，利用图像处理技术对不同摄食阶段的图像特征进行分析量化。

(2)提取摄食图像的质心，利用其游动轨迹分析了鱼群在不同摄食阶段的游动行为，并根据提取图像的颜色、形状和纹理等13维特征，对不同摄食阶段的活动强度进行了分析。

(3)结合鱼群摄食特点，提出了一种基于Relief特征选择和XGBoost的鱼群摄食特征选择算法，根据Relief算法计算的权重对特征进行排序，并结合XGBoost的检测结果筛选出二阶矩、周长和纹理熵3个摄食评价因子，最后利用加权融合算法得出，当3个评价因子分别取0.23、0.40和0.37时效果最好，识别准确率为98.89%。

(4)相比利用鱼群聚集面积和基于单一特征的评估方法，本文方法均方误差最小、识别准确率最高，且决定系数可达0.904 3。说明了基于特征加权融合方法在摄食活动强度评估方面的优越性，该方法有助于实现水产养殖中鱼类的精准投喂。