用于体质量估测的黄羽鸡姿态关键帧识别与分析

张小敏 徐 涛 张延宁 高 源 朱逸航 饶秀勤

(1.浙江大学生物系统工程与食品科学学院， 杭州 310058； 2.浙江省农业智能装备与机器人重点实验室， 杭州 310058)

0 引言

体质量是家禽的重要生长指标之一，也是种鸡选育的重要参考依据。家禽的体质量与经济效益直接相关，体质量信息可用于判断家禽最佳出栏时间、指导日常饲喂、判断是否患病等[1-2]。目前家禽体质量测量可分为人工测量法、称量装置测量法和机器视觉监测法。传统的人工测量法耗时、费力，易造成家禽的应激反应，且获得的体质量信息不全，不具有时间连续性[3]。称量装置测量法不会引起家禽的应激反应，但此类传感器存在安装复杂、维护困难等问题，且在养殖后期，体质量较大的肉鸡相比其他肉鸡，上秤频次低，造成体质量低估[4]。相比而言，机器视觉监测法具有实时客观、非侵扰性、可维护性强等优点，可以提高测量效率。

基于机器视觉技术的畜禽体质量估测已取得了一定的进展[5-10]，但目前主要依靠人工选取家禽理想姿态帧，主观性强且耗时费力，难以在家禽体质量自动估测中应用。因此，研究用于家禽体质量估测的理想姿态识别算法具有重要意义。

在动物个体姿态识别方面，LEROY等[11]通过点分布模型拟合蛋鸡图像，描述蛋鸡的姿势信息，能够自动识别母鸡的站立、行走和抓挠行为。POURSABERI等[12]通过分析牛的背部姿态来识别跛行，通过检测背部轮廓的弧度并通过脊椎线上的选定点拟合圆来检测背部姿态。劳凤丹等[13]基于10个特征量使用贝叶斯分类法对蛋鸡行为进行识别，能够识别单只蛋鸡的拍翅膀、修饰、休息、探索、抖动和举翅膀等行为。劳凤丹等[14]基于深度图像对蛋鸡行为识别进行了研究，结果表明算法对蛋鸡的采食、躺、站和坐的识别准确率分别为90.3%、91.5%、87.5%和56.2%。司永胜等[15]提出了一种基于Kinect的猪体理想姿态检测算法以提高图像利用率和体尺测量效率，算法利用投影法和差分法识别头部和尾部位置，利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜，对于52 016帧图像检测出理想姿态2 592帧、漏报432帧、误报0帧。

随着深度学习技术的发展，卷积神经网络技术在动物个体姿态识别领域得到了较多应用[16-18]。文献[19-20]提出了采用单幅图像识别猪只立卧姿态的方法，利用建立的猪只识别模型和头尾识别方法，将待测猪图像调整到水平状态，构建了猪只立卧姿态识别模型，精度达到了95%。LUO等[21]提出了一种轻量级的通道注意力模型，用于实时识别猪只的站立、趴卧、侧卧、坐姿和攀爬5种姿势，该算法对上述5种姿势的平均识别精度分别为97.7%、95.2%、95.7%、87.5%和84.1%，单幅图像的推理速度约为63 ms。薛月菊等[22]提出了一种融合2D-3D卷积特征的哺乳母猪姿态转换识别算法，模型姿态转换识别准确率为97.95%，召回率为91.67%，测试速度为14.39 f/s。FANG等[23]利用多部位目标检测方法对单只肉鸡的侧面图像进行姿态估计，利用ResNet50和特征金字塔(FPN)结构[24]构建特征提取器，算法对单个肉鸡姿态估计的准确率和召回率分别为91.9%和86.5%。

基于机器视觉的家禽姿态识别相关研究已取得一定进展，但目前依旧存在以下问题：当鸡只处于低头、展翅、梳理羽毛或坐姿等姿态时，鸡只宽度、体积、背高等特征参数的提取会受到影响，易造成体质量预测的误差较大；而家禽处于站立姿态时，身体直立无多余动作，这样的姿态对于特征的提取更加稳定，因此站立姿态可认为是家禽体质量估计时的最理想姿态[5,7-8]，但目前适用于家禽体质量估计的站立姿态识别方法缺乏，且由于家禽为非合作对象，适于体质量估计的理想姿态在视频中出现较少，样本不均衡问题突出，研究者难以获得较好的理想姿态识别精度。

针对上述问题，本文以882黄鸡为试验对象，提出SE-ResNet18+fLoss网络，从视频中筛选符合体质量估计的姿态关键帧，模型融合注意力机制SE模块和残差结构，并改进损失函数，通过Focal Loss监督信号来解决样本不平衡问题，同时引入梯度加权类激活图(Gradient-weighted class activation mapping，Grad-CAM)[25]对末端分类规则的合理性进行解释，反映每一类姿态所关注的重点区域。在连续视频上进行模型的验证与黄羽鸡姿态特性的分析，为家禽行为研究提供参考依据。通过试验验证本文提出的姿态关键帧识别模型对于提升黄羽鸡体质量估测精度的有效性。

1 试验材料

1.1 数据采集

试验数据采集于浙江省湖州市，共采集4个批次，采集时间分别为2019年12月5—6日、2020年8月22—24日、2022年6月4日和2022年6月11日。将4个批次的数据分别标记为D1、D2、D3和D4，具体数据集如表1所示。其中，D1为单只鸡连续24 h视频片段；D2为20只鸡视频片段，其中有18只鸡平均采集1.5 h，采集时间为08:00—17:00，其余2只平均采集15 h，采集时间为17:00—08:00；D3和D4为同一批20只鸡的2周次视频片段，每只鸡采集10 min，采集时间为08:00—12:00，采集视频的同时，利用电子秤获得其实际体质量，电子秤为大红鹰无线款32 cm×42 cm，精度为0.05 kg。本文的试验对象为882黄鸡，平养于4.50 m×2.50 m的空地区域，内侧配有料槽和饮水器，鸡只可自由采食和饮水。当采集数据时，将待测鸡只转移至试验笼中，试验笼尺寸为1.45 m×0.97 m×1.30 m，光照时间段为08:00—17:00。

表1 试验数据集Tab.1 Datasets of experiment

如图1所示，试验笼主要由摄像机、网线、硬盘录像机、饮水器、脚垫、饲料槽和粪槽组成。笼子正上方架设了一台海康威视双光谱摄像机(DS-2TD2636-10型)，摄像机机芯距离脚垫的高度为1.45 m，摄像机通过网线连到硬盘录像机(DS-8616N-I8型)，以4 f/s的速度拍摄彩色视频图像，单次采集仅拍摄一只鸡，图像分辨率为1 920像素×1 080像素，并将采集到的视频数据以avi格式存储至硬盘录像机中，之后导入本地计算机进行视频分析，为了方便后续处理，所有视频都将解码为jpg格式的图像。

图1 视频采集示意图Fig.1 Sketch of video acquisition1.摄像机 2.网线 3.硬盘录像机 4.笼子 5.脚垫 6.粪槽 7.饮水器 8.饲料槽 9.鸡只

1.2 黄羽鸡姿态关键帧定义

按照家禽的行为特征，可将黄羽鸡姿态分为站立、低头、展翅、梳理羽毛和坐姿。其中，坐姿的定义包含了腹卧情况。此外，当鸡只被遮挡时也无法进行体尺参数提取，故将遮挡情况也加入数据集进行识别，共6种姿态情况，表2为每种姿态情况定义的详细说明。本文提出只有当鸡只处于站立姿态时，当前帧才被认为是姿态关键帧，方可进行后续的体尺参数提取与体质量估测研究。

1.3 数据集准备

D1、D2两批次采集的视频文件共68个，单个文件时长为80 min左右。将所有视频解码为图像后，从D2批次中挑选4 295幅图像作为数据集，覆盖每一只鸡。最终得到站立、低头、展翅、梳理羽毛、坐姿和遮挡情况的姿态图像数量分别为1 017、968、74、802、507、927幅，图像分辨率均为1 920像素×1 080像素。将所有图像人工标注姿态类别，每个类别按照7∶2∶1的比例划分为训练集、验证集和测试集，训练集总计3 002幅，验证集861幅，测试集432幅。数据集中各个姿态类别的数量如表3所示，观察表3可知，数据集中6种姿态类别数量相差较大，会带来数据分布不均衡问题。此外，D1批次视频数据也作为测试集以分析鸡姿态分布特性，视频采样间隔为1 min/幅，共得到1 935幅图像。D3和D4批次视频数据作为4.5节中不同姿态下体质量估测结果分析的数据集，分别从D3和D4批次视频数据中截取3 min进行采样，采样间隔为1 s/幅，共得到7 200 幅图像，用于后续体质量估测研究。

表2 黄羽鸡姿态情况定义Tab.2 Definition of yellow-feathered chicken posture conditions

2 鸡只姿态关键帧识别模型

2.1 模型网络结构

建立SE-ResNet18+fLoss模型，将SE模块[26]与ResNet18[27]进行融合，并改进损失函数，通过Focal Loss[28]监督信号来解决样本不平衡问题，网络结构如图2所示。SE模块的核心思想是通过网络根据损失函数去学习特征权重，使得有效的特征图权重大，而无效或效果不显著的特征图权重小，筛选出针对通道的注意力，通过引入SE模块，模型能够从网络特征通道层面进一步提升网络性能。

表3 数据集中各个姿态类别图像数量

图2 SE-ResNet18+fLoss网络结构图Fig.2 Network architecture of SE-ResNet18+fLoss

在连续的鸡只视频数据中，6类姿态的数量分布差异较大，尤其是展翅姿态，数量较少。针对样本类别不平衡问题，本文通过Focal Loss损失函数减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。Focal Loss损失是基于标准交叉熵损失的基础上修改得到的，对于二分类问题，交叉熵损失函数可以表示为

CE(pt)=-lnpt

(1)

(2)

式中pt——预测为真实类别的概率

CE——交叉熵损失函数

p——模型对于类别y=1所得到的预测概率

为了解决类不平衡问题，Focal Loss首先添加权重因子αt，其次，在交叉熵前添加权重因子(1-pt)γ，以减少置信度很高的样本损失在总损失中的比重，最终得到Focal Loss为

LF(pt)=-αt(1-pt)γlnpt

(3)

式中αt——权重因子，用于抑制正负样本的数量失衡，αt∈[0,1]

LF——Focal Loss损失函数

γ——调制因子，用于增加难分样本的损失比例，γ≥0

2.2 模型可解释性

由于本文的模型为图像分类网络，无法像目标检测网络那样给出目标边界框，为了对姿态识别结果进行可视化解释，采用Grad-CAM来解释网络进行分类时重点关注的区域。Grad-CAM相比于CAM更具一般性，其利用网络反向传播的梯度计算出特征图每一个通道的权重从而得到热力图，因此Grad-CAM可以直接用于各种卷积神经网络，无需重新训练网络。

(4)

式中Z——特征图的像素个数

yc——网络针对类别c预测的得分，这里没有经过softmax激活

(5)

式中Ak——特征层A的第k通道

2.3 模型训练环境

模型训练平台为超威服务器，CPU为Intel(R) Xeon(R) Gold 6147M 2.50 GHz，GPU为 NVIDIA TITAN RTX，内存256 GB，操作系统为Ubuntu 18.04.1，深度学习框架为Pytorch，CUDA 版本为10.0。

2.4 模型评价指标

采用精确率(Precision，P)、召回率(Recall，R)、F1值和识别速度4个指标来评价模型的识别性能。精确率表示正确预测为正样本占全部预测为正样本的比例，召回率表示正确预测为正样本占全部实际为正样本的比例，F1值为精确率和召回率的调和平均值，识别速度为每秒内处理的图像帧数。考虑到每个类别样本数量不均衡，最终模型的总体评价指标均采用加权平均值(weighted avg)。

3 体质量估测方法

3.1 图像特征提取

为了验证本文提出的姿态关键帧对于提升黄羽鸡体质量估测精度的有效性，进一步设计了称量试验，对D3和D4批次视频数据采样得到的数据集进行分析，比较不同姿态下黄羽鸡体质量估测的精度。

首先采用Unet网络[29]对D3和D4批次视频数据采样得到的7 200幅数据进行分割，Unet模型采用D1和D2两批次数据中采样得到的1 000幅图像按照7∶2∶1的比例划分训练集、验证集和测试集进行训练得到，对原始鸡只彩色图进行分割后的图像如图3b所示。接着对分割后的图像进行一维和二维特征提取，用于后续黄羽鸡体质量估测模型的建立。参照文献[6-9]，本文提取的一维特征包括周龄O，二维特征包括投影面积A、周长P、宽度D、长度L、最大内切圆半径R和偏心率E，二维特征提取的示意图如图3c所示。其中，投影面积A为分割前景的像素面积，周长P为分割前景的轮廓像素数，宽度D和长度L分别为分割前景的最小外接矩形的宽度和长度，最大内切圆半径R为分割前景的最大内切圆半径，偏心率E为椭圆拟合分割前景的偏心率。

图3 图像分割与二维特征提取示意图Fig.3 Schematics of image segmentation and two-dimensional feature extraction

3.2 体质量估测模型建立

体质量估测模型采用随机森林(Random forest，RF)[30]算法进行建立，RF是一种集成学习方法，在以决策树为基学习器构建Bagging集成的基础上，进一步引入了随机属性选择，算法简单、高效且计算开销小。RF回归算法的具体步骤为：①从原始数据集中随机有放回地抽取n个训练样本，重复T次。②对于T个子数据集，分别训练一个CART回归树模型。在训练过程中，每个结点的划分规则是先随机从所有特征中选取k个特征，再从k个特征中选择最优属性用于划分。③将生成的T棵决策树组成随机森林，随机森林最终的预测结果为所有T棵CART回归树预测结果的均值。

将3.1节得到的特征参数(周龄O、投影面积A、周长P、宽度D、长度L、最大内切圆半径R和偏心率E)作为输入，实际体质量作为真实标签，建立基于随机森林的黄羽鸡体质量估测模型。数据集按照7∶3的比例划分训练集和测试集，并采用均方根误差(RMSE)以及相对误差(MRE)对测试集中不同姿态下体质量估测的效果进行评价。

4 结果与分析

4.1 模型训练与参数优化

本文采用小批量的随机梯度下降法，对SE-ResNet18+fLoss模型进行训练。训练过程中，迭代次数(Epochs)设置为200次，最小批处理大小(MiniBatch size)为16。学习率初始化为0.01，并采用学习率衰减训练策略调整学习率，学习率调整如表4所示。

为了解决数据分布不平衡的问题，使用Focal Loss损失函数提升分类精度，训练过程中SE-ResNet18+fLoss模型的损失函数曲线和验证集准确率曲线如图4所示。由图4可以看出，训练集的损失函数随迭代次数的增加而下降，而准确率随迭代次数的增加而逐渐增加，当迭代次数达到100次左右时，模型基本收敛，训练损失函数曲线和准确率曲线都趋于平稳。

表4 学习率调整策略Tab.4 Learning rate adjustment strategy

图4 模型训练损失函数曲线和验证集上准确率曲线Fig.4 Model training loss function curve and accuracy curve

Focal Loss损失函数最重要的两个参数是调制因子γ和权重因子αt，本文对于调制因子γ和权重因子αt的选取进行讨论。图5a为调制因子γ分别取0、0.5、1.0、2.0、5.0时模型的训练损失函数曲线，图5b为不同调制因子对应测试集F1值，当γ=0时，Focal Loss等于标准交叉熵函数，可以发现随着γ的增大，损失曲线收敛更快，且越趋近于0，通过图5b发现，当γ=2.0时，F1值最高，故模型取γ=2.0。图5c为不同权重因子αt对应在测试集上测试得到的F1值，固定调制因子γ=2.0，对于站立、低头、梳理羽毛、展翅、坐姿和遮挡情况6种类别的权重比例分别设置为：α1为1∶1∶1∶1∶1∶1，α2为1∶1∶1∶2∶1∶1，α3为1∶1∶1∶5∶2∶1，α4为1∶1∶1∶10∶2∶1，α5为1∶1∶1∶15∶3∶1，α6为1∶1∶1∶20∶4∶1，由于展翅和坐姿姿态的图像数量明显较少，本文将展翅和坐姿两种姿态的权重进行了增大，当权重因子为α1时，表示未对正负样本的数量进行平衡。从图5c中可以发现，当各姿态类别的权重因子比例设置为α4，即根据样本的分布进行设置时，F1值最高，将比值归一化到[0，1]，可得αt=(0.062 5, 0.062 5, 0.062 5, 0.625, 0.125, 0.062 5)时模型最优。此外，还可发现相比于α1，其他权重因子对应在测试集上的F1值都有显著提高，说明Focal Loss损失函数对模型分类效果有明显提升。

图5 不同调制因子γ和权重因子αt的模型性能Fig.5 Model performance with different modulation factors γ and weighting factors αt

4.2 模型姿态识别结果分析

图6为SE-ResNet18+fLoss模型在432幅测试集图像上测试结果的混淆矩阵，表5为各姿态情况分类的精确率、召回率及F1值。结果表明模型对于站立、低头、展翅、梳理羽毛、坐姿和遮挡情况6种类别识别的F1值分别为94.34%、91.98%、76.92%、93.75%、100%和93.68%，6类姿态的加权平均F1值达到93.90%，具有较高的识别精度和较强的鲁棒性，模型对于夜间昏暗光线场景下的鸡只姿态也能进行很好的识别。进一步发现，模型对于坐姿的识别效果最好，主要是由于鸡只坐姿通常发生在晚上，光照与白天有明显不同，而对于展翅姿态的识别性能有待提高，这可能与展翅数据本身数量较少且展翅幅度不定有关。

图6 SE-ResNet18+fLoss模型对鸡只姿态情况 分类的混淆矩阵Fig.6 Confusion matrix of chicken classification based on SE-ResNet18+fLoss model

表5 SE-ResNet+fLoss模型对鸡只不同姿态分类结果Tab.5 Classification results of SE-ResNet+fLoss model for different postures of chickens %

由于本文最终旨在识别出姿态关键帧(站立姿态)用于后续体质量估测，故将非站立姿态看作一类，可得到表6所示模型对于姿态关键帧的识别性能，可以看出若仅识别是否为姿态关键帧，模型的识别精度为97.38%、召回率为97.22%、F1值为97.26%，识别效果较优。

表6 SE-ResNet+fLoss模型对于鸡只姿态关键帧 的识别结果Tab.6 Detection results of SE-ResNet+fLoss model for the posture key frame of chicken %

为了更好地解释本文提出的SE-ResNet+fLoss模型，对模型的最后一层卷积层的特征图利用Grad-CAM进行可视化，获得6种姿态的类激活图如图7所示，每一类姿态包括第1行的原始RGB图像和第2行的Grad-CAM可视化效果。通过可视化结果可以看出，不同姿态下模型的类激活图存在差异，反映了每一类所关注的重点区域不一致。其中，站立姿态重点关注于鸡头部位，而低头姿态关注于鸡的尾部和颈部，梳理羽毛姿态更关注于扭头时鸡的头部与身体部分，展翅姿态关注于身体翅膀展开部分，坐姿重点关注于鸡坐立时突出的侧面部分，遮挡情况则更关注于鸡在视场内的身体部分，此部分通常处于图像的边缘。

图7 黄羽鸡不同姿态下分类的类激活图Fig.7 Class activation maps for classification of yellow-feathered chickens in different postures

通过Grad-CAM可以很好地解释本文方法分类的依据，即使不采用目标检测网络，模型亦能准确定位鸡的位置，尤其是正常姿态下，如图8所示，Guided Grad-CAM表现了细粒度的重要性，可以看出类激活图更关注于鸡头部位，这也为弱监督的目标检测提供了参考。

图8 站立姿态下鸡只姿态识别的类激活图Fig.8 Class activation maps for posture detection of chicken in ‘stand’ pose

4.3 不同方法比较

本文将SE-ResNet18+fLoss与ResNet18、MobileNet V2、SE-ResNet18进行了姿态识别对比试验。其中，MobileNet V2[31]是2018年Google团队提出的轻量级网络。不同模型均采用相同的试验训练参数，并在相同测试集上验证模型的性能，识别速度是在批处理大小为16的情况下进行推理得到的，试验结果如表7所示。从表7可以看出，SE-ResNet+Focal Loss在基础网络中加入了注意力机制SE模块和Focal Loss，模型在精确率、召回率和F1值方面相比其他网络均最优，在识别速度方面ResNet18模型最优，但SE-ResNet+fLoss的识别速度与其相差不大。从结果可以看出本文改进的SE-ResNet能较为理想地兼顾识别性能与识别速度。

为了进一步说明不同方法姿态识别的结果，本文可视化ResNet18、MobileNet V2、SE-ResNet18和SE-ResNet18+fLoss在2 h的视频段上的测试结果，如图9所示，视频采样间隔为1 min/幅。从图9可以看出，ResNet18和MobileNet V2有较多图像将其他姿态误判为站立姿态，这对于本文进行姿态关键帧识别是不利的，因为这种误判将直接导致后续体质量预测的误差较大。与其他3种方法相比，SE-ResNet18+fLoss对于姿态的识别更加准确，能够较为全面地覆盖姿态转换发生的时间区间。

表7 不同方法结果比较Tab.7 Comparison of results using different methods

图9 不同方法部分测试结果可视化Fig.9 Visualization of some test results of different methods

4.4 模型测试

图10为SE-ResNet18+fLoss在连续24 h视频段上(2019年12月5日08:00—2019年12月6日08:00)的姿态自动识别结果。从图10可以看出，黄羽鸡白天多为站立姿态，而夜间多为坐姿，白天姿态转换频率显著高于夜间姿态转换频率。此外，2019年12月5日08:00—16:00期间光照较为明亮，有利于提取鸡只的颜色和纹理特征，通过统计SE-ResNet18+fLoss在2019年12月5日08:00—16:00视频段上的姿态占比结果(图11)，发现白天视频段中有超过40%的时间鸡只处于站立姿态，这意味着有相当一部分视频数据是姿态关键帧，可以用于体质量预测。

图10 SE-ResNet18+fLoss在连续24 h视频段上的 姿态自动识别结果Fig.10 Automatic recognition result of posture on 24 h continuous video by SE-ResNet18+fLoss model

图11 SE-ResNet18+fLoss在2019年12月5日08:00— 16:00时间段的姿态占比统计结果Fig.11 Share statistics results of posture at December 5, 2019, 08:00—16:00 by SE-ResNet18+fLoss model

4.5 不同姿态下黄羽鸡体质量估测结果

表8为不同姿态下黄羽鸡的体质量估测结果，可以发现当使用全部数据集时，均方根误差为0.128 kg，平均相对误差为7.481%，而经过SE-ResNet18+fLoss模型对黄羽鸡姿态关键帧(站立姿态)进行筛选后，均方根误差和平均相对误差均有明显降低，均方根误差为0.059 kg，平均相对误差为3.725%，且站立姿态相比于其他姿态的体质量估测精度更高，这也证明了SE-ResNet18+fLoss模型对于鸡只姿态关键帧识别的有效性，能够最终提高体质量估测的精度。由于本文仅提取一维特征和二维特征进行体质量估测模型的建立，若在此基础上，融合三维特征，将会进一步提高鸡只体质量估测的精度。

表8 不同姿态下黄羽鸡体质量估测结果比较Tab.8 Comparison of yellow-feathered chicken weight estimation results in different postures

5 结束语

本研究提出一种用于平养黄羽鸡体质量估测的姿态关键帧识别模型SE-ResNet18+fLoss，模型融合了注意力机制SE模块和残差结构，并改进了损失函数，通过Focal Loss监督信号来解决样本不平衡问题，同时引入梯度加权类激活图对末端分类规则的合理性进行解释。模型在测试集上对于黄羽鸡的站立、低头、展翅、梳理羽毛、坐姿和遮挡6类姿态情况识别的F1值分别为94.34%、91.98%、76.92%、93.75%、100%和93.68%；若仅识别是否为鸡只姿态关键帧，识别精确率为97.38%、召回率为97.22%、F1值为97.26%、识别速度为19.84 f/s，其识别精确率、召回率和F1值均优于ResNet18、MobileNet V2和SE-ResNet18网络。结果发现通过Grad-CAM可以很好地解释本文方法分类的依据，反映了每一类所关注的重点区域，其中，站立姿态重点关注于鸡头部位。其次，在连续视频上进行了模型的验证与鸡姿态特性的分析，发现白天有较多时刻黄羽鸡被识别为姿态关键帧，可用于后续体质量估测分析。进一步通过试验验证了SE-ResNet18+fLoss模型对于黄羽鸡姿态关键帧识别的有效性，能够提高体质量估测的精度。