基于EfficientDet 的生猪排泄行为识别研究

杨灵星，彭小雪，邹 亮，李东明,2

（1.河北农业大学 机电工程学院，河北 保定 071001；2.河北省畜禽养殖智能装备与新能源利用重点实验室，河北 保定 071001）

随着我国生猪养殖业的不断发展，养殖模式正由传统分散化向集约化转变，提高信息化、自动化和智能化水平对养殖模式的转变具有重要意义。监测生猪排泄行为是智慧健康养殖研究的重要内容，准确识别生猪排泄行为能够反应生猪健康状况，对猪舍猪粪尿做到及时清理，保持猪舍环境清洁，降低人工成本，减少猪舍有害气体排放，从而提高生猪养殖的经济效益和生态效益。因此，实时监测猪的排泄行为对生猪养殖业发展具有重要意义。

目前，国内外研究主要通过传感器技术和机器视觉技术实现猪的排泄行为识别。传感器技术需要对动物佩戴电子设备［1-3］，然而，这种方法容易引起动物应激反应，且投资成本较高、数据传输范围有限。机器视觉技术因为其无侵入、效率高、成本低的特点成为猪排泄行为识别的重要技术手段。朱伟兴等［4］采集猪舍排泄区图像，通过图像处理算法识别猪的异常排泄行为并设计了1 种疑似病猪行为自动监测系统。吴世海等［5］通过CCD 相机获取猪舍RBG 图像，利用多层卷积神经网络（CNN）提取特征并进行融合的方法来识别猪的运动、呼吸、饮食和排泄等行为。丁静等采集了猪舍视频帧，利用YOLO V3 网络结构模型实现了断奶仔猪腹泻自动检测［6］。由于猪舍存在饲料残渣、排泄物堆叠的现象，猪舍环境较为复杂，难以从排泄物形态识别排尿与排便行为。因此，大多数研究采用RGB 成像技术，通过猪排泄姿态识别猪排尿与排便行为。但母猪排尿、排便与公猪排便姿态相同［7］，在识别过程中容易产生较大误差。

热红外图像能呈现物体表面温度分布情况，即使在夜晚无光环境下也能实现物体的较好检测。猪体和新排出的猪粪尿温度较高，在热红外图像上反映较显著，具备了结合排泄姿态和排泄物形态识别猪排泄行为的可行性。在算法选择上，EfficiendDet模型参数少，推理速度快，准确率高，在禽畜行为检测方面表现出较好的识别效果［8-9］。基于此，本文提出了1 种利用热红外图像结合EfficiendDet 深度学习算法的连续全天候实时检测猪排泄行为的方法。

1 材料与方法

1.1 数据采集

本试验于2021 年6 月23 日至7 月13 日在河北省迁安市杨各庄镇的1 个生猪养殖场内进行，养殖场地面由石料水泥制成。试验选取长宽高分别为6 m×3 m×2 m 的梯形围栏，围栏内养殖8 头月龄为 3 个月左右的健康育肥大白猪（母猪6 头，公猪2 头）。摄像头选用FLIR Lepton3.5 红外热成像模组搭载Open MV 底板，并将其固定放置于围栏正前方置物台上，实际拍摄现场如图1 所示。

图1 3 种行为的典型图像Fig.1 Typical image of three behaviors

1.2 数据集构建

1.2.1 图像获取 猪的正常体温范围为38 ～39.5 ℃（直肠温度）［10］，因此使用Open MV 的IDE 编辑代码设置参数，使温度范围为20 ～40 ℃，分辨率设置为640×480，帧率为25 fps，并设置为24 h 全天录制。使用视频编辑专家软件将视频剪辑为排泄行为发生前5 s 至排泄行为发生后5 s 的视频段，并在得到的视频段中每隔1 s 截取1 张图片，保存为“.jpg”格式，共获取图片3 487 张。

1.2.2 人工标注 使用LabelImg 软件以外接矩形框的形式标注猪的位置及类别。现有研究表明，猪有靠近墙根排泄的行为习惯［11］，且母猪排尿、排便与公猪排便的姿态相同，2 只后腿轻微弯曲且身体伫立不动，公猪的排尿姿态与站立姿态相似［7］。本试验根据排泄姿态及排泄物形态进行分类，标记矩形框时将猪体与其排泄物一起框入矩形框内。为了便于算法更好识别排泄行为，本试验引入闲逛标签，将其他非排泄行为的姿态统一标记为闲逛，标签定义详见表1，3 种行为的典型图像如图1(a)、(b)、(c)所示。根据表1 标签定义进行标注，LabelImg 软件的标注界面见图2。经统计，闲逛行为2 138 个，排尿行为1 595 个，排便行为1 010 个。

表1 标签定义Table 1 Label definition

图2 行为标注图Fig.2 Behavior labeling graph

1.2.3 划分数据集 按照9∶1的比例划分数据集［12］，得到训练集图片3 138 张，测试集图片349 张。

1.3 猪排泄行为检测算法

EfficientDet 是由Google Brain 团队于2020 年提出的一阶段检测器家族，与R-CNN 系列等二阶段检测器相比，其结构更简单，推理速度更快，效率更高［13］。

EfficientDet 的骨干网络采用分类模型EfficientNet网络［14］，特征网络采用独具特色的加权双向特征融合网络（BiFPN），通过无界融合、基于SoftMax的融合、快速归一化融合这3 种融合方法为每个输入增加额外权重。BiFPN 将从EfficientNet 骨干网络中提取到的猪只热红外图像3 ～7 级特征反复应用自顶向下和自底向上双向特征融合，融合后的特征被送入类别/目标框的预测网络，实现了简单、快速地目标识别，EfficientDet 的网络结构如图3 所示［13］。为了优化精度和效率，根据Google Brain团队提出的混合扩充技术，同时扩充了主干网络、FPN、box/class 的输入分辨率、深度和宽度的维度，从而达到了提高效率的目的。

2 结果与分析

2.1 模型训练

本试验计算机配置：Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz；NVIDIA GeForce GTX 1660 SUPER 显卡；Windows 10 操作系统。模型训练 环 境 为：Tensorflow-gpu 1.13.2；CUDA 10.0；CUDNN 7.4.1.5。模型选用EfficientDet-D0 版本。

为了提升训练速度，将前5 000 次训练冻结，冻结训练可以防止预训练权值被破坏，冻结期间batch_size 设置为4，学习率为0.001，解冻后的batch_size 设置为2，学习率为0.000 1。训练总次数为20 000 次，并设置每隔1 000 次输出1 个训练模型，共输出20 个模型。

2.2 模型评价指标

本文结合平均精度均值mAP（Mean average precision)、精确率P（Precision）和召回率R（Recall）等评价指标来评价模型性能，所涉公式如下：

其中，TP（True Positive）：将正样本预测为正样本的个数；FP（False Positive）：将负样本预测为正样本的个数；FN（False Negtive）：将正样本预测为负样本的个数。精确率P表示被分为正样本的示例中实际为正例的比例。召回率R是度量在所有正样本中多个正样本被预测为正样本的情况。平均精度均值mAP是所有类别的精度均值AP（Average Precision）的平均值，精度均值AP是不同的精确率P和召回率R的点的组合所绘出的曲线的积分。

2.3 训练结果分析

模型的预测值与真实值的差称为损失，损失函数（Loss function,简称Loss）则是用于计算损失的函数，损失越小，代表模型越好。对于EfficientDet-D0，模型总共训练20 000 次，历时11.83 h，Loss最终收敛于0.057 7。图4 展示了Loss随迭代次数的变化过程（1Epoch 相当于迭代100 次）。由图4，Loss从迭代10 000 次之后下降逐渐平缓并趋于稳定，这表示，模型在迭代10 000 次之后逐渐收敛。因此，选取第10 000 次，15 000 次，20 000 次的模型进行测试结果对比，结果如表2、表3 所示。

表2 不同迭代次数下各行为检测结果Table 2 Behavior detection results under different iteration times

表3 迭代10 000、15 000、20 000 次的平均精度均值Table 3 Mean average precision for 10 000, 15 000, 20 000 iterations

图4 Loss 随迭代次数的变化过程Fig.4 The variation process of loss with the number of iterations

由表2，在不同迭代次数下，排尿、排便、闲逛行为识别精度差别不大，因此考虑通过平均精度均值判断模型检测效果。由表3，迭代次数为10 000次时模型的平均精度均值最高，在迭代10 000 次之后，随着迭代次数增加，模型的平均精度均值略有降低，说明迭代15 000 次和20 000 次时出现了过拟合现象。为了进一步确认迭代次数为10 000 次时的模型是否为本试验最优模型，提取迭代9 000 次和11 000 次的模型，与迭代10 000 次模型的平均精度均值进行对比，结果如表4。

表4 迭代9 000、10 000、11 000 次的平均精度均值Table 4 Mean average precision for 9 000, 10 000, 11 000 iterations

由表4 可知，迭代10 000 次时的模型平均精度均值最高，因此，迭代第10 000 次的模型可作为猪排泄行为检测的最优模型。

表5 展示了采用最优模型检测猪的排尿、排便、闲逛行为的检测结果，阈值设置为0.5。

表5 最优模型各行为检测结果Table 5 The detection results of each behavior of the optimal model

由表5 测试结果可知，模型对排尿行为检测效果最好，对闲逛行为检测效果一般，分析原因是猪在排尿及排便时姿态较固定，检测效果较好，而闲逛时姿态多样，导致检测效果一般。模型对排尿行为检测效果比对排便行为检测效果好，分析原因是尿液面积比粪便面积大，对于机器而言更容易检测。使用最优模型检测排尿、排便、闲逛行为的平均精度均值、平均精确率、平均召回率分别为95.83%，90.36%，94.05%，具有良好的检测效果。

2.4 视频检测

采用迭代10 000 次的最优模型随机对猪排泄视频段进行视频检测，图5 为视频检测结果。图5 中fps 为视频实际传输帧率。

图5 视频检测结果Fig.5 Video detection results

通过视频检测猪排泄行为时产生的误差主要集中在：1）模型误将躺卧的猪的四肢识别为猪的排泄物，从而导致闲逛行为被误识别为排便行为；2）猪体遮挡且重叠度较高时导致模型漏检、误检；3）多只猪同时排泄时尿液与粪便重叠导致模型误识别。实时视频检测是检验模型应用能力的重要途径，针对以上误差分析，考虑后期通过扩充数据量、精准标注、调整模型参数等措施提高检测精度。

2.5 试验结果对生产的指导意义

规律的排泄行为、健康正常的粪便以及清洁的猪舍空气环境是保证猪正常生理机能的重要条件，由粪便所产生的舍内氨气浓度超过一定的限值时，不但会影响猪的健康，还会对舍内工人的健康造成危害。本研究提出的应用红外图像结合EfficientDet算法检测猪排泄行为的方法替代传统人工观察及接触式检测的方法，节约人力，高效即时，精度较高。其中，排尿、排便行为的检测精度达到97.64%、95.01%。通过对猪排泄行为的检测，可以控制粪污清洁设备及时对猪舍排泄物进行清理，提高猪养殖福利，减少猪舍有害气体排放，保持猪舍环境清洁，提高猪养殖经济效益。

3 结论

本文根据红外热成像技术全天候工作、无惧恶劣环境的特点，提出了利用热红外图像结合EfficientDet 深度学习算法，实现了生猪排泄行为的连续实时检测。在行为分类上，将生猪排泄姿态和排泄物形态及位置结合，提高了识别精度。本文方法具有一定创新性，且效果良好，检测排尿、排便、闲逛行为的平均精度均值、平均精确率、平均召回率分别达到95.83%，90.36%，94.05%。该方法不仅可为生猪排泄行为检测提供技术支持，也可为数字化监测技术在生猪养殖业的应用提供参考。