基于穿戴传感器的牛日常行为识别研究进展
2022-11-08李永锋王文生郭雷风许贝贝齐景伟
李永锋,王文生,2*,郭雷风*,舒 航,许贝贝,齐景伟
(1.中国农业科学院 农业信息研究所,北京 海淀100086;2.农业农村部 信息中心,北京 朝阳 100125;3.内蒙古农业大学 动物科学学院,内蒙古 呼和浩特 010018)
中国畜牧业不断发展,从2015年到2019年,牛出栏数量增加7.66%,牛肉产量增加8.17%,牛奶产量增加0.67%[1]。随着国内肉、奶消费的不断增加,传统农场的养殖水平和生产效率难以满足市场要求。规模化、机械化、自动化和精细化的农场是未来发展的趋势。农场规模的增长和集约化的养殖方式使得农民难以及时获取牲畜个体行为信息,影响生产管理和动物福利水平。目前,牛的行为信息的监测和识别主要有接触式和非接触式两种。非接触式的代表是图像识别技术,其在牛的目标检测[2]、爬跨动作检测发情等[3]方面取得了进展,但由于环境及场景复杂,距离实际应用还有很长的路要走。接触式的代表是穿戴传感器技术。穿戴传感器技术发展较为成熟,且被广泛应用于牲畜行为监测[4]。
载畜量、饲料花费和疾病管理[5]是影响畜牧业成本的关键。为了增加收益,养殖场加大单位面积饲养的牲畜数量来降低成本,导致养殖环境拥挤,疾病多发。与此同时,对牲畜个体的关注时间减少,难以及时监测疾病。利用穿戴传感器可以在个体水平监测牛进食、反刍、饮水、运动和休息等日常行为,通过日常行为的特征变化,对牛生长周期中的关键节点和常见疾病提前预警,及时防治和处理,使损失降低,同时减少劳动力。本文总结了不同类型穿戴传感器在牛日常行为识别中的研究应用,分析了日常行为特征在发情、产犊、跛足和疾病检测方面的应用情况,剖析了数据采集、数据传输、模型构建和实时预警中的问题,并对未来研究方向进行了展望。
1 穿戴传感器在精准畜牧业中的应用
精准畜牧业(precision livestock farming, PLF)的研究聚焦个体,通过个体反映整体。从大的空间位置对牲畜定位,聚焦个体的姿态(站立、躺卧、行走),再到局部动作(进食、反刍、饮水、举尾等)的探索以及生理信息的实时获取,实现空间和时间上对个体全方位跟踪、监测、分析和管理。传感器的发展使得人们可以在个体水平下监测牲畜,依据牛的不同部位可以得到不同的指标,如图1所示。
图1 不同位置监测的关键指标
穿戴传感器是穿戴在身上,综合多种硬件传感器和软件处理单元,可以实现数据实时采集、处理、传输的便携设备[6]。穿戴传感器已经在人体健康监测方面取得重大进展,智能手环可以实时监测心率、步数、睡眠时长等,用户可以通过手机端接收每日运动量、睡眠质量和久坐提醒等健康信息。应用于牛行为识别的穿戴传感器类型见表1。穿戴传感器采集动物个体数据,通过实时传输、分析、统计和对比实现健康监测和异常检测。
表1 主要穿戴传感器的对比
2 日常行为识别
牛的日常行为是体现福利水平的关键,高福利水平下精细化饲养可显著提高牛肉和牛奶的质量。牛的日常行为包括进食、饮水、反刍、运动、休息和排泄等。日常行为判定的依据主要有3点:(1)日常行为每天都发生,且频率较高;(2)日常行为是个体独立的行为,与其他的个体交互较少;(3)日常行为特征对繁殖行为、异常行为或疾病检测有指导价值。牛在受到外界刺激和生理疾病影响时,日常行为会发生变化。除此之外,监测日常行为的变化对了解牛和饲养环境的关系以及牛和牛之间关系有益处。理解和识别牛的日常行为,是发情检测、产犊检测、跛足检测和疾病检测等技术的基础。在此基础上,采取科学的管理方式和合理的治疗手段,提高动物福利水平和生产效益。牛日常行为识别研究结果如表2所示。
表2 牛日常行为识别研究结果
2.1 进食、反刍和饮水行为
监测进食行为可以估计牲畜个体的饲料摄入量和能量转化率。饲料成本占奶牛场总成本的40%~60%。传统的牧场管理中,通过产奶量、牧草前后变化和体重信息来间接监测进食量[15]。精准畜牧业关注动物个体,通过传感器监测进食时间、反刍时间、饮水次数和下颌运动规律等信息,实现精准饲养,并在此基础上帮助人们预测产奶量、产犊时间等。其中进食、反刍和饮水时间是长时间窗口下的监测,而下颌运动是在短时间窗口下的具体动作监测。目前主要通过压力传感器、声音传感器和加速度传感器监测进食、反刍和饮水行为。压力传感器通常固定在牛的鼻翼[16]部位,在动物进食或者反刍时记录下颌运动压力值。在反刍时,由于咀嚼运动是规则的,压力产生均匀规则的波形,而进食则产生不规则波形,且振幅较大[17]。Zehner等[8]使用鼻带压力传感器记录了进食、反刍和饮水等行为,并与直接观察的数据进行对比,两者记录行为的相关性在0.86~0.96之间,但对饮水的监测并不理想。声音传感器通过采集咬、咀嚼和咀嚼-咬等声音的波形特征来区分进食和反刍。提取不同行为下声音信号的形状、振幅、持续时间和能量等特征,可实现相关行为的分类。Chelotti等[18]提出了一种实时检测牛进食行为的算法(CBRTA),该算法识别进食事件的精确度高达97.4%,分类为单独咀嚼、咬和复合咀嚼-咬的精确度为84.0%。压力传感器和声音传感器一般固定在动物的鼻翼或者前额,采集咀嚼过程中下颌压力变化或发出的声音,可以对撕咬、咀嚼等下颚运动细节进行分析。加速度传感器和IMU一般固定在颈部、头部和耳部来监测进食和反刍等行为,任晓惠等[10]在牛颈部佩戴三轴加速度传感器,利用支持向量机对进食、反刍和饮水等行为分类,分类精确度高达97%。在颈部佩戴IMU运动传感器时通过皮肤传递的力的变化感知加速度,根据头部的转动感知角速度,由于佩戴的位置距离嘴巴较远,不易探测到咬和咀嚼的具体细节动作。
2.2 运动和休息行为
运动与休息是评估生长状况和动物福利的基础。步数、行走速度、躺卧时间、躺卧次数等的测定反映牛的姿态特征,对跛足、发情有重要的指示作用。计步器、IMU、加速度传感器和GPS都可以测量上述行为特征,而声音传感器和压力传感器对大姿态且涉及空间转换的动作无能为力。Brunassi等[19]采用计步器对奶牛的活动量进行测定,建立了以活动量、历史发情周期和激素应用情况为参数的模糊逻辑专家系统,对发情进行了预警。Achour等[12]在奶牛背部固定IMU,采集了躺卧(左躺和右躺)、站立、行走和静止等行为的特征,设计了单变量和多变量有限混合模型和决策树分类模型,各行为分类准确率达90%以上。Vzquze Diosdado等[20]通过颈部佩戴三轴加速度传感器,对6头牛进行连续36 h的监控,利用决策树算法对躺卧、站立和进食进行了分类,平均精确度达到了87.5%。
不同的传感器采集的物理量不同,对不同行为的敏感度不同。声音传感器和压力传感器一般佩戴在颈部、头部和鼻翼,大多采用头套固定,收集的数据主要是嘴巴发出的声音或下颌运动时力的变化,可以有效监测进食和反刍的细节。加速度传感器和IMU在颈部、腿部、背部和耳部都可以佩戴。在颈部佩戴时需要配重,不仅可以监测头部信息,还可以监测身体姿态信息,所以常用来监测多种日常行为。Dutta等[21]通过带有IMU的项圈对奶牛行为数据进行采集,提出了一种由概率主成分分析、模糊C均值和自组织地图网络算法组成的新型混合聚类框架,分析了数据的自然结构,并利用多种集成学习方法对进食、反刍、休息、行走和其他行为分类,发现基于决策树的bagging集成算法平均分类精确度最高(96%)。对进食、反刍等头部动作和站立、行走等身体姿态进行分类研究时,通过多部位同时佩戴传感器可以获取更多分类特征,提高分类精度[22]。Benaissa等[13]在奶牛的颈部和腿部同时佩戴加速度传感器,测定了佩戴1个加速度传感器和佩戴2个加速度传感器在不同算法的分类精度差异,发现当颈部和腿部数据融合时,分类效果更好,此外还研究了采样频率对分类精度的影响。多种不同类型的传感器的综合使用可以感知到更多的行为信息。Pratama等[23]开发了温度传感器、心率传感器和加速度传感器一体的颈部穿戴传感器,识别了体温和心率的正常与异常,并利用其中的加速度传感器对站立躺卧进食行为进行分类,结合三者对奶牛健康状况进行了评估。
3 日常行为特征应用
利用穿戴传感器采集的数据对日常行为进行识别,可得到牛的位置、姿态和动作信息,从中提取进食、反刍、饮水、运动和休息的持续时间、强度、次数等特征量的变化,再应用于发情、产犊预测、跛足和疾病检测。常见模型方法分为两类,一类主要是基于日常行为时间和次数的数据分析及阈值判断;另一类利用机器学习分类算法,常见的分类算法包括聚类、逻辑回归、决策树、最近邻、随机森林和支持向量机等。牛日常行为特征应用研究结果如表3所示。
表3 牛日常行为特征应用研究结果
3.1 发情检测
有效检测发情周期和发情时间对于人工授精有重要意义。随着集约化农场的发展,传统人工方法难以实时检测发情,检测准确率低导致错过发情期。爬跨动作是发情最明显的标志[35]。在圈养条件下,爬跨发情的表现越来越弱,爬跨的数量比放牧条件下明显减少[36]。发情期间反刍时间减少约14%~24%[37],发情期的母牛每小时行走的步数大约是正常时期的2~4倍[38]。Løvendahl等[39]在奶牛的颈部佩戴计步器,基于指数平滑每小时活动指数的偏差,识别发情的开始、持续时间和强度。结果表明,基于电子活动标签测定第一次高活动量(DFHA)、发情持续时间、强度和规律的方法,对检测发情奶牛有重要意义。Wang等[40]结合加速度传感器和室内定位传感器对12头奶牛进行12 d连续监测,得到站立时间、躺卧时间、行走时间、进食时间、饮水时间、步数、位移、平均速度、行走次数、进食次数和饮水次数等特征,对比了不同的机器学习算法和不同时间窗口下发情预测准确率,发现0.5 h时间窗口下的BP神经网络(BPNN)算法效果最好,精确度为95.36%。奶牛的正常体温为38.6 ℃左右,在发情周期中,温度变化显著[41]。Miura等[42]设计了一种于热敏电阻无线传感器节点,连接到牛尾巴腹侧表面的底部,根据方差分析测定表面温度(ST)和残留温度(RT)的波动。试验表明,排卵前24 h RT显著上升,且没有季节差异,发情检测的灵敏度和精确度分别为56%~89%和46%~71%。Lee等[43]利用外部拾音器,发现在韩国奶牛声谱图中存在19个共振峰,提出了一种基于共振峰的特征子集选择算法,得到最优共振峰特征子集,用于韩国本土母牛发情检测时精确度为97.5%。因此,在爬跨之外,活动量、反刍时间、进食量、体温、叫声等行为特征的变化也可被用来检测奶牛是否发情。
穿戴传感器检测发情主要依靠活动量、体温以及发情时的声音信息。发情一般发生在夜间,对实时监测的要求很高。加速度传感器、计步器和体温传感器采集的数据量小,易于实时传输,且待机时间长。声音传感器采集的数据量大,易受周围噪声干扰,不利于实时传输,需要将数据存储,再进行分析,难以满足长时间连续实时监测的需求。
3.2 产犊检测
难产是导致死亡和造成经济损失的重要原因。在传统牧场,产犊时间的判断依赖有经验的工作者。随着养殖规模的扩大,对于牲畜个体的关注变少,需要利用高效、低成本的设备来预警个体的产犊行为。产犊前伴随着一系列生理和行为的改变。激素水平的上升是判断产犊最准确的方式,但是由于激素的检测是侵入式、不可逆的[44],容易对牛的健康造成影响。体温的下降也可以预测产犊,但是这一变化不够明显,监测困难[45]。除此之外,在产犊前,牛的行为会发生变化,如躺卧、站立、反刍、进食、离群和举尾等行为,利用穿戴传感器能够有效监测这类行为并实现产犊预警。
Benaissa等[24]利用加速度传感器采集颈部和腿部数据,构建了每小时反刍时间、进食时间和休息时间等特征,根据产犊7 d前每小时躺卧时间、躺卧次数、步数等特征变化,构建了逻辑回归模型,预测产犊行为。Borchers等[29]分别在牛颈部和腿部佩戴穿戴传感器,利用随机森林、线性判别分析和神经网络等算法对两部位融合数据进行产犊判别,试验表明奶牛在临产时会变得焦躁不安,导致活动量增加、反刍时间减少。Clark等[46]利用穿戴传感器监测反刍和活动量,在该研究中奶牛的反刍时间在产前2天减少了33%,但活动水平在产前维持不变,在产后几天内增加。Ouellet等[47]使用3个传感器记录4个特征变量(阴道温度、反刍时间、躺卧时间和躺卧次数),在4个指标中,阴道温度 0.1 ℃的下降最能预测24 h内的产犊。Krieger等[30]利用绑在尾巴的三轴加速度传感器(见图2)采集了产犊前2天的举尾数据,利用举尾的频率和持续时间建立了决策函数,超过一定阈值触发分娩警报。Miller等[48]同时在颈部和尾部佩戴穿戴传感器,获取了144头肉牛和110头奶牛每小时进食时间、反刍时间、举尾次数和每1.5 h活动水平,利用随机森林算法对不同特征进行组合,发现举尾次数预测性能最好,精确度为76.1%。
图 2 加速度传感器固定在牛尾上[30]
产犊前后活动量、进食量和反刍量[49]有明显的变化。这些特征不仅能帮助饲养人员进行产前预测,及时将待产奶牛转移至产房重点照料,对于产后护理和饲料选择也有指导价值,尤其对于初次产犊的牛。产犊前阴道温度的变化不够显著,而举尾次数的增加方便监测,效果显著。目前,对于产犊的预测准确率较低,判断不同行为特征对预测产犊的重要性、建立产犊预警和产后防护是未来研究重点。
3.3 跛足检测
由于遗传育种、圈舍环境、营养配比和饲养管理等问题导致牛蹄溃疡、皮肤病变、肌肉损伤,轻症者行走困难,重症者不能行走,最终被淘汰。及时监测到早期跛足能够有效地降低动物的痛苦和经济损失[50]。最早利用人工目测对牛的蹄肢进行评分,最常用的是5分制标准[51]。随着农场规模的扩大,依靠人工目测已经不能满足需求。穿戴传感器可以通过监测个体行为和步态来判断是否跛足[52]。
在跛足初期,根据躺卧、行走、进食、反刍等日常行为特征的改变,对牛进行诊断和治疗。躺卧行为被认为和跛足关系密切。Blackie等[53]发现跛足发生时,躺卧次数变少,但躺卧时间并无差异,而Weigele等[54]研究发现,躺卧时间和每次躺卧时间都变长,更偏爱侧躺。Beer等[31]在后腿和头部分别佩戴加速度计和鼻带压力传感器,利用逻辑回归算法准确区分了跛足奶牛和非跛足奶牛,同样得到了跛足时躺卧时间增加的结果,该研究表明,站立次数和行走速度是预测奶牛跛足的最佳因子,敏感性为90.2%,特异性为91.7%。反刍和进食时间在一定程度上也反映跛足。Barker等[55]利用传感器记录的加速度和位置数据,基于两阶段决策树算法将行为分类为进食、非进食和挤奶,对分类行为的统计分析显示,跛足奶牛进食时间较短。Taneja等[32]在奶牛的前腿固定加速度传感器,通过聚类算法将146头牛活动强度分为活跃、正常、低于正常,对牛群进行标签化处理,将步数、躺卧时间和起卧转换次数作为活动特征,利用最近邻算法进行分类,结果表明,在人工发现跛足前3天就能监测到轻微跛足,精度为87%。
步态变化同样被认为是跛足征兆之一。Grimm等[56]研究发现,躺卧、行走、进食和反刍等日常行为变化只是检测跛足的补充,最能说明跛足的是步态变化。Pastell等[57]在4个腿关节佩戴三轴加速度传感器,计算各腿、各轴总加速度的方差和小波方差,根据跛足牛和正常牛步态中前进加速度的后腿方差的对称性差异,可以识别出跛行牛和正常牛的步态变化;Thorup等[28]通过佩戴在后腿的三轴加速度传感器,对348头牛利用5分制对蹄肢打分,发现正常(LS1)和步态不均匀(LS2)的活动水平不同,通过步行时间和步行活动指数可以检测出跛行的早期迹象。
行为特征不足以完全反映跛足严重程度。建立活动量、行走速度、行走距离、躺卧时间等行为特征、产奶量和蹄肢评分之间的关系,对不同的跛足程度计算特征阈值,根据阈值判别跛足程度,有利于在跛足情况轻微时预警。
3.4 疾病检测
行为的变化在一定程度上反映生理疾病和健康水平。发烧时,食欲不振,精神萎靡[58];热应激反应时,呼吸先变快变浅,非常严重时转为慢而深的模式[59]。行为特征和疾病特征的关联可以提前预警疾病,指导管理者事前决策。
传统热应激的检测停留在环境监测,环境温湿度指数(THI)是反映热应激的最常用指标,此外还有等效温度指数(ETI)、热负荷指数(HLI)等[60]。这些指标都是针对群体,但是不同个体和品种的牛对热应激的耐受度不同,Islam等[33]利用耳标三轴加速度传感器检测不同品种牛的呼吸速率,在个体水平下测量热应激反应,使选择抗热应激的良种牛成为可能。Tullo等[61]将环境因素与动物行为相关联,利用加速度传感器获取奶牛躺卧行为,探究了躺卧行为与气候条件(温湿度指数、太阳辐射、风速及雨量)之间的相关关系,r2为0.84。该方法可用于评价农场的热应激缓解策略是否奏效。
Tobin等[34]利用佩戴在颈部的三轴加速度传感器,监测到牛在出现流行热症状的前48 h和24 h,活动强度与对照组相比明显偏低;Stangaferro等[62]通过穿戴传感器监测反刍时间和活动水平,结合自动健康监测系统,检测出了代谢和消化障碍,以及更严重的乳腺炎和子宫炎的奶牛;Gusterer等[63]同样利用反刍时间和活动水平在疾病的临床表现前识别出了健康紊乱的奶牛。
4 问题分析与未来展望
4.1 问题分析
传感器系统已经在精准畜牧业中广泛使用,在标准化、集约化农场中扮演重要的角色。基于穿戴传感器牛行为识别模型如图3所示,分为4步:(1)数据采集;(2)数据传输;(3)模型构建;(4)实时预警。
图3 基于穿戴传感器的牛行为识别模型
(1)数据采集。不同的采样频率不仅影响行为分类,而且和设备待机时间紧密相关。不同穿戴传感器佩戴位置不同,声音传感器和压力传感器佩戴的位置主要是头、颈区域,用来采集进食和反刍效果良好。加速度传感器佩戴的位置很多,颈部目前是采集行为最多的位置,尾部只能采集单一的举尾行为。温度传感器最适合佩戴在血管多、毛发少的位置。虽然穿戴传感器是非侵入式的,但佩戴过多容易对动物造成压力[64]且成本过高。因此,开发多种传感器融合的颈部智能项圈是可能的解决方案。
(2)数据传输。大多数研究都是用SD卡保存行为数据,采集结束后上传电脑进行离线分析。在真实生产管理中,只有实时传输,数据才有意义,才能真正起到防患于未然的作用。此外,传输的数据需要清洗掉噪声数据,传输对预测模型有用的数据可以有效提高网络的传输效率。
(3)模型构建。根据对国内外文献总结可知,牛日常行为分类的精度较高。但是在日常行为特征的应用中,当测试的样本量增加时,效果不是很好。其次,单一的特征很难预测复杂行为,针对不同的检测需要最佳的特征组合。将机器学习算法应用于牛行为识别中依旧是研究热点。
(4)实时预警。国内对于行为特征的应用停留在试验阶段,并未进行大规模验证。国外已经开始对传感器系统进行验证。传感器系统为农场带来了环境、经济和社会可持续性效益,但这些效益尚未通过持续性评估的方法加以量化[65]。只有大规模验证,改进技术,避免错误预警,才能使生产者相信传感器系统的积极效果。
4.2 展 望
自动化的牲畜健康生产管理依赖大量的信息。单一的穿戴传感器不足以采集全方位的生产周期数据。环境数据(天气、温湿度、风速)、生理数据(激素、呼吸频率、心率、血氧)和图像数据获取需要借助其他的监测方法。综合使用文本、声音、图片和视频等数据,挖掘更深层次的信息,才能更加精准地感知牲畜的健康,辅助管理决策。
新技术的发展给予穿戴传感器更多的可能性。云计算可以为自动牲畜管理系统提供高效的计算能力和数据存储能力。穿戴传感器只需进行数据采集和传输,而不需要数据处理,处理工作和应答工作都交由云计算,既缓解了穿戴传感器的压力,又延长了设备的待机时间。高速度、大宽带、低时延的5G(5th generation mobile networks)传输和高精度定位的GPS/北斗,能够在放牧场景下实时感知每头牛的位置,使建设牧场的虚拟围栏成为可能。
搭建实时接收、处理、运算和预警的数据平台是个体监测的服务核心。从传感器获取数据到传输到平台运算处理,最后对牧场管理人员发布预警。平台为文本、图片、声音和视频等类型数据提供接口,实现各类穿戴传感器、摄像机和环境传感器即插即用。与此同时,平台可以根据不同的农场需求提供个性化定制服务。