基于计算机视觉的奶牛跛行识别技术研究进展
2022-11-13初梦苑
李 前，初梦苑，康 熙，刘 刚
基于计算机视觉的奶牛跛行识别技术研究进展
李 前，初梦苑，康 熙，刘 刚※
（1. 中国农业大学智慧农业系统集成研究教育部重点实验室，北京 100083；2. 中国农业大学农业农村部农业信息获取技术重点实验室，北京 100083）
奶牛跛行严重降低奶牛福利及潜在产奶量，影响养殖场经济效益。准确高效识别奶牛跛行，有助于奶牛肢蹄病的及早发现与治疗，促进奶业的健康和可持续发展。人工观察法识别奶牛跛行存在识别效率低、成本高、主观性强等问题。计算机视觉技术可以通过无应激、无接触地采集奶牛行走视频数据，准确高效识别奶牛跛行。该研究从可见光相机、深度相机以及热红外相机3种视频采集手段出发，概述了当前奶牛跛行自动识别的主要研究方法、关键技术以及未来发展方向等，对比分析了各研究方法的优势和不足，指出个体差异性、跛行特征的优选以及早期跛行识别等需要重点关注的技术问题。同时，该研究从数据获取、技术研发和试验验证等方面，分析了奶牛跛行识别技术研究领域存在的主要问题及挑战，展望了未来奶牛跛行识别技术的研究重点和发展方向，为奶牛跛行的精准高效识别提供相关理论依据和技术参考。
计算机视觉；图像处理；深度学习；奶牛跛行识别；可见光相机；深度相机；热红外相机
0 引 言
近年来，随着奶牛养殖场集约化程度的提高，奶牛活动空间逐渐减小，活动地面硬化，奶牛跛行发病率呈上升趋势，跛行已成为制约养殖健康发展的一个主要因素[1-2]。奶牛跛行主要是由感染性疾病（趾间皮炎等）或非感染性疾病（白线病等）造成的肢蹄功能损伤[3]，进而在行走过程中因压痛而出现的步态异常现象[4-5]。奶牛跛行的发病率受地域、饲养条件及环境的影响较大，不同国家和不同养殖区域的奶牛跛行率存在明显的差异[6]。据报道，美国东北部的奶牛跛行率为45%[7]，英国为28.2%[8]，巴西为42.5%[9]，加拿大为20.8%[10]，中国的奶牛跛行率为31%[11]。奶牛跛行不仅降低奶牛福利及潜在产奶量，增加奶牛过早淘汰的风险，同时还会给奶牛养殖户造成较大的经济损失[12-14]。奶牛早期跛行症状较轻，不易被发现，通常仅具有轻微的步态异常[15]，待发展到一定程度时，才具有较明显的跛行表现，此时进行治疗，治疗费用是轻度跛行的3倍，并且治愈率大大降低[16]。因此，及时高效地识别奶牛跛行，尤其是早期跛行，对促进奶业健康和可持续发展具有重要的现实意义。
通过对奶牛进行修蹄，兽医可以准确分辨出跛行奶牛，然而养殖场通常每年只对奶牛进行2次修蹄，无法满足养殖场日常识别奶牛跛行的需要[17]。传统的奶牛跛行识别以人工观察法为主，通过观察奶牛行走过程中的弓背、点头以及步态等方面的异常，根据经典的五分制运动评分标准[18]评估奶牛运动能力，进而识别奶牛跛行。但人工观察法识别奶牛跛行存在一些不足：首先，观察人员在场时容易引起奶牛的应激反应，导致测量偏差[19]；其次，观察人员识别奶牛跛行具有较强的主观性（例如，同一观察人员在对同一批奶牛进行2次运动能力评估时，得分只有56%是一致的，而当2名观察者分别对同一批奶牛进行运动能力评估时，得分只有37%是一致的[20]）；再有，当养殖场规模较大时，人工观察法费时费力，效率较低，难以识别出奶牛步态的轻微异常[21]。接触式传感器通过与奶牛身体直接接触，测量出奶牛行走过程中的运动参数，进而通过数据分析技术，推测奶牛跛行。常用的接触式传感器主要包括力平台[22]和加速度传感器[23]等。利用接触式传感器识别奶牛跛行，采集数据相对容易，研究和决策方法相对简单，但接触式传感器容易造成奶牛应激反应，且受环境影响易产生信号损失，降低奶牛跛行识别准确率。
计算机视觉技术可以通过无应激、无接触地采集奶牛行走视频数据，供研究人员仔细观察和分析，利用跛行特征提取和特征分类的方法，自动识别奶牛跛行，该技术现已成为奶牛跛行自动识别领域的重要研究手段。当前，国内外研究学者大多从奶牛跛行的表现以及跛行特征的构建等几个方面，自动识别奶牛跛行，未能充分研究奶牛跛行识别技术中的跛行特征提取算法与特征分类算法[24-25]。提取跛行特征和优选特征分类算法，是基于计算机视觉的奶牛跛行识别技术准确识别奶牛跛行的关键。跛行特征的提取方法，主要分为手工设计特征的传统机器学习方法和自动获取特征的深度学习方法。近年来，随着深度学习方法的快速发展，基于深度学习的图像分类、目标检测以及图像分割等算法为视频数据处理和分析提供了可靠的技术支撑，基于计算机视觉的奶牛跛行识别技术迎来了新的发展机遇。
目前，基于计算机视觉的奶牛跛行识别技术取得了较好的研究成果。本研究将从可见光相机、深度相机以及热红外相机3种视频采集手段出发，概述奶牛跛行识别的工作原理和关键技术等；从数据获取、技术研发和试验验证等方面，分析其存在的主要技术问题及挑战；同时，探讨未来的研究重点和发展方向，以期为今后进一步开展精准高效的奶牛跛行识别技术研究提供相关理论依据和技术参考。
1 基于计算机视觉的奶牛跛行识别技术研究
计算机视觉技术通过自动采集家畜行为视频数据，利用图像处理方法或深度学习算法对视频数据进行处理分析，自动识别家畜的异常行为。在奶牛养殖场，计算机视觉技术不仅可以用来识别奶牛跛行，还可以通过分析姿态特征和运动特征识别奶牛的发情行为，监测奶牛身体健康状况，此外，通过颜色特征、纹理特征和行为特征来识别奶牛个体身份，提高奶牛养殖场的智能化监测水平。
基于计算机视觉的奶牛跛行识别流程如图1所示。
利用相机采集奶牛行走视频数据，通过传统的图像处理方法或深度学习算法，从视频图像序列中检测奶牛的关键身体部位，提取奶牛行走过程中的跛行特征，并对这些跛行特征进行汇总分类，进而自动识别奶牛跛行。近年来，国内外学者开展了较多基于计算机视觉的奶牛跛行识别技术研究，积累了大量的研究成果，如表1所示。国内外基于计算机视觉的奶牛跛行识别多是基于可见光相机采集奶牛行走视频，通过图像处理与分析，提取并分类跛行特征，识别奶牛跛行。深度相机和热红外相机作为新一代视频采集手段，起步较晚，研究成果相对较少。跛行特征选择方面，奶牛跛行识别大多参照经典的五分制运动评分标准，如表2所示，主要包括：弓背、点头、甩腿、步速缓慢、步态不对称和不跟随等[26-27]。
图1 基于计算机视觉的奶牛跛行识别技术流程图
表1 基于计算机视觉的奶牛跛行识别技术相关研究
表2 五分制运动评分标准[18]
1.1 基于可见光相机的奶牛跛行识别技术
与人工观察法相比，可见光相机可记录奶牛行走视频数据，供研究人员反复观看，提高奶牛跛行识别的准确性，可见光相机拍摄的奶牛行走侧视图如图2所示。基于可见光相机的奶牛跛行识别技术，先是利用可见光相机采集奶牛行走视频数据，利用图像处理方法或深度学习算法从视频帧中检测出奶牛的关键身体部位，然后提取奶牛关键身体部位对应的跛行特征，结合人工标签对奶牛跛行分类算法进行训练，进而自动识别奶牛跛行[51]。根据上述奶牛跛行识别流程，下文将从奶牛关键身体部位检测方法、奶牛跛行特征的选择以及奶牛跛行分类方法3个方面，分别对现有的基于可见光相机的奶牛跛行识别技术研究展开介绍。
图2 可见光相机拍摄的奶牛行走侧视图
1.1.1 奶牛关键身体部位检测方法
利用可见光相机采集奶牛行走视频，从复杂的图像背景中准确检测奶牛的关键身体部位是跛行特征提取与分类的基础，也是准确识别奶牛跛行的关键。为准确区分奶牛行走视频的前景和背景，检测奶牛的关键身体部位，相关学者对此进行较为深入的研究，取得了较好的研究成果，部分奶牛关键身体部位检测方法研究见表3。基于可见光相机的奶牛跛行识别研究初期，研究学者主要通过手工标记奶牛关键身体部位，获取奶牛跛行特征。随着计算机视觉技术的快速发展，学者们将图像处理方法和深度学习算法相结合，应用于奶牛关键身体部位的快速检测，大幅度提高奶牛关键身体部位的检测效率。
表3 奶牛关键身体部位检测方法相关研究
研究学者利用可见光相机采集奶牛行走视频，通过手工标记奶牛关键身体部位，进而分析奶牛运动状态。Flower等[52]使用反光带标记奶牛肢蹄关节部位，利用可见光相机采集奶牛行走视频，进而分析视频中标记物的运动轨迹。Bahr等[53]对10头奶牛的行走视频数据进行手工标记，包括奶牛背部关键点位置以及牛蹄着地位置，进而分析奶牛行走运动参数，较全面地表示奶牛的运动状态。手工标记奶牛关键身体部位，分析奶牛关键身体部位的运动参数，虽然可以有效区分正常奶牛与跛行奶牛，但视频数据中包含较多数量的视频帧，利用手工标记视频帧中奶牛的关键身体部位，仍然存在工作量大，工作效率低等问题。
为提高奶牛关键身体部位的检测效率，研究学者将图像处理方法应用于奶牛关键身体部位检测。Pluk等[54]使用压力垫确定牛蹄着地位置和着地时间，根据牛蹄着地时间找出视频中对应的视频帧，使用图像二值化方法和图像增强方法，再结合牛蹄着地位置计算牛蹄倾斜角度。背景减除法是将包含奶牛的视频帧与不含奶牛的背景图像做差值，进而获取奶牛的身体轮廓，此方法可以自动获取视频帧中奶牛的背部轮廓[28]以及牛蹄着地位置[55]。背景减除法思想简单，效率较高，但当目标与背景环境差异较小时，背景减除法易受噪声的干扰，难以准确区分前景和背景，降低目标检测精度。为改善这种状况，Zhao等[56]首先通过帧差法计算视频帧中包含奶牛的边界矩形，利用区域相减获取局部背景图像，拼接多个背景图像获得全局背景图像，再通过调整视频帧中RGB通道的求和系数，提高目标图像和背景图像之间的对比度，最后使用背景减除法检测奶牛身体轮廓，129头奶牛的视频分析结果表明，奶牛目标检测精度相比经典的背景减除法提升了24.85%。ViBe算法[29]是一种基于背景更新的前景检测算法，该算法通过分析当前视频帧中每一个像素周围的像素值以及前一时刻该位置的像素值，以此判定目标属于前景还是背景。该算法思想简单，运算效率较高，但对于运动速度较慢的目标，容易将其归类于背景，降低奶牛关键身体部位的检测精度。利用相邻视频帧之间的像素变化可以有效检测运动中的奶牛，宋怀波等[30]研究奶牛行走视频中单个视频帧的像素分布，发现奶牛目标像素与背景像素大致满足双峰分布，因此采用正态分布背景统计模型区分视频帧中的前景和背景，并使用局部循环中心补偿策略，补充奶牛身体像素点空洞部分。此方法根据奶牛与背景环境的像素统计分布特性检测奶牛目标，受奶牛行走速度的影响较小，但不易处理前景目标与背景环境相似度较高的状况。
基于深度学习的目标检测算法和图像分割算法能够从复杂的背景环境中精确地分离出前景和背景，为奶牛关键身体部位检测提供新的解决方案。Wu等[31]将深度学习中YOLOv3目标检测算法[59]应用于奶牛腿部检测，使用2 500张标注的图像作为训练集，另外2 500张标注的图像作为测试集，奶牛腿部检测精度为93.73%。Jiang等[57]在YOLOv3算法中加入平滑滤波层，过滤掉因卷积操作而产生的粒子噪声，以500张标注的图像作为训练集，另外500张标注的图像作为测试集，奶牛关键身体部位的检测精度为99.18%，实现了奶牛头部、背部和腿部等关键部位的精确检测。Kang等[32]将YOLOv3、YOLOv4[60]、YOLOv5系列[61]以及Efficiendet系列[62]目标检测算法应用于奶牛蹄部检测，将3 045张图像按照7∶2∶1的比例划分为训练集、验证集和测试集，试验结果分析表明使用YOLOv5m算法的奶牛蹄部检测精度最高，平均检测精度为93.21%，其次为YOLOv4的92.39%。研究学者使用目标检测算法检测奶牛关键身体部位，可获得较高的检测精度，但目标检测算法使用矩形包围盒框出目标，无法精确获取目标的边界轮廓，因此部分研究学者尝试使用获取目标边界轮廓信息的图像分割算法。Noe等[58]将Mask-RCNN图像分割算法应用于奶牛身体检测，以1 600张标注的图像作为训练集，400张标注的图像作为测试集，奶牛图像分割的准确率为95.5%。Arazo等[63]通过对比分析DeepLabv3算法[64]和RVOS算法[65]在图像上的前景提取效果，提出了将FPN算法[66]应用于奶牛RGB图像和深度图像，并进一步发现FPN算法在RGB图像上的图像分割效果优于在深度图像上的图像分割效果。相比于目标检测算法，图像分割算法可以精确分割出奶牛的身体轮廓，获得奶牛背部轮廓和腿部倾斜角度等特征，可更好地应用在基于计算机视觉的奶牛跛行识别技术领域。
手工标记奶牛关键部位的方法费时费力，效率较低，已基本被淘汰；利用图像处理方法自动检测奶牛关键身体部位，逻辑思想简单，效率较高，但在复杂背景的情况下检测效果较差；目标检测算法检测精度较高，但需要使用大量标注的图像数据进行训练，并且无法获取目标的边界轮廓信息；图像分割算法可以精确地获得目标的边界轮廓，为后续跛行特征提取提供较好的数据支撑，但此方法需要大量标注的图像数据，分割准确率有待提升。总之，不同的方法均有其优势和不足，应根据实际应用的场景，选取合适的奶牛关键身体部位检测方法。
1.1.2 奶牛跛行特征的选择
基于可见光相机的奶牛跛行识别技术，在跛行特征提取方面，主要根据经典的五分制运动评分标准，通过观察奶牛背部姿态、站立姿势以及行走步态等方面的异常，将奶牛跛行分为1～5分值，分值越大表示奶牛跛行程度越高。
弓背可以减轻奶牛行走过程中对患病肢蹄的压痛，因此养殖场的工作人员常根据此特征识别奶牛跛行。Bahr等[53]观察奶牛行走视频数据，确定奶牛背部关键点，通过背部关键点绘制圆形来拟合奶牛背部轮廓，以圆形半径表示奶牛背部曲率特征，利用此特征识别奶牛跛行，研究结果分析表明，弓背特征与奶牛跛行具有较强的相关性，同时为后续基于计算机视觉自动提取奶牛弓背特征并识别奶牛跛行提供了依据。Poursaberi等[28]使用图像处理方法获取奶牛背部轮廓，在奶牛背部轮廓上自动提取3个关键点，获取奶牛背部曲率特征，以此评估奶牛跛行程度，通过对184头奶牛的视频数据进行测试分析，奶牛跛行识别准确率为96%。考虑到单个圆形较难准确拟合奶牛背部轮廓，该研究团队进一步以背部最高点为分界点，在奶牛颈部和臀部2个部位拟合椭圆，研究分析2个椭圆的大小、方向和相对位置关系，更准确地表示奶牛背部轮廓，通过对156头奶牛的视频数据进行测试分析，跛行识别准确率为97.4%[33]。奶牛跛行时，其头部、颈部及背部连接处有明显的特征变化，宋怀波等[30]通过拟合奶牛头颈部曲线，获取该曲线的线性斜率，作为跛行特征来识别奶牛跛行，利用30头奶牛的视频数据进行测试分析，跛行识别准确率为93.89%，表明头颈部轮廓曲线特征也能有效识别奶牛跛行。随着深度学习算法的不断发展与进步，一些研究学者将目标检测算法应用于奶牛跛行识别，Jiang等[34]将图像处理方法与目标检测算法相结合，利用图像处理方法获取奶牛身体轮廓，通过目标检测算法确定奶牛背部区域，进而提取视频中奶牛的背部轮廓序列，作为跛行特征识别奶牛跛行，通过90头奶牛的视频数据测试分析，跛行识别准确率为96.61%。上述研究表明弓背特征与奶牛跛行的相关性较大，通过检测奶牛背部轮廓，提取奶牛背部轮廓的曲率特征，可有效识别奶牛跛行。
奶牛的行走过程可以看作是多个步态周期的重复，从牛蹄着地开始到该牛蹄再次着地的过程称为一个步态周期，步态周期主要分为支撑相和摆动相2个阶段[67]，奶牛步态周期行走示意图如图3所示。
图3 奶牛步态周期示意图
奶牛在行走过程中，通常情况下先迈后蹄，再迈前蹄，且后蹄会落在前蹄所在的位置，进而左右肢蹄交替运动，有规律地向前行走[4]。跛行奶牛由于肢蹄功能受损，在牛蹄着地时会引起压痛，从而导致奶牛行走时的步态异常，其主要表现在步速较慢、左右肢蹄步态不对称、前后肢蹄步态不跟随以及行走的稳定性和节奏性遭到破坏等[68]。Flower等[52]使用反光带标记奶牛肢蹄关节部位，利用可见光相机采集奶牛行走视频，分析视频中标记物的运动特征，辨别跛行奶牛与正常奶牛，该研究首次将计算机视觉技术应用于奶牛步态特征提取，为其后奶牛跛行的自动识别研究提供了技术支持。Song等[55]通过对比视频图像中牛蹄的着地位置与现实场景中牛蹄的着地位置，发现两者的相关系数为0.948，该研究充分表明计算机视觉技术在量化奶牛步态特征方面具有较大的发展潜力。康熙等[29]将时空差值算法应用于奶牛蹄部检测，结合奶牛前蹄和后蹄着地的相对位置关系，分析奶牛步态的跟随特性，自动识别奶牛跛行。Wu等[31]将目标检测算法应用于奶牛肢蹄检测，通过分析奶牛前后肢蹄的相对位置关系，提取奶牛相对步长序列特征，可较好地识别奶牛跛行，提升了奶牛跛行识别效果。Zhao等[35]利用图像处理方法获取奶牛运动时各肢蹄的实时位置信息，绘制并分析各肢蹄的运动曲线，进而提取奶牛步态对称性、跟随性、速度、支撑相、步幅和敏感性等6个步态特征，通过对98头奶牛的视频数据进行测试分析，跛行识别准确率为90.18%，此研究通过增加跛行特征提取的类别，提升了奶牛跛行识别的可靠性。跛行奶牛蹄部着地时会产生压痛，导致支撑相时间变短，另一侧牛蹄的支撑相时间会延长，Kang等[36]利用高速相机记录牛蹄着地位置，进而对奶牛各肢蹄着地时间进行计算，提取更精确的奶牛跛行特征，利用100头奶牛的视频数据测试分析，跛行识别准确率为96%。在此研究基础上，为了更详细研究奶牛蹄部的时空运动特征，Kang等[32]使用目标检测算法获取视频帧中牛蹄的位置，结合视频序列的时间信息，构造包含牛蹄位置信息与时间信息的时空步态图，作为奶牛步态特征识别奶牛跛行，利用456头奶牛的视频数据测试分析，跛行识别准确率为98.5%。上述研究表明，通过提取奶牛步态特征来识别奶牛跛行，识别准确率得到了提升。
一些难以被人眼观察到的底层纹理特征和光流特征也可以作为跛行特征，来识别奶牛跛行。温长吉等[37]通过提取视频图像中的时空兴趣点，获取底层HOG（Histogram of Oriented Gradient）特征，提出了一种稀疏超完备词典算法，语义级描述奶牛跛行，取得了较好的奶牛跛行在线识别效果。Jiang等[38]通过分析奶牛行走图像序列中的像素分布，发现像素统计特征符合2个叠加的正态分布，设计了一个双正态分布统计模型，利用像素统计特征确定奶牛跛行程度。由于像素统计特征对奶牛步态的轻微异常不敏感，为了检测奶牛步态的轻微异常，更全面表征奶牛跛行，Jiang等[39]进一步利用光流特征表征奶牛步态的轻微运动异常，来识别奶牛早期跛行，通过90头奶牛的视频数据测试分析，跛行识别准确率为98.24%。上述研究表明，一些精细的底层统计特征以及微小的运动特征，可以作为跛行特征识别奶牛跛行，在奶牛微运动特征分析方面仍需进一步探索。
奶牛弓背特征和步态特征是奶牛跛行识别研究中经常使用的跛行特征，此方面的研究已取得较好的进展，尤其是奶牛中重度跛行识别研究中，利用弓背特征和步态特征能够获得较好的跛行识别效果，但针对跛行症状不明显的奶牛早期跛行，其识别准确率偏低。因此，应深入探索奶牛微运动特征及时序变化特征，研究分析运动异常不明显的奶牛早期跛行，提升奶牛早期跛行识别准确率。
1.1.3 奶牛跛行分类方法
奶牛跛行分类方法对使用人工设计的跛行特征或使用深度学习自动提取的跛行特征进行汇总分类，以此确定奶牛跛行程度。目前，奶牛跛行分类方法主要包括基于阈值的奶牛跛行分类方法、基于传统机器学习的奶牛跛行分类方法以及基于深度学习的奶牛跛行分类方法。
基于阈值的奶牛跛行分类方法具有分类思想简单，应用场景较为广泛，使用方便等优点。一些学者通过提取奶牛背部曲率特征，设置奶牛背部曲率阈值，区分奶牛跛行程度。Viazzi等[40]使用背部曲率特征识别奶牛跛行，发现当为每头奶牛分别设置个体阈值时，其跛行识别准确率要比设置群体阈值时高10%，此研究表明注重个体差异性可提高奶牛跛行的识别准确率。不同的奶牛体态不同，对肢蹄疼痛的忍耐程度不同，这些个体差异会影响奶牛跛行症状，因此，直接使用阈值设定的方法分类奶牛跛行程度，会降低奶牛跛行识别准确率。为降低奶牛个体差异性对跛行分类准确率的影响，提升跛行分类泛化性能，一些研究学者利用传统的机器学习方法分类奶牛跛行，即将机器学习算法在划分好的训练集上进行函数拟合，确定机器学习算法的参数值，再通过拟合好的机器学习算法在测试集上分类奶牛跛行。基于传统机器学习的奶牛跛行分类方法主要包括：K最近邻算法（K-Nearest Neighbor, KNN）[30]、支持向量机算法（Support Vector Machine, SVM）[37]以及决策树算法[40,53]等。传统的机器学习方法逻辑思想简单，决策容易，分类效率较高，但对高维复杂特征的分类效果较差。深度学习算法能够从高维复杂的特征中准确高效地提取出高价值的特征，能够获得比传统机器学习方法更加准确可靠的分类结果。奶牛跛行识别研究中常用的深度学习算法主要包括卷积神经网络（Convolutional Neural Networks, CNN）和长短期记忆网络（Bilateral Long Short-term Memory, BiLSTM）[69]。卷积神经网络可以深入挖掘视频图像中的隐藏特征，对高维复杂特征有较好的提取效果，在奶牛跛行分类任务上得到了较为广泛的应用。长短期记忆网络因其独特的“输入门”、“遗忘门”和“输出门”结构，对时序信息的处理能力较强，在处理特征序列方面表现较好。基于深度学习的奶牛跛行分类方法，分类准确率较高，泛化性能较好，适用于不同的奶牛养殖场，但需要大量标注的数据进行训练，而这些标注的数据在采集和标注过程中，往往需要耗费大量的人力物力。
2.4 两组患者纤溶系统指标比较 治疗前，两组FIB、D-二聚体、t-PA及PAI-1比较，差异无统计学意义(P>0.05)；治疗后，两组患者各纤溶系统指标均低于治疗前，且试验组低于对照组(P<0.05)。见表4。
基于阈值的奶牛跛行分类方法适用于分类特征简单，特征易于区分的情况，但泛化性能较差，跛行分类准确率偏低；基于传统机器学习的奶牛跛行分类方法，在处理小批量数据集方面，有较好的分类效果，但在特征较复杂时跛行分类效果不佳；基于深度学习的奶牛跛行分类方法，在数据量较充足的情况下，可获得较高的跛行分类准确率，而在处理小批量数据方面，分类效果较差。因此，在奶牛跛行分类方法的选择上，应根据跛行特征的特点和数据集的大小选择适合的跛行分类方法。
基于可见光相机的奶牛跛行识别技术，通过可见光相机采集奶牛行走视频数据，利用图像处理方法或深度学习算法检测奶牛关键身体部位，进而提取奶牛跛行特征，识别奶牛跛行，目前已取得了较好的研究成果，但仍然存在着一些尚未完全解决的技术问题，比如前景和背景的准确分离问题以及奶牛跛行特征的合理选择问题等，这些问题均会降低奶牛跛行的识别准确率及鲁棒性，限制相关研究成果的实际应用。
1.2 基于深度相机的奶牛跛行识别技术
深度相机按照工作原理的不同主要分为3类，分别是结构光、双目立体视觉以及飞行时间（Time-of-Flight, ToF），这3种技术可以记录三维空间中各像素点到深度相机之间的距离，形成三维点云数据。与可见光相机相比，深度相机可以得到每个像素点到相机之间的距离信息，弥补可见光相机采集的二维空间信息的限制，还能够在一定程度上减弱由光照等周围环境带来的背景持续变化的影响。因此，一些研究学者利用深度相机采集奶牛行走深度视频，提取更精确的奶牛跛行特征，以此识别奶牛跛行，使用深度相机拍摄的奶牛行走深度图像如图4所示。
图4 深度相机拍摄的奶牛俯视图及侧视图
一些养殖场由于空间狭小受限，无法在奶牛行走通道侧方安装相机，采集奶牛行走视频。针对此限制，Viazzi等[41]在奶牛行走通道上方3.15 m处安装一台深度相机，采集奶牛背部的深度图像，结合深度图像中蕴含的三维空间信息，构建奶牛背部结构图，使用2个椭圆拟合奶牛背部曲率特征，用决策树算法识别奶牛跛行，获得了与人工识别相近的跛行识别效果[70]。养殖场地表潮湿光滑，常出现奶牛行走打滑和摔倒的现象，这些现象会引起奶牛跛行检测系统的误识别。针对此情况，Hertem等[42]优化了跛行识别算法，使用深度相机连续采集4 d的奶牛行走深度视频，综合评估奶牛行走状态，减少奶牛跛行误检情况。此外，奶牛养殖场进出通道过宽，会导致多头奶牛并行，影响跛行识别效果，因此，应标准化奶牛进出通道，约束奶牛的行走间隔，减弱奶牛之间的相互影响，提升奶牛跛行识别效果[71]。为了分析基于多特征的奶牛跛行识别技术，Hertem等[43]利用深度相机采集奶牛行走深度视频，分析奶牛背部曲率特征，补充奶牛产奶量和活动量等额外信息，将奶牛跛行识别准确率提升了12.4%，试验结果分析表明，使用多个特征识别奶牛跛行的准确率优于使用单一特征识别奶牛跛行。在奶牛背部多个特征中，髋关节周围的背部曲率与奶牛跛行的相关系数最高，达到0.732。Jabbar等[44]使用深度相机采集奶牛背部深度图像，利用图像处理方法检测奶牛背部脊柱，计算奶牛行走过程中髋关节的高度变化值，利用希尔伯特变换方法，分析髋关节的左右对称性，使用SVM算法识别奶牛跛行，通过22头奶牛的深度图像数据测试分析，跛行识别准确率为95.7%。上述研究表明，深度相机安装在奶牛养殖场通道上方可节省养殖场空间，采集的奶牛背部三维空间信息可精确获取奶牛弓背特征，进而识别奶牛跛行。因此，基于深度相机的奶牛跛行识别技术在养殖场实际应用阶段具有较大的发展潜力。
还有一些学者尝试将深度相机安装在通道侧方，以提取奶牛步态信息。Gardenier等[72]使用4个深度相机采集奶牛行走深度视频数据，利用目标检测算法检测奶牛肢蹄关节位置，获取其运动轨迹，根据运动轨迹计算包括奶牛肢蹄外展和跟随性等步态特征。为深入分析奶牛步态特征，Okura等[73]使用深度相机采集奶牛行走深度视频数据，利用图像处理方法提取奶牛行走步态轮廓，整合为步态能量图，用于分析奶牛步态信息。这种方法不仅获取奶牛背部特征，而且在奶牛步态信息获取方面，也表现出了较好的应用潜力。此外，深度相机能够为家畜体况评分及体重预估等方面提供技术支持[74-75]，在家畜身体健康监测和疾病诊断方面，也具有较大的应用前景。
随着电子信息技术的快速发展，深度相机越来越普及，价格也越来越低，这为基于计算机视觉的奶牛跛行识别研究提供了一种新的技术手段。在奶牛行走通道顶部安装深度相机，采集奶牛背部深度图像，根据深度图像中蕴含的三维空间信息可获取奶牛背部曲率特征及脊柱弯曲特征，进而实现顶部视角安装深度相机的奶牛跛行自动识别。奶牛的跛行症状表现是多方面的，仅仅利用弓背特征识别奶牛跛行，会降低奶牛跛行识别的可靠性，另外，深度相机拍摄的深度图像数据量较大，视野较小，不易整体表征奶牛运动状态，使得奶牛跛行识别效果偏低。因此，将深度相机与可见光相机进行结合，多方面提取奶牛跛行特征，可提升奶牛跛行识别的可靠性，优化奶牛跛行识别效果。
1.3 基于热红外相机的奶牛跛行识别技术
任何高于绝对零度的物体都会向外辐射红外，而辐射的红外能量与自身的温度大小呈正相关，温度越高所辐射的能量就越强，热红外相机可根据物体辐射的红外能量，测得物体表面温度[76]。患有肢蹄病的奶牛，机体防御系统活跃性升高，所患炎症部位的血液循环加速，这会导致奶牛患病肢蹄处的表面温度升高[77]，因此一些学者利用热红外相机采集奶牛蹄部热红外图像，对牛蹄表面温度进行分析，设置阈值识别奶牛跛行。使用热红外相机拍摄的奶牛热红外图像（分辨率为561×421像素）以及奶牛蹄部热红外图像如图5所示。
图5 热红外相机拍摄的奶牛身体图及蹄部图
有研究发现，相比于泌乳后期的奶牛，处于泌乳前期和中期的奶牛，其蹄部冠状动脉带温度相对较高，更接近于奶牛真实温度，因此在此阶段检测奶牛蹄部温度，可获得更加准确的温度测量结果[78]。不同个体的奶牛，体表温度往往具有差异性，考虑到这种个体差异性带来的不利影响，Alsaaod等[46]分别测量奶牛前后牛蹄冠状动脉带最高温度，通过对比奶牛前后牛蹄的温度差值，识别奶牛患病肢蹄，通过149头奶牛的样本数据测试分析，跛行识别敏感性为89.1%，特异性为66.6%。此外，提取奶牛肢蹄表面的次高温度识别奶牛患病肢蹄可获得与提取奶牛肢蹄表面的最高温度相近的识别效果[79]。综合考虑奶牛蹄部各区域温度，研究奶牛蹄部的温度分布，一些学者分别从奶牛蹄部拍摄角度[47]和蹄部区域划分[48]方面，通过高精度测量奶牛蹄部温度，识别奶牛患病肢蹄，取得了较好的识别效果。然而特定视角温度的采集，往往需要人工的协助，将相机放置在特定的角度，Lin等[49]尝试使用手持式红外温度计代替热红外相机，发现手持式红外温度计的温度提取精度较低，降低了奶牛患病肢蹄的识别效果。热红外相机不仅用于测量牛蹄表面温度，根据前后牛蹄的温度差异，识别奶牛患病肢蹄，还用于测量奶牛乳房温度，通过计算奶牛乳房温度与眼睛温度的差值，设置阈值，检测奶牛乳房炎[80]，为家畜健康检测与疾病诊断提供技术支持。
在养殖场中使用热红外相机，采集奶牛蹄部热红外图像数据，易受到奶牛活动量大小以及蹄部污染物的干扰，影响牛蹄表面温度测量的准确性，降低奶牛患病肢蹄的识别准确率。目前，基于热红外相机的奶牛跛行识别技术，多是直接测量奶牛蹄部表面温度，根据牛蹄表面温度特征识别奶牛跛行，缺乏多样化的奶牛跛行识别技术研究手段。因此，增加计算机视觉技术的应用[50]，可提取多个奶牛跛行特征类别，优化奶牛跛行识别效果，提高奶牛跛行识别的鲁棒性。
2 当前的主要挑战
在基于计算机视觉的奶牛跛行识别技术研究中，国内外研究学者在奶牛关键身体部位检测方法、奶牛跛行特征的选择以及奶牛跛行分类方法等方面进行了大量的研究工作，取得了较好的研究成果，但基于计算机视觉的奶牛跛行识别目前仍处于研究阶段，尚未能推广应用，主要原因是存在以下问题尚未完全解决：
1）奶牛关键身体部位检测方法难以准确检测奶牛身体的边界轮廓特征。在养殖场采集的奶牛行走视频数据，容易受到光照、阴影等复杂背景环境变化以及栏杆、建筑物遮挡的影响，降低了视频数据的质量，不利于奶牛关键身体部位的精确检测。此外，奶牛关键身体部位检测方法，尚不能清晰地从视频图像中检测出奶牛关键身体部位轮廓，在多尺度特征获取方面和奶牛身体边界轮廓获取方面仍需进一步深入研究。
2）缺乏稳定可靠的奶牛跛行特征。不同奶牛的跛行特征并不完全相同，不能用统一的标准去度量。首先，不同奶牛在个体大小和疼痛忍耐度等方面存在差异[81]，这些个体化的差异会影响奶牛的跛行行为；其次，奶牛所患不同种类的疾病也会影响奶牛的跛行行为，如表现出弓背特征的奶牛不一定是跛行，也可能是受腹痛的影响[82]，奶牛蹄部病变和腿部病变所表现出的跛行行为也具有差异性[4]；另外，不同的年龄、胎次以及修蹄时间，均会改变奶牛的步态[83]，这些步态上的改变属于正常变化，虽然与跛行无关，但仍然会对奶牛跛行识别产生干扰。因此，基于单一类别的跛行特征，可能不适用于所有的奶牛跛行识别。
3）奶牛早期跛行症状较轻，缺乏针对性的跛行识别方法。奶牛早期跛行通常仅具有轻微的步态异常[15]，现有的奶牛跛行识别技术，大多是根据人工可以观察到的跛行特征来识别奶牛跛行，而人工肉眼难以观察到奶牛步态的轻微异常，这使得仅具有轻微步态异常的奶牛早期跛行，识别准确率偏低。奶牛步态具有高维时空异构性和复杂性，从复杂多变的奶牛步态信息中，提取与跛行相关的特征较为困难。此外，奶牛步态运动过程较为复杂，步态运动规律尚不明晰，致使奶牛步态运动具有较强的耦合特性，降低了跛行特征的提取精度。
4）试验验证阶段，养殖场应用环境所遇到的问题影响奶牛跛行识别。光滑和潮湿的地板会影响奶牛正常行走，甚至造成奶牛行走时突然打滑与急停，上述现象会影响奶牛行走视频数据的有效获取，降低奶牛跛行识别准确率。另外，奶牛养殖场中的高温高湿现象以及有害气体滋生等环境问题，对相机和计算机的使用寿命损害较大[24]，致使计算机视觉设备无法在养殖场长期正常运行。
3 结论和展望
基于计算机视觉的奶牛跛行识别技术，可以通过无应激、无接触地采集奶牛行走视频数据，利用跛行特征提取和特征分类的方法识别奶牛跛行。随着人工智能技术的快速应用，能够进一步提高奶牛跛行识别效率和准确率，加快奶牛养殖管理向着信息化方向迈进的步伐。目前，欧美等发达国家在基于计算机视觉的奶牛跛行识别技术方面，进行了系统性与多层次的研究，并取得较好的研究进展。中国在该方面的研究尚处于起步阶段，研究基础较为薄弱。因此，结合中国国情及奶牛养殖场管理水平，在未来的奶牛跛行识别研究中，建议从以下几个方面重点突破：
1）标准化奶牛跛行识别数据采集流程，优化奶牛关键身体部位检测方法。高质量地采集奶牛跛行识别数据，对奶牛跛行识别技术研究十分重要。首先，应规范奶牛行走视频数据的获取流程，包括对光线等背景环境以及相机与奶牛之间的距离等条件做出一些限制，保证采集的奶牛行走视频数据的清晰可分辨；其次，应建立奶牛跛行识别数据共享机制，加强合作研究，提升奶牛行走视频数据的利用率，确保奶牛跛行识别技术研究具有较好的数据支撑；另外，在奶牛关键身体部位检测方面，应加强对图像处理方法和深度学习算法的深入研究，提高奶牛关键身体部位检测方法对图像中色彩和纹理等特征的利用，增强对多尺度特征和边界轮廓特征的提取，提升奶牛关键身体部位检测效果，为奶牛跛行识别提供技术支持。
2）深入研究奶牛跛行特征，提高奶牛早期跛行识别准确率。首先，奶牛行走过程具有高度时空异构性和复杂性，应深入分析奶牛运动信息，明晰奶牛运动规律，识别奶牛轻微运动，为奶牛早期跛行的准确识别提供理论基础；其次，应考虑奶牛年龄、胎次以及个体差异性等因素的影响，多方面获取奶牛跛行特征，通过特征解耦合以及多特征融合等方法，优化奶牛跛行特征的表征方式，提升奶牛跛行识别的鲁棒性和普适性；另外，应长期监测奶牛行走状态，结合历史数据动态更新奶牛跛行识别模型，提高奶牛早期跛行识别的准确率。
3）选择规模化标准化的奶牛养殖场，构建完善的奶牛跛行识别流程。养殖场的奶牛在行走过程中易出现拥挤现象，应标准化奶牛行走通道，控制奶牛行走间隔，保证奶牛跛行识别试验能够正常进行。当奶牛出现拥挤和打滑等突发情况时，奶牛跛行识别模型能够触发预警，并根据实际情况提供备选方案，提升奶牛跛行识别模型对奶牛行走状态的检测能力和识别效果。此外，还应合理规划计算机视觉设备的工作环境和工作空间，确保计算机视觉设备能够长期稳定工作。
综上所述，基于计算机视觉的奶牛跛行识别技术仍处于研究阶段，还有一些尚未完全解决的技术问题，包括奶牛个体差异性、跛行特征的优选以及早期跛行识别等，针对这些技术问题应展开系统性深入研究，进一步提高奶牛跛行识别的准确率，加快中国畜牧业的信息化发展进程。
[1] Bruijnis M R N, Meijboom F L B, Stassen E N. Longevity as an animal welfare issue applied to the case of foot disorders in dairy cattle[J]. Journal of Agricultural and Environmental Ethics, 2013, 26(1): 191-205.
[2] 王路军. 黑龙江省奶牛肢蹄病流行病学调查及诊断方法建立[D]. 哈尔滨：东北农业大学，2021.
Wang Lujun. Epidemiological Investigation and Establishment of Diagnosis Methods of Limb and Hoof Diseases of Dairy Cows in Heilongjiang Province[D]. Harbin: Northeast Agricultural University, 2021. (in Chinese with English abstract)
[3] Von Keyserlingk M A G, Rushen J, de Passillé A M, et al. Invited review: The welfare of dairy cattle—key concepts and the role of science[J]. Journal of Dairy Science, 2009, 92(9): 4101-4111.
[4] van Nuffel A, Zwertvaegher I, Pluym L, et al. Lameness detection in dairy cows: Part 1. How to distinguish between non-lame and lame cows based on differences in locomotion or behavior[J]. Animals, 2015, 5(3): 838-860.
[5] Silva S R, Araujo J P, Guedes C, et al. Precision technologies to address dairy cattle welfare: Focus on lameness, mastitis and body condition[J]. Animals, 2021, 11(8): 2253-2269.
[6] García-Muñoz A, Vidal G, Singh N, et al. Evaluation of two methodologies for lameness detection in dairy cows based on postural and gait abnormalities observed during milking and while restrained at headlock stanchions[J]. Preventive Veterinary Medicine, 2016, 128: 33-40.
[7] Chapinal N, von Keyserlingk M A G, Cerri R L A, et al. Herd-level reproductive performance and its relationship with lameness and leg injuries in freestall dairy herds in the northeastern United States[J]. Journal of Dairy Science, 2013, 96(11): 7066-7072.
[8] Griffiths B E, Dai White G, Oikonomou G. A cross-sectional study into the prevalence of dairy cattle lameness and associated herd-level risk factors in England and Wales[J]. Frontiers in Veterinary Science, 2018, 5: 65-72.
[9] Costa J H C, Burnett T A, von Keyserlingk M A G, et al. Prevalence of lameness and leg lesions of lactating dairy cows housed in southern Brazil: Effects of housing systems[J]. Journal of Dairy Science, 2018, 101(3): 2395-2405.
[10] Solano L, Barkema H W, Pajor E A, et al. Prevalence of lameness and associated risk factors in Canadian Holstein-Friesian cows housed in freestall barns[J]. Journal of Dairy Science, 2015, 98(10): 6978-6991.
[11] Chapinal N, Liang Y, Weary D M, et al. Risk factors for lameness and hock injuries in Holstein herds in China[J]. Journal of Dairy Science, 2014, 97(7): 4309-4316.
[12] Sjöström K, Fall N, Blanco-Penedo I, et al. Lameness prevalence and risk factors in organic dairy herds in four European countries[J]. Livestock Science, 2018, 208: 44-50.
[13] Grimm K, Haidn B, Erhard M, et al. New insights into the association between lameness, behavior, and performance in Simmental cows[J]. Journal of Dairy Science, 2019, 102(3): 2453-2468.
[14] Afonso J S, Bruce M, Keating P, et al. Profiling detection and classification of lameness methods in British dairy cattle research: A systematic review and meta-analysis[J]. Frontiers in Veterinary Science, 2020, 7: 542-562.
[15] Haladjian J, Hodaie Z, Nüske S, et al. Gait anomaly detection in dairy cattle[C]//Proceedings of the Fourth International Conference on Animal-Computer Interaction. 2017: 1-8.
[16] Charfeddine N, Pérez-Cabal M A. Effect of claw disorders on milk production, fertility, and longevity, and their economic impact in Spanish Holstein cows[J]. Journal of Dairy Science, 2017, 100(1): 653-665.
[17] Thomsen P T, Munksgaard L, Sørensen J T. Locomotion scores and lying behaviour are indicators of hoof lesions in dairy cows[J]. The Veterinary Journal, 2012, 193(3): 644-647.
[18] Sprecher D J, Hostetler D E, Kaneene J B. A lameness scoring system that uses posture and gait to predict dairy cattle reproductive performance[J]. Theriogenology, 1997, 47(6): 1179-1187.
[19] Taneja M, Byabazaire J, Jalodia N, et al. Machine learning based fog computing assisted data-driven approach for early lameness detection in dairy cattle[J]. Computers and Electronics in Agriculture, 2020, 171: 105286-105301.
[20] O'callaghan K A, Cripps P J, Downham D Y, et al. Subjective and objective assessment of pain and discomfort due to lameness in dairy cattle[J]. Animal Welfare, 2003, 12(4): 605-610.
[21] Schlageter-Tello A, Bokkers E A M, Koerkamp P W G G, et al. Relation between observed locomotion traits and locomotion score in dairy cows[J]. Journal of Dairy Science, 2015, 98(12): 8623-8633.
[22] Ghotoorlar S M, Ghamsari S M, Nowrouzian I, et al. Lameness scoring system for dairy cows using force plates and artificial intelligence[J]. Veterinary Record, 2012, 170(5): 126-126.
[23] Jarchi D, Kaler J, Sanei S. Lameness Detection in cows using hierarchical deep learning and synchrosqueezed wavelet transform[J]. IEEE Sensors Journal, 2021, 21(7): 9349-9358.
[24] 韩书庆，张晶，程国栋，等. 奶牛跛行自动识别技术研究现状与挑战[J]. 智慧农业，2020，2(3)：21-36.
Han Shuqing, Zhang Jing, Cheng Guodong, et al. Current state and challenges of automatic lameness detection in dairy cattle[J]. Smart Agriculture, 2020, 2(3): 21-36. (in Chinese with English abstract)
[25] Alsaaod M, Fadul M, Steiner A. Automatic lameness detection in cattle[J]. The Veterinary Journal, 2019, 246: 35-44.
[26] Flower F C, Weary D M. Effect of hoof pathologies on subjective assessments of dairy cow gait[J]. Journal of Dairy Science, 2006, 89(1): 139-146.
[27] Zillner J C, Tücking N, Plattes S, et al. Using walking speed for lameness detection in lactating dairy cows[J]. Livestock Science, 2018, 218: 119-123.
[28] Poursaberi A, Bahr C, Pluk A, et al. Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques[J]. Computers and Electronics in Agriculture, 2010, 74(1): 110-119.
[29] 康熙，张旭东，刘刚，等. 基于机器视觉的跛行奶牛牛蹄定位方法[J]. 农业机械学报，2019，50(S1)：276-282.
Kang Xi, Zhang Xudong, Liu Gang, et al. Hoof location method of lame dairy cows based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 276-282. (in Chinese with English abstract)
[30] 宋怀波，姜波，吴倩，等. 基于头颈部轮廓拟合直线斜率特征的奶牛跛行检测方法[J]. 农业工程学报，2018，34(15)：190-199.
Song Huaibo, Jiang Bo, Wu Qian, et al. Detection of dairy cow lameness based on fitting line slope feature of head and neck outline[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(15): 190-199. (in Chinese with English abstract)
[31] Wu D, Wu Q, Yin X, et al. Lameness detection of dairy cows based on the YOLOv3 deep learning algorithm and a relative step size characteristic vector[J]. Biosystems Engineering, 2020, 189: 150-163.
[32] Kang X, Li S, Li Q, et al. Dimension-reduced spatiotemporal network for lameness detection in dairy cows[J]. Computers and Electronics in Agriculture, 2022, 197: 106922-106932.
[33] Poursaberi A, Bahr C, Pluk A, et al. Online lameness detection in dairy cattle using Body Movement Pattern (BMP)[C]//In 2011 11th International Conference on Intelligent Systems Design and Applications. IEEE, 2011, 732-736.
[34] Jiang B, Song H, Wang H, et al. Dairy cow lameness detection using a back curvature feature[J]. Computers and Electronics in Agriculture, 2022, 194: 106729-106731.
[35] Zhao K, Bewley J M, He D, et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique[J]. Computers and Electronics in Agriculture, 2018, 148: 226-236.
[36] Kang X, Zhang X D, Liu G. Accurate detection of lameness in dairy cattle with computer vision: A new and individualized detection strategy based on the analysis of the supporting phase[J]. Journal of Dairy Science, 2020, 103(11): 10628-10638.
[37] 温长吉，张金凤，李卓识，等. 改进稀疏超完备词典方法识别奶牛跛足行为[J]. 农业工程学报，2018，34(18)：219-227.
Wen Changji, Zhang Jinfeng, Li Zhuoshi, et al. Behavior recognition of lameness in dairy cattle by improved sparse overcomplete dictionary method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 219-227. (in Chinese with English abstract)
[38] Jiang B, Song H, He D. Lameness detection of dairy cows based on a double normal background statistical model[J]. Computers and Electronics in Agriculture, 2019, 158: 140-149.
[39] Jiang B, Yin X, Song H. Single-stream long-term optical flow convolution network for action recognition of lameness dairy cow[J]. Computers and Electronics in Agriculture, 2020, 175: 105536-105543.
[40] Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattle[J]. Journal of Dairy Science, 2013, 96(1): 257-266.
[41] Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014, 100: 139-147.
[42] Hertem V T, Viazzi S, Steensels M, et al. Automatic lameness detection based on consecutive 3D-video recordings[J]. Biosystems Engineering, 2014, 119: 108-116.
[43] Hertem V T, Bahr C, Tello A S, et al. Lameness detection in dairy cattle: single predictor. multivariate analysis of image-based posture processing and behaviour and performance sensing[J]. Animal, 2016, 10(9): 1525-1532.
[44] Jabbar K A, Hansen M F, Smith M L, et al. Early and non-intrusive lameness detection in dairy cows using 3-dimensional video[J]. Biosystems Engineering, 2017, 153: 63-69.
[45] Alsaaod M, Büscher W. Detection of hoof lesions using digital infrared thermography in dairy cows[J]. Journal of Dairy Science, 2012, 95(2): 735-742.
[46] Alsaaod M, Syring C, Dietrich J, et al. A field trial of infrared thermography as a non-invasive diagnostic tool for early detection of digital dermatitis in dairy cows[J]. The Veterinary Journal, 2014, 199(2): 281-285.
[47] Rodríguez A R, Olivares F J, Descouvieres P T, et al. Thermographic assessment of hoof temperature in dairy cows with different mobility scores[J]. Livestock Science, 2016, 184: 92-96.
[48] Werema C W, Laven L, Mueller K, et al. Evaluating alternatives to locomotion scoring for lameness detection in pasture-based dairy cows in New Zealand: Infra-red thermography[J]. Animals, 2021, 11(12): 3473-3491.
[49] Lin Y C, Mullan S, Main D C J. Optimising lameness detection in dairy cattle by using handheld infrared thermometers[J]. Veterinary Medicine and Science, 2018, 4(3): 218-226.
[50] 康熙，李树东，张旭东，等. 基于热红外视频的奶牛跛行运动特征提取与检测[J]. 农业工程学报，2021，37(23)：169-178.
Kang Xi, Li Shudong, Zhang Xudong, et al. Features extraction and detection of cow lameness movement based on thermal infrared videos[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 169-178. (in Chinese with English abstract)
[51] Piette D, Norton T, Exadaktylos V, et al. Individualised automated lameness detection in dairy cows and the impact of historical window length on algorithm performance[J]. Animal, 2020, 14(2): 409-417.
[52] Flower F C, Sanderson D J, Weary D M. Hoof pathologies influence kinematic measures of dairy cow gait[J]. Journal of Dairy Science, 2005, 88(9): 3166-3173.
[53] Bahr C, Leroy T, Song X, et al. Automatic detection of lameness in dairy cattle–analyzing image parameters related to lameness[C]//Livestock Environment VIII, 31 August–4 September 2008, Iguassu Falls, Brazil. American Society of Agricultural and Biological Engineers, 2009: 137-143.
[54] Pluk A, Bahr C, Poursaberi A, et al. Automatic measurement of touch and release angles of the fetlock joint for lameness detection in dairy cattle using vision techniques[J]. Journal of Dairy Science, 2012, 95(4): 1738-1748.
[55] Song X, Leroy T, Vranken E, et al. Automatic detection of lameness in dairy cattle—Vision-based trackway analysis in cow's locomotion[J]. Computers and Electronics in Agriculture, 2008, 64(1): 39-44.
[56] Zhao K, He D. Target detection method for moving cows based on background subtraction[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(1): 42-49.
[57] Jiang B, Wu Q, Yin X, et al. FLYOLOv3 deep learning for key parts of dairy cow body detection[J]. Computers and Electronics in Agriculture, 2019, 166: 104982-104990.
[58] Noe S M, Zin T T, Tin P, et al. A deep learning-based solution to cattle region extraction for lameness detection[C]//The 4th Global Conference on Life Sciences and Technologies (LifeTech). IEEE, 2022: 572-573.
[59] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018.04.08) [2022.05.19]. https://doi.org/ 10.48550/arXiv.1804.02767.
[60] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[EB/OL]. (2020.04.23) [2022.05.19]. https://doi.org/10.48550/arXiv.2004.10934.
[61] Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 2778-2788.
[62] Tan M, Pang R, Le Q V. Efficientdet: Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 10781-10790.
[63] Arazo E, Aly R, McGuinness K. Segmentation enhanced lameness detection in dairy cows from RGB and depth video[EB/OL]. (2022.06.10) [2022.05.19], https://doi.org/ 10.48550/arXiv.2206.04449.
[64] Chen L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. (2017.12.05) [2022.05.19]. https://doi.org/10.48550/ arXiv.1706.05587.
[65] Ventura C, Bellver M, Girbau A, et al. Rvos: End-to-end recurrent network for video object segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5277-5286.
[66] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.
[67] 苏力德，张永，王健，等. 基于改进动态时间规整算法的奶牛步态分割方法[J]. 农业机械学报，2020，51(7)：52-59.
Su Lide, Zhang Yong, Wang Jian, et al. Segmentation methods of dairy cattle gait based on improved dynamic time warping algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 52-59. (in Chinese with English abstract)
[68] Flower F C, Weary D M. Gait assessment in dairy cattle[J]. Animal, 2009, 3(1): 87-95.
[69] Sharfuddin A A, Tihami M N, Islam M S. A deep recurrent neural network with bilstm model for sentiment classification[C]//In 2018 International Conference on Bangla Speech and Language Processing (ICBSLP). IEEE, 2018, 1-4.
[70] Schlageter-Tello A, Van Hertem T, Bokkers E A M, et al. Performance of human observers and an automatic 3-dimensional computer-vision-based locomotion scoring method to detect lameness and hoof lesions in dairy cows[J]. Journal of Dairy Science, 2018, 101(7): 6322-6335.
[71] Hertem V T, Tello A S, Viazzi S, et al. Implementation of an automatic 3D vision monitor for dairy cow locomotion in a commercial farm[J]. Biosystems Engineering, 2018, 173: 166-175.
[72] Gardenier J, Underwood J, Clark C. Object detection for cattle gait tracking[C]//In 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018: 2206-2213.
[73] Okura F, Ikuma S, Makihara Y, et al. RGB-D video-based individual identification of dairy cows using gait and texture analyses[J]. Computers and Electronics in Agriculture, 2019, 165: 104944-104953.
[74] Shigeta M, Ike R, Takemura H, et al. Automatic measurement and determination of body condition score of cows based on 3D images using CNN[J]. Journal of Robotics and Mechatronics, 2018, 30(2): 206-213.
[75] Hansen M F, Smith M L, Smith L N, et al. Automated monitoring of dairy cow body condition, mobility and weight using a single 3D video capture device[J]. Computers in Industry, 2018, 98: 14-22.
[76] 卢知非，刘浩宇，陈文亮，等. 红外人体测温精度补偿方法研究[J]. 红外技术，2021，43(9)：895-901.
Lu Zhifei, Liu Haoyu, Chen Wenliang, et al. Accuracy compensation method for infrared human body temperature measurement accuracy[J]. Infrared Technology, 2021, 43(9): 895-901. (in Chinese with English abstract)
[77] Bobić T, Mijić P, Gregić M, et al. Early detection of the hoof diseases in Holstein cows using thermovision camera[J]. Agriculturae Conspectus Scientificus, 2017, 82(2): 197-200.
[78] Nikkhah A, Plaizier J C, Einarson M S, et al. Infrared thermography and visual examination of hooves of dairy cows in two stages of lactation[J]. Journal of Dairy Science, 2005, 88(8): 2749-2753.
[79] Harris-Bridge G, Young L, Handel I, et al. The use of infrared thermography for detecting digital dermatitis in dairy cattle: What is the best measure of temperature and foot location to use?[J]. The Veterinary Journal, 2018, 237: 26-33.
[80] Zhang X, Kang X, Feng N, et al. Automatic recognition of dairy cow mastitis from thermal images by a deep learning detector[J]. Computers and Electronics in Agriculture, 2020, 178: 105754-105764.
[81] Boelling D, Pollott G E. Locomotion, lameness, hoof and leg traits in cattle I: Phenotypic influences and relationships[J]. Livestock Production Science, 1998, 54(3): 193-203.
[82] Thomsen P T. Rapid screening method for lameness in dairy cows[J]. Veterinary Record, 2009, 164(22): 689-690.
[83] van N A. Development of an Automated Detection System for Lameness in Cattle: The Gaitwise system[D]. Leuven: Katholic University of Leuven, 2014.
Research progress on lameness recognition technology in dairy cows using computer vision
Li Qian, Chu Mengyuan, Kang Xi, Liu Gang※
(1,,,100083,; 2,,,100083,)
Digitization has been one of the significant directions in the rural land governance reform in the future. However, it is still lacking in the logical concepts and framework for the digital governance of rural land. In this study, a three-dimensional system framework of “demand-baseline-function” was established using the perspective of the transaction cost. An emphasis was also put on the construction of the digital system for land acquisition and relocation. Firstly, the basic, core and conflict needs of the participants were clarified ranging from the government, land users, and the original land stakeholder. Secondly, the bottom line was defined as the legal, spatial, and regulatory governance. Thirdly, the digital system was classified to design various digital realities. The future functional modules were selected to entirely reduce the transaction costs, thereby integrating the multiple sharing systems for the overall operational efficiency. In addition, Zhejiang Province of China was selected as the experimental area for the system design. The reason was that Zhejiang Province has been the representative region in the digital reform of land governance in recent years. Nevertheless, there was a high transaction cost in the process of land acquisition and relocation. It is also a high demand to effectively build a digital system during this time. As such, the actual system was designed to combine with the improved the digital framework. The result showed that the “demand-baseline-function” framework effectively guided the development and design of the “intelligent land acquisition and demolition” digital system in the actual application situation. The transaction costs were also reduced to fill the logical blank for the previous system of land digital governance. The demand analysis demonstrated that the improved system provided the port to fully meet the basic and core needs of the government, land users, collectives, and farmers. The information asymmetry, discourse game, and conflict transmission effectively reduced the transaction cost of the game between the subjects. The bottom line was clarified for the implementation boundary of the law and space of the land requisition and relocation process. The whole supervision system of land requisition and relocation was constructed to stabilize the land requisition and relocation environment. The functional analysis revealed that the improved system coordinated the actual and upgrade function of the “intelligent land acquisition and demolition” digital system. The logical framework effectively reduced the negotiation and decision cost, while the implementation and supervision cost, as well as the management and sunk costs in the land acquisition and demolition. Therefore, the “demand baseline function” framework can provide a strong reference for the transaction cost in the digital reform of land governance. Anyway, the underlying construction logic of the framework can also be applicable to the other areas without the digital construction guidance, providing for the most general transaction cost in the rural land governance. In addition, the logical framework of the system can also provide a strong reference for the digital transformation of rural land governance in the future, in order to improve the digital level of land space and the modernization of governance capacity.
computer vision; image processing; deep learning; lameness recognition in dairy cows; visible light camera; depth camera; thermal infrared camera
10.11975/j.issn.1002-6819.2022.15.017
S-1; S818; S811.2
A
1002-6819(2022)-15-0159-11
李前，初梦苑，康熙，等. 基于计算机视觉的奶牛跛行识别技术研究进展[J]. 农业工程学报，2022，38(15)：159-169.doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org
Li Qian, Chu Mengyuan, Kang Xi, et al. Research progress on lameness recognition technology in dairy cows using computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 159-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org
2022-05-19
2022-07-31
国家重点研发计划项目（2021YFD1300502）
李前，博士生，主要研究方向为基于机器视觉的健康养殖应用。Email：lee55777@163.com
刘刚，博士，教授，博士生导师，主要研究方向为电子信息技术在农业中的应用。Email：pac@cau.edu.cn
