基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

宋怀波，吴頔华，阴旭强，姜 波，何东健

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

宋怀波，吴頔华，阴旭强，姜 波，何东健

（1. 西北农林科技大学 机械与电子工程学院，杨凌 712100；2. 农业农村部农业物联网重点实验室，杨凌 712100；3. 陕西省农业信息感知与智能服务重点实验室，杨凌 712100）

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法，提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取，然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测，再利用 Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流，最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性，利用不同环境下获取的105段共计25 200帧数据进行了测试，并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明，该研究算法的帧处理耗时在0.10～0.13 s之间，在试验视频上的平均运行时间为14.14 s。奶牛呼吸行为检测的准确率为83.33%～100%之间，平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60 s，较Horn-Schunck整体光流的呼吸行为检测方法快7.30 s，较基于花斑边界的Horn-Schunck光流法快9.16 s。呼吸行为检测的平均准确率分别高于3种方法1.91、2.36、1.26个百分点。研究结果表明，通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的，该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。

奶牛；算法；呼吸行为检测；Lucas-Kanade光流法；花斑边界

0 引 言

奶牛呼吸行为与其健康状态紧密相关，对奶牛呼吸行为进行自动监测有助于养殖人员对奶牛生理健康状态的评估，便于奶牛疾病的及时治疗[1-6]。奶牛呼吸行为的检测主要通过人工计数完成，人力和时间成本高，准确率低。奶牛呼吸行为的自动监测对大规模养殖场实现远程诊断、降低奶牛淘汰率以及精准养殖具有重要意义[7]。

呼吸行为监测研究可大致分为接触式和非接触式方法2种[8-9]。Choi等[10]利用一条围绕着人体胸部或者腹部的导线作为电感传感器，通过调频方式检测呼吸周期和频率，实现了人体呼吸频率的准确检测。Chakraborty等[11]提出了一种基于电容式压力传感器技术的人体呼吸频率检测方法，通过测量呼吸时电容式压力传感器气体压力的变化来计算呼吸频率。马俊领等[12]提出了一种基于PPG（photo plethysmo graphy）的呼吸频率测量方法，通过反射式光电检测法获取人体动脉PPG信号并解调出呼吸频率，检测结果与呼吸监护仪测量结果的相关系数为0.94。高小强等[13]提出了一种基于霍尔传感器微阵列的呼吸频率检测方法，通过霍尔传感器阵列对呼吸过程中永磁铁位置的检测判断呼气和吸气过程并计算呼吸频率，平均准确率高于95.00%。范霖等[14]提出了一种基于快速响应湿度传感器的呼吸频率检测方法，通过固定在鼻翼附近的湿度传感器检测鼻孔附近湿度的变化来计量呼吸频率，平均准确率为95.57%，但当空气湿度较大时检测灵敏度较低。上述方法利用高精度接触式传感器检测呼吸行为，但对于奶牛目标，接触式传感器会引起奶牛的应激行为，且易受奶牛刮蹭、水分渗入、天气变化等因素影响，造成元器件损坏，影响检测装置的使用寿命。视频分析技术成本低、响应速度快，同时可以避免因与奶牛直接接触所导致的应激问题，是奶牛呼吸行为监测的重要发展方向[15]。

针对呼吸行为的非接触式检测，Lee等[16]提出了一种利用多普勒微波雷达检测人体呼吸的方法。通过多普勒微波雷达的收发模块感受腹部起伏时接收信号的变化，利用Matlab对接收信号进行处理，实现了4种不同类型人体呼吸频率的检测。Benetazzo等[17]提出了一种基于深度图像的呼吸频率检测方法，利用Kinect深度相机获取胸部区域深度数据平均值作为呼吸信号，经傅里叶变换获得呼吸频率。纪滨等[18]通过机器视觉方法跟踪猪腹脊线的起伏来获取呼吸频率，呼吸识别精度高于85.00%。赵凯旋等[19]采用Horn-Schunck光流法计算奶牛腹部起伏光流速度方向的周期变化，据此获得奶牛的呼吸频率，呼吸频率检测准确率为95.68%。

上述方法中，微波雷达和深度相机在养殖场大面积布置成本较高且奶牛体型较大，腹脊线变化不明显；Horn-Schunck光流法可以较高精度检测出奶牛呼吸行为，但其属于稠密光流，检测速度和实时性欠佳。本研究拟提出一种基于Lucas-Kanade稀疏光流法的单目标奶牛呼吸行为检测方法，通过对奶牛呼吸视频帧图像进行处理，去除无关背景并提取出奶牛花斑边界，再计算帧图像中花斑边界的光流，统计帧图像花斑边界光流方向的变化规律，以期实现奶牛呼吸行为的准确、快速自动检测，为实现基于视频的单目标奶牛呼吸行为相关疾病尤其是热应激行为的自动监测和远程诊断提供参考。

1 材料与方法

1.1 奶牛呼吸视频的获取

试验视频于2018年9月至11月在陕西省杨凌科元克隆股份有限公司的奶牛养殖场采集，拍摄对象为侧卧泌乳中期的荷斯坦奶牛。在奶牛侧卧期间，将一台SONY HDR-CX290型摄像机用三脚架固定在距离奶牛垂直距离约3 m处，调整摄像机使得奶牛的身体躯干部分占屏幕的80%～90%。试验采集105段奶牛呼吸视频，共计25 200帧，每段视频时长为10 s，帧率为24 fps，视频信息如表1所示。

在目标选择上，105段试验视频分别采集于3组花斑数量不同（稀少、较少、较多）的奶牛，以确保算法对不同奶牛目标的适应性；在天气上，包含晴天无风、晴天微风、晴天大风、阴天无风、阴天微风、阴天大风等天气，以验证算法对环境的鲁棒性。由于奶牛体型较大，呼吸特征不明显，在呼吸行为检测时易受奶牛头部、腿部活动的影响，奶牛呼吸特征检测难度较大，且干扰因素较多（天气、风力、飞虫、飞鸟等），导致奶牛呼吸特征获取困难，且无关背景存在光照变化，进一步增加了奶牛呼吸行为检测的难度。

本试验视频处理平台为装有Windows 8.1专业版系统的台式电脑，配置有Intel E5-1620处理器，处理器主频为3.50 GHz，32 GB内存，算法开发平台为Matlab 2018b。

1.2 基于Lucas-Kanade稀疏光流的奶牛呼吸行为检测

1.2.1 总体技术路线

本研究中拟采用的技术路线如图1所示，首先将载入视频分解成视频序列帧并转换至HSV颜色空间，在HSV颜色空间中去除各帧图像无关背景，提取出奶牛目标并进行二值化处理，然后对提取出的奶牛目标进行边缘检测以获得奶牛花斑边界，将边缘检测结果作为掩模，在原始灰度图中提取出奶牛花斑边界灰度图，再通过Lucas-Kanade光流法求得每帧奶牛花斑边界灰度图的光流，计算每帧图像平均光流方向，根据平均光流方向变化规律统计获得奶牛的呼吸行为数据。

表1 奶牛呼吸视频信息统计

图1 奶牛呼吸行为检测技术路线图

1.2.2 基于HSV颜色空间的奶牛目标提取

为了避免背景光照变化对奶牛呼吸光流的影响，提高呼吸行为检测算法对环境的鲁棒性，本研究首先去除无关背景，提取奶牛目标。由于奶牛花斑颜色亮度较高，本研究选择在HSV颜色空间中的亮度通道完成奶牛目标提取与去除无关背景。HSV颜色空间是面向感知的视觉彩色模型，是RGB颜色空间在倒圆锥体中的表示方法，在计算机视觉中应用广泛。参数表示色度（hue），代表饱和度（saturation），代表亮度（value）。RGB颜色空间到HSV颜色空间的公式如式（1）～（3）所示。

式中、、分别表示图像中的红色分量、绿色分量和蓝色分量。

因相邻2帧图像的光流变化较小，若按照连续帧来计算奶牛呼吸时花斑边界的光流图，会影响算法的实时性。由于奶牛严重热应激时的呼吸频率上限与以2间隔帧选取视频帧的采样频率满足香农采样定理，因此可以用离散的2间隔帧表示原视频序列帧信息[20-21]。为了更好地获得奶牛呼吸时花斑边界光流图，本研究选取间隔为2帧的序列帧计算光流。选取第3组中视频99的序列帧图像去除无关背景并提取奶牛目标，部分结果如图2所示。

图2 奶牛目标提取结果

其中，图2a至2c分别为视频99的第3帧、第5帧和第7帧。首先，将按照2帧间隔读取的帧图像转换至HSV颜色空间得到图2d-2f，然后在HSV颜色空间中选取亮度通道，将分量二值化并扩展至正常灰度范围得到奶牛目标提取的掩模如图2g-2i所示。受到粪污等干扰的影响，在奶牛目标提取的掩模中花斑边界周围存在较多的细小噪声以及细小连通域，对目标提取掩模2g-2i利用3×3的高斯模板进行滤波去除细小噪声后，再用半径为5的‘disk’型结构元素进行形态学开运算去掉较小面积连通域，得到去噪后的目标提取掩模，如图2j-2l所示，利用去噪后的目标提取掩模在灰度图去除无关背景，提取出奶牛目标如图2m-2o所示。可以发现，该方法较好地实现了奶牛目标的提取。

1.2.3 奶牛花斑边界提取

为利用花斑边界光流方向变化较鲁棒地检测奶牛呼吸行为，首先需提取奶牛所有花斑边界，其边缘定位精度关系到呼吸行为的检测精度。因Canny算子所提取的图像边缘连接程度好且定位准确性高，因此选用Canny边缘检测算子检测花斑边界[22]。并以此作为花斑边界提取掩模，在帧图像灰度图中提取出奶牛的花斑边界如图3a-3c所示，结果表明该方法可以较完整提取出奶牛花斑边界，为利用花斑边界光流检测奠定了基础。

图3 奶牛花斑边界提取结果

1.2.4 基于Lucas-Kanade光流法检测奶牛呼吸行为

奶牛呼吸时其腹部花斑会随呼吸状态的改变而规律性变化，根据已获得的奶牛花斑边界灰度图，利用光流法建立奶牛呼吸时花斑边界运动的光流，通过计算平均光流方向，根据方向的变化规律检测奶牛的呼吸行为。Lucas-Kanade稀疏光流算法处理的像素点较少，耗时短[23]，该模型需满足3个假设条件：1）亮度恒定，即同一点随着时间的变化，其亮度不变。2）小运动，即随着时间的变化不会引起位置的剧烈变化。3）空间一致，即场景中邻近点投影到图像上相邻位置不变且邻近点速度一致[24-28]。由条件（1）可知

由条件（3）可知，像素点(,)与邻域内的像素点运动相同，为求解像素点(,)的光流信息，可在目标像素的邻域建立约束方程，联立并求解光流和，如式（7）所示。

利用式（7）获得的目标像素点的水平方向光流和垂直方向的光流。根据像素点(,)的2个方向光流计算出其光流方向，即目标像素点(,)的光流与水平方向的夹角，如式（8）所示。

为了通过视频序列帧的平均光流方向变化计算奶牛呼吸次数，利用式（9）计算出每一帧图像平均光流的方向`，`表示平均光流与水平方向的夹角，式中θ为第个像素邻域的光流方向。

呼吸行为计数方法如式（10），对比前后2帧图像平均光流方向的变化，若大于90°则认为前后2帧平均光流方向不同，即奶牛呼吸状态发生变化，呼吸次数加1；否则呼吸次数保持不变。在判断前后2帧图像平均光流方向的变化时，还可采用如下方法：根据奶牛呼吸时花斑边界沿直线运动的特点，通过计算前后2帧图像平均光流方向余弦值的乘积，根据乘积的正负判断2帧图像平均光流的方向变化是否大于90°，再根据公式（10）即可完成呼吸行为的计数。

利用上述思路实现光流检测的结果如图4所示。其中图4a-4c分别为第3组第99段视频第3帧、第5帧和第7帧花斑边界运动光流检测结果，均可得到较完整的花斑边界光流且光流方向清晰。可以看出，这3帧花斑边界平均光流方向为左-右-左的规律运动，对应奶牛呼吸状态的3次变换，其中第3帧、5帧是一次完整的呼吸，第7帧代表另一次呼吸时的吸气状态。若采用第2种方法来判断平均光流方向变化，第3组的第99段视频中奶牛花斑边界平均光流方向检测结果如图4d所示，显然，平均光流方向变化有清晰的波峰和谷底，呼吸状态变化清晰可分。可见，利用本方法进行奶牛呼吸行为检测具有较好效果。

2 评价指标

为了验证上述本文所研究的呼吸行为检测算法的快速性和准确性，本研究采用运行时间和准确率指标进行评价。

算法运行时间用来验证本研究算法快速性、实时性。分别在本研究中的呼吸行为检测算法起点和终点设置初始计时点1和终止计时点2，计时终止点和初始点的时间间隔即算法运行时间。

呼吸行为检测准确率用以验证本研究算法是否准确。通过人工计数获得各试验视频中奶牛实际呼吸次数1，采用本研究算法检测出的呼吸次数2，将2与1的比值定义为本研究算法检测的准确率，如式（11）所示。

3 试验结果与分析

利用本研究算法对侧卧休息、花斑数量和干扰因素不同的105段试验视频进行呼吸行为检测的结果如图5所示，其中图5a、5b、5c分别表示3组奶牛试验视频呼吸行为检测结果；图5d表示本研究算法在105段试验视频中完成呼吸行为检测的的运行时间。

结合图5和表1可知，105段视频中，62段晴天视频的呼吸行为检测平均准确率为98.31%，43段阴天视频的呼吸行为检测平均准确率为98.95%，表明本研究算法对天气的抗干扰性较好。由于试验奶牛处于非结构化环境中，所以必须考虑风力对试验结果的影响。由表1可知，在无风、微风、大风环境下拍摄的试验视频数目分别为41、34和30段，结合图5a-5c可知，3种环境下呼吸行为检测平均准确率分别为99.17%、98.45%和97.88%，表明本研究算法对风力变化具有较强的鲁棒性。在第1组的35段试验视频中18段视频的呼吸行为检测准确率达100%，另有16段视频准确率不低于95%，第1组试验视频的呼吸行为检测平均准确率为98.14%；第2组试验视频中有30段的呼吸行为检测准确率达100%，另有3段检测准确率不低于96%，平均准确率为99.31%；第3组的25段视频呼吸行为检测准确率达100%，另有7段视频的呼吸行为检测准确率不低于96%，第3组呼吸行为检测平均准确率为98.25%。结果表明，本算法对不同花斑数量的奶牛呼吸行为检测均具有较高的准确率。105段试验视频的呼吸行为检测平均准确率为98.58%，呼吸行为检测的平均准确率分别高于3种方法1.91、2.36、1.26个百分点。本研究算法的帧处理耗时在0.10～0.13 s之间，在试验视频上算法的最大运行时间为15.13 s，最小运行时间为12.55 s，平均运行时间为14.14 s。

图5 呼吸行为检测结果

4 与经典算法的对比分析

Lucas-Kanade稀疏光流算法与Horn-Schunck光流法是运动目标检测的经典光流方法，但后者属于稠密光流，主要是在灰度守恒和光流平滑的约束条件下，通过计算图像所有像素点的光流实现运动目标的检测[29-33]。为了验证本研究算法通过Lucas-Kanade稀疏光流算法检测并计算奶牛花斑边界平均光流方向来检测奶牛呼吸行为的有效性和快速性，本研究选择采用整体Lucas-Kanade光流法（方法1）、整体Horn-Schunck光流法（方法2）、基于花斑边界的Horn-Schunck光流法（方法3）与本研究算法进行对比验证。

应用上述4种方法进行奶牛呼吸行为检测的结果如图6所示。其中，图6a展示了4种方法针对奶牛呼吸行为检测的精度，其中整体指的是利用整幅帧图像；图6b展示了4种方法的运行时间。本研究对4种方法的呼吸行为检测的准确率、运行时间进行了分析，试验结果表明，方法1、方法2和方法3的平均准确率分别为96.67%，96.22%和97.32%；对于运行时间，在105段试验视频中，本研究算法在每段试验视频上的平均运行时间为14.14 s，方法1、方法2和方法3在每段试验视频上的平均运行时间分别为12.54、21.44和23.30 s。奶牛呼吸行为的准确检测是实现奶牛热应激及其他与呼吸相关疾病非接触式检测的关键。为了尽可能准确地检测奶牛呼吸行为，本文研究算法虽然比方法1的平均运行时间长1.60 s，但本文研究算法的检测精度明显高于方法1，检测精度提升的时间代价较小；方法1相比于方法3，检测精度低0.65个百分点，但方法3运行时间比方法1长10.76 s，时间代价大。结合表1和图6a可知，方法2和方法3在检测目标受到遮挡且遮挡物运动剧烈时，检测误差较大，且二者基于稠密光流，计算量较大、耗时较长，奶牛呼吸行为检测效果略差[34-35]。对比结果表明本研究算法更适合于奶牛呼吸行为的快速、准确检测。

近年来，中国音乐产业十分活跃，整体呈上升状态。不仅出现各类音乐活动类型，而且大量互联网产业也开始携手合作逐渐成为中国音乐产业的主角，如天天动听与虾米音乐组成阿里音乐、酷我和酷我音乐合并、网易云音乐与QQ音乐达成转授合作等。中国音乐产业迎来属于自己真正的春天。

a. 不同方法的检测准确率

a. Detection accuracy of different methods

b. 不同方法的运行时间

b. Runtime of different methods

注：方法1为整体Lucas-Kanade光流法；方法2为整体Horn-Schunck光流法；方法3为基于花斑边界的Horn-Schunck光流法。

Note: Method 1 is the overall Lucas-Kanade optical flow method; Method 2 is the overall Horn-Schunck optical flow method; Method 3 is the Horn-Schunck optical flow method based on speckle boundary.

图6 奶牛呼吸行为检测结果

Fig.6 Detection result of cow respiratory behavior

5 讨 论

由于奶牛养殖环境复杂多变，且作为一个生命体，奶牛多会产生翻身、尾巴剧烈摇摆、腿部运动等干扰因素，为了更加准确的验证本研究算法的鲁棒性，本研究对可影响奶牛呼吸行为准确检测的诸多因素进行了分析，以阐明本研究方法的有效性。

1）剧烈运动对呼吸行为检测结果的影响分析

图7a、7d是在存在剧烈运动干扰情况下未能准确检测出奶牛呼吸行为的示例，对应于第3组的视频82和视频83。图7a中成功检测出奶牛翻身和尾巴剧烈摇动前的16次呼吸以及翻身前身体开始前后移动时的3次呼吸，但未能检测出奶牛开始翻身且尾巴剧烈摇动时的5次呼吸，检测准确率仅为83.33%，图7d仅检测到25次呼吸，准确率为83.87%。

在视频82中，奶牛呼吸行为检测准确率偏低的主要原因是奶牛尾巴剧烈晃动遮挡奶牛花斑边界，导致花斑边界缺失，使得用来检测呼吸频率的花斑边界光流数量减少；且奶牛翻身时由于身体在花斑运动方向和垂直方向都存在剧烈的运动，花斑边界在翻身时会产生较强的干扰光流；此外，奶牛翻身时腿部活动剧烈且其颜色与花斑接近，容易被检测成为花斑边界，由此引入干扰光流，对原奶牛呼吸时花斑边界的光流产生较大干扰，造成呼吸行为检测准确率较大下降。

如图7a中，点后奶牛翻身的干扰光流较大，掩盖了花斑边界呼吸光流的变化，以致无法检测出呼吸次数，而点是奶牛翻身前身体缓慢活动产生的干扰光流，尚未完全掩盖花斑边界呼吸光流，仍可用于呼吸行为检测。图7b、7c分别表示视频82奶牛翻身时的帧图像和光流检测结果，图7b中的框中是剧烈摇动的尾巴。

与视频82不同的是，视频83的干扰主要分布在视频的开头和结尾（33帧前，96帧后），视频79准确率低的原因和视频82类似，主要是奶牛腿部剧烈运动、奶牛花斑边界受到尾巴遮挡，导致干扰光流增大，用于呼吸检测的有效光流减少，从而导致检测准确率较低。

在105个试验视频中，除第3组的视频82外，有81个视频存在运动干扰，呼吸行为检测的平均准确率为98.27%，高于视频82的83.33%，这是因为运动干扰并不剧烈、不是全局的，产生的干扰光流较小，并不影响利用花斑边界光流变化检测呼吸行为。

综上所述，即使在剧烈运动条件下，当奶牛腹部花斑区域干扰光流小于奶牛呼吸时花斑边界光流的情况下，最终检测准确率受到的影响较小，证明本研究算法具有较好的鲁棒性。

2）遮挡干扰对检测结果的影响

图8a是第1组中视频18在大面积遮挡情况下未能完全检测出奶牛呼吸行为的结果，图8a中成功检测奶牛呼吸次数21次，实际呼吸次数为22次。主要原因是奶牛头部遮住了腹部部分花斑，导致花斑边界减少，用于呼吸行为检测的有效边界光流随之减少；且该奶牛头部和颈部都存在花斑，奶牛头部有短暂较大幅度晃动，使得头部和颈部的花斑随之而动，产生干扰光流；此外，由于光照的原因，奶牛的耳标、奶牛的腿部均与花斑的颜色非常接近，在视频中被误检测为花斑边界，进一步增大了无关光流的干扰，对用来进行呼吸行为检测的花斑边界光流产生影响。如图8a中，在点奶牛头部出现短暂大幅晃动，干扰光流削弱了有效花斑边界光流的方向变化，以致无法检测呼吸次数。点之前奶牛头部只存在轻微晃动，呼吸次数均可成功检测。

图7 呼吸行为检测错误结果

在本研究的105个试验视频中，包含16个遮挡的视频，除第1组的视频17及18外，剩下的14段视频无论天气是晴或阴，风力是无风，微风或大风，均可完全正确检测出奶牛的呼吸次数。在14个试验视频中，虽然奶牛身体或花斑被部分遮挡，但仍有部分花斑未被遮挡，且奶牛无剧烈的运动，无其他较大的干扰光流，充分说明，无论奶牛是大面积或小面积遮挡，在部分花斑未被遮挡且干扰光流小于用于检测呼吸行为的花斑边界光流，本算法即可较准确地完成呼吸行为的检测。

图8 第1组18呼吸行为错误检测结果

3）奶牛花斑数量对检测结果的影响

本研究采用3组花斑数量不同（稀少、较少、较多）的奶牛的105个试验视频，每组的35个试验视频均包含晴天、阴天、无风、微风、大风等天气、风速。利用本研究算法，经过105个试验，得到3组奶牛呼吸行为检测的平均准确率为98.14%、99.31%、 98.25%，其方差为0.000 042。结果表明，奶牛花斑数量变化对呼吸行为检测准确率影响较小，根据图7a，结合表1分析可知，只要奶牛不出现剧烈的运动干扰，本算法均可以较高精度检测出奶牛呼吸行为。

6 结 论

为了实现奶牛呼吸行为的智能检测，本研究提出了一种基于Lucas-Kanade稀疏光流的单目标奶牛呼吸行为检测方法，主要结论如下：

1）该方法可以精确地检测出单目标奶牛的呼吸行为。同时该方法抗干扰性较好，在非剧烈扰动的情况下，轻微的运动或者花斑边界的非完全遮挡不会对最终的呼吸行为检测结果产生较大影响。表明将基于Lucas-Kanade光流法的奶牛花斑边界运动检测方法应用于奶牛呼吸行为检测是可行的。

2）该方法能准确、快速地检测出单目标奶牛呼吸行为。最高呼吸行为检测准确率为100.00%，最低呼吸行为检测准确率为83.33%，平均呼吸行为检测准确率为98.58%，算法的帧处理时间在0.10～0.13 s之间，平均运行时间为14.14 s。可为后续利用视频进行奶牛热应激自动监测及其他与呼吸行为相关疾病的远程诊断提供参考。

[1] 张慢，王湘阳, 易建明. 牛舍温热环境对奶牛生产和健康影响的研究进展[J]. 家畜生态学报，2018，39(2)：6－11. Zhang Man, Wang Xiangyang, Yi Jianming. Research progress of barn microclimate on dairy cow production and health[J]. Journal of Domestic Animal Ecology, 2018, 39(2): 6－11. (in Chinese with English abstract)

[2] Rensis F De, Garcia-Ispierto I, López-Gatius F. Seasonal heat stress: Clinical implications and hormone treatments for the fertility of dairy cows[J]. Theriogenology, 2015, 84(5): 659－666.

[3] Silanikove N. Effects of heat stress on the welfare of extensively managed domestic ruminants[J]. Livestock Production Science, 2000, 67(1/2): 1－18.

[4] 郑会超. 加减白虎汤散剂缓解奶牛热应激的效果及其机理研究[D]. 杭州：浙江大学，2013. Zheng Huichao. Effects of Modified Baihu-Decotion Powder on Alleviation of Heat Stress in Lactation Dairy Cows and Approaches to the Mechanism[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English abstract)

[5] 王广猛. 荷斯坦奶牛应激之心率变异性分析[D]. 南京：南京农业大学，2014. Wang Guangmeng. Changes in Heart Rate Variability of Dairy Cows under Different Stress Level[D]. Nanjing: Nanjing Agricultural University, 2014. (in Chinese with English abstract)

[6] Shwartz G, Rhoads M L, Vanbaale M J, et al. Effects of a supplemental yeast culture on heat-stressed lactating Holstein cows[J]. Journal of Dairy Science, 2009, 92(3): 935－942.

[7] 何东健，刘冬，赵凯旋. 精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报，2016，47(5)：231－244. He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231－244. (in Chinese with English abstract)

[8] 严旭，刘洪英，贾子如，等. 呼吸频率检测技术研究现状[J]. 北京生物医学工程，2017，36(5)：545－549. Yan Xu, Liu Hongying, Jia Ziru, et al. Advances in the detection of respiratory rate[J]. Beijing Biomedical Engineering, 2017, 36(5): 545－549. (in Chinese with English abstract)

[9] 陈永康，侯振杰，陈宸，等. 基于深度图像的非接触式呼吸检测算法研究[J]. 计算机测量与控制，2017，25(7)：213－217. Chen Yongkang, Hou Zhenjie, Chen Chen, et al. Research on a non-contact breathing detection algorithm based on depth[J]. Computer Measurement and Control, 2017, 25(7): 213－217. (in Chinese with English abstract)

[10] Choi J, Gutierrezosuna R. Estimating mental stress using a wearable cardio-respiratory sensor[J]. Sensors, 2010, 143(2): 150－154.

[11] Chakraborty D, Chattopadhyay M. A new scheme for determination of respiration rate in human being using MEMS based capacitive pressure sensor[J]. Next Generation Sensors and Systems, 2016: 143－160.

[12] 马俊领，王成，李章俊，等. 基于PPG的心率和呼吸频率的测量研究[J]. 光学技术，2011，37(3)：309－312. Ma Junling, Wang Cheng, Li Zhangjun, et al. Study of measuring heart rate and respiration rate based on PPG[J]. Optical Technique, 2011, 37(3): 309－312. (in Chinese with English abstract)

[13] 高小强，刘洪英，朱兰，等. 基于霍尔传感器微阵列的呼吸频率检测系统设计[J]. 传感器与微系统，2013，32(5)：121－123. Gao Xiaoqiang, Liu Hongying, Zhu Lan, et al. Design of respiratory frequency detecting system based on Hall sensor micro-array[J]. Transducer and Microsystem Technologies, 2013, 32(5): 121－123. (in Chinese with English abstract)

[14] 范霖，陈向东，李宁. 基于快速响应湿度传感器的无线呼吸检测系统[J]. 传感器与微系统，2015，34(3)：84－86. Fan Lin, Lu Xiangdong, Li Ning. Wireless respiration detection system based on fast response humidity sensor[J]. Transducer and Microsystem Technologies, 2015, 34(3): 84－86. (in Chinese with English abstract)

[15] 李栋. 中国奶牛养殖模式及其效率研究[D]. 北京：中国农业科学院，2013. Li Dong. Study on Efficiency and Model of Dairy Cattle Breeding[D]. Beijing: Chinese Academy of Agricultural Science, 2013. (in Chinese with English abstract)

[16] Lee Y S, Pathirana P N, Evans R J, et al. Noncontact detection and analysis of respiratory function using microwave doppler radar[J]. Journal of Sensors, 2015, 2015: 1－13.

[17] Benetazzo F, Freddi A, Monteriù A, et al. Respiratory rate detection algorithm based on RGB-D camera: Theoretical background and experimental results[J]. Healthcare Technology Letters, 2014, 1(3): 81－86.

[18] 纪滨，朱伟兴，刘波，等. 基于脊腹线波动的猪呼吸急促症状视频分析[J]. 农业工程学报，2011，27(1)：191－195. Ji Bin, Zhu Weixing, Liu Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 191－195. (in Chinese with English abstract)

[19] 赵凯旋，何东健，王恩泽. 基于视频分析的奶牛呼吸频率与异常检测[J]. 农业机械学报，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258－263. (in Chinese with English abstract)

[20] 胡寿松. 自动控制原理基础教程[M]. 第3版. 北京：科学出版社，2013：243－244.

[21] 于振东. 基于光流法的瞳孔中心跟踪算法[D]. 兰州：兰州大学，2017. Yu Zhendong. An Algorithm of Pupil Center Tracking based on Optical Flow[D]. Lanzhou: Lanzhou University, 2017. (in Chinese with English abstract)

[22] 赵慧，刘建华，梁俊杰. 5种常见边缘检测方法的比较分析[J]. 现代电子技术，2013，36(6)：89－92. Zhao Hui, Liu Jianhua, Liang Junjie. Comparative analysis of five common edge detection methods[J]. Modern Electronics Technique, 2013, 36(6): 89－92. (in Chinese with English abstract)

[23] 荆滢，齐乃新，杨小冈，等. 基于LK和FAST的时间序列图像快速配准算法[J]. 红外与激光工程，2018，47(11)：470－478. Jing Ying, Qi Naixin, Yang Xiaogang, et al. Fast registration algorithm of image sequence by time based on LK and FAST[J]. Infrared and Laser Eengineering, 2018, 47(11): 470－478. (in Chinese with English abstract)

[24] Lee I B, Choi B H, Park K S. Robust measurement of ocular torsion using iterative Lucas-Kanade[J]. Computer Methods and Programs in Biomedicine, 2007, 85(3): 238－246.

[25] 张艳艳，娄莉，梁硕. 基于改进光流算法的运动目标检测技术研究[J]. 智能计算机与应用，2018，8(1)：55－58. Zhang Yanyan, Lou Li, Liang Shuo. Research on moving object detection technology based on improved optical flow algorithm[J]. Intelligent Computer and Applications, 2018, 8(1): 55－58. (in Chinese with English abstract)

[26] 姜丹. 基于视频监控的目标检测与跟踪算法研究[D]. 西安：西安理工大学，2018. Jiang Dan. Research on Target Detection and Tracking Algorithm based on Video Surveillance[D]. Xi'an: Xi'an University of Technology, 2018. (in Chinese with English abstract)

[27] 鲁春，杨会成，杨文斌，等. 结合光流法与最近邻算法的运动目标检测[J]. 四川理工学院学报：自然科学版，2017，30(5)：63－68. Lu Chun, Yang Huicheng, Yang Wenbin, et al. Moving object detection method combined optical flow and K-Nearest Neighbor algorithm[J]. Journal of Sichuan University of Science & Engineering: Natural Science Edition, 2017, 30(5): 63－68. (in Chinese with English abstract)

[28] Kweon I S, Ahn B, Han Y. Real-time facial landmarks tracking using active shape model and LK optical flow[C]// International Conference on Ubiquitous Robots and Ambient Intelligence, IEEE, 2012: 541－543.

[29] 管飞，王荣. 基于Horn-Schunck光流法的运动目标检测的研究[J]. 仪表技术，2015(2)：43－45. Guan Fei, Wang Rong. Research on moving object detection based on Horn-Schunck optical flow algorithm[J]. Instrument Technology, 2015(2): 43－45. (in Chinese with English abstract)

[30] Gong X, Stephan B. Horn-Schunck optical flow applied to deformation measurement of a birdlike airfoil[J]. Chinese Journal of Aeronautics, 2015, 28(5): 1305－1315.

[31] Tarnec L L, Destrempes F, Cloutier G, et al. A proof of convergence of the Horn-Schunck optical flow algorithm in arbitrary dimension[J]. SIAM Journal on Imaging Sciences, 2014, 7(1): 277－293.

[32] Andrés B, Joachim W, Christoph S. Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods[J]. International Journal of Computer Vision, 2005, 61(3): 211－231.

[33] Kesrarat D, Patanavijit V. Bidirectional symmetry and median filter with dynamic smoothness weight on Horn-Schunck optical flow algorithm[C]// International Symposium on Intelligent Signal Processing and Communications Systems. IEEE, 2013: 708－713.

[34] 姜波，解仑，刘欣，等. 光流模值估计的微表情捕捉[J]. 浙江大学学报：工学版，2017，51(3)：577－583. Jiang Bo, Xie Lun, Liu Xin, et al. Micro-expression spotting using optical flow magnitude estimation[J]. Journal of Zhejiang University: Engineering Science, 2017, 51(3): 577－583. (in Chinese with English abstract)

[35] Peng Y, Chen Z, Wu Q, et al. Traffic flow detection and statistics via improved optical flow and connected region analysis[J]. Signal Image and Video Processing, 2018, 12(1): 99－105.

中国农业工程学会高级会员：宋怀波(E041201025S)

Respiratory behavior detection of cow based on Lucas-Kanade sparse optical flow algorithm

Song Huaibo, Wu Dihua, Yin Xuqiang, Jiang Bo, He Dongjian

(1.,,712100,; 2.,,712100,; 3.,,712100,)

Intelligent detection of respiratory behavior of dairy cows was of great significance for automatic diagnosis of diseases and promotion of precise breeding of dairy cows. Based on the characteristics of repeated abdominal movements when the dairy cows breathe and Lucas-Kanade sparse optical flow algorithm, a non-contact detection method for respiratory behavior of single-target dairy cow in unstructured aquaculture environment was proposed. First, test videos were decomposed into sequence frames and video sequence frames were converted from RGB color space to HSV color space. Thein the HSV color space represented the luminance component. The brightness of the boundary of cow's speckle varied greatly and was easy to detect. In this study, thecomponent was extracted from HSV color space and extended to the normal gray scale. The mask extracted by the target cow was obtained by the Otsu algorithm binarization processing. According to the characteristics of the noise, a disk type structural element with a radius of 5 pixels was selected and the small noise and the connected area caused by feces around the dairy cow’s speckle in the mask were removed by opening operation. After denoising, the mask for target extraction was used to remove the irrelevant background, and then Canny edge detection operator was used to extract the target cow. Target dairy cows were detected by edge detection to get the mask of the speckle boundary. The gray image of the cow's speckle boundary was extracted from the gray image of the frame image using the mask. Then the fine noise was removed by Gaussian filtering and the merging flow direction of the cow's speckle boundary was calculated and extracted by using Lucas-Kanade sparse optical flow algorithm model. Finally, the detection of cow's respiratory behavior was obtained according to the variation rule of the average direction of the speckle edge measurement and the mathematical model of the respiratory behavior test proposed in this study. In order to verify the effectiveness of the proposed algorithm, a total of 25 200 frames of 105 experimental videos captured in different environments and interference factors were tested, and compared with sparse Lucas-Kanade optical flow method based on full video frame, Horn-Schunck optical flow method based on full video frame and speckle boundary optical flow method. The algorithm was evaluated by algorithm running timeand respiratory behavior detection accuracy. The experimental results showed that the frame image processing time of this algorithm was between 0.10 and 0.13 seconds, the maximum running time of the algorithm was 15.13 s and the minimum running time was 12.55 s and the average running time of this algorithm on 105 test videos was 14.14 seconds. The detection accuracy of respiratory behavior of dairy cows ranged from 83.33% to 100%, with an average accuracy of 98.58%. The average running time of this algorithm was 1.60 seconds slower than detecting the entire frame image with the Lucas-Kanade optical flow method, 7.30 seconds faster than detecting the optical flow of entire frame image by using the Horn-Schunck optical flow method and 9.16 seconds faster than detecting the optical flow of cow speckle borders by Horn-Schunck optical flow method. The average accuracy of respiratory behavior detection was 1.91, 2.36 and 1.26 percent point, respectively. The results showed that the Lucas-Kanade optical flow method was feasible to detect the changes of the border photorheology of dairy cow speckle for detecting the respiratory behavior of dairy cows. This study could provide reference for automatic monitoring of thermal stress behavior of dairy cows based on video surveillance and remote diagnosis of other diseases related to respiratory behavior.

cow; algorithms; respiratory behavior detection; Lucas-Kanade optical flow algorithm; speckle boundary

10.11975/j.issn.1002-6819.2019.17.026

TP391.4

A

1002-6819(2019)-17-0215-10

2019-02-25

2019-08-28

国家重点研发计划资助项目(2017YFD0701603)；陕西省重点产业链(群)-农业领域项目资助(No.2019ZDLNY02-05)；中央高校基本科研业务费专项资金资助（No.2452019027）

宋怀波，博士，副教授，研究方向为数字图像处理。Email：songyangfeifei@163.com。

宋怀波，吴頔华，阴旭强，姜 波，何东健. 基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测[J]. 农业工程学报，2019，35(17)：215－224. doi：10.11975/j.issn.1002-6819.2019.17.026 http://www.tcsae.org

Song Huaibo, Wu Dihua, Yin Xuqiang, Jiang Bo, He Dongjian. Respiratory behavior detection of cow based on Lucas-Kanade sparse optical flow algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 215－224. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.17.026 http://www.tcsae.org