机器视觉技术在畜牧业中的应用

秦 箐，刘志红，3，赵 存，张崇妍，代东亮，孙炯清，王志新，李金泉，3

(1.内蒙古自治区动物遗传育种与繁殖重点实验室，内蒙古 呼和浩特 010018；2.内蒙古农业大学动物科学学院，农业农村部肉羊遗传育种重点实验室，内蒙古 呼和浩特 010018；3.内蒙古自治区山羊遗传育种工程中心，内蒙古 呼和浩特 010018； 4.内蒙古自然博物馆，内蒙古 呼和浩特 010020)

0 引言

2001—2019年，我国家畜肉类产量持续增长，2019年受非洲猪瘟的影响，猪肉产量有大幅度回落，但是总体家畜产肉量仍呈现递增趋势。在肉类上，1990年至今，我国人均牛肉、羊肉、猪肉和禽肉消费量分别上涨了4.93、2.97、0.95和3.17倍，这主要是因为我国正处于食物结构转型期，致使肉蛋奶等动物产品的生产和消费快速上升[1]。与发达国家相比，我国猪肉消费在肉类消费中仍占主导地位。食草型畜产品消费比例虽然偏低，但整体呈上升趋势，且未来消费需求将持续上涨。

目前，我国养殖业呈现的是规模化养殖、合作社养殖和散养模式共存的局面，并逐步向规模化的方向发展[2]。规模化、集约化养殖方式已经成为行业发展的一大趋势，大量规模化、集约化的养殖企业应运而生，取代了原有的传统散养和圈养方式，并成为新时代养殖业的重要组成部分[3]。但畜禽养殖整体存在生产成本高、人力需求高、科技水平低等问题，这些问题是困扰我国畜牧业发展的头等难题。随着世界范围内养殖产量的快速增长，对家畜的生产成本控制问题变得越来越重要[4]。随着精准畜牧(Precision Livestock Farming，PLF)的快速发展，传统养殖业的养殖模式也随之发生了质的转变，传感器、相机、机器学习和图像处理技术的使用已经进入农业科学领域。伴随牧群规模的不断扩大，牧民可以利用这些技术来监测其家畜的健康状况和福利状况，以提升养殖效益[5]。而实现精准畜牧的其中一个主要方法就是利用机器视觉技术。机器视觉是一种非接触的测量方式，它可以有效避免应激带给牲畜的影响，这种检测方法可以大大提高生产效率和自动化程度，为畜牧业的现代化发展提供了新的解决思路。随着应用算法的日益成熟，机器视觉技术逐渐完善且应用范围也在逐年递增。近年来，它的研究与应用已扩展到了工业、农业、医学等诸多领域，并取得了一定成果[6-8]。本文将从畜牧学角度出发，梳理了机器视觉在家畜的个体跟踪、性能测定和行为判定3个方面的应用，希望可以为广大的科研工作者提供研究思路，也为改变我国畜禽养殖“大而不强，多而不优”的现状提供新的解决思路。

1 机器视觉概述及工作流程

1.1 机器视觉概述

在20世纪70年代末，作为人工智能主要分支之一的机器视觉技术，由于受到计算机软硬件、图像获取装置中的软硬件技术、图像处理技术及人类视觉相关技术的限制，导致机器视觉技术发展非常缓慢[9]。随着大规模、高质量、可公开获得标记数据集及并行GPU计算的增强，机器视觉技术的发展大大加快[10]。2008—2017年我国机器视觉的市场规模逐年递增，尤其是近些年来呈现翻倍式的增长，如图1所示[11]。

图1 中国机器视觉市场规模Fig.1 China′s machine vision market size

机器视觉主要包括3大系统，即图像采集系统、图像分析系统和图像反馈系统。图像采集系统相当于机器视觉的“眼睛”，负责采集环境中的图片和视频信息。图像分析系统相当于机器视觉的“大脑”部分，对相机采集的图像进行处理分析，实现对特定目标的检测、分析与识别，并做出相应决策，同时也是机器视觉系统的“感觉”部分，对摄像机拍摄的数字图像采取滤波平滑、图像增强、目标分割和特征提取等方法来实现目标检测的技术[3]。图像反馈系统相当于机器视觉的“神经”，把分析系统处理的信息进行传递和反馈。总而言之，机器视觉系统就是对图片信号执行各种操作以提取目标的特征，然后根据相应的图片结果进行反馈[12]。

1.2 工作流程

机器视觉的主要技术流程包括数据采集、数据预处理、目标分割、识别特征点和分析反馈，如图2所示[13]。

图2 机器视觉工作流程Fig.2 Machine vision workflow

(1)数据采集。常用的视频数据获取设备包括彩色图像摄像机(RGB)、红外图像摄像机(IR)、深度图像摄像机(3D)和热成像设备(IRT)。

(2)数据预处理。使用图像处理方法对原始图像/视频进行预处理，如针对系统固有噪声，常用的方法有滤波、灰度变换、二值化、图像复原、图像增强和形态学处理等[14]。

(3)目标提取。群养环境下获取个体动物信息，首先要从原始视频中找出目标位置。根据目的不同，可分为目标检测、语义分割和实例分割。目标检测包含2个问题：一是判断属于某个特定类的物体是否出现在图中；二是定位该目标出现的位置，通常用物体的边界框来表示目标检测结果。语义分割需要将原始图像中每一个像素判断为某类物品类别。同一物体的不同实例不需要单独分割出来。实例分割是目标检测和语义分割的综合。相对于语义分割，实例分割需要分割出同一类物体的不同实例。在获取到动物个体位置信息的基础上还可以进一步细分不同的身体部分，如头部、身体和四肢等感兴趣区域[15]。

(4)识别特征点。利用图片中的颜色特征、纹理特征、形状特征及空间关系特征来识别特征部位并做出标注。根据图形图像技术的这种特点，家畜体尺测量、物种鉴别，甚至是家畜的面部识别技术都有了相对性的发展和应用。

(5)分析反馈。通过数学及统计学构建的模型方法对图形特征的自动处理和判断，并通过可视化界面和用户进行交互体验。

2 具体应用

人类社会先后经历了农业革命和工业革命，现如今正在步入智能革命[16]。近些年来，大众对养殖业的观念不仅仅停留在传统的生产畜产品，动物福利、人畜共患病等字眼频频登上新闻热搜。随着工业4.0的逐步完善及机器视觉技术的渐渐趋向成熟，利用先进的工业技术改变养殖业的现状成为了行业内新的发展方向。目前，机器视觉在畜牧业上的应用主要包括个体跟踪、性能测定和行为判定3个方面。

2.1 个体跟踪

在大型畜牧场中，人们想对动物个体进行全程监测几乎是不可能的。随着机器视觉技术的成熟及精准畜牧业理念的发展，人们发现利用数字图像识别工具可以有效地帮助人们完成监测家畜生活生长状态的工作，并帮助完善动物产品的福利标准，如家畜脸部和姿态的识别及计算机对人和动物的分类等。机器视觉技术在家畜的个体识别方面也经历了由传统的人工标记颜色识别到家畜脸部智慧识别的转变。

2.1.1 面部识别

随着人脸识别技术的发展壮大，不少科研工作者也将这项技术应用到家畜的面部识别中。WADA N等[17]提出利用特征空间法来识别猪脸，并通过手动分割家畜的眼睛周围及鼻子周围的图像来实现对个体猪的识别。通过对16个样本进行测量，取得了高达97.9%的识别率。HANSEN M F等[18]运用Fisherfaces、VGG-Face预先训练的面部卷积神经网络(CNN)模型及使用人工增强数据集训练的CNN模型来提取猪的脸部图像特征，对10只猪进行面部识别，准确率高达96.7%。NOOR A等[19]提出了一个识别羊脸的数据集和框架，使用CNN架构用于训练数据集，可以识别出有疼痛和无疼痛的羊并进行分类。

2.1.2 个体计数

HUANG W等[20]在猪舍的上方安装摄像头，并基于Gabor和LBP的舍饲猪识别方法分割猪背毛的纹理来识别模型中未标记的猪，平均识别率可达到91.86%。尚绛岚[21]通过检测跟踪算法建立羊头目标跟踪模型，采用双线计数法选择跟踪效果较好的区域。对进入计数区域的绵羊进行计数，离开指定区域即结束计数。目前，个体计数大多在规模化养殖场内的应用较多，放牧条件下应用相对较少。王念富[22]基于改进的分水岭算法对草原放牧的粘连羊进行图像分割，优化了羊只计数算法参数，羊只计数准确率达96.45%

2.1.3 轨迹追踪

KASHIHA M等[23]记录了一个拥有40只仔猪的视频。首先在每一只猪的背上都以独特的方式喷涂了蓝色油漆，且在每只猪的脖子上都喷有一个三角形。然后进行视觉分段，在每只猪的轮廓中再配上一个椭圆形标记。通过对油漆标记的位置和形状进行二值化和提取，采用椭圆拟合算法对猪进行定位追踪。该系统能够以88%的准确率识别到个体猪。而AHRENDT P等[24]提出了一种实时计算机视觉系统，它可以在固定时间内跟踪到至少3头猪的踪迹和身份，并将踪迹位置用5个通道(RGB颜色、x、y坐标)逐帧更新，以便识别出每只猪背上的每一个相似像素点。验证得出，该系统可以在一个较长的时间跨度(超过8 min)内，至少跟踪3头猪的运动轨迹。借助连续更新的颜色模型，可以减少摄像机环境问题带来的识别误差。

2.1.4 产羔方面

产羔数是评判家畜的一项重要的生产指标，曾晓嘉[25]改进了Faster R-CNN目标检测算法，提出了仔猪出生区域划分算法，可以根据母猪的位置准确地描绘出仔猪出生区域。然后提出了当前的仔猪数量确定算法和目标帧匹配算法，可以计算并跟踪出仔猪的数量。

2.1.5 毛色方面

KIM H T等[26-27]设计并验证了一个计算机视觉系统并开发了一套奶牛识别系统，在自然光照的条件下，可以分辨出黑-白花纹的荷斯坦奶牛和日本和牛。

2.2 性能测定

在传统的称量系统中，必须人工引导动物在称量平台上或通过称量通道，这导致个体的日常称量在大规模繁殖过程中为一项极为艰巨的任务。而畜禽的体尺测量是评估个体生长发育、生产性能和遗传特征的重要指标，需要特殊的测量仪器且在测量过程中存在大量的人为误差。而依靠机器视觉的体尺测量系统可以很好地规避这个问题。限制性空间的体尺测量及相对开放式空间的体尺测量是计算机视觉技术作为体尺测量的两大主要研究方向[28]。例如，羊只体尺体重测量装置如图3所示。

1.顶部体尺测量相机 2.右侧体尺测量相机 3.体重显示器 4.RIFD耳标读取器 5.左侧体尺测量相机 6.体位限定装置 7.自动分栏设备图3 羊只体尺体重测量装置Fig.3 Sheep body size and weight measuring device

当前，主要有两种方法可测量牲畜体重，一种是使用体重秤的直接方法，另一种是基于身体部位测量值与体重之间关系的间接方法[29]。间接测量法是运用动物的胸围、体高、臀宽和体长等体型参数建立回归模型估算其质量，从而大大减少家畜的应激反应及大量的人工成本。

2.2.1 体况评定

DOESCHL-WILSON A B等[30]基于机器视觉，测量了猪的平面面积和不同身体部位的长度。武尧[31]利用机器视觉技术、图像采集技术和图像分析技术方法，实现了母猪体长、体宽和肌腱周长等7种体型数据的非接触式采集，并建立了估算模型。KHOJASTEHKEY M等[32]基于图像处理技术来评估新生羔羊的体型，并估计体型对群体遗传表现的影响。

牛金玉[33]在此基础上，提出了基于牛体几何特征的个体大小自动测量方法。它可以自动测量身高、身长、斜身长、腹宽和肩宽等6个体型参数。江杰等[34]引入机器视觉相关原理总结出一套测量羊只体尺的方法，其可以有效地从复杂环境中提取出羊的体高。曾德斌等[28]提出一种基于机器视觉的无应激反应羊只体尺测量的方法，首先将被测羊只放置于体位限制装置中(相对开放的空间中)，利用装置中预先安装的相机获取羊只图像，图像经过预处理、分割、体测点提取、体尺计算和体高计算，利用体尺数据对羊只的体重进行估测。

2.2.2 体重预测

KASHIHA M等[35]基于椭圆拟合算法，全自动估计生猪质量，对平均质量从(23±4.4)kg到(45±6.5)kg变化的生猪进行连续跟踪测量，试验结果与人工称量结果对比表明，正确率达到97.5%(误差0.82 kg)。MENESATTI P等[36]对27只绵羊进行体尺评估。利用对数转换生物计量学的PLS模型构建了一个双目立体视觉系统来评估活体羊的质量。

2.3 行为判定

随着畜禽产品销量的逐年递增，集约化养殖也成为了畜牧业发展的趋势。早在1990年，科研工作者们就有了通过计算机算法智慧识别猪的想法[37]。然而由于猪场环境问题，无法实现应用。随着集约化畜牧场的普及和技术的突破，曾经的难题也迎刃而解，通过对家畜行为的分类，以便尽早发现家畜的健康和福利问题，及时干预、减轻损失并提高畜禽福祉[38]。

2.3.1 采食行为

CANGAR O等[39]为了实现奶牛的产前监测，分析了8头奶牛在分娩前的姿势和位置变化的视频监控图像，并在顶视图中提取了奶牛的轮廓，然后设计一种分类算法，以识别和分类奶牛的行为(如站立、躺卧、饮水、饮食和行为是否正常)，平均识别率为85%。NAKARMI D A等[40]开发了基于3D图像的系统，以识别和跟踪试验环境中成群居住的母鸡，目的是监视动物行为，如移动、栖息、觅食及建筑活动(如筑巢和喝水)。KASHIHA M等[41]借助电荷耦合器件(CCD)相机，使用图像处理算法，可以自动监控猪喝水的次数，借助猪水龙头的动态访问模型，可以估算出0.5 h内的耗水量，准确度为92%。

2.3.2 攻击行为

KIM J 等[42]、LEE J等[43]分别使用Kinect传感器和3D摄像机，对站立猪进行检测，然后采用背景减法对站立猪进行分割，并将此指标验证为咬尾行为的潜在预警征兆，将具有攻击性活动的猪分类到特定类型中。

2.3.3 繁殖行为

在育种管理中，牛发情检测是非常重要的，有助于确定人工授精的最佳时间、提高种群受孕率和产奶量。TSAI D M等[44]开发了一种利用图像分析进行发情检测的系统，可以自动处理视频中的跟随行为和交配行为。庄晏榕等[45]在公猪试情时首先采集发情大白母猪与未发情大白母猪的耳部图像用于训练卷积神经网络模型。通过识别母猪双耳竖立时间，如果超过76 s时，则可判定其为发情。

2.3.4 个体行为

NASIRAHMADI A等[46]开发了一种机器视觉方法来记录猪的躺卧行为。利用Delaunay三角剖分算法和图像处理算法，能够以高准确率自动找到分组猪的卧姿行为和猪之间距离的变化。然后根据猪的距离大小，将躺卧猪定义为近聚、正常聚类或远聚类。ZHENG C等[47]在深度学习框架上引入了Faster R-CNN算法，可以识别站立、坐姿、胸骨卧位、腹侧卧位和侧卧位5种行为，得出母猪的躺卧时间比站立和坐着花费的时间更长。LEROY T等[48-49]开发了一种全自动的在线图像处理技术，可以识别站立、坐着、梳毛、抓挠和啄食5种行为的表型，并能以96%和90%的准确率识别出睡眠和站立两种表型。D′EATH R B等[50]使用机器视觉系统对猪尾巴姿态进行检测，识别准确率为73.9。肖德琴等[51]提出了一种基于支持向量机的方法，能够以80.1%的准确率对走、睡、静3种行为进行分类，通过对1 075 h视频分析得出，猪在雨天和阴天运动量较少，且猪的活跃度对饲养密度敏感。

2.3.5 步态检测

跛行是影响个体正常行为的一种常见疾病。我国养殖场对坡行的早期发现诊断还不够及时，往往是等到个体坡行十分严重时才定义为坡行，由于缺乏及时的治疗，跛行通常对个体的育种价值、生长发育和动物福利有负面影响[52]。

FLOWER F C等[53]首次使用计算机视觉技术来测量奶牛行走的时空步态特征，证明了计算机视觉在步态检测中的可行性。ZHU W等[54]利用视频分析猪的前肢关节角度和身体点进行建模，并对家畜步伐进行分析和特征提取，用于对异常步态进行分类，识别正确率在90%左右。AYDIN A等[55]使用3D视觉相机和能够测量深度的传感器记录了肉鸡的图像，目的是调查在实验室条件下肉鸡的活动水平与其步态评分的关系，步态按0～5评分，0表示没有跛行迹象，5表示最严重跛行。结果发现，步态分数为3的肉鸡比其他步态分数的鸡类表现出明显更多的活动，可能是因为它们需要更多的饲料。POURSABERI A等[56]采用分层的背景/前景夸张法分割每一帧中的牛，自动提取每头牛在站立和行走过程中的背部姿态，并根据背部曲率生成跛行评分。VAN HERTEM T等[57]使用3D高架摄像头系统，当同一头母牛对坡度是否进行二进制分类时，正确的分类率达到81.2%。后来，利用牛体后部的3D顶视图图像，开发了一种方法来同时估算身体状况和体重，并使用背侧曲率评估跛行的发生率。

3 结束语

随着资本的注入，传统养殖业面临巨大的市场竞争和时代挑战。“智能+”的出现，标志着中国将加快推动人工智能为传统产业赋能升级的步伐[58]。传统养殖场需要通过智能化转型，提升抗风险能力，改变企业的经营模式，降低成本，才能适应未来物联网时代的发展。传统养殖业与人工智能结合已是未来发展趋势，要合理利用科学技术手段对畜禽养殖环境进行有效管理，实现畜禽养殖业高效、便捷和可持续的发展[59]。目前，虽然有很多学者在人工智能和畜牧业方面有杰出的贡献，但是机器视觉在畜牧业中的应用仍有一些问题需要进一步的研究和探讨，主要包括以下3个方面。

(1)机器视觉识别应用的范围越来越广泛，更多的指标需要利用人工智能的方式被检测。目前，计算机视觉可识别的指标主要集中在物种识别、家畜计数、体尺测量和体重预测等方面。对畜牧生产中饮水、排泄和产仔数等其他指标的报道相对较少，后续研究需要开发更精确的视觉算法来自动提取更多畜牧生产相关的信息。

(2)利用人工智能改变育种的方式。畜禽品种的遗传性状是否稳定遗传是决定一个畜牧场产量的关键性因素，而传统选育需要人工测量众多指标，大量消耗着养殖场的人力、物力和财力，且容易引起动物的应激反应，影响动物的生产性能，造成畜产品产量的下跌，而进行数字化选种可以很好地解决这个问题。

(3)开发更多的动物模型。根据家禽不同生长阶段的饮食量、行为规律，设计动物疾病预警系统，实时监测动物个体饮食量、行为信息，当采集到的数据与模型偏离程度超过系统设定阈值时，开始向养殖人员发出疾病预警，这大大减少了养殖人员工作量，也降低了畜禽疾病带来的经济损失。

近些年来，国内外涌现出一批畜牧信息智能化监测方法和技术，如畜产品质量检验、动物行为特征识别。在精准采集畜牧信息的同时，注重挖掘信息所蕴藏的动物健康水平、动物对养殖环境的适应度等深层含义，为动物疾病预警、养殖环境反馈调节提供低成本、高精度的解决方案。通过引入视频图像识别技术对群体进行管理，并对家畜的体温、行为和进食等情况进行监察，可帮助饲养员清楚地了解到家畜群体的状态，在万物互联时代的当下，利用视频信息技术、生物工程技术和自动控制技术等现代先进的技术来改善目前传统落后的养殖模式和监控方式迫在眉睫[3]。