基于非接触式的牛只身份识别研究进展与展望

许贝贝, 王文生,2*, 郭雷风, 陈桂鹏

(1.中国农业科学院农业信息研究所, 北京 100086; 2.农业农村部信息中心, 北京 100125; 3.江西省农业科学院农业经济与信息研究所, 南昌 330200)

畜牧业作为农业农村经济的主导产业，已成为保障城乡居民肉、蛋、奶消费和动物蛋白摄取的基础性产业，特别是近年来，大力发展畜牧业又成为很多西部地区和少数民族聚居较多的省区扶贫攻坚新举措。奶牛和肉牛养殖是整个农业组成的重要部分,在农业经济体系中占据重要地位。当前养殖业中，疯牛病、口蹄疫等具有强烈传染性疾病的出现对奶制品和畜产品的质量安全有极大的影响，因此对个体进行精细化养殖是现代养殖的主要研究方向。随着畜牧养殖业向规模化、信息化、精细化的方向发展，集约化牛场将渐渐取代散户养殖等小规模的养殖模式。在大规模化牛场中要实现对牛个体自动化、信息化的日常精细化管理，实现对每头牛的健康状况追踪以及奶源和肉制品追溯，必须实现质量追溯体系的搭建与完善，而关键又在于对牛个体身份的识别。

因此，快速准确的牛个体识别不仅是奶制品和肉制品溯源的基础，也是奶牛生产性能记录体系和遗传改良体系最重要的组成部分，如选种选配和母牛产犊等生产管理都需要先快速识别个体身份。此外，肉牛保险政策作为我国政策性农业保险制度的重要组成部分，目前已成为各级政府支持肉牛发展和保障养殖利益的重要手段，个体身份的准确识别将促进肉牛保险的顺利开展，解决理赔肉牛与承保肉牛不能完全匹配的问题，提高核保理赔的准确率。因此，实施牛个体身份识别，结合可穿戴式设备等采集其他生理信息建立全产业链质量追溯体系，将大幅提高劳动生产率、提高奶制品和肉制品的产量和质量，对改善消费者健康水平具有非常重要的意义。同时，也对加强奶牛育种生产、有效的疾病防控和肉牛保险虚假索赔提供重要的信息，从而促进畜牧饲养产业健康发展。

传统的牛个体识别通过物理方法标记身体某部位或者通过嵌入微芯片的标记方法，但无法防止欺诈行为包括标记被复制和设备被盗窃等，动物福利也较差。近年来，基于视觉生物特征的非接触式识别已成为动物个体识别的新发展趋势。我国在非接触式牛个体身份识别研究方面刚起步，而国外在该领域已取得较大进步。因此，本文立足于国内外研究现状，分别从不同识别部位综述其研究进展，重点关注牛脸识别，探讨目前牛脸识别面临的挑战，在此基础上，对深度学习在牛个体身份识别研究中的应用进行了设计与构思，以期为国内研究者开展非接触式牛个体身份识别提供参考。

1 牛个体身份识别的方法

牛个体身份识别方法主要归纳为基于接触式的识别技术和基于非接触式的识别技术，如图1所示。基于接触式的识别包括永久性识别(耳切口[2]、耳纹[3]、热铁烙印[4]、冷冻打号[5])、临时识别(耳标识别技术[6])以及电子方法(嵌入微芯片的标记方法[7-9])。耳标标记是澳大利亚中小型农场最广泛使用的个体识别方法，耳标由金属或塑料部件构成，同时打上数字进行标记。但永久性识别和耳标识别的标记方案都很容易被复制或盗窃，在身份识别方面不可靠[6]。嵌入微芯片的标记方法通常是在耳标或者其他穿戴式设备中利用嵌入式无线射频识别 (radio frequency identification,RFID)技术，但局限于监测的数量和成本以及监测距离，且佩戴的设备可能会丢失或损坏[8-9]。因此，上述基于接触式识别技术无法为牛只有效的身份识别提供保障，还会造成应激反应，影响动物福利，不适宜在现代化规模养殖中继续采用，具体对比见表1。而基于生物识别的技术主要利用计算机视觉技术和智能监控设备，根据牛只的生理特征如面部图像、形态模式及其视觉特征等，利用图像处理和分析技术构建不同个体身份信息的数据库，从而可为牛只身份识别提供高效的方法。

图1 牛个体身份识别方法[1]Fig.1 Identification methods of cattle[1]

表1 接触式识别方法对比Table 1 Comparison of contact identification methods

2 基于非接触式的牛个体身份识别研究

传统的牛个体身份识别需借助外部工具对身体某部位进行标记或者佩戴标记装置，识别方法具有侵入性，不仅严重影响日常行为，还可能引发安全隐患[10]。而基于生物特征的非接触式识别可便捷快速地使用相机等拍照设备获得牛的相关图像数据进行识别分析，如，分别利用牛个体中独特的视网膜、虹膜、类似于人指纹的牛鼻纹以及牛脸图像进行身份识别。非接触识别利用牛独特而又稳定不变的生物特征，即不易被复制或盗窃、采取低成本、容易操作的方式进行识别，不仅可以提高动物福利，还可以帮助建立更可靠、更精确、更实用的识别系统，以提高牛场精细化管理水平并降低成本，有效减少对牛的刺激和物理伤害[11]。非接触识别的不同方法对比见表2。

2.1 基于视网膜的身份识别

Simon等[12]于1935年发现人眼具有独特的血管模式，每只眼睛都有不同的血管，即视网膜血管模式在人类中是独一无二的。1978年,Huntzinger等[13]在人类双胞胎中研究了视网膜脉管系统，证实了这一发现。因此，视网膜成像自20世纪70年代以来一直被美国海军用作安全通道的手段。而视网膜图案也几乎存在于所有物种中，因此也被看作是独特的适合用于生物个体识别的标志[14-16]。Whittier等[17]通过人工观察对比视网膜血管的位置和数量等特征来确定牛个体身份,如图2所示。Rusk等[14]利用Optibrand 公司为捕获牲畜视网膜图像设计的OptiReader设备捕获牛和羊的视网膜图像，邀请志愿者比较两幅图像的差异进行识别，结果表明，正确识别牛的概率可达96.2%，且无需聘请专业人员进行验证。基于视网膜图案识别的缺点是如果因眼睛角膜受伤，识别将受到极大影响。

2.2 基于虹膜的身份识别

类似于人类虹膜，牛的虹膜也包含斑点、细丝、冠状、条纹、隐窝等形状特征，且组合方式自出生后便终生不会改变[18]，因此，可作为个体鉴别的重要特征。眼科科学家Flom等[19]在1987年首次提出利用虹膜自动识别身份，随后，1991年美国洛斯阿莫斯国家实验室Johnson[20]第一次开发了虹膜身份识别系统。牛眼虹膜识别的核心是虹膜定位和特征提取。Daugman[21]在1993年首先提出使用虹膜结合二维Gabor滤波器以调制虹膜相位信息，便于构建虹膜特征。有学者也提出使用SIFT算法进行特征表示构建基于虹膜模式的牛个体识别[22]。特征表示通常会随着图像的属性如强度、颜色和纹理特征改变，但研究中虹膜识别的局部特征是在图像多个点处计算的，因此不受图像比例和旋转的影响。

表2 非接触式识别方法对比Table 2 Comparison of non-contact identification methods

图2 匹配的两张牛视网膜图像[17]Fig.2 Two retina images of cattle to be matched[17]

近几年，有研究利用二维复小波变换特征(2D-CWT)方法研究牛的虹膜生物识别，对无接触式手持设备收集的家畜虹膜图像实验，身份识别准确度为98.33%[23]。孔强等[24]运用改进的Sobel算子并引入二次B样条曲线算法完成牛眼虹膜的精确定位；盛大玮[18]应用最小二乘原理定位牛眼虹膜，通过Gabor滤波抽取特征，并按改进的欧氏距离的匹配准则进行对比；李超等[25]设计了一种牛眼虹膜快速定位方法，即对内边界同时采用灰度均值法粗定位与“三点定圆”精定位相结合，对外边界逐点扫描分层圆环算法来精确拟合；魏征[26]分别使用改进的线性判别分析算法2DLP-LDA即引入了LPP算法和高斯权重函数，以及虚拟图像和多流形判别分析的单样本图像识别算法(VI-MDA)用于特征表示和识别。

2.3 基于鼻纹印的身份识别

牛鼻子区域有丰富浓郁的纹理特征，包含鼻子点的山脊以及表面的珠子特征，珠子图像特征是一组突出的纹理特征模式，由非均匀图像模式组成，脊部特征是均匀图像图案，类似于人类指纹图像的脊(图3)[27]。利用鼻印识别牛的身份最早在1922年被Petersen[28]首次发表，具体是将墨水喷洒到鼻子上并印在纸上；Barry等[29]研究指出，牛个体的差异可关注其鼻子区域，个体的差异类似于人类指纹的差异。通过扫描印在纸张上的牛鼻印图像，Minagawa等[30]应用滤波技术、二进制转换和形态学方法对牛鼻子区域进行特征提取和功能关键点匹配。

图3 牛鼻印图像[27]Fig.3 Muzzleprint images of cattle[27]

Barry等[29]提出基于鼻印图像特征值的欧几里得距离分类(euclidean distance classification，EDC)技术和基于主成分分析(principal components analysis，PCA)的识别，但特征匹配时，出现严重的非恶意匹配；Awad等[31]针对牛鼻印图像提出了一种改善性能的方法，使用尺度不变特征变换(scale Invariant feature transformation，SIFT)方法与随机样本共识(random sample consensus，RANSAC)耦合分别用于特征关键点检测及特征分类，同时去除异常值，增强识别的鲁棒性；而Tharwat等[32]尝试使用基于Gabor滤波器的特征提取方法，并比较不同内核(高斯、多项式、线性和Sigmoid)的支持向量机分类器(support vector machine，SVM)，结果表明，基于高斯的SVM分类器识别精度达到99.5%。此外，使用基于纹理和诸如加速鲁棒特征(speeded up robust features，SURF)之类的表述方法描述牛鼻子特征也已被用于牛的身份识别[33]。Kumar等[34]对采集的鼻印图像采用基于混合纹理特征提取的方法，对比使用K近邻算法(K-nearest neighbors，K-NN)、模糊K近邻算法(fuzzy K-nearest neighbors, FK-NN)、决策树(desion tree，DT)、概率神经网络(probabilistic neural network，PNN)、径向基函数(radial basis function, RBF)、多层感知机(multilayer perceptron, MLP)和朴素贝叶斯模型(naive Bayesian model，NBM)对提取的特征进行分类，K-NN识别准确率可达96.74%。Kusakunniran等[35]融合纹理特征提取的Gabor特征和局部二值模式(local binary pattern,LBP)直方图表示牛鼻印特征，支持向量机用以分类。Kusakunniran等[36]还提出结合鼻印和牛脸多重特征的一种多模态分类器，使用基于群稀疏表示的分类技术(group sparse representation classification，GSRC)对牛鼻印图像进行识别。GSRC是为多模态多特征的面部和鼻印图像提供更好的特征表示，并且通过求解组稀疏性标准来确定测试鼻印图像的类别。

现有人工设计的纹理特征提取即基于外观的特征表示，该方法无法满足在无约束环境中实现牛身份识别。近年来，深度学习作为计算机视觉的新兴领域，已成功用于检测和表示物种和个体动物的表型外观和视觉生物特征。Kumar等[37]结合卷积神经网络(convolutional neural networks，CNN)和深度信念网络(deep belief networks，DBN)方法来学习牛鼻印纹理特征的提取，引入叠加去噪自动编码器(stacked denoising auto encoder，SDAE)框架对肉牛个体鼻子区域特征进行编码和解码，便于更好的特征表示。为了有更好的分类效果，采用了Adaboost算法对提取特征进行从弱分类器到强分类器的迭代。当前已有的基于鼻印模式的牛个体识别方法总结如表3所示。

2.4 基于牛脸的身份识别

牛脸是个体最直接的外部可视信息，面部特征的差异性使牛脸得以作为个体身份的标识。2005年Kim等[46]为调查图像处理技术是否可用于无花纹特征的牛个体识别，采集了12头日本和牛进食时的图像数据，计算其特征参数，输入到联想记忆神经网络中进行学习，并变换图像亮度、扭曲度、噪声以及旋转角度以验证算法的健壮性。该方法证明使用牛脸图像识别牛个体是可行的，但该算法识别耗时长，不适用于运动中牛只的实时识别，可用于静止牛只的识别。Xia等[47]提出一种基于局部二值模式(LBP)纹理特征的脸部描述模型，并使用主成分分析(PCA)结合稀疏编码分类(sparse representation classifier，SRC)对肉牛脸部图像进行识别。但识别时对采集的肉牛脸部图像位置和角度要求很高，因此，很难实现自动化识别。Cai等[48]基于人脸识别方法提出了基于 LBP 改进后的牛脸模型，且由于光照变化、局部遮挡以及图像尺寸偏差的影响，使用稀疏和低秩分解对牛脸测试图像进行校准。该模型针对灰度牛脸图像，因此无法在真实的肉牛养殖环境中应用。这类方法前期工作量也较大，且只关注牛的正脸，在实际应用中自动采集数据较难实现。有学者将各种特征提取、特征降维方法与分类器模型结合，包括PCA、局部判别分析(LDA)分析对比了这些传统方法在牛脸识别应用中的结果[49-51]。

表3 基于鼻印模式的牛个体识别方法对比Table 3 Comparison of cattle identification methods based on muzzleprint pattern

国内最近几年才开始进行牛脸识别研究。蔡骋等[52]和宋肖肖[53]针对真实生产环境下,牛场视频监控图像中存在的拍摄角度差异大、光照不均匀、牛脸局部有遮挡等问题，首先对采集的牛脸正面图像采用级联式检测器进行定位，利用监督式梯度下降算法(supervised descent method，SDM)、局部二值算法(local binary feature, LBF)和主动外观模型算法(fast active appearance model, FAAM)3种算法提取定位到的牛脸轮廓信息，验证了牛脸特征点检测的可行性和实用性。吕昌伟[54]以荷斯坦奶牛为研究对象，针对牛脸识别提出增量识别框架，提出了一种增量识别算法框架，充分利用卷积神经网络特征可判别性好、迁移能力强，稀疏表示分类器矩阵运算速度快、追加特征容易等优点，实现了复杂环境下牛脸实时准确增量识别的目的。姚礼垚等[55]针对传统检测方法在牛脸检测应用方面存在的检测设备易损、检测结果不理想等问题，对比分析了目前有代表性的几种基于深度网络模型目标检测方法，分别用于牛脸识别，结果表明，对不同角度和不同光照下的牛脸检测准确率较高，说明检测模型能很好地适应角度和光照变化，但是对于遮挡和多牛脸信息的检测效果明显下降。苟先太等[56]针对多牛检测场景精度的需求，使用Inception v2替换ZF网络作为Faster R-CNN的基础网络,并且对非极大值抑制(non-maximum suppression, NMS)进行相应优化,牛脸识别模型召回率大幅提升。

2.5 非接触式牛个体身份识别方法对比分析

基于非接触式的牛个体身份识别使用计算机视觉和模式识别方法来提取生物特征用于识别个体身份，尽管在动物福利、准确性和实用性等方面有很大优势，但也面临一些难题。如牛视网膜血管识别方法，由于数据收集操作有较高要求，尤其是捕获有眼疾的视网膜图像，导致在实际应用时可接受性差，图像分析也较为麻烦。虹膜识别时，如果被牛眼睑或睫毛遮挡将会影响识别精度，且虹膜的某些纹理等外观可能随着疾病和药物而变化。如果牛鼻子在日常活动或者饮食时有湿润脏物堆积，或者未能保持固定姿态导致图像不清，均会极大降低识别效果。因此，从应用角度，与虹膜、指纹、视网膜、鼻印等生物识别技术相比，牛脸识别更符合习惯，具有自然、直观、非接触的优点，不需要牛固定姿态等的配合；从技术角度，与人脸识别类似，牛脸识别不但在抗干扰性和接受性方面有较大的优势，还具有较好的普遍性、唯一性和扩展性。正因为这些特点，牛脸识别更易于被牧场管理者或者农产品保险企业接受，具有广泛的应用前景和潜在价值。

3 牛脸识别面临的挑战及对策

3.1 牛脸识别的难点

自20世纪60年代起，基于生物特征中的人脸识别就一直是学术领域探讨和研究的热点问题，引起了很多生物学家以及计算机视觉与图像处理领域研究人员的兴趣。目前，人脸检测和识别已趋于成熟。由于人脸有结构化特征，五官部位的位置也较为稳定，便于识别。而牛脸有毛发和纹理变化等干扰因素，且图像采集更不可控，无法让牛自觉地将脸部较长时间稳定地静止在摄像头前。特别是在自然和野外的环境下，光照条件的变化、视角和距离的不同、复杂的背景、牛的运动等因素使图像采集更加困难。不理想的脸部图像会对模型训练和识别有负面影响。因此，相较于人脸识别，由于牛脸特征的复杂性以及各种环境因素的影响，当前牛脸识别未能在实际中普及应用。

因此，需要开展面向牛场真实养殖环境下个体身份识别的研究，建立同时适用牛场白天和晚上以及运动状态场景，拍摄像素差别大、光照不均匀、姿态多样、面部局部有遮挡等的牛脸识别模型，解决复杂背景下牛个体识别精度低以及动物福利差的问题，实现准确实时地获取牛个体信息，为畜产品质量追溯、疾病防控、验证农业保险假保险索赔以及奶牛育种监测和品种生产等提供重要的技术支撑，提高奶牛养殖的经济效益和生产效率，增强我国畜产品的核心竞争力。

3.2 基于深度学习的牛脸识别模型设计构思

基于国内外奶牛养殖个体身份研究发展现状，针对基于生物特征的牛脸识别，结合计算机视觉领域深度学习算法，参考人脸识别的最新研究进展，把握当前研究重点方法以及未来发展趋势。借鉴人脸识别模型，根据牛场实际养殖环境下牛脸识别遇到的瓶颈，在现有模型的基础上，采用多任务学习和改进深度网络结构来提高基准点定位准确性，同时引入稀疏跨模态度量集成学习进行牛脸特征度量，以适用非限定条件下的多模态牛脸识别，具体的模型设计见图4。

首先，针对牛场养殖真实环境下，由于姿态、光照、面部遮挡以及不同拍摄设备等干扰，致使牛脸识别模型的鲁棒性较差，需要构建多模态(不同的图像传感器以及不同的图像分辨率)和无约束条件(存在姿态、光照、遮挡等变化)的牛脸数据。分别在夜间和白天采集近红外和可见光的牛脸图像，采集不同分辨率、不同姿态、有无面部遮挡以及不同光照的图像。但需要通过牛脸切割、数据规整、平滑去噪和姿态矫正进行预处理，用于克服冗余信息的干扰，减弱噪声的影响，降低牛脸数据集的类内差异。

其次，牛脸识别的过程主要包括牛脸定位、牛脸特征提取及牛脸分类。牛脸定位和特征提取是牛脸识别中的核心模块，需要从解决跨模态和增加对复杂环境(姿态、光照、遮挡等)的鲁棒性角度进行算法模型的设计。

①在实际生产环境中无约束牛脸基准点定位是牛脸识别的重要处理步骤，即通过定位牛脸基准点将牛脸图像变换至标准姿态，以降低识别难度。稀疏牛脸基准点定位是指给定任意牛脸图像，定位两个眼睛中心、两个鼻口和两边嘴角这六点的一类问题。因为这六个点邻域的特征丰富，因此容易精确可靠的定位。另外，基于六点建立的变换也能较好地对齐牛脸，稀疏基准点定位也是人脸识别系统中常采用的关键环节[57-58]。然而，无约束牛脸基准点定位是需要提取牛脸的本质特征用于基准点定位，但易受到表情和姿态等的干扰，一定程度上增加了准确定位的难度。深度卷积神经网络(deep convolutional neural network，DCNN)[59]通过多个隐层的网络结构能有效提取图像的高层语义特征，并且已经在人脸识别等多个计算机视觉领域应用[60-62]。以非特定牛的无约束牛脸基准点定位为研究对象，同时针对DCNN级联框架训练耗时、模型复杂的问题，采用修正线性单元、填充卷积层和局部响应归一化等新的模型结构元素构造深度模型应用于稀疏牛脸基准点定位问题。此外，在同一数据增强程序的基础上选用多模型平均方法，对各个DCNN以直接回归方式的训练,且运用多层级组合方式提升定位巧度。

图4 基于深度学习的牛脸识别模型Fig.4 Model of cattle face recognition based on deep learning

②在特征提取时，针对带有模态干扰(有待比对识别的牛脸来自不同的模态)的牛脸特征表示，学习距离度量[63]消除模态的干扰，使得不同模态牛脸的同类与不同类距离可分。此外，针对遮挡、光照等干扰，创建稀疏跨模态度量集成学习方法，不仅可消除模态的干扰，还可进行更具判别性的特征选择(消除遮挡、光照变化等干扰)。主要基于弱的跨模态距离度量学习方法，进行基于组的稀疏特征选择来消除牛脸特征中的噪声特征(对应于遮挡、光照变化等)，通过集成学习的方法来学习一系列可相互补充的弱距离度量，并将它们集成为一个强距离度量可处理多种噪声对跨模态特征提取时的干扰。

4 展望

我国畜牧业的发展依次经历了“家庭散养、自给自足”为主、市场供给为辅的传统畜牧1.0时代、“搭棚圈地、作坊式粗放养殖”的畜牧2.0时代、“企业规模化、现代化、信息化养殖”的畜牧3.0时代。然而在当前传统向现代畜牧业转型的重要时期，随着经济社会发展与转型，制约畜牧业发展的内外部因素也日益复杂多样，如缺乏劳动力、牧场管理困难以及成本高等问题。未来，我国畜牧业若想实现既快又好的可持续发展，现代信息技术必将是重要的推动力。推动信息技术尤其是人工智能在农业的应用，大力发展智慧畜牧养殖，是加快推进农业现代化、全面建成小康社会的迫切需要。未来畜牧4.0必将是融合互联网的“高度智能化、生态化”的精准养殖管理。

利用牛脸识别技术确定牛个体的独特身份是计算机视觉、模式识别和和认知科学前沿领域实际应用的探索尝试。紧密结合计算机视觉领域深度学习算法和人脸识别的最新研究成果，并在此基础上研究发展新的适用于牛场养殖非接触、非限定条件下的多模态牛脸识别算法模型，满足现代畜牧业精准、健康、福利养殖的需求，进而为复杂背景下奶牛个体识别提供理论和算法支撑，提升奶牛养殖精细化管理的智能化水平。