基于计算机视觉的牛脸轮廓提取算法及实现

蔡 骋，宋肖肖，何进荣

（西北农林科技大学信息工程学院，杨凌 712100）

基于计算机视觉的牛脸轮廓提取算法及实现

蔡 骋，宋肖肖，何进荣

（西北农林科技大学信息工程学院，杨凌 712100）

计算机视觉技术已越来越多地应用于检测牛个体行为以给出养殖管理决策，牛脸轮廓的提取及形状分析能够进一步提高牛身份鉴别，咀嚼分析及健康状况评估的自动化程度。为实现基于计算机视觉的无接触、高精度、适用性强的肉牛养殖场环境下的牛脸轮廓提取，提出用自适应级联检测器定位牛脸位置，用统计迭代模型提取牛脸轮廓的方法。该方法采集牛脸正面图像，用级联式检测器定位出牛脸的位置，并分别采用监督式梯度下降算法（supervised descent method, SDM），局部二值算法（local binary features, LBF）和主动外观模型算法（fast active appearance model, FAAM）3种算法被用于提取牛脸轮廓。对20头肉牛共拍摄800幅牛脸正面图，随机选取训练数据720幅和测试数据80幅。结果表明，主动外观模型算法准确率最高，其轮廓提取误差为0.0184 像素，适于应用在轮廓提取精度要求较高的场合，而局部二值算法的运行效率最高，在分辨率为744 像素（水平）×852像素（垂直）的牛脸图像中轮廓提取时间为0.35 s，更适于应用在实时性要求较高的场合。该方法可实现养殖场中肉牛的无接触精确的面部轮廓提取，具有适用性强、成本低的特点。

计算机视觉；算法；模型；牛脸；轮廓提取；特征点标定；图像特征

0 引 言

计算机视觉及智能监控已逐步深入到畜禽养殖的许多领域[1-4]，其中智能感知和识别肉牛的行为并给出养殖管理决策支持成为当今研究的热点[5-9]。个体身份鉴别及分析方法是肉牛精细化管理的技术前提和应用基础[10]。目前对肉牛的饲养仍以传统的肉眼观察为主，该方法耗时费力。另外，人的活动容易给牛造成应激反应，不适宜在现代化规模肉牛养殖中继续采用。因此，迫切需要一种基于计算机视觉的肉牛的个体识别方法，以提高肉牛行为检测的自动化程度并降低成本，进一步提高计算机视觉算法在肉牛行为分析领域的的实用性。

用计算机视觉的方法实现肉牛的个体身份识别已引起学者的关注。Xia等[11]提出一种基于局部二值模式（local binary patterns, LBP）纹理特征的脸部描述模型，并使用主成分分析（principal component analysis, PCA）结合稀疏编码分类（sparse representation-based classifier, SRC）对肉牛脸部图像进行识别。但识别系统对肉牛脸部图像的拍摄位置和角度敏感，难以实现自动化识别。Cai等[12]在人脸识别方法的基础上对LBP进行改进，提出了基于LBP改进后的牛脸模型，并使用稀疏和低秩分解对牛脸测试图像进行校准，克服了光照变化、图像尺寸偏差以及局部遮挡的影响。但该模型处理的是灰度牛脸图像，无法应用在真实的肉牛养殖环境中。

上述方法仅对牛脸进行识别，未对牛的面部轮廓进行提取，但是，牛的面部轮廓包含了牛的咀嚼情况、健康状态以及身份信息，通过牛的面部轮廓可以分析牛的病理情况。人脸轮廓提取算法已经解决了在室外环境下，多角度、非均匀光照以及局部遮挡情况下的轮廓提取问题[13-18]，为了实现在肉牛真实养殖环境下，基于计算机视觉算法非接触、低成本的肉牛个体识别方法，本研究在人脸轮廓算法的基础上，根据牛脸图像的特征，定义牛脸轮廓模型，用牛脸图像训练并测试轮廓提取算法的精度和效率，最终实现肉牛实际养殖环境下面部轮廓的自动提取。

1 材料与方法

1.1 图像采集

试验图像拍摄于自陕西杨凌区西北农林科技大学秦川肉牛养殖试验站，采集于2015年11月8日，拍摄对象为健康的秦川肉牛。牛在进食过程中，牛脸会频繁地伸出栅栏，产生脸部俯仰，使用数码相机拍摄多角度下的牛脸数据集。

拍摄时段为16:00－18:00时段获取20头肉牛的进食图像。为每头肉牛拍摄40幅正面图，共计800幅图像，每幅图像分辨率为4 272像素（水平）×2 848像素（垂直）。

后续图像处理平台处理器为Inter Core i3-6100，主频为3.70 GHz，48 GB内存，4 TB硬盘，算法开发平台为MATLAB 2015a。

1.2 供试数据

将采集的800幅牛脸图像随机分为10组，其中9组作为训练集，1组作为测试集，共得到720幅训练用牛脸图像集，及80幅测试用牛脸图像集。由于试验图像是在真实场景中拍摄，牛脸存在局部遮挡现象，例如，在进食过程中草对牛面部的遮挡（如图1a所示），牛同伴之间的相互遮挡，牛舌头的局部遮挡（如图1b所示）。另外，牛的不同毛发差别将会影响局部特征的提取。图1c是非均匀光照下的牛脸图像，不同光照强度下提取的牛脸局部特征差异较大，因此在自然环境下要考虑到光照的影响。图1d是大角度偏移下的牛脸，大角度的变化会对最后的检测结果产生影响。

图1 复杂场景下的牛脸Fig.1 Face cattle in complex scene

1.3 牛脸轮廓模型定义

牛脸特征不仅包括眼睛、鼻子、嘴巴以及脸颊外轮廓，与人脸相比牛脸还有其独有的特征，例如，牛脸表面有许多绒毛，牛脸的五官较为分散，牛脸的背景较为复杂等。

结合牛脸的特征，为了建立牛脸的全局形状模型，需要获取牛脸图像特征的数学表示。在牛脸模型训练阶段，手工选择牛脸中关键的面部特征点，这些特征点的选择一般在高曲率的交界点，以及描述外界轮廓的中间点[19]，利用标记后的特征点坐标来建立牛脸形状的数学模型。根据上述规则，本研究选择能够表现牛脸轮廓的特征点，例如眼睛，鼻子以及脸颊外轮廓。图2b为牛脸特征点横纵坐标去归一化后的特征点标定图，从图中可以看出归一化后牛脸特征点的中心点置于原点。从图2b，可以看出左右眼睛分别标记3个特征点，左右鼻孔分别标记2个特征点，牛的脸颊轮廓标记19个特征点，共29个特征点。本研究通过这29个特征点来建立牛脸轮廓模型。牛脸与人脸相比颊侧较长，拍摄时易受到不同角度的影响，本研究将牛脸分为上下2部分进行轮廓模型定义，如图2b所示，其中黑色坐标表示牛脸轮廓的上半部分，红色坐标表示牛脸轮廓的下半部分。

图2 牛脸轮廓模型定义Fig.2 Definition of cattle face contour model

在牛脸特征点标记时，特征点位置偏差的原因不仅有人为标记的因素，还包括拍摄时光照以及拍摄角度等因素的影响。这些外界因素使得牛脸的尺寸和位置存在差异，直接对牛脸特征点进行统计建模是不合理的，不能反映样本的形变规律。为了解决这个问题，需要将这些特征点进行对齐操作，对齐之后的数据可以反映其变化规律的统计形状模型。对齐操作就是以一个形状为标准模型，所有形状通过旋转、缩放、平移与其对齐。

对齐之前，首先需要计算每个特征点的加权值。加权值表示特征点的稳定程度，即不同形状中该特征点与其它特征点距离变化的大小。式（1）表示了特征点k的稳定程度。

式中wk表示特征点k的权重，Rkl表示在一个形状中特征点k和特征点l的距离，klRV表示所有形状向量中特征点k和特征点l距离的方差。

本研究中使用Procrustes算法[20]对牛脸训练集进行对齐处理，对齐流程如图3所示。

图3 牛脸的对齐流程Fig.3 Alignment process of cattle face

对齐操作后的牛脸训练集坐标表示如图4所示。经过对齐处理后，最终所有的牛脸形状处于统一的尺度下，特征点之间的位置差异较小。

图4 对齐后的牛脸Fig.4 Cattle face after aligned

1.4 牛脸检测器训练

在牛脸轮廓提取之前，首先要定位图中牛脸的位置，基于自适应级联（adaptive boost，AdaBoost）检测器检测速度快、检测准确率高等优点，本文结合牛脸特征训练牛脸检测器[21-22]。

AdaBoost检测器是基于积分图像、级联检测器和AdaBoost算法进行模型训练的。其中，AdaBoost算法的基本思想是将大量的分类能力一般的弱分类器通过一定方法叠加起来，构成一个分类能力较强的强分类器[23]。本研究中牛脸检测器的训练参数如表1所示。

表1 牛脸检测器训练参数Table 1 Training parameters of cattle face detector

牛脸检测器加载表1中的训练参数之后，将进入每一层的训练阶段。在训练过程中，检测器的检测精确度越高，检测器的层数越多。在实际的牛脸检测中非牛脸图像会在前端被排除掉，只有牛脸图像才能通过各级强分类器的检测。此外，由于非牛脸图像会被级联分类器的前几层迅速排除掉，从而加快了AdaBoost算法的检测速度。

为了测试牛脸检测器的有效性，本研究使用800幅肉牛图像进行测试。本文针对牛脸的检测采用检测率（detection rate, DR）和误检率（false positive rate, FPR）作为评价准则[24]，其中DR和FPR分别定义为

式（2）中M表示手工标定的牛脸区域数，式（2）和式（3）中N+表示检测算法正确检测的牛脸区域数，错误检测的区域数为N−。相应的可以得到检测算法漏检的牛脸数量为（M−N+）。图5显示了牛脸检测器的检测结果。牛脸检测的性能测试中，手工标定的牛脸个数为800个，其中，正确检测牛脸数量为768个，错误检测的牛脸数量为25个，漏检的牛脸个数为32个。因此，牛脸检测的检测率为96%，误检率为3.2%。从牛脸检测器的检测率可知，该牛脸检测器满足了复杂环境下牛脸位置检测的需求。通过对牛脸检测器准确性的测试，可以将训练出的牛脸检测器应用到牛脸轮廓提取中。

图5 牛脸检测结果Fig.5 Result of cattle face detection

为了测试牛脸检测器的准确性，本研究使用800幅肉牛图像进行测试，单幅牛脸图像的检测率达96%，满足了复杂环境下牛脸位置检测的需求。通过对牛脸检测器准确性的测试，可以将训练出的牛脸检测器应用到牛脸轮廓提取中。

1.5 牛脸轮廓提取算法

借鉴人脸轮廓提取算法，本研究对比分析了3种常用人脸轮廓提取算法，即监督式梯度下降算法、局部二值算法和主动外观模型算法，并分别介绍这3种算法在牛脸轮廓提取中的应用。

1.5.1 监督式梯度下降算法

监督式梯度下降算法（supervised descent method, SDM）是一种有监督的迭代算法，该算法在人脸轮廓提取中应用广泛[25]。SDM算法的主要思想是在训练期间不断学习一系列梯度下降方向和偏移量。训练过程中，假定初始化的牛脸特征点是已知的，记作x∗。SDM算法通过学习一系列梯度下降的方向和缩放的比例，生成迭代更新序列，即xk+1=xk+Δxk，xk为第k次迭代的特征向量，Δxk为第k次迭代形状变化量。当牛脸训练集的特征向量从xk收敛到x∗时，该算法训练结束。

SDM算法在测试过程中使用训练出的梯度下降方法和偏移量进行迭代学习，具体过程如图6所示。

图6 监督式梯度下降算法的测试流程Fig.6 Testing process of supervised descent method algorithm

SDM算法在特征提取过程中采用了尺度不变的特征（scale invariant feature transform, SIFT）[26-27]，因此该算法对光照变化具有较强的鲁棒性。由于牛脸图像是在复杂场景下拍摄的，存在大量的局部遮挡和大角度变化问题，使用SDM算法对牛脸轮廓进行提取可能会出现在局部遮挡情况下检测率较差的情况，为此引入高效率的局部二值算法。

1.5.2 局部二值算法

局部二值算法（local binary features, LBF）是基于局部二值特征进行描述的，该算法的运行效率高，能够实现脸部轮廓的实时提取[28]。LBF算法采用特征点周围的局部二值特征，建立如下形式的迭代格式

式中St表示关键点相对于整张牛脸图像的位置，Rt表示一个回归器，I表示输入牛脸图像，t表示级联的层数。式（4）中Rt根据输入图像和形状的位置信息，预测一个形变量ΔSt，并将它加到当前形状上组成一个新的形状。

LBF算法将随机树的输出表示成一个二值特征，将所有随机树的二值特征按照先后顺序连接起来组成一个高维特征向量，并将形变作为预测目标，对特征向量进行线性回归，训练得到一个线性回归器迭代过程，即

式中ΔSˆt表示第i次迭代时第t层的形变目标变量，Φt表

i示第t层的二值特征，Wt是第t层的线性回归参数，λ是防止模型过拟合的抑制参数。

LBF算法采用多级级联回归方法，每一层上首先用随机森林提取局部二值特征，然后利用局部二值特征做全局线性回归，来预测形状增量ΔSˆit，最后根据预测结果，训练全局性回归模型。由于LBF特征高度稀疏，因此使用双坐标下降方法来训练线性回归模型。当牛脸轮廓提取时，先用随机森林求出它的LBF特征，然后使用线性回归参数进行回归得出下一层的形状，这样不断迭代，可得到最终的牛脸轮廓。

LBF算法的优势在于算法的实现速度较快，但是在牛脸检测时收敛位置精度欠佳，为此下面引入高精度的主动外观模型算法。

1.5.3 主动外观模型算法

主动外观模型算法（fast active appearance model, FAAM）是基于形状模型和纹理模型进行建模的。该算法采用多分辨率进行搜索，将形状参数和纹理参数的信息建立关系，使算法具有较高的检测精确度[29-30]。在牛脸轮廓的拟合阶段，为了同时考虑形状参数p和纹理拟合参数c，建立如下的拟合模型

式中W(x;p)是分段仿射变化函数，x是牛脸特征点向量，p为形状参数，A0是平均外观向量，I是牛脸检测图像，A为m个特征值组成的外观向量，用于描述牛脸轮廓的主要形状，m是采用主成分分析算法获取的表示牛脸主要形状的特征值个数，c为纹理参数。根据交替优化思想，可将式（6）改写为

式（7）是FAAM算法的优化模型，分别采用同时反向合成算法（simultaneous inverse compositional，SIC）算法和快速前向算法进行求解[31]。其中，SIC优化算法的核心思想是对A0+A⋅ c进行泰勒展开，在算法迭代过程中同时考虑形状参数p和纹理拟合参数c的影响，并将形状参数p初始化为0，形状参数变化量Δc和纹理参数变化量Δp求偏导数，并令偏导数为0，可获得迭代计算公式。

快速前向算法则是使用标准的Lukas-Kanade算法线性化输入牛脸图像[32]，其迭代公式为

式中JI是牛脸检测图像I的雅克比矩阵，c为纹理参数，Δp为形状参数变化量。式（8）在每次迭代计算形状参数变化量Δp 时不需要优化纹理参数c，因此极大的降低了算法的计算复杂度，此时FAAM算法的时间复杂度由原来的O((n+m)2⋅N) 降低为O(m⋅N)，其中，m和n在FAAM模型中分别表示纹理参数的数量和形状参数的数量，m>>n，N表示牛脸图像中像素数量。

2 试验结果与分析

2.1 牛脸轮廓检测效率分析

试验数据集为人工标记的800幅牛脸数据集，每幅牛脸标记29个特征点。为验证轮廓提取算法的时间效率，本研究采用十折交叉验证的方法对算法进行测试[33]。

为了对轮廓提取算法的时间效率进行定量分析，本文使用牛脸轮廓提取的时间均值和标准差比较3种轮廓提取算法的时间性能。训练阶段的时间效率比较，SDM、LBF和FAAM 3种算法的训练时间分别为(789.23±116.46)、(694.30±83.57)和(1 104.22±53.25) s。测试阶段的时间效率对比，SDM、LBF和FAAM3种算法对每幅牛脸的检测时间分别为(1.75±0.65)、(0.35±0.17)和(60.62±21.47) s。这是由于LBF使用随机森林提取局部二值特征，采用多级联回归的方法，极大的减少了算法的复杂度，因此算法的时间效率较好。由于本研究中训练的牛脸图像分辨率较大，而FAAM使用多分辨率搜索，因此在特征点搜索阶段的耗时较长，导致算法的时间效率较差。

2.2 牛脸轮廓检测精度分析

为了进一步验证轮廓提取算法的准确性，本文采用左右眼角坐标归一化后点对点的欧式距离度量误差[34]，对3种轮廓提取算法进行评估。

本研究对80幅牛脸正面图像进行测试，计算出每幅牛脸图像检测得到的牛脸特征点与手工标记的特征点之间的误差。SDM、LBF和FAAM的左右眼角归一化后点对点的欧式距离度量平均误差分别为0.018 8，0.024 5，0.018 4像素。

为了直观的对比3种轮廓提取算法的准确性，本文采用盒图进行试验误差的绘制。图7显示了左右眼角坐标归一化后点对点的欧式距离度量误差评估方法计算得到的均值、最大值、最小值误差。

图7 3种轮廓提取算法的误差对比Fig.7 Error comparison of three contour extraction algorithms

从图7的检测精度对比图中可以看出，SDM的误差值较集中，LBF和FAAM的误差值较分散，表明了SDM算法的稳定性较高，而FAAM算法的误差最大值和最小值较其他2种算法小，表明了FAAM的算法准确率最高。

为了对牛脸轮廓提取效果进行直观的分析，图8显示了3种轮廓算法在牛脸大角度变化及舌头局部遮挡的情况下轮廓提取效果图，图9显示了非均匀光照下的牛脸轮廓提取结果。从图8中可以看出在牛脸大角度变化及局部遮挡的情况下，LBF算法在嘴巴和眼睛轮廓的特征点检测效果欠佳，SDM算法在舌头遮挡附近的特征点的检测效果较差，而FAAM算法的检测效果较其他2种算法好。从图9中的检测结果中可以看出，SDM和LBF算法在眼睛位置的特征点检测效果欠佳，FAAM算法的检测效果较好。

FAAM算法采用多分辨率搜索，提高了算法的准确性。LBF算法使用特征点的局部二值特征进行特征提取，该算法对处理图像的背景较为敏感，由于牛脸的背景较为复杂，因此该算法的准确率较低。综上所述，FAAM算法在肉牛的真实养殖环境下牛脸轮廓提取中鲁棒性较高，特别是在牛脸局部有遮挡的情况下算法的准确率较高，LBF算法的轮廓提取准确率最低，SDM算法准确率介于2者之间。

图8 局部遮挡的牛脸轮廓提取结果Fig.8 Results of cattle face contour extraction under partial occlusion

图9 非均匀光照下牛脸轮廓提取结果Fig.9 Results of cattle face contour extraction under non-uniform illumination

由于本文的牛脸试验集是在复杂的场景下拍摄的，牛脸图像可能受到局部遮挡、非均匀光照以及大角度偏移等噪声干扰。图10a是大角度变化和舌头遮挡影响下的牛脸图像，从检测结果中可以看出眼睛轮廓和脸颊轮廓的检测结果欠佳。图10b是牛脸左侧大角度偏移图，从检测的结果中可以看出脸颊轮廓和嘴巴轮廓检测效果欠佳。图10c是牛脸大角度偏移俯视图，最终的检测结果显示脸颊轮廓的欠佳。因此在以后的研究中为了提高复杂环境下牛脸轮廓提取准确率，可引入形变参数对此进行改善。

图10 轮廓提取精度欠佳的牛脸Fig.10 Cattle face with poor precision of contour extraction

3 结 论

1）定义了分离式牛脸轮廓模型，牛脸与人脸相比颊侧较长，拍摄时易受到不同角度的影响，因此将牛脸分为上下2部分进行轮廓模型定义，有效抑制了角度变化造成的误差。

2）基于AdaBoost检测器训练出的牛脸检测器在800幅牛脸图像中准确率达96%，满足了复杂环境下牛脸位置检测的需求。

3）对20头肉牛共800幅牛脸正面图的轮廓提取结果表明，FAAM轮廓提取的精度最高，其轮廓提取误差为0.018 8像素，适于应用在轮廓提取精度要求较高的场合，而局部二值算法的运行效率最高，在分辨率为744像素（水平）×852像素（垂直）的牛脸图像中轮廓提取时间为0.35 s，从而验证了牛脸轮廓提取算法的有效性和可行性。

基于计算机视觉的牛脸轮廓提取方法具有耗时短，鲁棒性高的优点。当前主要存在问题是实时性欠佳，今后的研究中可以使用GPU，FPGA等硬件加速平台来提高算法的实时性，进一步提高牛脸轮廓提取的实用性。

[1] 陈长喜，张宏福，王兆毅，等. 畜禽健康养殖预警体系研究与应用[J]. 农业工程学报，2010，26(11)：215－220. Chen Changxi, Zhang Hongfu, Wang Zhaoyi, et al. Study and application of early warning architecture of animal health culture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 215－220. (in Chinese with English abstract)

[2] 赵凯旋，何东健，王恩泽. 基于视频分析的奶牛呼吸频率与异常检测[J]. 农业机械学报，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258－263. (in Chinese with English abstract)

[3] 何东健，刘冬，赵凯旋. 精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报，2016，47(5)：231－244. He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231－244. (in Chinese with English abstract)

[4] 何东健，张海亮，宁纪锋，等. 农业自动化领域中计算机视觉技术的应用[J]. 农业工程学报，2002，18(2)：171－175. He Dongjian, Zhang Hailiang, Ning Jifeng, et al. Application of computer vision technique to automatic production in agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(2):171－175. (in Chinese with English abstract)

[5] 李志刚，贾策，王晓闻，等. 牛肉质构特性的近红外光谱无损检测[J]. 农业工程学报，2016，32(16)：286－292. Li Zhigang, Jia Ce, Wang Xiaowen, et al. Nondestructive determination of beef textural properties by near infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(16): 286－292. (in Chinese with English abstract)

[6] 赵凯旋，何东健. 基于卷积神经网络的奶牛个体身份识别方法[J]. 农业工程学报，2015，31(5)：181－187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)

[7] 何东健，孟凡昌，赵凯旋，等. 基于视频分析的犊牛基本行为识别[J]. 农业机械学报，2016，47(9)：294－300. He Dongjian, Meng Fanchang, Zhao Kaixaun, et al. Recongnition of calf basic behaviors based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 294－300. (in Chinese with English abstract)

[8] 刘冬，赵凯旋，何东健，等. 基于混合高斯模型的移动奶牛目标实时检测[J]. 农业机械学报，2016，47(5)：288－294. Liu Dong, Zhao Kaixuan, He Dongjian, et al. Real-time target detection for moving cows based on gaussian mixture model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 288－294. (in Chinese with English abstract)

[9] 赵凯旋，李国强，何东健. 基于机器学习的奶牛深度图像身体区域精细分割方法[J]. 农业机械学报，2017，48(4)：173－179. Zhao Kaixuan, Li Guoqiang, He Dongjian. Fine segment method of cows’body parts in depth images based on Machine learning[J].Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 173－179. (in Chinese with English abstract)

[10] Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensing[J]. Applied Animal Behaviour Science, 2013, 146(1/2/34): 11－18.

[11] Xia M, Cai C. Cattle face recognition using sparse representation classifier[J]. ICIC Express Letters, Part B: Applications, 2012, 3(6): 1499－1505.

[12] Cai C, Li J. Cattle face recognition using local binary pattern descriptor[C]//Signal and Information Processing Association Summit and Conference, Taiwan, 2013: 1－4.

[13] 山世光，高文，陈熙霖. 基于纹理分布和变形模板的面部特征提取[J]. 软件学报，2001，4(4)：570－577. Shan Shiguang, Gao Wen, Chen Xilin. Facial feature extraction based on facial texture distrbution and deformabale template[J]. Journal of Software, 2001, 4(4): 570－577. (in Chinese with English abstract)

[14] Cao X, Wei Y, Wen F, et al, Face alignment by explicit shape regression[J]. International Journal of Computer Vision, 2012, 107(2): 2887－2894.

[15] Yan S, Liu C, Li S Z, et al. Face alignment using texture-constrained active shape models[J]. Image and Vision Computing, 2003, 21(1): 69－75.

[16] Wu S, Kan M, He Z, et al. Funnel-structured cascade for multi-view face detection with alignment-awareness[J]. Neurocomputing, 2016, 221: 138－145.

[17] 黄福珍，苏剑波. 基于Level Set方法的人脸轮廓提取与跟踪[J]. 计算机学报，2003，26(4)：491－496. Huang Fuzhen, Su Jianbo. Face contour extraction and tracking using level sets[J]. Computer Journal of Computers, 2003, 26(4): 491－496. (in Chinese with English abstract)

[18] 侯云舒，付中华，张艳宁，等. 基于改进ASM的人脸特征点提取[J]. 计算机应用研究，2006，23(11)：255－257. Hou Yunshu, Fu Zhonghua, Zhang Yanning, et al. Face feature points extraction based on refined ASM[J]. Application Research of Computers, 2006, 23(11): 255－257. (in Chinese with English abstract)

[19] 张志刚，周明全，耿国华. 人脸关键特征点自动标定研究[J].计算机工程与应用，2007，43(21)：197－198. Zhang Zhigang, Zhou Mingquan, Geng Guohua．Research on automatic localization of facial key features[J]. Computer Engineering and Applications, 2007, 43(21): 197－198. (in Chinese with English abstract)

[20] Slice D E. Landmark coordinates aligned by procrustes analysis do not lie in kendall's shape space[J]. Systematic Biology, 2001, 50(1): 141－149.

[21] 熊盛武，宗欣露，朱国锋. 改进的基于AdaBoost算法的人脸检测方法[J]. 计算机应用研究，2007，24(11)：298－300. Xiong Shenwu, Zong Xinlu, Zhu Guofeng. Improved face detection method based on adaboost algorithm[J]. Application Research of Computers, 2007, 24(11): 298－300. (in Chinese with English abstract)

[22] Jones M, Viola P. Fast multi-view face detection[C]//Proc of Computer Vision and Pattern Recognition, Madison, 2003: 276－286.

[23] 魏冬生，李林青. Adaboost人脸检测方法的改进[J]. 计算机应用，2006，26(3)：619－621. Wei Dongsheng, Li Linqing. Improvement of adaboost face detection[J]. Computer Applications, 2006, 26(3): 619－621. (in Chinese with English abstract)

[24] Hosang J, Benenson R, Dollar P, et al. What makes for effective detection proposals[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(4): 814－830.

[25] Xiong X, Fernando D L T. Supervised descent method and its applications to face alignment[C]//IEEE Conference on Computer Vision and Pattern Recognition, Portland, 2013: 532－539.

[26] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, 2004: 506－513.

[27] Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: A new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131－138.

[28] Ren S, Cao X, Wei Y, et al. Face alignment at 3000 FPS via regressing local binary features[J]. IEEE Transactions on Image Processing, 2014, 25(3): 1685－1692.

[29] 时华良，李维国. 基于局部与全局拟合的活动轮廓模型[J].计算机工程，2012，38(18)：203－206. Shi Hualiang, Li Weiguo. Active contour model based on local and global fitting[J]. Computer Engineering, 2012, 38(18): 203－206. (in Chinese with English abstract)

[30] Cootes T F, Edwards G J, Taylor C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 681－685.

[31] Tzimiropoulos G, Pantic M. Optimization problems for fast AAM ftting in-the-wild[C]//IEEE International Conference on Computer Vision, Sydney, 2013: 593－600.

[32] Hoog A C B, Singh T, Singla P, et al. Evaluation of advanced lukas-kanade optical flow on thoracic 4D-CT[J]. Journal of Clinical Monitoring and Computing, 2013, 27(4): 433－441.

[33] 郭立力，赵春江. 十折交叉检验的支持向量机参数优化算法[J]. 计算机工程与应用，2009，48(8)：55－57. Guo Lili, Zhao Chunjiang. Optimizing parameters of support vector machine’s model based on genetic algorithm[J]. Computer Engineering and Application, 2009, 48(8): 55－57. (in Chinese with English abstract)

[34] Ramanan D, Zhu X. Face detection, pose estimation, and landmark localization in the wild[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence, 2012: 2879－2886.

Algorithm and realization for cattle face contour extraction based on computer vision

Cai Cheng, Song Xiaoxiao, He Jinrong
(College of Engineering Information Engineering, Northwest A&F University, Yangling 712100, China)

Since cattle facial information is very rich, ranging from skin color, chewing conditions to health status, it is of great importance for cattle disease monitoring. This paper proposed a scheme on cattle facial automatic extraction to cope with the problems caused by different camera angles, varied illumination and partial occlusion. Three classical human facial contour extraction algorithms were employed in the study: Supervised descent method (SDM), local binary features (LBF) and fast active appearance model (FAAM). For contour extraction performance evaluation, 800 cattle facial images were collected from a cattle farm at Northwest A&F University. For each cattle face, 29 facial feature points were manually labeled. In order to cope with cattle face scale and rotation, all the labeled facial feature points were aligned to a normalized model. Compared with human face, cattle face height-width ratio was much larger. Based on the characteristics of cattle face, this study used the AdaBoost detector to train cattle face detector. Because cattle face was rather long, we cut the image to the size of 15×25 pixels. And the background was a negative sample with the same size. The detection rate of the cattle face detector for 800 cattle face images was 96%. Considering the characteristics of cattle face, we improved the algorithms and optimized our parameters. Also because of the long face, a split model was used to initialize the cattle face model. The first part included an eye contour with cheeks on both sides, and the second part included the nose and mouth contour. The results showed that the accuracy of the contour extraction was improved significantly. We then analyzed and compared the time efficiency and the accuracy of the 3 algorithms. Finally, the performance of each method was evaluated by the Euclidean errors normalized by the left and right corners of the eyes and their corresponding computational time costs. The average computational costs of the 3 contour information extraction methods were 1.75, 0.35, and 60.62 s respectively. The average pairwise Euclidean errors normalized by the left and right corners of the eyes were 0.018 8, 0.024 5, and 0.018 4 pixel. The experiment verified the feasibility and practicability of the facial contour extraction methods. Results showed that the FAAM algorithm achieved the highest accuracy with the minimal alignment errors while the LBF algorithm was the most efficient. Therefore, in the process of facial contour extraction, we can choose proper algorithm in varied situation which requires different accuracy and efficiency. The contour extraction algorithm can effectively extract cattle facial contour information, which provides a theoretical basis for the further analysis of cattle facial expressions. As this is the first time that the contour extraction algorithm is applied to cattle face analysis, the present study serves as a good guide for other researches, which provides feasible data for computer vision based cattle disease analysis and a comprehensive guideline on cattle facial analysis under different circumstances in intelligent farm.

computer vision; algorithms; models; cattle face; contour extraction; feature point calibration; image feature

10.11975/j.issn.1002-6819.2017.11.022

TP391.41

A

1002-6819(2017)-11-0171-07

蔡 骋，宋肖肖，何进荣. 基于计算机视觉的牛脸轮廓提取算法及实现[J]. 农业工程学报，2017，33(11)：171－177.

10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

Cai Cheng, Song Xiaoxiao, He Jinrong. Algorithm and realization for cattle face contour extraction based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 171－177. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

2017-01-07

2017-05-10

国家自然科学基金（61473235）⎯大型动物行为模型与高级行为智能视频感知新方法研究

蔡 骋，男，山东潍坊人，教授，博士，研究方向为机器学习与模式识别。杨凌 西北农林科技大学信息工程学院，712100。

Email：chengcai@nwsuaf.edu.cn