基于机器视觉的鸡胴体质量分级方法
2017-06-27陈坤杰于镇伟白龙飞
陈坤杰 李 航 于镇伟 白龙飞
(南京农业大学工学院, 南京 210031)
基于机器视觉的鸡胴体质量分级方法
陈坤杰 李 航 于镇伟 白龙飞
(南京农业大学工学院, 南京 210031)
提出一种基于机器视觉技术的鸡胴体质量分级方法。使用数码相机在肉鸡屠宰厂随机采集95幅鸡胴体图像,对采集图像预处理后,提取出鸡胴体投影面积、轮廓长度和胸宽等6个图像特征。然后以这6个特征参数为输入,利用95个样本为训练集,通过回归分析的方法,分别建立预测鸡胴体质量的一元线性回归模型和多元线性回归模型,找出预测质量的最佳模型,最后采集5组共100个样本为验证集,对最佳分级模型进行验证。结果显示,鸡胴体图像的6个特征参数中,基于投影面积的一元线性模型决定系数最大,为0.827;基于投影面积等4个特征量的多元线性模型决定系数最大,为0.880。根据样本数据的学生化残差剔除了8个异常点的数据,修正后的多元线性模型决定系数为0.933,并将其作为最佳模型。利用最佳模型对验证集样本进行质量分级,模型对鸡胴体质量等级判定的平均正确率可达89%。结果表明基于图像特征的鸡胴体自动分级方法是可行的。
鸡胴体; 质量分级; 特征提取; 机器视觉
引言
近年来,随着肉鸡消费量的增长,我国肉鸡屠宰加工业有了迅速发展,但我国肉鸡屠宰加工装备的技术水平与发达国家之间仍有较大差距[1-2]。对于鸡胴体的宰后质量分级,国外已普遍使用在线自动称量系统,而国内除了极少数大型家禽屠宰企业引进国外此类设备实现在线自动称量分级外,大多数中小型企业均采用人工台秤称量分级的方法,不仅效率低、差错多,还造成了鸡胴体的二次污染[3]。尽管国内有企业开发出输送带自动称量分级装置,使鸡胴体称量分级效率有了很大提高,但是鸡胴体与输送带的直接接触将不可避免地造成其在加工过程中的交叉污染[4]。大量研究证明,在整个家禽屠宰加工生产环节中,鸡胴体表面菌落总数在分级、分割环节中会有明显上升,这其中,案板、台秤和人手是二次污染的主要来源[5-6]。目前家禽屠宰加工过程中减少或避免交叉感染的主要方法是在生产中采用悬挂输送的方式,因此,采用基于悬挂输送的质量分级方法可以避免家禽胴体加工过程中的二次污染。
随着计算机技术的发展,机器视觉技术在农产品分级领域获得广泛研究和应用[7-9]。通过这种技术建立物体质量的预测模型,可实现对物体体积或质量的预测[10-12]。MAKKY等[13]提出一种图像面积检测质量的方法,以油棕图像面积为自变量,建立其与质量的一元非线性模型,平均预测精度达到88.7%。SA’AD等[14]将芒果近似成圆柱体,以圆柱体参数为自变量建立模型预测质量,平均误差低于5%。这种基于机器视觉的物体质量预测方法,不仅效率高,而且其非接触的方式可以有效减少二次污染,可用于农产品质量的在线分级。因此,该方法的研究具有现实意义。
本文以肉鸡屠宰场生产线中进入分级环节前的鸡胴体为研究对象,在线采集鸡胴体图像,然后运用图像处理技术,提取鸡胴体图像的6个几何特征,以这6个特征参量建立鸡胴体的质量预测模型,实现对鸡胴体质量的预测与分级。
1 实验材料与方法
1.1 图像采集
图像采集地点在青岛六合集团肉鸡屠宰厂间,图像采集设备为一台Nikon J1型数码相机,在相机水平线左右60 cm处,分别放置2个带有柔光罩的LED灯(功率3 W,色温6 500 K)为采集图像提供光照,另外,在鸡胴体背后布置黑色背景布,以减少复杂背景干扰。镜头与鸡胴体距离60 cm,相机焦距30 mm,光圈F5.6,主光轴高度117 cm,图像采集示意图如图1所示。
图1 图像采集示意图Fig.1 Diagram of image capture1.黑色背景布 2.横梁 3.鸡胴体 4.LED光源 5.相机 6.三脚架
采集图像时,从生产线上选择大小有明显差别的95只鸡胴体进行拍摄。拍摄完成后取下该鸡胴体,放置在电子台秤上进行称量,记录质量并标号。获取的鸡胴体原始图像如图2所示,图像中包括鸡胴体和黑色背景两部分。
图2 鸡胴体原始图像Fig.2 Original photo of chicken carcass sample
1.2 图像预处理
为能够从图像中提取相关特征量,首先对所采集的图像进行预处理。图像处理算法的设计基于OpenCV 2.4.8,开发平台为VS 2010,编程语言为C++。
1.2.1 灰度化
灰度化是将彩色图像转变成单色图像的过程,因不需考虑人眼视觉感受[15],本文采用简单的算术平均值法计算每个像素的灰度L,计算公式为
L=(R+G+B)/3
(1)
图3 鸡胴体灰度图像Fig.3 Gray image of chicken carcass
式中R、G、B分别代表彩色图像3个基本单色光(红色、绿色、蓝色)的强度等级,其取值范围均为0~255。灰度化处理后的图像如图3所示。
1.2.2 滤波
为消除图像因拍摄、传输过程中产生的噪声,需对灰度化后的图像进行滤波处理。中值滤波可以消除椒盐噪声,同时又能较好保存边缘细节[16]。为尽可能保存鸡胴体轮廓信息,保证特征提取的准确性,本文采用中值滤波方法对灰度化后的图像降噪处理,结果如图4所示。
1.2.3 二值化
本文分别比较了矩量保持、一维最大熵和Otsu 3种算法[17]对鸡胴体图像进行二值化处理的效果(图5),发现矩量保持法丢失了许多边缘细节,一维最大熵法由于阈值过高,背景中许多像素被错误地置为黑色。只有Otsu法兼顾了边缘细节和分割效果。因此,本文选取Otsu算法进行图像样本的二值化及目标分割。
图4 滤波处理后鸡胸部分的边缘保存效果Fig.4 Border preservation effect of chicken breast after filter
图5 不同阈值分割算法分割效果对比Fig.5 Threshold segmentation results comparison of different algorithms
1.2.4 孔洞填充
图6 二值图中的孔洞及孔洞填充后的图像Fig.6 Hole in binary image and image after hole filling
观察图2发现图中鸡胸表面多处存在点状血迹,由于血迹的灰度较低,与背景灰度接近,因此,灰度图二值化以后,会在白色鸡胴体区域内出现黑色斑点,如图6a所示。为消除这些斑点,采用孔洞填充法对这些黑色孔洞进行填充,方法如下:首先运用Opencv中的findContours()与drawContours()函数,对鸡胴体的二值图像进行轮廓检查与绘制。然后用findContours()将检测到的轮廓拓扑信息存储到4个元素hierarchy[index][0]~hierarchy[index][3](index表示轮廓序号)中,这4个元素分别代表当前轮廓的后一轮廓、前一轮廓、父轮廓、内嵌轮廓,其中父轮廓是指包围当前轮廓的轮廓,内嵌轮廓指当前轮廓的内部轮廓,即孔洞。用hierarchy[index][0]遍历所有轮廓,再使用hierarchy[index][2]找到所有孔洞。最后用drawContours()绘制所有孔洞并将该函数内轮廓线条粗细参数thickness设置为-1,即实现孔洞的填充。结果如图6b所示。
1.3 图像特征的提取
每一只鸡胴体在质量上的差异,通常都会在视觉形态上表现出来,可以用某些图像的几何特征对鸡胴体在质量上的差异进行描述,本文提取以下6个常规的图像几何特征参数对鸡胴体质量进行预测。
1.3.1 投影面积
鸡胴体投影面积主要体现鸡胴体体型大小,表现为经过前述预处理后图片中白色区域面积。其图像测量方法为:从图像的左上角开始,遍历所有像素,对所有灰度值为255的像素计数,得到以像素个数为单位的该样本投影面积,记作Sp。
1.3.2 胴体长度
胴体长度以图像中鸡胴体最高点到最低点的垂直距离表示,其计算方法为:按行遍历图像中像素,在每一行中,从左到右对每一个像素进行扫描,若遇灰度为255的像素,记录该行行数i,同时停止扫描,跳转至下一行最左边像素向右扫描,如此循环,最后将记录的行数中最大值减去最小值,便得到胴体长度Hp。即
Hp=imax-imin
(2)
式中imax——行数最大值,代表鸡胴体区域最底一行行数
imin——行数最小值,代表鸡胴体区域最顶一行行数
合并糖尿病的手术患者,在实施手术治疗的过程中,由于受到手术应激刺激,易出现血糖波动情况,从而导致血糖升高,易引起切口感染等并发症。术后切口感染会对患者的康复带来诸多不利,因此,积极采取有效的手段控制切口感染发生率,十分重要[4]。
1.3.3 轮廓长度
鸡胴体的轮廓长度是在一维空间描述鸡胴体体型大小的几何参数,表现为二值化图像中白色区域轮廓曲线的长度,通过轮廓检测函数findContours()实现[18],以像素的个数表示为Cp。检测获得的鸡胴体轮廓曲线如图7所示。
图7 提取的鸡胴体轮廓线Fig.7 Contour extracted from chicken carcass
1.3.4 鸡胸长度、宽度
鸡胸投影代表了鸡胴体的躯干部分,包含了鸡胴体大部分质量,因此,其垂直、水平方向的长度、宽度是表示鸡胴体质量的重要参数。
由于鸡胴体的鸡胸类似椭圆,因此,鸡胸长度可表示为椭圆长轴,鸡胸宽度表示为椭圆短轴。本文使用一种改进的霍夫变换椭圆检测方法[19]从图像中提取椭圆,具体方法如下:利用OpenCV中的Canny()函数,检测鸡胴体边缘;利用椭圆3条不同切线确定椭圆中心(xc,yc);获得最合适椭圆匹配。
极坐标系中,一个椭圆可以通过中心点坐标(xc,yc)、长半轴长度a、短半轴长度b以及旋转角度ρ确定。若已经确定了(xc,yc),采用最小二乘法[20],通过计算鸡胴体边缘所有像素点到椭圆中心距离的最小平均值法获得最佳拟合椭圆,如图8所示,绿色曲线即为最佳拟合的椭圆。该椭圆的长轴长度即为鸡胸长度Ap,短轴长度则为鸡胸宽度Bp。
图8 鸡胸拟合椭圆示意图Fig.8 Diagram of fitting ellipse for chicken breast
1.3.5 鸡胸面积
鸡胸的投影面积描述了鸡胸部分的大小,可表示为鸡胸拟合椭圆的面积,计算公式为
Ep=πApBp
(3)
按上述方法提取的图像特征量Sp、Hp、Cp、Ap、Bp、Ep均以像素数为单位,为将其转换成实际值,参照TSAI[21]提出的方法进行图像尺寸标定,得到以下特征量转换计算公式:
投影面积实际值(单位:cm2)
Sr=Sp/169
(4)
胴体长度实际值(单位:cm)
Hr=Hp/13
(5)
轮廓长度实际值(单位:cm)
Cr=Cp/13
(6)
鸡胸长度实际值(单位:cm)
Ar=Ap/13
(7)
鸡胸宽度实际值(单位:cm)
Br=Bp/13
(8)
鸡胸面积实际值(单位:cm2)
Er=Ep/169
(9)
2 结果与分析
2.1 鸡胴体质量统计分析
本研究的样本品种为白羽肉鸡,市售每只白羽鸡的质量通常为1.5~3.3 kg,胴体率(鸡胴体质量占活体质量的百分比)约为70%。本文采集的鸡胴体质量数据如表1所示,样本的质量分布较广,与市售白羽鸡的质量分布基本一致,因此本研究所用样本具有良好的代表性。
表1 鸡胴体样本质量数据
2.2 一元线性回归分析
分别以6个特征量为单一自变量,鸡胴体质量为因变量,建立鸡胴体质量预测的一元线性回归模型,统计分析结果如表2所示,表中W表示鸡胴体质量的预测值。R2表示决定系数、F检验为模型的假设检验,t检验为相关系数假设检验。
表2数据表明,W-Sr模型具有最大的R2值,最小的均方根误差,显示其具有最高的拟合程度、最高的预测精度;因此,W-Sr模型是最佳的一元线性回归模型,鸡胴体质量可以表示为
W=-356.54+2.313Sr
(10)
表2 6个特征量的一元线性回归分析结果
2.3 多元线性回归分析
图9 异常点样本图像的3种问题Fig.9 Three kinds of problems in images of outliers
建立多元线性回归方程
W=b+a1Sr+a2Hr+a3Cr+a4Ar+a5Br+a6Er
(11)
对各自变量间的相关性进行分析,结果如表3所示,鸡胸面积Er与鸡胸宽度Br间的相关系数高达0.936 7,存在严重的共线性问题,因此,在将自变量Er剔除后,用其余5个自变量根据参数显著性检验结果,进行逐步回归建模。
表3 各自变量间相关系数
采用投影面积Sr、轮廓长度Cr、鸡胸长度Ar和鸡胸宽度Br建立鸡胴体质量多元线性回归模型,模型的R2为0.880,均方根误差为100.8 g,模型和4个自变量的影响均高度显著(表4),参照文献[22]所述方法用方差膨胀因子对模型进行检验,各参数也没有共线性问题,鸡胴体质量的多元线性预测模型可表示为
W=-1 110.505+1.882Sr-1.916Cr+
对建模所用的训练集数据进行分析,发现有很多异常数据,为此,采用学生化残差分析法[23],对训练集数据进行异常数据诊断和剔除,发现共有3号、7号和15号等8个数据为异常数据,对这8个数据对应样本图像进行分析后发现,它们成像时均受到人工或外界影响,其受影响原因分为3种:鸡翅完全未展开、胴体旋转、拍摄模糊,如图9所示。
其中前2种原因都会对特征量Sr、Cr有严重影响,而对焦失败的图像则对4个特征量均有很大影响,因此将它们剔除。剔除这8个异常数据后,重新进行回归分析,得到修正后的鸡胴体质量多元线性预测模型为
W=-1 232.423+1.933Sr-2.317Cr+
44.758Ar+18.349Br
(13)
模型R2达到0.933,均方根误差减小为77.18 g,式(13)显示了更好的拟合度和预测效果。
3 鸡胴体质量等级预测模型的验证
为验证模型预测质量等级的准确度,另外采集了100个鸡胴体样本作为验证集对模型进行验证。国内尚无统一质量分级标准,各企业因市场需求拥有不同分级标准,因此参照我国出口禽肉分级标准[24],将胴体质量划分为5个均匀等级,即1~5共5个等级,质量区间分别为1 000~1 300 g、1 300~1 600 g、1 600~1 900 g、1 900~2 200 g、2 200~2 500 g。
将验证集样本分为5组,每组20个样本。使用式(13)计算验证集100个样本的预测质量,并划入相应的等级,称之为判定等级;根据每个样本实际质量划分的等级,称之为实际等级。判定等级与实际等级一致,则表示模型分级正确;反之,则表示分级错误。5组样本分级结果如表5所示。
表5 质量预测模型的分级结果
5组验证数据中,分级正确率最高为95%,最低为80%,平均正确率为89%,表明质量预测模型进行质量分级有良好的准确性,可用于鸡胴体质量的等级判定。
4 结束语
本文利用数字图像处理技术提取出有关鸡胴体大小的几何特征参数,然后采用投影面积Sp、轮廓长度Cp、鸡胸长度Ap和鸡胸宽度Bp4个参数建立鸡胴体质量的多元线性预测模型,利用此模型可以实现对鸡胴体质量等级的判定,从而实现质量分级,平均正确率为89%,基本满足生产线要求。研究结果表明利用机器视觉技术对鸡胴体质量分级技术上可行,为将来研制鸡胴体质量在线分级系统提供了理论支持。
1 汤晓艳,颜成英,王敏,等.我国肉鸡加工产业现状及发展对策[J].中国家禽,2013,35(24):2-6.
2 徐幸莲,王虎虎.我国肉鸡加工业科技现状及发展趋势分析[J].食品科学,2010,31(7):1-5. XU Xinglian, WANG Huhu. Analysis on technological status and trend of chicken processing industry in China[J]. Food Science, 2010,31(7):1-5.(in Chinese)
3 李虹敏,徐幸莲,周光宏.禽类屠宰加工过程中微生物污染及减菌措施[J].肉类工业,2009(2):7-9. LI Hongmin,XU Xinglian, ZHOU Guanghong. Bacterial contaminaion and decontamination techonlogies in commercial slaughter and processing of poultry[J]. Meat Industry, 2009(2):7-9.(in Chinese)
4 夏小龙,彭珍,刘书亮,等.肉鸡屠宰加工中减菌处理前后细菌菌相分析[J].食品科学,2015,36(10):189-194. XIA Xiaolong, PENG Zhen, LIU Shuliang, et al. Bacterial flora before and after bacterial reduction during slaughtering and processing broiler chickens[J]. Food Science, 2015,36(10):189-194.(in Chinese)
5 彭珍,刘书亮,朱冬梅,等.肉鸡屠宰加工过程中胴体微生物污染分析及不同冲淋条件对胴体减菌的影响[J].食品与发酵工业,2014,40(3):216-221. PENG Zhen, LIU Shuliang, ZHU Dongmei, et al. Analysis of microbial contamination of chicken carcasses during slaughter processing and the effects of different drenching conditions on decontamination of chicken carcasses[J]. Food and Fermentation Industries, 2014,40(3):216-221.(in Chinese)
6 李虹敏,冯宪超,徐幸莲,等.肉鸡屠宰加工及冷藏中的微生物污染来源及菌相分析[J].肉类工业,2008(6):33-37. LI Hongmin, FENG Xianchao, XU Xinglian, et al. Source of bacterial contamination and changes of microflora in processing and refrigerated storage[J]. Meat Industry, 2008(6):33-37.(in Chinese)
7 邓继忠,李山,张建瓴,等.小型农产品分选机设计与试验[J/OL].农业机械学报,2015,46(9):245-250,313. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150936&flag=1. DOI:10.6041/j.issn.1000-1298.2015.09.036. DENG Jizhong, LI Shan, ZHANG Jianling, et al. Design and test of small-scale sorting machine for agricultural products[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(9):245-250,313.(in Chinese)
8 SIRISATHITKUL Y, THUMPEN N, PUANGTONG W. Automated chokun orange maturity sorting by color grading[J]. Walailak Journal of Science and Technology, 2006, 3(2): 195-205.
9 陈坤杰,孙鑫,陆秋琰. 基于计算机视觉和神经网络的牛肉颜色自动分级[J]. 农业机械学报,2009,40(4):173-178. CHEN Kunjie, SUN Xin, LU Qiuyan. Automatic color grading of beef lean tissue based on BP neural network and computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009,40(4):173-178.(in Chinese)
10 VIVEK V G, IQBAL S M, GOPAL A, et al. Estimation of volume and mass of axi-symmetric fruits using image processing technique[J]. International Journal of Food Properties, 2015, 18(3): 608-626.
11 EIFERT J D, SANGLAY G C, LEE D J, et al. Prediction of raw produce surface area from weight measurement[J]. Food Engineering, 2006,74:552-556.
12 BAILEY D G, MERCER K A, PLAW C, et al. High speed weight estimation by image analysis[C]∥Proceedings of the New Zealand National Conference on Non Destructive Testing,2004: 27-39.
13 MAKKY M, SONI P. Development of an automatic grading machine for oil palm fresh fruits bunches (FFBs) based on machine vision[J]. Computers and Electronics in Agriculture, 2013, 93: 129-139.
14 SA’AD F S A, IBRAHIM M F, SHAKAFF A Y M, et al. Shape and weight grading of mangoes using visible imaging[J]. Computers and Electronics in Agriculture, 2015, 115: 51-56.
15 周金和,彭福堂.一种有选择的图像灰度化方法[J].计算机工程,2006,32(20):198-200. ZHOU Jinhe, PENG Futang. A method of selective image graying[J]. Computer Engineering, 2006,32(20):198-200.(in Chinese)
16 王晓凯,李锋.改进的自适应中值滤波[J].计算机工程与应用,2010,46(3):175-176,218. WANG Xiaokai, LI Feng. Improved adaptive median filtering[J]. Computer Engineering and Applications, 2010,46(3):175-176,218.(in Chinese)
17 刘东菊.基于阈值的图像分割算法的研究[D].北京:北京交通大学,2009. LIU Dongju. The research of image segmentation based on thresholds[D]. Beijing: Beijing Jiaotong University, 2009.(in Chinese)
18 SUZUKI S. Topological structural analysis of digitized binary images by border following[J]. Computer Vision, Graphics, and Image Processing, 1985, 30(1): 32-46.
19 ALVAREZ L, SALGADO A, SANCHEZ J. Robust detection and ordering of ellipses on a calibration pattern[J]. Pattern Recognition and Image Analysis, 2007,17(4):508-522.
20 ALEMAN-FLORES M, ALEMAN-FLORES P,LVAREZ-LEON L, et al. Computational techniques for the support of breast tumor diagnosis on ultrasound images[J]. Cuadernos del Instituto Universitario de Ciencias y Tecnologías Cibernéticas, ULPGC, 2003, 27: 1-12.
21 TSAI R Y. An efficient and accurate camera calibration technique for 3D machine vision[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,1986.
22 [美]罗伯特·卡弗.探索性数据分析[M].上海财经大学统计与管理学院,译.上海:上海财经大学出版社,2013.
23 王玉梅.线性回归模型中的异常点分析[D].武汉:华中科技大学,2006. WANG Yumei. Outlier analysis of linear regression model[D]. Wuhan: Huazhong University of Science and Technology,2006.(in Chinese)
24 广东省饲料工业协会.出口禽肉的分级标准[R].肇庆:南方饲料快讯,2001.
Grading of Chicken Carcass Weight Based on Machine Vision
CHEN Kunjie LI Hang YU Zhenwei BAI Longfei
(CollegeofEngineering,NanjingAgriculturalUniversity,Nanjing210031,China)
An automated grading method of chicken weight using image processing was proposed. Ninety-five images of chicken were acquired randomly in a poultry slaughtering plant by using a digital camera. After these images were preprocessed, six parameters such as projection area (Sp), contour length (Cp), length (Hp), breast width (Ap), breast length (Bp) and fitting ellipse (Ep) of chicken carcass were extracted from the processed images. Then taking the six parameters as the inputs and ninety-five samples as the training set, the simple linear regression model and multiple linear regression model were established for predicting of chicken weight, respectively. Furthermore, the optimal model was found out among these developed ones according to regression correlation coefficient. Finally, the independent validation set was formed by using 100 samples divided into five groups and employed to validate the optimal model. Results showed that the simple linear model based on the projection area (Sp) of the chicken carcass had the largestR2of 0.827 in the six simple linear models developed. The multiple linear regression model developed based on the indicators ofSp,Cp,ApandBphad the largestR2of 0.880 in all multiple linear models developed. The adjusted multiple linear regression model had a adjustedR2of 0.933 after eliminating eight outliers detected by students residuals. When the validation set samples were used to validate the optimal multiple linear model, the average correct rate for weight grading of chicken carcass was 89%, indicating that the proposed method based on image processing was feasible for automatic weight grading of chicken carcasses.
chicken carcass; weight grading; feature extraction; machine vision
10.6041/j.issn.1000-1298.2017.06.038
2016-10-21
2016-11-23
公益性行业科研专项(201303083-2)
陈坤杰(1963—),男,教授,主要从事农产品加工、检测及智能化装备研究,E-mail: kunjiechen@njau.edu.cn
S24; TS251.3
A
1000-1298(2017)06-0290-06