计算机视觉用于猪肉新鲜度检测的颜色特征优化选取

潘婧，钱建平，刘寿春，韩帅

1(上海海洋大学 信息学院，上海，201306) 2(国家农业信息化工程技术研究中心，北京，100097)



计算机视觉用于猪肉新鲜度检测的颜色特征优化选取

潘婧1，2，钱建平2*，刘寿春2，韩帅2

1(上海海洋大学 信息学院，上海，201306) 2(国家农业信息化工程技术研究中心，北京，100097)

摘要在以计算机视觉为基础，并利用神经网络预测猪肉通脊新鲜度时，选择合适的颜色特征参数和神经网络模型是提高其预测准确性的关键之一。文中提出了一种猪肉新鲜度等级预测时颜色特征参数和神经网络优化选取的方法，利用图像处理的方法提取通脊表面的颜色特征参数，组合成RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*及HIS-L*a*b*五类特征参数组合，并利用BP(back propagation，BP)和SVM(support vector machine，SVM)神经网络构造各类新鲜度等级预测模型。结果表明：SVM和BP的平均预测准确率分别为91.11%和84.44%，且rgb-HIS特征参数组合的BP与SVM预测模型的预测准确率最高，分别为88.89%和95.56%。因此，提取通脊表面r、g、b、H、I、S均值作为颜色特征向量，且选择SVM神经网络来构造新鲜度预测模型可显著提高预测结果的准确性。

关键词猪肉；新鲜度；颜色特征；BP；SVM；预测模型

肉品新鲜度是衡量其卫生质量的主要指标之一。精确的肉品新鲜度评定方法，不仅可以预估其相应的货架期时间，也可确保食用者的饮食安全。传统的新鲜度感官评价存在着主观性强、效率低等缺陷[1]。然而，随着20世纪后期计算机硬件的飞速发展以及应用软件的不断更新，推动了计算机视觉技术在肉类新鲜度相关色泽评价的应用上不断发展与成熟，且近年来，相关学者研究表明，利用计算机视觉识别肉类新鲜度已达到可取代人工感官评价的程度[2]。LU等[3]以猪肉的肌肉像素点的RGB和HIS的平均值和标准差作为颜色特征参数，并利用偏最小二乘法、多元线性回归以及BP神经网络法建立了猪肉颜色等级的预测模型，模型的相关系数分别为0.52和0.75。CHEN等[4]以牛肉图像中脂肪像素点RGBHIS的均值和标准差作为输入参数，利用支持向量机(SVM)对牛肉脂肪颜色等级进行了预测，正确率为97.4%。姜沛宏等[5]应用神经网络建立基于RGBHIS特征分量的牛肉新鲜度分级模型，模型判别正确率达90%以上。

利用计算机视觉技术进行肉品质量等级预测时，选择合适的颜色特征参数和神经网络模型是关键。目前较多学者只是凭经验直接选定颜色特征参数和神经网络模型，并没有给出相应的数据证实该选取是其模型预测准确率最高时的最优选取[3-8]。本研究以猪肉通脊部位肉样作为试验对象，提取了12个常用的颜色特征参数R、G、B、H、I、S、L*、a*、b*、r、g、b的均值，组合成RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*这5类特征参数组合。将上述5类组合分别作为神经网络的输入参数进行通脊新鲜度等级的预测，神经网络选择的是常用的BP和SVM，最后根据预测准确率找到最佳的特征参数组合类，并找出其适合的神经网络预测模型，以期为采用计算机视觉技术进行猪肉新鲜度评定时选取高精度、高适应度预测模型。

1材料与方法

1.1试验材料

肉的颜色是由肌红蛋白和血红蛋白决定的，在放血充分的条件下，肉色主要是受肌肉内的肌红蛋白状态的影响[9]，故在进行肉品颜色评定时主要针对的是样品中的肌肉颜色，在进行样品颜色特征提取时，也仅对肌肉像素进行统计。此外，脂肪氧化和肉品的变色之间也存在着密切关系，由于脂肪氧化产生自由基破坏了肉中的色素，使肉变色，而肉变色后产生的Fe3+又是脂肪氧化的催化剂[10]，因此肌间脂肪的存在也会对肉色测定有一定的影响。

本试验的猪肉样本购自北京当地农贸市场，样本选取时未考虑其品种、性别、遗传因素、是否注水等宰前因素背景。被测部位选择了几乎不含肌间脂肪的通脊部位肉，可避免脂肪对肌肉颜色的干扰。买回的通脊肉先使用干净的纸巾清洁表面的水分、污物及肉屑，之后利用无菌刀及时进行切片处理，其大小尺寸为6 cm×4 cm×2 cm(长×宽×高)，平均重量约为70 g。制作15个样本放在洁净托盘中，并立即使用食品保鲜膜封好存放于4℃的冰箱中。贮藏过程中，每隔1天进行1次图像采集和人工感官评价，试验周期为8 d。

1.2实验装置

图像采集装置由台式计算机(DELL OptiPlex 760，2.66 GHz CPU，4GB RAM)、尼康(Nikon)D90数码相机(图像格式为jpg，图像分辨率为3 216像素×2 136像素)自制光照室和光源组成，如图1所示。光照室采用长方体封闭式光照室，尺寸为6 cm×4 cm×2 cm(长×宽×高)，载物台高度为30 cm，光照室内壁涂成白色，顶端装有40W环形荧光灯，以形成均匀照射的光源。光照室上方开有圆形小孔，用来放置数码相机镜头进行图片拍摄。采集好的图像使用USB2.0/DC接口传输到PC机端，采用MATLAB 8.3软件对采集的图片进行处理。

图1　图像采集装置Fig.1　Image acquisition device

1.3感官评定方法

建立一个由10人(均已接受专业培训)组成的感官评定小组，参照文献[11]的感官评分细则对试验样本进行新鲜度等级的评定。评分标准为10分制，经多次研究分析与市场调查，将4个属性色泽、黏度、气味和弹性的权重分别设为0.3、0.25、0.25、0.2，样本的感官得分取自10人评分的平均值。感官评定时，得分在8分及以上的为新鲜等级，6～8分的为次新鲜肉，低于6分的为腐败肉。评定结果：新鲜等级样本45个、次新鲜等级42个和33个腐败等级。评定小组的评定结果将作为本次实验后续神经网络预测时的新鲜度等级评定标准。任意选择其中75个样本作为的训练集，其余作为测试集(表1)。

表1　实验样本信息表

1.4图像预处理

将待测样本置于载物台上，开启光源，调节摄像头焦距和光照强度使得图像足够清晰，固定焦距和照明强度参数，使得研究中所摄取猪肉图像具有相同的初始条件，保证所得评定结果的一致性。采集好的图像通过数码相机的USB2.0/DC接口传输到计算机中，图片为jpg格式。为了提高效率，处理前将图像尺寸统一调整为600像素×900像素，采集的样本如图2-(a)所示。

本次实验采集到的图像含有较少的噪声干扰，这可能是由实验中使用了统一的光源，围光系统和背景导致。在对比了线性滤波，中值滤波和自适应滤波效果后，本研究最终选用了滤波效果较好的中值滤波，其在衰减噪声的同时保持了图像细节的清晰。图2中通脊与白色背景的灰度级相差较大，故选择最大类间方差自适应阈值法(OTSU)进行图像背景分割[12]。分割后的二值图像中含有一些内部空洞及边缘噪声，选用区域填充法和形态学开运算分别进行内部空洞的填充和边缘平滑[13]。最后将分割出来的二值图像与原RGB图像3个通道相乘，即可得到只保留目标对象的彩色图像，结果如图2-(b)所示。

图2　图像处理结果Fig.2　Results of image processing

1.5颜色特征值的选取

相对于其他的视觉特征而言，颜色特征对视角、尺寸、方向的依赖性较小，表现出很强的鲁棒性[14]。对于物体颜色的描述，目前存在着多种颜色模型。RGB是基于显示设备的颜色模型，能够准确地表示屏幕上色彩的组成。将RGB颜色空间归一化可得到rg色度空间，归一化公式为[15]：

(1)

根据公式可以推断出RGB颜色系统的r，g，b只是比值而已，与光照强度变化无关，因此rg色度空间可避免光照对图像颜色的影响。HIS是基于人对颜色心理感受的颜色模型, 比较符合人的视觉感受, 是计算机视觉技术中主要采用的颜色模型。CIEL*a*b*颜色模型针对颜色的显示方式进行描述，具有很好的颜色认知属性，与上述几种颜色模型相比，该模型的色彩分布更加均匀[16]。HIS和CIEL*a*b*颜色空间均可由原始RGB颜色空间通过Matlab软件编程转换得到。

提取各颜色空间特征参数的均值，来定量描述通脊的颜色特征。均值的计算公式为：

(2)

其中：D为目标区域，i为像素点的水平坐标，j为像素点的垂直坐标，N为D区域内的总像素点数，y为R，G，B，H，I，S，L*，a*，b*，r，g，b。

因单一的颜色空间来表征颜色特征并不能很好地区分通脊新鲜度等级[8]，故本研究将上述颜色特征参数组合成5类：RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*，并将每一类都单独神经网络预测模型的输入参数分析1次。

1.6神经网路预测模型的构建

1.6.1BP神经网络设计

基于误差反向传播(back propagation)算法的多层前馈网络(简称BP神经网络)是目前应用较多的网络之一，主要通过学习来实现输入目标与输出目标之间的非线性映射[17]。因本研究采用的BP神经网络分为输入层、隐含层和输出层其结构图如图3所示(RGB-HIS组合作输入为例)。BP神经网络的输入为每一类的6个颜色特征参数，感官评定小组的新鲜度等级评定值(新鲜，次新鲜和腐败)作为输出，故输出层神经元个数为3个。隐含层神经元个数选择的经验公式为：

(3)

其中：n为输入层神经元数目，m为输出层神经元数目，a为1～10之间的整数，N为隐含层神经元个数。经多次反复试验后，最终选择在RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*作为输入时的隐含层节点数分别为：12，13，13，13，12。输入层到隐含层采用tansig函数，隐含层到输出层采用logsig函数。网络训练函数选择trainscg，最大训练循环次数为20 000，显示间隔次数为50，误差性能目标值为1e-3，学习系数为0.05。

图3　BP网络结构Fig.3　Network Structure of BP

1.6.2SVM神经网络设计

支持向量机(support vector machine，SVM)在解决小样本、非线性及高维模式识别中表现出许多特有的优势[18]。本研究采用台湾大学林智仁教授等开发的LIBSVM工具箱，在MATLAB 8.3平台下进行SVM模型的设计。每次选择一类颜色特征参数作为SVM的数据集，评定小组的新鲜度等级评定值作为数据标签(新鲜为1，次新鲜为2，腐败为3)。从原始数据集中读取训练集和测试集的数据及其所对应的数据标签，并对数据进行归一化处理。核函数的选取是SVM的关键，目前最常用的核函数有线性核函数、多项式核函数、径向基RBF核函数及S形核函数4种[19]。RBF核函数只需确定核宽度参数，避免了参数过多的复杂性，而且RBF核函数参数选择的限制条件较少，具有更好的适用性，所以本研究最终选择了RBF核函数，其函数形式为：

(4)

其中：xi∈x⊂Rn为输入向量，σ为核宽度参数，K为核函数。研究表明[20]，核函数的参数g和误差惩罚因子C是影响SVM性能的主要因素，故还需对C和g进行最佳参数寻优处理。本研究利用多种寻参方法进行寻优，经过反复的寻参测试，得到的每一类下的C和g的值如表2所示。

表2　SVM的C和g取值

2结果与分析

2.1BP神经网络模型预测结果

将每一类训练集的颜色特征向量进行归一化处理后作为BP模型的输入，感官小组评定结果(编号1～15为新鲜肉，16～30为次鲜肉，31～45为腐败肉)作为BP目标输出，根据设定的结构参数进行训练，建立每个组合下的BP 神经网络预测模型。。将每组的45个测试集输入已训练好的BP神经网络模型中进行新鲜度等级的预测，将输出值中的最大值置为1，其余置为0。[1 0 0]、[0 1 0]和[0 0 1]分别代表新鲜、次新鲜和腐败。预测结果如图4(a)～(e)所示。

图4将预测错误的样本编号均已标出，计算图4中不同组合的预测准确率，结果如表3所示。从表3中可知，BP模型在五类特征参数组合下的平均预测准确率为87.112%，最低为84.44%，最高达到88.89%。故本研究建立的BP神经网络预测模型对通脊新鲜度等级预测较准确，且选择使用类3 rgb-HIS组合或类5 HIS-L*a*b*作为BP预测模型的输入参数更为合适。

图4　不同组合下的BP模型预测结果Fig.4　BP predicting results under different combination

类1类2类3类4类5预测准确率86.67%84.44%88.89%86.67%88.89%准确率统计最小值最大值平均值84.44%88.89%87.112%

2.2SVM神经网络模型预测结果

对每组颜色特征向量进行归一化处理后作为SVM模型训练数据集，感官小组的新鲜度等级评定值(编号1～15为新鲜肉，16～30为次鲜肉，31～45为腐败肉)作为数据集标签，根据设定的结构参数进行训练，建立每类的SVM神经网络预测模型。再利用各自已训练好的SVM模型对其测试集数据进行预测，得到的结果如图5所示。

图5将SVM预测错误的样本编号均已标出。表4给出了图5中各类组合的预测准确率。从表4中可知，SVM模型在五类特征参数组合下的平均预测准确率为93.78%，最低和最高预测准确率分别为91.11%和95.56%。说明本研究建立的SVM模型在通脊新鲜度等级预测时具有很高的预测准确率，且在使用SVM进行新鲜度预测时应优先选择类1-RGB-HIS组合、类3 rgb-HIS组合或类5 HIS-L*a*b*作为输入参数。

表4　SVM模型的预测准确率

2.3BP和SVM预测结果对比分析

表5列出了每一类组合使用2种不同预测模型时预测的错误样本编号和预测准确率。从预测错误的样本编号可看出每组使用SVM模型预测错误的样本大部分在使用BP模型预测时也会出错，这说明相比BP 模型，选择使用SVM模型预测通脊新鲜度更合适。此外，综合2种神经网络的预测准确率可发现，不管选择BP模型还是SVM模型，特征值rgb-HIS组合的预测准确率均为最高的，分别为88.89%和95.56%。故在进行通脊新鲜度等级时，选择rgb-HIS颜色特征值组合作为神经网络的输入最为合适。

图5　不同组合下的SVM模型预测结果Fig.5　SVM predicting results under different combination

颜色特征预测模型预测错误样本编号准确率/%RGB-HISBP9,12,21,24,27,3086.67SVM9,2195.56RGB-L*a*b*BP9,12,17,21,30,41,4484.44SVM21,3095.56rgb-HISBP9,12,14,21,3088.89SVM17,2195.56rgb-L*a*b*BP17,18,24,27,30,3986.67SVM18,21,24,3091.11HIS-L*a*b*BP9,21,24,27,3088.89SVM9,21,24,3091.11

3结论

本文以猪肉通脊部位的肉样作为研究对象，利用计算机视觉技术对其颜色特征进行量化处理。在颜色特征参数选择时，通过实验发现当BP模型的输入参数为rgb-HIS或HIS-L*a*b*时其预测准确率最高为88.89%，而当使用SVM模型进行新鲜度等级预测时，选择RGB-HIS、RGB-L*a*b*或rgb-HIS作为SVM预测输入参数时，其准确率可达最高为95.56%。因此，选择上述共同的颜色特征参数r、g、b、H、I、S作为神经网络的输入参数更合适。

在神经网络模型选择时，由于SVM的模型对5类组合预测的平均准确率为91.11%高于BP的平均准确率84.44%，故应优先选择SVM神经网络模型进行新鲜度等级的预测。综上，在利用神经网络预测通脊新鲜度等级时，提取通脊表面的r、g、b、H、I、S这6个颜色特征参数，且选择SVM神经网络共同参与到新鲜度等级预测模型的构建，此时的模型的预测准确率可以达到最高。

本次研究主要是根据猪肉颜色判定其新鲜度等级的，而放血充分情况下肌红蛋白是决定肉色的主要因素，其氧化状态直接影响肉色。因此，凡是可以影响到肌肉中抗氧化性的因素都有可能影响到肌红蛋白氧化和肉色稳定性[21]。孙京新[22]通过实验证实猪肉微粒体脂肪氧化产物，尤其是小分子不饱和氧化产物会促进氧合肌红蛋白氧化。本研究所选用的是较为单一的只含肌肉通脊部位样本，对于含有肌间脂肪的部位肉，其肌肉颜色变化可能会与本研究有一定差异，研究结果便可能会产生一定的偏差。后续会在保证猪种一致的基础上，增加对含有肌间脂肪的猪肉样本研究，消除脂肪存在给研究结果带来的偏差。

影响猪肉呈色和色泽数据采集的准确性方面的因素还包括：肉样是否注水、放血是否充分、宰后 pH 值变化情况、贮藏温度、氧分压、光照、微生物等[23]，这些因素都需要进一步探讨。而关于这些因素的研究，对提高肉品色泽品质具有重要的理论和实践指导意义。

参考文献

[1]郭培源，曲世海，陈岩，等. 猪肉新鲜度的智能检测方法[J]. 农业机械学报，2006，37(8)：78-81.

[2]KIM C J，LEE E S. Effects of quality grade on the chemical，physical and sensory characteristics of Hanwoo (Korean native cattle) beef[J]. Meat Science，2003，63(3)：397-405.

[3]LU J，TAN J，SHATADAL P，et al. Evaluation of pork color by using computer vision[J]. Meat Science，2000，56(1)：57-60.

[4]CHEN K，SUN X，QIN C，et al. Color grading of beef fat by using computer vision and support vector machine[J]. Computers and Electronics in Agriculture，2010，70(1)： 27-32.

[5]姜沛宏，张玉华，钱乃余，等. 基于机器视觉技术的肉新鲜度分级方法研究[J]. 食品科技，2015 (3):296-300.

[6]PANIGRAHI S，BALASUBRAMANIAN S，GU H，et al. Neural-network-integrated electronic nose system for identification of spoiled beef[J]. LWT-Food Science and Technology，2006，39(2)：135-145.

[7]SCHUTTE B R，BIJU N，KRANZLER G A，et al. Color video image analysis for augmenting beef carcass grading[J]. Animal Research Report，1998：32-36.

[8]陈坤杰，尹文庆. 机器视觉技术在分析牛肉颜色变化特征中的应用[J]. 食品科学，2008，29(9)：92-96.

[9]FAUSTMAN C，CASSENS R G. The biochemical basis for discoloration in fresh meat: a review[J]. Journal of Muscle Foods，1990，1(3)：217-243.

[10]袁先群. 肉类色泽变化机理研究进展[J]. 肉类研究，2010(9)：6-12，76.

[11]刘静，管骁. 基于SVM方法的猪肉新鲜度分类问题研究[J]. 食品与发酵工业，2011，37(4)：221-225.

[12]杨丹，赵海滨，龙哲，等. MATLAB图像处理实例详解[M].北京：清华大学出版社，2013：235-239.

[13]逄滨，孙啸，刘德营，等. 牛肉眼肌图像在线采集和实时分割系统[J]. 农业机械学报，2013，(6)：189-193.

[14]杜锋，雷鸣，闫志农. 颜色信息识别在食品工业中的应用[J]. 食品与发酵工业，2003，29(3)：80-83.

[15]徐贵力，毛罕平，李萍萍. 彩色图像颜色和纹理特征提取的应用算法[J]. 计算机工程，2002，28(6)：25-27.

[16]陈坤杰，孙鑫，陆秋琰. 基于计算机视觉和神经网络的牛肉颜色自动分[J].农业机械学报，2009，40(4)：173-178.

[17]张建友，柳敏，王嘉文，等. 基于因子分析及BP神经网络的鱼糜挤压膨化产品工艺[J]. 食品与发酵工业，2014，40(1)：124-129.

[18]刘伟，王建平，刘长虹，等.基于粒子群寻优的支持向量机番茄红素含量预测[J]. 农业机械学报，2012，43(4)：143-147，155.

[19]张超，卢伟，丁为民，等. 基于扫频振动的禽蛋裂纹检测方法[J]. 食品与发酵工业，2015，41(6)：181-186.

[20]VAPNIK V N.统计学习理论的本质[M]．北京：清华大学出版社，2000．

[21]李永鹏，韩玲，张丽，等. 宰后牛肉色泽稳定性及其影响因素[J]. 肉类研究，2012 (6)：38-41.

[22]孙京新. 冷却猪肉肉色质量分析与评定及肉色稳定性研究[D].南京：南京农业大学，2004.

[23]唐孟甜，谢丽，戴瑞彤. 脂肪氧化产物丙二醛对牛肉色泽稳定性的影响[J]. 农产品加工：学刊，2011 (8)：4-8.

Optimized the color parameters in prediction of pork freshness by computer vision

PAN Jing1，2，QIAN Jian-ping2*，LIU Shou-chun2，HAN Shuai2

1 (Shanghai Ocean University College of Information，Shanghai 201306，China)2 (National Engineering Research Center for Information Technology in Agriculture，Beijing 100097，China)

ABSTRACTIt is very important to choose the appropriate color feature parameters and the neural network model when using neural network to predict the freshness of pork tenderloin by computer vision. The method of selecting optimal color feature parameters and neural network was discussed. First，color characteristics parameters were extracted by imagine and formed 5 kinds color combinations such as RGB-HIS，RGB-L*a*b*，rgb-HIS，rgb-L*a*b*and HIS-L*a*b*. Then the BP and SVM neural network were used to construct prediction model of all kinds of combinations. The result showed that the average prediction accuracy of SVM and BP was 91.11% and 84.44% respectively. Rgb-HIS and BP and SVM model had the highest prediction accuracy of 88.89% and 95.56% respectively. Therefore，extracting r，g，b，H，I，S from pork tenderloin as the color feature vectors and combined SVM neural network to construct the freshness prediction model can significantly improve the prediction accuracy.

Key wordspork; freshness; color features; BP; SVM; prediction model

DOI:10.13995/j.cnki.11-1802/ts.201606027

基金项目：“十二五”国家科技支撑计划资助项目(No.2013BAD19B04)

收稿日期：2015-10-26，改回日期：2015-12-07

第一作者：硕士研究生(钱建平副研究员为通讯作者，E-mail：qianjp@nercita.org.cn)。