基于深度学习的牛肉大理石花纹等级手机评价系统

赵鑫龙，彭彦昆，李永玉，王亚丽，赵 苗

·农产品加工工程·

基于深度学习的牛肉大理石花纹等级手机评价系统

赵鑫龙，彭彦昆※，李永玉，王亚丽，赵 苗

（中国农业大学工学院，国家农产品加工技术装备研发分中心，北京 100083）

大理石花纹是影响牛肉品质等级的重要指标，目前中国牛肉加工企业对大理石花纹的评价是由专业分级人员参照标准图谱完成，具有主观性强、耗费人工的缺点。针对上述问题，该研究提出了基于深度学习的智能分级方法，设计一种具有4层卷积的神经网络结构，实现了大理石花纹特征的自动提取，并基于智能手机开发了牛肉大理石花纹检测软件。该研究共采集样本图像1 800张，按3:1:1分为校正集、验证集和测试集。为进一步验证模型，将该方法与传统机器视觉方法进行了比较，提取了牛肉大理石花纹的大、中、小脂肪颗粒个数，脂肪总面积和脂肪分布均匀度5个参数，并建立了多元线性回归模型。试验结果表明，该研究所用方法大理石花纹检测准确率更高，验证集检测正确率为97.67%。最后编写了手机软件，将模型移植入Android手机，在手机平台上调用模型进行大理石花纹检测。试验表明，该软件对测试集样本的检测准确率为95.56%，单张检测时间低于0.5 s。该研究结合卷积神经网络分类能力强和智能手机运行速度快等优点，开发了牛肉大理石花纹的手机评价系统，具有较好的实用性和便携性，可提高牛肉大理石花纹检测效率，有助于提高农畜产品检测的智能化水平。

模型；牛肉；大理石花纹；卷积神经网络；手机

0 引 言

牛肉是国际肉类市场的重要组成部分，含有丰富的蛋白质、氨基酸等，营养价值高且味道鲜美。牛肉的品质等级主要由大理石花纹和生理成熟度两个指标来评分[1]。大理石花纹是反映肌内脂肪含量和分布状态的重要指标。目前，中国牛肉屠宰加工企业对牛肉大理石花纹的评分主要是由专业的分级人员参照标准图谱来完成。这种依赖感官视觉的方法易受主观因素影响，且费时费力不利于企业的自动化生产。近20 a来，国内外有很多学者利用机器视觉技术对该问题进行了探索与研究[2-7]。周彤等[8]通过提取大理石花纹的脂肪颗粒面积等特征参数建立主成分回归模型，预测相关系数为0.88，校正集分级准确率达97%，验证集分布及准确率为91.2%。张彦娥等[9]基于多尺度区间插值小波法，对牛眼肌切面图像进行处理提高了牛肉等级判定的准确度。Velasquez等[10]利用高光谱技术采集牛肉图像，对528 nm波长下的图像分割样品和背景，基于决策树方法对440 nm下的样本图像进行处理得到的分类误差为0.08%。但上述研究中所用方法依赖复杂昂贵的检测设备，开发成本较高。智能手机作为一个独立的操作平台，配置了多种传感器，例如近红外传感器，陀螺仪和照相机。用户可以通过安装第三方程序来实现特定功能，已经有学者将智能手机与图像处理技术应用于农产品检测等领域[11-14]，然而，尚未有关于牛肉大理石花纹检测的报道。

牛肉大理石花纹的检测环境易受外界光照等影响，周彤等[8]在试验时使用白光环形光源和封闭的遮光外壳，获得了稳定的图像采集环境。而手机拍摄的干扰因素较多，因此，基于智能手机的图像检测系统需要一种更加可靠的算法来适应复杂的检测环境。随着人工智能技术的发展与计算机硬件的完善，深度学习改变了传统算法的思路[15-17]。卷积神经网络作为一种经典的深度学习算法在图像处理领域取得了一定的突破[18-21]，并被应用在检测小麦[22-24]、花生[25-26]等农业相关的领域[27-29]。张博等[30]将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合，提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法，对20类害虫的识别精度均值达88.07%。邓寒冰等[31]提出基于RGB-D的肉牛图像全卷积网络，将统计像素准确率平均提高 2.5%。Muñoz等[32]基于卷积神经网络提出了一种干火腿肌内脂肪分割方法，能够以0.99的像素精度对肌内脂肪进行提取，分割脂肪的召回率和精确度分别接近0.82和0.84。

为开发牛肉大理石花纹的深度学习型手机评价系统，本研究基于深度学习算法设计了卷积神经网络结构，采集并制作了牛肉样本数据集，通过监督学习的方式训练网络模型，并基于Android平台编写手机软件。结合智能手机和智能方法对牛肉大理石花纹分级，用机器视觉代替感官评价，不仅能提高肉牛企业工作效率，降低成本，更能规范生产水平，有利于牛肉品质合理分级。

1 材料与方法

1.1 样品准备

该研究所使用样本采集于北京御香苑畜牧有限公司分割车间，选取鲁西黄牛第11肋至第13肋间背最长肌为检测对象，样本厚度为3 cm，经真空包装后放入4℃冷藏箱运回实验室冷藏。此次共采集样本300块，由专业评分人员对照大理石花纹等级图谱标注其真实等级。依据农业部2010年修订的行业标准NY/T676-2010[1]，等级5花纹最丰富，等级1几乎没有花纹。

1.2 图像采集与预处理

图像采集所用设备为Android手机，型号为荣耀V10。手机拍摄时环境较为开放，没有固定光源和遮光外壳，因此相同的样品可能会由于拍摄地点不同和光源不同而产生细微差异。为减少此类干扰的影响，分别在9:00和15:00于3处不同的地点进行了图像采集，以保证数据样本同时包括室内采集与室外采集的情况。

本次试验采集的图像大小为3 456像素×4 608像素，色彩为、、三通道。所采集原图尺寸较大，若使用原图训练模型耗时较长，为降低卷积神经网络运算量与运算时间，通常使用减小尺寸的方式压缩图像。大理石花纹的丰富程度决定了其等级，为保证数据集质量，在原图中选出反映真实等级的部位，将该区域裁剪保存为待测样本，并压缩为224像素×224像素备用，不同等级的牛肉样本如图1所示。

图1 牛肉样本图像

最后共得到待测样本图像1 800张，将采集得到的图像按照3:1:1随机分为校正集、验证集和测试集。其中校正集1 080张，验证集360张，测试集360张，其分布情况如表1所示。校正集和验证集分别用于训练和模型验证，测试集作为手机检测样本。

表1 样品分布情况

深度学习的模型训练依赖大量的标签数据，在少量数据上通常表现不好。本研究采用旋转、镜像、调节亮度对比度、增加噪声等方法扩增样本数据量，扩增前后的变化如图2所示。最后得到校正集图像5 400张，验证集图像1 800张。

图2 扩增前后的牛肉图像

1.3 网络结构设计

卷积神经网络是一种包含了卷积操作的深层前馈神经网络，属于深度学习的经典算法，在图像分类、模式识别等领域得到广泛应用，对于平移、旋转、缩放等变化具有较好的鲁棒性。相较于传统的多层神经网络，卷积神经网络的隐藏层层数更深一些，隐藏层主要是由卷积层、池化层与激活函数组成以实现特征提取。虽然层数增加导致网络更为复杂，但是卷积神经网络通过局部感受野、权重共享和下采样3种方式大大降低了模型的复杂程度。卷积神经网络的每个神经元无需感知图像中的每一个像素，由滑动窗口感知局部区域内的信息，然后在更深的层面中将局部的信息进行合并从而得到图像的完整信息。每个滑动窗口内的神经单元只响应感受野内的区域，这样的局部连接保证了学习到的卷积核权重对输入的局部有最强的响应。权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。本研究设计的卷积神经网络结构共12层，具体结构如图3所示，包括了输入层、卷积层、池化层、全连接层和输出层。

图3 卷积神经网络结构

卷积神经网络采用原始图像作为输入，可以有效从大量样本中学习到相应特征，避免了复杂的特征提取过程。输入图像为三通道的彩色图像，包含了牛肉图像丰富的特征信息，输入层的大小为224像素×224像素。

卷积层是卷积神经网络的核心部分，卷积层内有若干个卷积核对输入信息进行遍历，每一次遍历都会进行线性加权求和运算，相当于提取了局部感受野内的特征信息，直至遍历结束输出一张新的特征图（Feature map）。卷积的过程实现了特征的自动提取，一般卷积神经网络包含有多个卷积层，输入信息在这些卷积层中依次传递，输出更高维度的特征信息。卷积核也叫过滤器，是一种带有权重和偏置的“滑动窗口”，通常使用3×3或5×5的大小，该研究在网络的前半部分使用5×5卷积核，后半部分使用3×3卷积核。图像经过一次卷积运算，其输出尺寸会发生变化。假设输入图像的尺寸表示为1、1、1，输出图像的尺寸表示为2、2、2，输出图像尺寸的计算公式如下：

2=（3）

式中为卷积核的大小，为卷积核的个数，为零填充的大小，为平移的步长。

为增加了非线性因素，解决线性不可分的问题，在卷积层后增加激活函数ReLU。卷积层进行特征提取后，将新的特征图传至池化层进行特征再次筛选和过滤。

卷积神经网络多用于解决分类问题，在网络结构的尾部需要将二维的特征图转换为一个列向量，因此常在卷积神经网络的最后增加至少一个全连接层（Fully connected layer）。全连接层中的每个神经元与其前一层的所有神经元连接，对卷积后的局部感受野内的特征进行整合，因此全连接层也是权重最多的部分。通常会在全连接层增加丢弃层和正则化函数，能有效地维持模型的稳定性，降低过拟合现象。本研究对象分为5个等级，因此输出层为一个包含了5个元素的列向量。各层网络的具体参数如表2所示。

表2 卷积神经网络中各层参数

2 结果与分析

本研究基于计算机完成模型训练，操作系统为Windows 10，CPU为Intel Core i9-9900，GPU为RTX 2080ti，显存11G。编程语言为Python，并安装了Pycharm和深度学习框架Tensorflow。本次的试验包括模型训练、模型验证和手机验证三部分。在分析各等级样本的分类结果时，使用准确率（Accuracy）指标进行评价，其定义如下：

2.1 模型训练

卷积神经网络的训练过程为两个阶段，分别是数据的前向传递与误差的反向传播，如图4所示。在数据的前向传递过程中数据经输入层传递至隐藏层提取特征信息，反向传播中通过梯度下降法寻找误差的下降梯度，实现权重参数的更新。模型的训练依赖大量带标签的样本数据，通过计算预测值与标签值的偏差反映模型拟合的效果，并更新模型参数。

图4 训练流程

训练的批次量是模型每批次学习的样本数量，批次的引入可以有效防止内存溢出，但是批次量会影响模型的优化程度和速度。在训练样本较多的情况下，一次输入全部数据会引起内存爆炸。因此，选择适当的训练批次量可以尽可能提高内存利用率，也能使模型权重参数优化方向更为准确。学习率是模型损失函数向着梯度下降方向移动时的步长系数，适当地提高学习率可加快拟合速度，而过大的学习率则有可能使模型参数越过最优值，导致训练结果不收敛。一次样本迭代使全部样本完成一次训练，迭代的过程就是模型优化求最优权重值的过程。迭代次数过小会使模型训练强度不够，不能达到最优值，一般会根据损失函数的变化情况合理地设置迭代次数。经过多次组合试验，发现设定学习率为0.001时模型收敛速度最快，准确率最高，同时设置迭代次数为100次，批次为100。训练过程的准确率变化如图5所示。由图中可以看出在第9次迭代后首次出现了正确率100%，然后出现过拟合阶段。在第59次迭代之后准确率一直维持在100%，模型的损失值也在第59次迭代之后接近于0。

图5 准确率变化趋势

2.2 模型验证

为验证模型的效果，将验证集的1 800张图像输入训练好的模型进行验证，校正集和验证集的验证结果如表3所示。校正集分级准确率为100%，说明该模型在充分训练后具备了提取大理石花纹特征的能力。1 800张验证集牛肉图像等级判断正确1 758张，判错42张，总体的分级准确率为97.67%。其中等级1全都判断正确，等级1的牛肉含有极少的大理石花纹，其图像上的脂肪颗粒较少，相应的准确率也高。等级2判错8张，都被判为等级3。等级3判错11张，其中有3张被误判为等级2，有8张被误判为等级4。等级4判错14张，其中有5张被误判为等级3，有9张被判为等级5；等级5判错9张，都被判为等级4。判错等级的样本没有出现连跨两个等级的情况。挑出误判的图像比对观察，误判图像的大理石花纹丰富程度与误判等级较为相似，大理石花纹的得分情况处于标签等级与误判等级之间。为减少此类误判的发生，在制作数据集时应尽量从校正集中去除此类样本，保证特征不重叠。在GPU图形处理器的支持下，检测时间也大大缩短，平均每张图像的检测时间为0.09 s。

表3 牛肉大理石花纹分级结果

为进一步探究本方法的检测效果，参考逄滨[5]、周彤等[8]提取大理石花纹特征的方法，将本文方法与手动提取特征的方法进行比较。本研究所使用的样本都取自有效眼肌区域，且尺寸都是224像素×224像素，因此提取了牛肉大理石花纹的大、中、小脂肪颗粒个数，脂肪总面积和脂肪分布均匀度5个特征参数对大理石花纹的得分情况进行综合评价，得分计算公式如下：

式中15分别代表了5个特征参数，1～5分别代表了其对应系数，为偏置，则是大理石花纹的得分情况，可依据得分划分其等级。对提取到的5个特征进行多元线性回归建模，校正集相关系数为0.94。使用该模型对验证集样本进行验证，总体分级准确率为92.5%，低于本研究所提出方法。

由以上分析可得，本研究设计的网络具有较优秀的分类能力，可以解决大理石花纹的分级问题，验证集的分级效果较好，误差在可接受范围内。相较于传统的机器视觉方法，该方法准确率较高，模型稳定。在下一步的研究中可尝试通过适当增加网络层数或提高数据集质量来提高模型准确率。

2.3 手机评价系统的验证

上述方法的训练与验证过程都是在计算机上运行，为了实现在智能手机上检测大理石花纹，本研究进一步地基于Android平台上开发了大理石花纹的手机评价系统，将上述模型转换为pb文件导入安卓手机，以便于检测时调用。使用智能手机型号为荣耀V10，内置Android9.0操作系统，运行内存6GB。并在Windows10系统下配置Java JDK 8，Android studio软件和OpenCV库。

2.3.1 系统软件

该软件包括前端展示界面和后台处理两部分，其中前端通过编写XML文件实现页面布局，为页面添加按键以及展示窗口，使用到了Button组件，ImageView组件和TextView组件，前端展示效果如图6a所示。后台处理通过编写Java语言实现调用相机与相册，为便于对数据的管理，本软件在拍摄图像时，自动获取当前时间作为文件名，并保存在本地目录下的文件夹中。将选取图像压缩与裁剪为224像素×224像素，并利用OpenCV工具的高斯滤波对样本进行去噪，完成图像检测，具体流程如图6b所示。

图6 软件结果展示与流程图

2.3.2 软件验证

为验证手机软件的操作性和可行性，对未使用过的测试集360张样本进行测试。经测试，该软件单张图像的检测时间低于0.5 s，对测试集的分级准确率为95.56%，其中判断正确344张，误判16张，结果如表4所示。其中出现误判的样本与验证集情况类似，检测样本的大理石花纹丰富程度介于标签等级与误判等级之间。表明该方法可以实现对牛肉大理石花纹的快速检测。与传统检测设备相比，将智能手机作为手持采集端具有体积小，效率高等优点。智能手机的普及为本方法提供了广阔的发展空间，与ARM便携设备相比，该方法以手机作为检测载体，无需再额外购买辅助设备，减少了硬件开发成本，同时也提高了检测手段的智能化水平。

表4 手机验证结果

3 结 论

1）本研究提出了一种基于卷积神经网络的牛肉大理石花纹检测方法，从深度学习的角度探讨了将智能算法应用在牛肉品质检测的可行性。设计了多层卷积神经网络，包括输入层、卷积层、池化层、全连接层和输出层，牛肉大理石花纹的特征主要由卷积层和池化层进行提取，在输出层输出测试样本等级。在训练数据集的过程中，循环59次后模型保持稳定，未出现过拟合现象，使用该模型测试验证集，准确率为97.67%。并进一步地对比了人工提取特征的方法，提取了大理石花纹的大、中、小脂肪颗粒个数，脂肪总面积和脂肪分布均匀度5个特征参数进行建模，结果显示卷积神经网络的分类效果优于传统方法，总体准确率为92.5%。在下一步的研究中可以继续提高数据集的质量和适当改变网络层数和内部参数来提高精度。

2）将智能方法与智能手机结合，基于Android平台开发了检测软件，可利用手机自带相机采集牛肉图像，也可以从相册中选取图像。试验结果表明，测试集的检测准确率与为95.56%，证明了跨平台调用模型的可行性。而且该方法不需要额外的硬件支撑，具有开发成本低，检测速度快的优点。

[1] 牛肉等级规格：NY/T 676-2010[S]. 北京：中国农业出版社，2010.

[2] 陈坤杰. 牛肉大理石花纹计盒维数和信息维的测定[J]. 农业工程学报，2007，23(7)：145-149.

Chen Kunjie. Determination of the box-counting fractal dimension and information fractal dimension of beef marbling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(7): 145-149. (in Chinese with English abstract)

[3] 陈坤杰，姬长英. 基于图像运算的牛肉大理石花纹分割方法[J]. 农业机械学报，2007，38(5)：195-196.

Chen Kunjie, Ji Changying. Beef marbling segmentation method based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(5): 195-196. (in Chinese with English abstract)

[4] 郭辉，彭彦昆，江发潮，等. 手持式牛肉大理石花纹检测系统[J]. 农业机械学报，2012，43(S1)：207-210.

Guo Hui, Peng Yankun, Jiang Fachao, et al. Development of conveyable beef-marbling detection system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(1): 207-210. (in Chinese with English abstract)

[5] 逄滨. 牛肉质量在线分级技术的研究与系统开发[D]. 南京：南京农业大学，2014.

Pang Bin. Beef Quality Online Grading Technology and System Development[D]. Nanjing: Nanjing Agricultural University, 2014. (in Chinese with English abstract)

[6] 仇金宏，沈明霞，彭增起，等. 基于改进型FCM算法的牛肉大理石花纹提取方法[J]. 农业机械学报，2010，41(8)：184-188.

Qiu Jinhong, Shen Mingxia, Peng Zengqi, et al. Beef marbling extraction based on modified fuzzy C-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(8): 184-188. (in Chinese with English abstract)

[7] 贾渊，姬长英，汤晓艳. 基于计算机视觉的牛肉分级技术综述[J]. 农业工程学报，2004，20(5)：47-50.

Jia Yuan, Ji Changying, Tang Xiaoyan. Review of beef grading with computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 47-50. (in Chinese with English abstract)

[8] 周彤，彭彦昆. 牛肉大理石花纹图像特征信息提取及自动分级方法[J]. 农业工程学报，2013，29(15)：286-293.

Zhou Tong, Peng Yankun. Method of information extraction of marbling image characteristic and automatic classification for beef[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(15): 286-293. (in Chinese with English abstract)

[9] 张彦娥，魏颖慧，梅树立，等. 基于多尺度区间插值小波法的牛肉图像中大理石花纹分割[J]. 农业工程学报，2016，32(21)：296-304.

Zhang Yan’e, Wei Yinghui, Mei Shuli, et al. Application of multi-scale interval interpolation wavelet in beef image of marbling segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(21): 296-304. (in Chinese with English abstract)

[10] Velásquez L, Cruz-Tirado J P, Siche R, et al. An application based on the decision tree to classify the marbling of beef by hyperspectral imaging[J]. Meat Science, 2017, 133: 43-50.

[11] 杨林楠，郜鲁涛，林尔升，等. 基于Android系统手机的甜玉米病虫害智能诊断系统[J]. 农业工程学报，2012，28(18)：163-168.

Yang Linnan, Gao Lutao, Lin Ersheng, et al. Intelligent diagnose system of diseases and insect pests in sweet corn based on mobile terminal with Android system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(18): 163-168. (in Chinese with English abstract)

[12] 尚明华，秦磊磊，王风云，等. 基于Android智能手机的小麦生产风险信息采集系统[J]. 农业工程学报，2011，27(5)：178-182.

Shang Minghua, Qin Leilei, Wang Fengyun, et al. Information collection system of wheat production risk based on Android smartphone[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(5): 178-182. (in Chinese with English abstract)

[13] 陈美镇，王纪章，李萍萍，等. 基于 Android 系统的温室异构网络环境监测智能网关开发[J]. 农业工程学报，2015，31(5)：218-225.

Chen Meizhen, Wang Jizhang, Li Pingping, et al. Development of intelligent gateway for heterogeneous networks environment monitoring in greenhouse based on Android system[J]. (Transactions of the CSAE), 2015, 31(5): 218-225. (in Chinese with English abstract)

[14] 李慧，刘星桥，李景，等.基于物联网 Android 平台的水产养殖远程监控系统[J]. 农业工程学报，2013，29(13)：175-181.

Li Hui, Liu Xingqiao, Li Jing, et al. Aquiculture remote monitoring system based on IOT Android platform [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(13): 175-181. (in Chinese with English abstract)

[15] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[16] Liu W, Wang Z, Liu X, et al. A survey of deep neural network architectures and their applications [J]. Neurocomputing, 2017, 234: 11-26.

[17] Zhang Q, Zhang M, Chen T, et al. Recent advances in convolutional neural network acceleration[J]. Neurocomputing, 2019, 323: 37-51.

[18] 魏存超. 基于卷积神经网络的医学图像分类的研究[D]. 哈尔滨：哈尔滨工业大学，2017.

Wei Cunchao. Resaerch on Medical Image Classification Method Based on Convolutional Neural Network[D]. Harbin: Harbin Institute of Technology, 2017. (in Chinese with English abstract)

[19] Dyrmann M, Karstoft H, MidtibY HS. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[20] Lu Yang, Yi Shujuan, Zeng Nianyin, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocomputing, 2017, 267: 378-384.

[21] 孙钰，周焱，袁明帅，等. 基于深度学习的森林虫害无人机实时监测方法[J]. 农业工程学报，2018，34(21)：74-81.

Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74-81. (in Chinese with English abstract)

[22] 鲍文霞，孙庆，胡根生，等. 基于多路卷积神经网络的大田小麦赤霉病图像识别[J]. 农业工程学报，2020，36(11)：174-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[23] 周亮，慕号伟，马海姣，等. 基于卷积神经网络的中国北方冬小麦遥感估产[J]. 农业工程学报，2019，35(15)：119-128.

Zhou Liang, Mu Haowei, Ma Haijiao, et al. Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119-128. (in Chinese with English abstract)

[24]马浚诚，刘红杰，郑飞翔，等. 基于可见光图像和卷积神经网络的冬小麦苗期长势参数估算[J]. 农业工程学报，2019，35(5)：183-189.

Ma Juncheng, Liu Hongjie, Zheng Feixiang, et al. Estimating growth related traits of winter wheat at seedling stages based on RGB images and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 183-189. (in Chinese with English abstract)

[25] 张思雨，张秋菊，李可. 采用机器视觉与自适应卷积神经网络检测花生仁品质[J]. 农业工程学报，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[26] 赵志衡，宋欢，朱江波，等. 基于卷积神经网络的花生籽粒完整性识别算法及应用[J]. 农业工程学报，2018，34(21)：195-201.

Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195-201. (in Chinese with English abstract)

[27] 段凌凤，熊雄，刘谦，等. 基于深度全卷积神经网络的大田稻穗分割[J]. 农业工程学报，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicle segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202-209. (in Chinese with English abstract)

[28] 马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室黄瓜病害识别系统[J]. 农业工程学报，2018，34(12)：186-192.

Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[29] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[30] 张博，张苗辉，陈运忠. 基于空间金字塔池化和深度卷积神经网络的作物害虫识别[J]. 农业工程学报，2019，35(19)：209-215.

Zhang Bo, Zhang Miaohui, Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 209-215. (in Chinese with English abstract)

[31] 邓寒冰，周云成，许童羽，等. 基于 RGB-D 的肉牛图像全卷积网络语义分割优化[J]. 农业工程学报，2019，35(18)：151-160.

Deng Hanbing, Zhou Yuncheng, Xu Tongyu, et al. Optimization of cattle’s image semantics segmentation withfully convolutional networks based on RGB-D[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactionsof the CSAE), 2019, 35(18): 151-160. (in Chinese with English abstract)

[32] Muñoz I, Gou P, Fulladosa E. Computer image analysis for intramuscular fat segmentation in dry-cured ham slices using convolutional neural networks[J]. Food Control, 2019, 106: 106693.

Mobile phone evaluation system for grading beef marbling based on deep learning

Zhao Xinlong, Peng Yankun※, Li Yongyu, Wang Yali, Zhao Miao

(,,100083,)

Marbling is an important index that affects the quality of beef. However, the evaluation of marbling in beef processing enterprises is operated by professional, who test the beef by comparing samples with standard images, which is subjective and susceptible to the environment. To solve these problems, this study proposed an intelligent classification method based on deep learning and designed a neural network with 4-layer convolution including input layer, convolutional layer, pooling layer, fully connected layer and output layer. The automatic extraction of marbling features was achieved, and a beef marbling detection application based on mobile phone was developed. In this study, 1 800 images were divided into calibration set, validation set and test set according to the ratio of 3:1:1. The training process of deep learning model depends on a large number of labeled samples, and the training effect of a small amount of data is poor. Therefore, methods like rotating, mirroring, adjusting brightness, contrast, and increasing noise were used to amplify the sample data in this study. Finally, 5 400 images of calibration set and 1 800 images of validation set are obtained. The calibration set was used to train and adjust the internal parameters of the network, and the validation set was used to test the model. In order to further explore the accuracy of the model, this method was compared with the traditional machine vision method. And the number of large fat particles, medium fat particles, small fat particles, the total area of fat and the evenness degree of fat distribution were calculated. According to the above characteristics, a multiple linear regression model was established to identify the grades. The results showed that the method used in this paper had good classification ability for marbling, and the detection accuracy of validation set was 97.67%, which was higher than the traditional machine vision method. Samples with error grade did not span two levels. Through the observation of the misjudged images ，the marbling richness of misjudged images was similar to that of misjudged images, and the marbling score was between the labeled grade and the misjudged grade. Finally, an application program for marbling detecting was written. In this application, you call use the model generated in this study to realize real-time detection for marbling. Then the application was used to recognition the samples of test set. The accuracy was 95.56%, and the recognition time was less than 0.5 seconds per image. In this paper, a beef marbling mobile phone evaluation system was developed based on the advantages of convolution neural network with high classification accuracy and fast speed of smart phones. This method could improve the detection efficiency of beef marbling. Compared with traditional detection equipment, the smart phone as a handheld collection terminal has the advantages of small size and high efficiency. The popularization of smart phones provides a broad development space for this method. Compared with ARM portable devices, this method uses mobile phones as the detection carrier, which saves the need to purchase additional auxiliary equipment and reduces the cost of hardware development.

models; beef; marbling; convolutional neural network; mobile phone

赵鑫龙，彭彦昆，李永玉，等. 基于深度学习的牛肉大理石花纹等级手机评价系统[J]. 农业工程学报，2020，36(13)：250-256.doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

2020-03-03

2020-06-04

国家重点研发计划项目（2016YFD0101205）

赵鑫龙，博士生，主要从事农畜产品无损检测技术与装备研究。Email：936803613@qq.com

彭彦昆，教授，博士生导师，主要从事农畜产品无损检测技术与装备研究。Email：ypeng@cau.edu.cn

10.11975/j.issn.1002-6819.2020.13.029

TP391

A

1002-6819(2020)-13-0250-07