基于VGG16网络的茶叶嫩芽自动检测研究

罗浩伦　冯泽霖　冉钟南　马杰　吕军

摘要：茶叶嫩芽检测是实现茶叶智能采摘的重要前提，基于图像处理的嫩芽检测效果受光照、生长环境和目标清晰度等因素影响较大，且自然环境下茶叶遮挡等增加了嫩芽检测难度。为快速、准确地检测茶叶嫩芽，提出了基于VGG16卷积神经网络的茶叶嫩芽自动检测方法。在Linux系统下配置Faster RCNN架构，标记嫩芽样本并训练VGG16检测网络，对晴天和阴天2种环境下20幅茶叶图像进行测试。实验结果表明，基于VGG16的茶叶嫩芽检测平均准确率和召回率分别为94.84%和96%，能够有效地减少特征选择和重叠等对检测结果的影响，为后期智能采摘提供理論参考。

关键词：深度学习;卷积神经网络;茶叶嫩芽;自动检测

中图分类号：S571.1文献标识码：ADOI：10.19754/j.nyyjs.20200115005

收稿日期：2019-11-20

基金项目：浙江理工大学本科生科研创新计划项目;安徽省高校自然科学研究项目（项目编号：KJHS2018B011）

作者简介：罗浩伦（1998-），男，本科在读。研究方向：通信工程;通讯作者吕军（1986-），男，硕士，讲师。研究方向：农业智能信息处理。

引言

茶叶采摘是一项时间紧迫的季节性工作，直接影响后期成品茶质量。人工采摘存在着耗时耗力、成本高和效率低等不足;机械采摘缺乏对嫩芽和老叶的选择性，且对茶叶生长环境要求较高。随着信息技术的不断发展，图像处理技术广泛应用于茶学领域中[1-3]。嫩芽识别是茶叶智能采摘的前提，主要借助于嫩芽与茶叶在颜色和形态上的差异进行图像识别。杨福增等[4]提取茶叶图像G成分，然后根据茶叶嫩芽的形态特征进行边缘检测，并对嫩芽识别进行了研究。汪建[5]结合改进的HIS色彩空间和区域生长方法，完成茶叶嫩叶的分割，该算法可以将嫩芽与茶叶分开，保留嫩芽的轮廓信息。茶叶嫩芽的定位也是实现智能采摘的关键。张浩[6]提出了一种基于光栅投影轮廓测量的茶叶嫩芽定位系统，能够有效识别嫩梢并获取其三维信息，为研究名优茶智能采摘机解决了茶叶嫩梢定位问题。以上研究主要针对少量目标或单一环境下的嫩芽识别，自然环境下茶叶生长环境复杂，受光照等条件的影响，基于颜色特征的嫩芽分割鲁棒性较差，且茶叶遮挡、重叠等情况增加了嫩芽识别和定位的难度，在算法普适性和稳定性上有待提高。

Hinton等人于2006年提出深度学习[7]方法，利用深度神经网络从大量数据中自动学习目标特征，避免人工选取特征的影响。本文在Faster-RCNN网络框架下，建立基于VGG16网络的茶叶嫩芽自动检测模型，提高自然环境下茶叶嫩芽检测准确率和算法鲁棒性。

1VGG16卷积神经网络

1.1Faster RCNN架构

Faster RCNN网络[8]主要由候选区域网络（Region Proposal Networks，RPN）和快速区域卷积神经网络（Fast Region Convolutional Neural Networks， Fast RCNN）2部分组成，结构如图1所示。其基本思想是利用RPN快速生成候选区域Proposal，通过卷积层（Conv Layers）计算得到深度卷积特征图（Feature Maps）、边框分类层Cls Layer（判定每个Proposal属于前景和背景的概率）和边框回归层Reg Layer（每个Proposal中心锚点对应的坐标和高度4个平移缩放参数Coordinates）。Feature maps和RPN输出的Proposals作为Fast RCNN的输入，ROI池化得到特征向量经全连接层处理后输入到Softmax层和边框回归层，最后经分类器Classifier输出样本标签。

1.2VGG16网络结构

VGGNet模型[9]探索了卷积神经网络深度与其性能之间的关系，通过反复堆叠3×3的卷积核和2×2的最大池化层来构建深层的卷积神经网络。VGG16[10]具有13个卷积层和3个全连接层。13个卷积层分别在第2、4、7、10和13层被Max-pooling层分割，可将Feature map长宽减少1/2。VGG16网络结构如图2所示。

2自然环境下茶叶嫩芽自动检测

2.1茶叶嫩芽样本集制作

在晴天和阴天环境下利用Nikon D90数码相机和小米5、vivo X6 plus等手机采集茶叶嫩芽图像，如图3-4所示。从中选择600幅作为检测模型训练集，利用MATLAB软件进行批量重命名后并顺序保存，利用LabelImg软件标记嫩芽图像，以xml格式存储，另选20幅为测试集。本文样本均采集于安徽省黄山市，程序在Matlab R2017b和Python 2.7下编制。

2.2基于VGG16的茶叶嫩芽自动检测模型

本文在Faster RCNN框架下利用Python和MATLAB实现茶叶嫩芽智能检测模型的训练和测试。 基于VGG16的茶叶嫩芽自动检测模型训练具体操作如下。

根据训练集类别更改py～fast-rcnn根目录下的stage1_fast_rcnn_train.pt文件，其中param_str：“'num_classes'值是类别数+1，在py-faster-rcnn 根目录下的pascal_voc.py文件中，self._classes =（'__ background__'，#always index 0 captcha'#处填写类别数量。

重新训练新数据之前清除缓存，删除py-faster-rcnn / output 和 py-faster-rcnn / data / cache目录下的文件。

修改文件py-faster-rcnn根目录下train_faster_rcnn_alt_opt.py文件中的迭代次数，更改为max_iters = [80000，60000，80000，60000]，对应于rpn阶段1，faster-rcnn阶段1，rpn阶段2，faster-rcnn阶段2迭代。

使用Python执行py-faster-rcnn根目录中的make_list_label.py文件，将茶叶图像划分为test、train、trainval和val 4个标签，并生成4个相应的txt文件。

使用Python执行根目录中的pascal_voc文件以训练网络

cd py-faster-rcnn./experiments/scripts/faster_rcnn_alt_opt.sh 0 VGG16 pascal_voc，其中0表示使用GPU執行程序，训练模型为VGG16，训练数据为pascal_voc。

将名为VGG16_faster_rcnn_final.caffemodel的文件复制到faster_rcnn_models文件夹，修改py-faster-rcnn 根目录下的 demo.py文件中的3处内容：CLASSES =（'_ background_'，'captcha'），'VGG16_faster_rcnn_final.caffemodel '，im_names = ['1559.jpg'，'1564.jpg']。

2.3基于VGG16的茶叶嫩芽检测评价

在Faster RCNN框架下利用基于VGG16网络的茶叶嫩芽检测模型对测试集20幅图像进行检测，效果如图5所示。为验证VGG16网络的性能，本文分别利

用ZF、VGG16和VGG_CNN_M_1024 3种网络进行模型检验，平均识别率为94%、96%和95%，具体结果如表1所示。

从效果图和表1可以看出，基于VGG16网络的茶叶嫩芽自动检测平均准确率和平均召回率最高，且对不同环境的嫩芽检测鲁棒性较高。基于VGG16的茶叶嫩芽自动检测避免了传统图像特征提取的不足，提高了模型普适性和鲁棒性，为后期茶叶智能采摘提供理论参考。

参考文献

[1] 马建红， 姬莉霞， 卫权岗. 基于多智能体的茶叶图像等级鉴定技术研究[J]. 计算机仿真，2012（7）：309-311，399.

[2]余洪. 基于计算机视觉技术的茶叶品质分级研究[D]. 江西：江西农业大学，2017.

[3]潘梅， 李光辉， 周小波， 李玉玲，曾文明. 基于图像处理的茶叶害虫智能识别方法研究[J]. 四川农业与农机， 2019（2）：16-18.

[4]杨福增， 杨亮亮， 田艳娜， 等. 基于颜色和形状特征的茶叶嫩芽识别方法[J]. 农业机械学报， 2009 （S1）： 119-123.

[5]汪建. 结合颜色和区域生长的茶叶图像分割算法研究[J]. 茶叶科学， 2011， 31（1）： 72-77.

[6]张浩， 陈勇， 汪巍， 等. 基于主动计算机视觉的茶叶采摘定位技术[J]. 农业机械学报， 2014， 45（9）： 61-65.

[7]Hinton G E， Salakhutdinov R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）： 504-507.

[8]陶震宇， 孙素芬， 罗长寿. 基于Faster-RCNN的花生害虫图像识别研究[J]. 江苏农业科学， 2019， 47（12）：247-250.

[9]Cheng， Phillip M， Malhi， Harshawn S. Transfer Learning with Convolutional Neural Networksfor Classification of Abdominal Ultrasound Images[J]. Journal of Digital Imaging， 30（2）：234-243.

[10]Shen Xiaolei， Zhang Jiachi， Yan Chenjun，et al. An Automatic Diagnosis Method of Facial Acne Vulgaris Based on Convolutional Neural Network[J]. Sci Rep， 2017， 8（1）.

（责任编辑常阳阳）