基于深度学习的自动判别茶叶生长的物候期模型的建立

王志毅 王嘉佩 杜爱军 刘丽霞 喻宝龙 王旭

（重庆市气象台，重庆 401147）

0 引言

在为茶叶生产的气象服务中，大部分茶叶生产企业没有开展专门的茶叶物候期观测，只有每年的开采日期的简单记录，因而无法形成全面的茶叶生长物候期与气象要素相关联的关键性资料，不便于建立茶叶生长物候期预测模型以进行物候期预测，也不便于探寻茶叶品质与气候条件的关系以进行茶叶品质认证。为了全面开展茶叶气象服务以提高企业生产效益，进行茶叶物候期自动判别的研究就显得非常有必要。

本研究的主要目的是利用多年来安吉白茶实景监控资料，基于机器学习，建立物候期自动判别模型，同时结合同期的气象观测数据，建立白茶物候期预测模型，从而开展业务服务。此项研究可减少茶叶物候期观测的人力成本及经济的投入，科学和智能地提高企业生产效益。

1 研究方法

研究采用了监督学习的方法来对白茶生育期识别问题进行建模，在模型的训练阶段需要图像、积温以及其所属的生长物候期作为标注信息输入模型训练参数。

yolov3-tiny模型是深度学习中计算机视觉领域应用得比较广泛的模型，适用于对图像上的特定目标进行检测（例如：茶叶图像中茶叶发芽区域的位置检测），同时还可以进行分类，其对图像分类的功能适用于茶树生长期识别任务由于yolov3-tiny模型用于目标检测和分类，而本研究的目的只是进行分类，目标检测过程已经由图像预处理的裁剪过程代替，所以对yolov3-tiny模型进行了改变，同时将气象数据和图像特征进行融合，去掉了yolo层（目标识别的模型名称），而且对气温数据进行融合。

2 研究过程

2.1 数据来源

白茶茶园的监控图像来源于气象部门的网站，选取2016—2019年白茶生长物候期内每天3张的监控图像，即大约每年2月下旬—5月上旬，使用的原始图像合计约500张。

茶树生长的气象环境数据主要是来源于区域自动气象观测站观测的温度数据，数据的观测日期与图像生成日期一一对应。

2.2 数据处理

1）裁剪图像

yolov3-tiny模型包含了卷积神经网络（CNN），在yolov3-tiny模型中CNN的各层参数设置是按模型的选择来进行设定的，其输入是416×416的图像，通过CNN可以提取到很多用于分类的特征，而这些特征是传统图像特征提取方法难以提取，但又对图像分类贡献比较大的特征。此次模型选择“深度学习法”作为提取图像特征的方法，用卷积神经网络CNN来提取图像的特征，选取的CNN网络的输入是416×416的图像。

用于研究的原始图像尺寸是1600×1200（宽×高），对于CNN的输入而言，原始图像的尺寸显然较大，并且500张图像的数量少，不宜直接输入CNN网络提取特征并训练。例如，任意选取一张原始图像（图1）。

图1 监控相机拍摄的茶树图像（1600×1200）Fig. 1 Tea tree image taken by surveillance camera（1600×1200）

图1 中存在部分干扰识别的物体，如白色的围栏。而对于白茶生育期识别分类的关键信息是发芽中心一定区域的图像特征，基于以上思路，首先需要对原始图像进行特定区域的裁剪。

根据图像的实际情况（每年摄像机取景的远近和角度不同），选择了5～10个图像中有白茶集中生长的区域，即在发芽点和附近一定范围的区域进行裁剪。以此初步剔除一些对物候期判断会产生干扰的图像内容，同时产生更多的图像，在数量上保证网络提取特征和训练学习的准确度。裁剪的尺寸选择的CNN接受输入图片的尺寸，即416×416。经过这一步的处理，可以得到了约5000张图像的数据集。经裁剪处理后的图像见图2。

图2 裁剪后的茶树图像（416×416）Fig. 2 Cropped tea tree image (416×416)

2）图像生育期标注

由专业人员对这些图像进行生育期的标记，从而进行有监督的学习。使每一张图像都对应有时间信息（年月日）和生育期分类标注信息（表1）。

表1 生育期标注对应关系Table 1 Corresponding relation of growth period labeling

在进行生育期标注时，分别尝试三分类（表2）和四分类（表3）2种方法。

表2 三分类方法的类别划分Table 2 Categories of the three classification methods

表3 四分类方法的类别划分Table 3 Categories of the four classification methods

3）气象数据的融合

只利用从图像提取的特征进行分类会出现错分跨度比较大的问题，而白茶的生长和气象因素关系密切，因此考虑在模型中融入气象数据进行优化。研究发现，温度是影响植物生长的关键因素，而温度对植物的生长有一个累积的效应，所以研究对于温度的处理采取积温的方式，同时产生序列化的数据，降低只由图片特征进行分类带来的错误率。因此，将白茶生长地的温度数据进行累积处理和0-1标准化处理后再拼接到所对应的图像特征上。由于一天采集了3天图像，并且对图像进行了剪裁，所以图像特征会拼接对应当天的积温特征。

将图像特征提取得到的向量特征通过两次全连接后转化为64×1的特征向量。然后将拍摄图像当天的积温数据拼接到温度数据之后，得到一个65×1的向量，表示图像特征和气象温度特征融合之后的特征。

2.3 实验结果

利用TensorFlow框架（此框架可以理解为编写深度学习模型的实现代码带来便捷的一种工具，使用此框架可以更高效地实现模型，减少代码量）。构建CNN特征提取网络和分类网络，根据白茶生长物候期的萌芽期、一芽一叶期、一芽多叶期、白茶转绿期的分类，利用图像数据得到三分类和四分类结果，同时对于是否融合气象数据的实验结果进行了对比，多次测试取平均值得到分类准确率（表4）。

表4 分类方法的准确率Table 4 Accuracy of classification method

没有融合气象数据，没有进行图像增强的三分类准确率为78%，融合气象数据的四分类准确率为83%，融合气象数据和进行图像增强的四分类结果为72%。 可见气象数据的融合可以提高分类的准确率，主要减少了跨度较大的误分类的出现。但是在四分类的情形下，由于各个分类的数据量有不均衡的情况，以及植物生长的连续性造成的人工标注的困难，其准确率比三分类低。对比数据表明，加入气象数据作为辅助特征比单一使用图像特征的准确率更高，减少了邻近分类的误分类的情况。

3 小结与进一步工作

本研究通过利用深度学习的方法建立一个自动判别模型来识别白茶生长物候期，实验通过深度学习的方法来将白茶的图像作为输入，使用卷积神经网络CNN来提取图像特征，然后在此基础上进行分类从而实现对图像内白茶生长物候期的识别，再融合气象特征对识别效果进行优化，从而得出了准确率较高的识别模型。通过实验，此模型能够将图像内的白茶所处的生长物候期进行准确的识别。

茶叶的生长除积温外，还会受光照、空气湿度、土壤含水量、日较差等其他气象要素影响。在下一步研究中，可以在模型中融合进更多的气象数据以完善“由白茶图像自动判别生长物候期的模型”，进一步提高模型识别准确率。