葡萄图像检测技术研究进展

郑小南 杨凡 李富忠

摘要    葡萄是我国重要的栽培水果之一。随着计算机技术的进步和我国智慧农业概念的提出和推广，图像处理技术现已被广泛应用于葡萄检测中，具有高效、便捷、无损伤的优点。本文综述了图像检测技术在葡萄叶片（病害、营养物质）和果实上的研究进展，提出了现存的不足，并对未来图像处理在葡萄检测技术中的应用进行了展望。

关键词    葡萄;图像处理;生长监测

中图分类号    S663.1        文献标识码    A

文章编号   1007-5739（2020）12-0078-02                                                                                     开放科学（资源服务）标识码（OSID）

葡萄是常见的水果之一，通常有鲜食、酿酒和制葡萄干3种食用方式。葡萄的根和藤可药用，能起到安胎和止呕的作用[1-3]。葡萄作为我国重要的果树之一，现已在栽培方式、葡萄品质和产量方面取得了很大的突破，逐步跻身于世界葡萄生产大国[4]。虽然取得了长足的进步，但我国葡萄栽培仍存在诸多问题，葡萄检测主要通过人工进行，时间长，成本高，并且分析结果具有不可靠性。人工测量通常需要在良好的静态测量条件下进行，得到的数据集往往会产生较大误差，很难对作物生长状况进行精准判断，致使不能及时对葡萄生长过程中出现的问题施行相应的措施，导致我国葡萄品质与世界先进水平相比仍存在一定的差距。

随着计算机技术和精准农业的发展，图像技术已被广泛应用于葡萄检测中。计算机图像能够代替人眼快速、准确地进行检测分析。在葡萄生长发育过程中，根据成像技术实时监测生长数据并及时采取相应的措施，同时可以对葡萄的产量进行精准预测，还可自动对葡萄品质分级，这对确保葡萄的品质与产量有重要作用[5]。了解国内外研究进展，对促进我国葡萄精准栽培和提高葡萄产量具有重要意义。本文主要对葡萄图像检测技术的研究进展进行综述，并提出了不足以及未来的展望，以期为图像处理在葡萄检测中的应用提供参考。

1    葡萄叶片特性图像检测

1.1    叶片病害图像检测

葡萄种植过程中存在密度小、面积大的问题，这种种植模式加速了病害的传播，且不利于病害防治。对病害进行准确检测和识别，有利于对症下药，保证葡萄健康生长。传统的病害识别和检测主要是通过有经验的果农在田间进行，该方式周期长、效率低，识别中人为主观意识产生的误差也较大[6]。图像处理的应用有效解决了上述问题。乔虹[7]提出了一种基于深度学习动态监测葡萄叶片病害的方法，运用Faster R-CNN算法对葡萄叶片进行检测，然后采用改进卡尔曼滤波法进行跟踪，以此获取葡萄叶片的正面图像;文章中还提出了一种新的跟踪方法，解决了由于叶片遮挡导致跟踪失败的问题，并且还可以实现多叶片的跟踪。通过对跟踪定位到的叶片进行姿态矫正，然后进行SIFT匹配，以此找出同一叶片的一系列生长图像，利用深度学习技术对该组图像进行病害识别。最后，通过对比叶片生长序列图像的病斑面积或病斑数量来确认病害是否存在。试验表明，该方法在叶片跟踪和病害识别上都达到了良好的精度。李冠林等[8]提出了一种基于K_means聚类（HCM）算法的无监督分割处理方法。基于L*a*b*颜色空间模型中ab二维数据空间的颜色差异，以欧氏距离的平方作为相似距离，以均方差作为聚类准则函数，对2个聚类进行迭代颜色聚类。利用数学形态学算法对聚类结果进行校正。将该方法应用于3种葡萄病害的彩色图像分割，结果表明，该方法能较好地从葡萄病害彩色图像中分割出病变区域，具有良好的鲁棒性和准确性。Adeel等[9]提出了一个用于分割和识别葡萄叶片病害的自动化系统，该系统利用SVM对最终提取的特征进行分类。在Plant Village数据集上对该系统进行了评估，数据集包含3种类型的葡萄叶片病害，例如黑麻疹、黑腐病和叶枯病。该方法的平均分割正确率为90%，分类正确率在92%以上。刘媛[10]通过计算机视觉和深度神经网络实现了葡萄叶片6种常见病害的识别。半自动病害识别首先需要人工截取叶片病害区域作为样本，筛选出5种特征用于识别，结果表明，Bagged Trees识别效果较好，平均识别率可达86.67%;全自动病害识别主要使用Faster R-CNN模型，对比多种卷积神经网络，结果显示，VGG-16网络的识别性能最优异，识别正确率可达94.48%

1.2    叶片营养元素图像检测

葡萄叶片营养元素的含量可以从一定程度上反映出当前葡萄生长状况。叶片的还原糖和氮是作物光合作用的主要元素，间接表征了作物的光合速率和长势[11]。水分作为作物生长阶段最重要的营养元素之一，叶片是受水分影响反映最敏感的器官，主要表现为叶片发黄、萎缩等。因此，通过图像处理技术，快速对叶片元素含量进行测定，对于作物生长状况评价和产量估测具有重大意义[12]。贾尚云等[13]提出了一种葡萄叶片还原糖含量测定的新方法，利用工业相机获取葡萄叶片图像，获取叶片的颜色、纹理特征值，然后采用支持向量机（SVM）算法，对葡萄叶片还原糖含量进行分类识别，结果显示，分类识别的准确率为87.349%。杨娟娟等[14]通过卷积神经网络VGG-16实现对葡萄叶片含氮量的识别，将获取的葡萄叶片图像用十折交叉验证法分为测试集和训练集，分别用4种网络模型训练比对，结果表明，在室内的识别准确率高于室外，这为作物叶片含氮量的识别提供了一種快捷的新方式。劳东青等[15]通过对葡萄叶片的图像进行处理，获取图像的灰度均值，通过烘干法测量葡萄叶片含水率真实值，以此建立了灰度均值和葡萄叶片含水率之间的估算模型，模型确定系数R2为0.7803，此方法为作物的精准灌溉和自动化灌溉提供了一定的基础。

2    葡萄果实图像检测

2.1    果实外部特征图像检测

葡萄品种众多，一些品种的叶片和颜色较相近，人眼很难区分，这给葡萄采摘过程造成了极大的不便，而且会影响葡萄浆果产量和质量的准确预测。在传统模式中，这些工作都是通过具有丰富经验的熟练专家来执行。图像技术提供了一种廉价、快速和无破坏性的替代方案，可替代专家进行耗时且主观的现场分析，高效快捷地对葡萄浆果进行定位识别、果粒粒径测量和颗粒数的统计[16]。在酿酒过程中，最耗时、最费力的就是葡萄采摘。由于各种颜色的葡萄茎和不规则的葡萄轮廓，使采摘机器人很难准确定位挑选点。为了提高葡萄采摘机器人的目标定位精度和工作效率，减少机械损伤、葡萄采摘节点定位不当等一系列影响，宋西平[17]提出了一种基于双目视觉对葡萄浆果進行定位识别的方法，主要通过双目视觉技术获取葡萄图像，在此基础上研究了对葡萄采摘过程中采摘点的立体定位，并实现了采摘机器人实验模拟仿真，为后期双目视觉采摘机器人的开发和研究提供了一定的方向。罗陆锋等[18]提出了一种基于改进的聚类图像分割和最小点距约束的采摘点定位方法。通过对采集于阳光直射、晴天逆光和阴天的300幅夏黑葡萄测试图像的统计分析，定位点准确率可达到88.33%。李俊伟等[19]提出了一种基于机器视觉技术对单个葡萄质量和果径进行预测分级的方法，该方法首先对获取的葡萄样品图像进行分割，获取葡萄几何特征，然后采用一元线性回归法和偏最小二乘回归法预测单粒葡萄的质量和果径，运用二次判别分析法，对单粒葡萄的质量和果径进行分级。结果表明，预测和分级的准确率均超过85%。Zabawal等[20]通过检测图像中的葡萄浆果，对葡萄产量进行估产。用Phenoliner（一种野外表型分析平台）获得的葡萄图像，应用完全卷积神经网络来实现葡萄浆果的检测，主要包括浆果、边缘和背景三部分。检测出浆果之后，应用连通分量算法来确定一个图像中的浆果数量，从而预估产量。将自动计数的浆果数量与手动检测到的浆果进行比较，结果表明，该方法能够准确地在垂直拍摄定位格架VSP系统内正确检测浆果占34.0%，在半最小修剪树篱SMPH系统占85.6%。Gennaro等[21]通过无人机拍摄葡萄园内的RGB图像，应用无监督识别算法推导出簇数和大小，用于估算每株葡萄的产量。分割结果表明，群体检测在部分叶片和多种条件下均显示超过85%的性能，并且允许在收获前数周估计葡萄产量超过84%。

2.2    果实内部特征图像检测

葡萄作为一种常见的水果，主要用途分为鲜食、葡萄干、葡萄酒3种，不同内部元素含量的葡萄对应不同的用途，图像处理技术可以快速、无损伤地对葡萄进行内部指标检测，以满足生产环节的不同需求[22]。徐  丽等[23]通过高光谱成像技术获取葡萄的漫反射光谱，对原始光谱进行预处理，用逐步多元线性回归（SMLR）和偏最小二乘法（PLS）建立可溶性固形物含量的预测模型。试验表明，2种预测模型的准确率均在90%以上。Gutiérrez等[24]以非破坏性的方式，实时测量葡萄中的TSS和花青素浓度。在自然光下拍摄葡萄的高光谱图像，采用支持向量机建立光谱模型，实现预测。结果显示，TSS的预测准确率达到92%，对于花青素浓度预测的准确率达到83%，本研究中获取高光谱图像可以实现自动化，对葡萄成分的自动评估提供了有用的参考价值。蔡正云等[25]对比了多种光谱图像预处理方法和不同的预测模型，结果表明，CARS提取特征波长建立的PLSR模型最优异，预测集的相关系数为0.806，证明了用可见近红外高光谱成像技术预测葡萄含水量是可行的。

3    存在的不足及展望

随着图像处理技术的迅猛发展，现该技术已被逐渐应用到农业方面，在众多研究者的共同努力下，图像处理在葡萄的叶片病害、营养物质检测和葡萄果实识别、品质分级等方面也取得了一定的成果。图像处理技术并不只局限于数字图像，近年来也逐渐与光谱、机器视觉和遥感技术相融合，从而实现葡萄的内外品质自动检测和葡萄园生长状况的大面积快速监测。虽然图像处理技术在葡萄生长过程监测和品质检测方面已有大量的研究，这对推动葡萄种植和品质分级的自动化具有重大意义，但是在走向技术成熟和投入实际生产环节还存在一定的问题。一是葡萄品种众多，不同品种的叶片和果实存在较大的差异，特征差异显著的图像有较好的分割效果，对于一些葡萄叶片颜色和果实颜色相近的品种，分割不够精确，相关研究也较少。二是葡萄果实较脆弱，且采摘过程中易落果，叶片繁多造成图像对葡萄采摘点进行定位时，定位点不够精准，机械臂采摘过程中会对果实造成一定的损伤，自动采摘实际投入生产环节还需要一定的时间。三是图像处理现以处理静态图像为主，对于处理动态图片还存在一定的不足，需要进一步研发有关动态图像的处理算法，捕捉葡萄生长的每一个阶段，可以对其生长状况有更精准的评价。

4    参考文献

[1] 庄楷杏，李妙清，郑灿芬，等.黑提葡萄不同部位的香气分析[J].饮料工业，2018，21（5）：13-16.

[2] 侯廷帅，韩晓东，赵江，等.葡萄的加工技术综述[J].食品工业，2015，36（5）：223-228.

[3] BARR？譩 P，HERZOG K，H？魻FLE R，et al.Automated phenotyping of epic-uticular waxes of grapevine berries using light separation and convolutional neural networks[J].Computers and Electronics in Agriculture，2019，156：263-274.

[4] 刘旭宇.金华市葡萄产业现状、技术特点与发展对策[D].杭州：浙江大学，2011.