基于机器视觉的甜瓜成熟度判别研究

许德芳，赵华民，许建东，张淑娟

（山西农业大学工学院，山西晋中 030801）

甜瓜是我国产量最大的水果之一，其香味浓郁、质感甜脆，深受消费者的喜爱。虽然每年的甜瓜产量很大，但是甜瓜的种植、分拣等过程依然大部分依靠人工，机械化和智能化程度较低。特别是采摘后甜瓜的分拣多采用人工进行，效率低下，不利于甜瓜分级的标准化。为研究甜瓜的自动化分级系统，采用机器视觉技术结合卷积神经网络基于Pytorch深度学习框架进行甜瓜成熟度判别研究，为甜瓜自动分级设备的研发提供理论基础。

机器视觉主要是指通过CMOS或CCD传感器获取对象图像，然后用机器代替人眼来做测量和判断[1]。机器视觉检测技术较传统人工分选可以大大提高效率，已被应用于各行各业。应用于农产品的质量检测和分级，能够大大减少劳动力资源的浪费，提高生产效率。近几年受到大量农业方面研究学者的重视。刘鸿飞等人[2]基于机器视觉研究了温室番茄裂果的检测技术。潘思慧[3]采用机器视觉技术结合电子鼻技术研究了番茄贮藏过程中成熟度的变化，并建立了番茄成熟度识别的K-近邻模型和支持向量机模型。张小花等人[4]研究了基于机器视觉的果园成熟柑橘快速识别及产量预估方法。祁雁楠[5]研究了基于机器视觉的马铃薯疮痂检测方法。张庆怡[6]、石瑞瑶[7]、凌强等人[8]采用机器视觉技术分别研究了苹果的在线分级系统和分级方法。袁雷明[9]用机器视觉结合近红外光谱技术研究了巨峰葡萄品质无损检测技术，提高鲜食葡萄品质分级的客观性与时效性。还有其他学者采用机器视觉对梨[10]、猕猴桃[11-12]等水果的分类和加工等进行了研究，不过对薄皮甜瓜的研究还比较少。

机器视觉目标图像分类的方法主要由K-means[13-14]、随机森林法[15]、支持向量机（SVM）[16-18]等传统的机器学习方法，还有深度学习卷积网络方法[19-21]等。因为甜瓜成熟度的判别主要是颜色跟纹理的判别，并且样本较少。在这一方面，有学者发现在样本数量较少时，传统的机器学习方法比使用深度学习方法具有较高的识别精度，并且更容易根据模型的精度调节不同的训练特征[22-23]。所以选用传统的机器学习方法LS-SVM进行甜瓜成熟度判别。

1 材料和方法

1.1 试验样本

研究所用甜瓜样本取自山西太谷县侯城乡王海庄村某农户温室内，同一品种不同成熟阶段的甜瓜，外表无缺陷的样本进行试验。

根据甜瓜的生长阶段，甜瓜未成熟时为绿色，半成熟时由绿转白，成熟后由白转为黄色。试验采集未成熟期、半成熟期、成熟期3个不同生理时期。研究选取甜瓜样本共计195个，未熟期样本55个，半熟期样本60个，成熟期样本80个。采摘后运回实验室，并立即开始试验。

1.2 图像采集方法

甜瓜图像采集装置见图1。

图1 甜瓜图像采集装置

由图1可知，甜瓜图像采集通过自己试验搭建的平台，摄像头采用晟悦SY8031自动对焦摄像头。LED灯色温为5500K，为防止甜瓜拍摄过程中偏色，摄像头通过软件调节白平衡为5 500 K。将升降台调节到合适高度，然后将黑布铺在升降台表面，再将甜瓜放在升降台上，对甜瓜正反两面进行图像采集。

不同成熟期甜瓜图像见图2。

图2 不同成熟期甜瓜图像

利用Kennard-stone算法将试验样本以3∶1的比例随机分为校正集和预测集，校正集建立模型，预测集用于判别模型的稳定性和准确性。校正集样本共计146个，其中未熟期样本41个，半熟期样本45个，成熟期甜瓜样本60个；预测集样本共计49个，其中未熟期样本14个，半熟期样本15个，成熟期样本20个。

2 结果与分析

2.1 图像预处理

由图2可知，由于拍照过程中采用了黑色背景，黑色背景的灰度值接近于0。所以基本不会影响图像的分析。但是为了突出图像中甜瓜有效区域，增大甜瓜有效区域面积占比，对甜瓜图像进行裁剪，得到待分析的甜瓜图像。

图像裁剪见图3。

图3 图像裁剪

2.2 图像特征变量提取

首先计算R，G，B三通道像素值的均值和方差，得到甜瓜图像的6个颜色特征。为反映甜瓜图像在方向、相邻间隔、变化幅度及快慢上的综合信息，通过灰度共生矩阵来分析甜瓜图像纹理特征。分别提取图像0，45，90，135°，4个方向的ASM（angular second moment）能量、熵、惯性矩、相关性、逆差距5种参量，共20个纹理特征。

5个特征参量的均值见表1，5个特征参量的方差见表2，ASM能量和6个颜色特征之间的皮尔逊相关系数见表3，熵和6个颜色特征之间的皮尔逊相关系数见表4，惯性矩和6个颜色特征之间的皮尔逊相关系数见表5，相关性和6个颜色特征之间的皮尔逊相关系数见表6，逆差距和6个颜色特征之间的皮尔逊相关系数见表7。

由表3～表7可知，提取的26个特征值之间存在明显相关性，因此需通过特征优选来确定最有效的特征变量。

表1 5个特征参量的均值

表2 5个特征参量的方差

表3 ASM能量和6个颜色特征之间的皮尔逊相关系数

表4 熵和6个颜色特征之间的皮尔逊相关系数

表5 惯性矩和6个颜色特征之间的皮尔逊相关系数

表6 相关性和6个颜色特征之间的皮尔逊相关系数

表7 逆差距和6个颜色特征之间的皮尔逊相关系数

2.3 基于全特征变量的PLS分类判别模型

基于不同成熟期甜瓜图像RGB色彩模型和灰度共生矩阵来分析和计算甜瓜颜色和纹理全部特征变量，建立偏最小二乘法（PLS） 甜瓜成熟度识别模型。为验证模型的判别正确率，对预测集样本进行判别。

为便于计算机实现分级，模型输出类别值以数字1表示未熟期样本，数字2表示半熟期样本，数字3表示成熟期样本；取0.5为判别阈值，由此可以推断出，预测结果为0.5-1.5属未熟期样本，1.5-2.5属半熟期样本，2.5-3.5属成熟期样本。

全特征变量PLS模型预测集判别结果见图4。

图4 全特征变量PLS模型预测集判别结果

由图4可知，未成熟、半成熟和成熟期甜瓜的预测准确率分别达到100%，100%和95%，综合判别率为97.96%。

2.4 基于主成分分析变量的分类判别模型

主成分分析将存在相关性的原始变量通过特征分解、降维获取方差最大的虚拟主成分代替原有变量，主成分之间相互独立且消除原始数据中存在的相关性和信息冗余，提高了模型分析速率。

研究优选原始特征变量共提取出10个主成分，各主成分之间贡献率，选择前4个主成分作为新的特征变量，前4个主成分累计贡献率为98.91%，满足特征优选的要求。

主成分贡献率见表8。

表8 主成分贡献率

基于颜色和纹理特征变量变换得到主成分，建立PCA-PLS快速识别模型。依据前4个主成分得分建立的判别模型，因为减少了大量的冗余信息，保留更多的关键信息，因此模型运算速度更快。

PCA-PLS模型预测集判别结果见图5。

由图5可知，未熟期判别准确率为100%，半熟期判别准确率为100%，成熟期判别准确率为95.00%，综合判别率为97.96%，与全特征变量的PLS模型预测准确率相同。

图5 PCA-PLS模型预测集判别结果

最小二乘支持向量机适用于非线性的参数，判别效果优异。将优选出的主成分因子作为模型的输入，基于主成分分析变量的PCA-LS-SVM分类判别模型预测集判别结果。

PCA-LS-SVM模型预测集判别结果见图6。

图6 PCA-LS-SVM模型预测集判别结果

模型预测结果，未熟期判别准确率为100%，半熟期判别准确率为100%，成熟期判别准确率为100%，综合判别率为100%，相比前2种模型效果更好。

3 结论

基于甜瓜的表皮颜色和纹理进行了成熟期识别研究。采用色彩空间法、灰度共生矩阵法相结合提取颜色和纹理特征变量，用于甜瓜成熟期的识别，综合识别成功率达到了100%。该方法有望应用于甜瓜分选环节。试验表明，通过图像的颜色、纹理特征信息对甜瓜进行识别应用是完全可行的，此类方法具备更深、更广的研究空间。

研究全程在实验室静态条件下进行，为满足分选生产线高效率的要求，需要进一步研究甜瓜在动态传输条件下的分选情况，并且试验甜瓜选择表面无损伤的样本，在损伤状态下样本的变化对预测结果的影响也需要继续研究。