基于视觉的草莓品质特征提取与评价模型

2024-03-13马志艳王玉斌陈学海

包装与食品机械 2024年1期

马志艳，王玉斌，陈学海

（1.湖北工业大学，武汉 430068；2.湖北省农机装备智能化工程技术研究中心，武汉 430068）

0 引言

我国是世界上草莓栽培面积最大、产量最多的国家，年产量可达300万吨［1］。为了提高草莓利润，须对草莓进行快速、精准的自动流水线分级处理。目前国内对草莓的分级仍采用人工作业，且分级因人而异，缺乏客观性。为了高效、统一地完成对草莓的分级，国内研究者以机器视觉为基础展开研究。张青等［2］提出草莓在线分级方法，利用凸包检测其轮廓，SVM建立形状分类，完成草莓分级，综合准确率达到96.7%。杨涛等［3］提出基于视觉的草莓自动分级方法，利用HSV颜色空间判断成熟度，达标的草莓进行下一步质量检测，最后使用Kmeans均值判断其形状，实现草莓分级，准确率达到90%以上。XU等［4］使用机器视觉对草莓进行分级，从形状、颜色、大小出发，采用K均值聚类获得形状特征，通过LAB颜色空间获得颜色特征，最后通过果实直径得到草莓大小，从而实现草莓的分级，准确率达到90%以上。但目前草莓分级指标不全，数据区分度低，因此有必要引入草莓缺陷指标，对草莓分级进行更深入的研究。

本文以丹东草莓（大型果）为对象，研究基于图像的草莓品质模型，采用图像处理方法提取草莓的颜色、尺寸以及形状信息，并对草莓缺陷、成熟度、规格和形状进行量化，得到品质模型。根据品质模型对目标草莓进行品质分级，提高草莓的自动分选效率和各品质草莓的区分度。

1 草莓品质传统评判方法

在行业标准NY/T 1789-2009《草莓等级规格》中［5］，将符合基本要求的草莓划分为特级、一级和二级3个等级。在对这3个等级进行区分时，主要是依据外形缺陷、着色面积比和表面缺陷等方面；同时也将草莓划分为大、中、小3个规格，给出各规格的重量参考范围。如表1，2所示。

表1 草莓等级划分Tab.1 Strawberry grading

表2 各品种草莓规格划分Tab.2 Specification classification of strawberry varieties g

此外，该标准还定义了品质容许度和规格容许度。依据此标准对单颗草莓进行评价有一定的指导意义，但是数据区分度低，人工难以准确把握，导致品质容许度和规格容许度无法保证，无法作为草莓品质判断的统一标准。如在评价草莓着色面积比时，仅凭人工感觉对着色面积进行判断，受主观影响，导致处于分级界限附近的草莓常常被划分到不同的等级。在对大量草莓进行规格划分时，无法对每个草莓逐一称重，因此常常通过经验对其进行质量估计，导致一些处于质量分级界限的草莓常常被误分。对于表面缺陷的判断，标准中仅为文字描述，缺少具体数据，导致人工对表面缺陷范围难以把握，评判等级不一。因此有必要借助视觉传感器，实时采集草莓分选流水线图像，提取草莓品质评价相关特征，根据标定样本来界定各特征对品质的影响，对草莓等级评价、规格评价进行整合，得到适合于草莓分选生产线的快速品质整体评价优化标准。

2 基于视觉特征的草莓品质建模

以丹东草莓（大型果）为研究对象，从多个工人分选的类别中挑选300个草莓样本，综合考虑成熟度、缺陷（表面破损/附着泥土/腐坏等）、重量以及形状等因素。在草莓品质传统评价方法基础上，建立草莓品质评价模型并进行针对性优化。在基于视觉模块得到的草莓可见光图像数据中，提取颜色、尺寸、形状和缺陷等特征，根据这些特征从等级、规格2个方面进行品质综合评价。

2.1 草莓等级评价

以传统草莓等级划分为基础，根据草莓评价样本，将清洗后的待分级草莓通过缺陷、成熟度和形状的综合评分，对草莓进行分级。

2.1.1 草莓缺陷检测

草莓缺陷一般分为挤压和腐败。从颜色看，挤压缺陷部分一般为棕红色，腐败部分一般为黑色。在人工评价过程中，黑色腐败缺陷会导致草莓无法食用，从而直接评判为劣等；棕红色挤压缺陷如果面积较大也将评判为劣等，只有小面积挤压缺陷的草莓会进行缺陷评分，并进入下一步成熟度检测。

以此为基础，通过颜色特征对草莓图像进行颜色分割，提取缺陷颜色和面积，得到缺陷种类和大小，并对草莓缺陷进行评分。通过提取样本草莓HSV颜色模型三通道数据，分别得到草莓挤压缺陷和腐败缺陷色阈范围，对其进行颜色分割，如图1所示。

图1 草莓缺陷检测Fig.1 Strawberry defect detection

取若干个因挤压缺陷面积过大被人工评判为劣等的草莓样本，对其进行缺陷面积检测和数据分析，如图2所示。将缺陷面积与草莓投影面积之比记K1，其中最小缺陷面积占比为8%。以此为标准，当K1≥8%时，将草莓等级评判为劣等，不进入下一步成熟度检测。当K1＜8%时，对草莓进行缺陷评分，并进入下一步成熟度检测。

图2 劣等草莓缺陷面积统计Fig.2 Statistics on inferior strawberry defect area

组织若干名有经验的分级人员，对小面积挤压缺陷的草莓进行缺陷评分，以0.5分递增，最高为1.5分。当K1≤2%，草莓缺陷评为1.5分；当2%＜K1≤5%，草莓缺陷评为1分；当5%＜K1＜8%，草莓缺陷评为0.5分；当K1≥8%，草莓缺陷评为0分。

2.1.2 草莓成熟度检测

对满足缺陷要求的草莓，进行成熟度检测。在检测到草莓后，将其从背景中分割出来，通过BGR颜色空间转HSV颜色空间［6-7］，提取其H通道数据，并根据草莓样本直方图（图3），得到草莓红色对应的H通道参数的取值范围，为［0，10］和［175，180］，将其作为草莓的鲜红色色阈取值范围。

图3 典型草莓H通道样本直方图Fig.3 Histogram of typical strawberry H channel samples

据此对草莓进行颜色分割，得到草莓鲜红色像素着色面积，计算其与草莓整体像素面积之比K2，将草莓成熟度分为特等、一等、二等和不成熟，实现对目标草莓的成熟度评价。参考相关行业标准，将草莓成熟度等级定义：0.98≤K2≤1为特等；0.9≤K2＜0.98为一等；0.8≤K2＜0.9为二等；K2＜0.8为不成熟。其分割效果如图4所示。暗色线条绘制草莓整体轮廓，亮色线条绘制草莓成熟区域轮廓。

图4 草莓颜色判别Fig.4 Strawberry color discrimination

为进一步优化系统对草莓成熟度的判别范围，选取系统分级的每个等级草莓样本各40个，进行样本编号和K2值计算，得到各草莓个体K2值分布图。序号1～40为系统分级特等，41～80号为一等，81～120号为二等，121～160号为不成熟。在3位分级人员不知道系统分级结果的情况下，对草莓样品进行人工分级，并统计与系统分级不一致的草莓序号，如表3所示。将误分草莓对应的K2以虚线画出，如图5所示。

图5 样本草莓着色比分布与误分草莓序号图Fig.5 Sample strawberry coloring ratio distribution and misdivided strawberry serial number plot

表3 人工误分草莓编号Tab.3 Manual misdivided strawberry seriel number

人工分级的特等草莓与系统分级一致，其余等级草莓分级存在偏差。统计3名工人分级不一致的草莓序号，一等草莓中41，51，52，57，58，61，67，68，72，76多次出现，二等草莓中82，84，92，96，100，106，118多次出现，不成熟草莓中124，129，130，138，142，148，153多次出现。取误分草莓编号中最小K2值，得到一等误分草莓中最小K2=0.95；二等误分草莓中最小K2=0.87；不成熟误分草莓中最小K2=0.77，将其作为草莓成熟度等级判别的新阈值，即可得到优化后的成熟度评分阈值范围。当0.95≤K2≤1，成熟度评为1.5分；0.87≤K2＜0.95，成熟度评为1分；0.77≤K2＜0.87，成熟度评为0.5分；K2＜0.77，成熟度评为0分。

2.1.3 草莓形状检测

完成草莓成熟度检测后，将不成熟草莓直接评判为劣等，并对满足成熟度要求的草莓进行形状评价。通过机器视觉，对草莓投影面积进行计算，并绘制最大外接矩形。将外接矩形长宽比记为a1，草莓轮廓面积与矩形面积比记为a2。通过a1和a2可大致将草莓分为如下3种形状，如图6所示。

图6 草莓形状图Fig.6 Strawberry shape diagram

选取人工分选的圆锥形、近长方形和近圆形草莓样本共90个，计算其a1和a2，并进行数据统计。采用K—Medoids中心点聚类算法对数据进行处理，按草莓形状设置3个簇，得到各形状的数据范围，如图7所示。

图7 K—Medoids聚类结果Fig.7 K—Medoids clustering results

当a1≥1.12且a2＜0.76时，形状为圆锥形；当a1≥1.12且a2≥0.76时，为近长方形；当a1＜1.12时，为近圆形。

得到草莓果形评价后，进行形状评分。当草莓果形为圆锥形，形状评为1.5分；当果形为近长方形，形状评为1分；当果形为近圆形，形状评为0.5分。

2.1.4 草莓等级评分

选取草莓缺陷、成熟度、形状3项指标，采用熵权法计算权重因子［8］，对草莓等级进行综合评分，其评分以n1表示。通过缺陷、成熟度、形状评分，得到27×3的矩阵如下式所示，并对矩阵参数进行处理。

①数据标准化处理：

②数据归一化处理，得到各指标在各方案中所占比重：

③信息熵计算，其中：k=1/ln27

④权重因子计算，其中a=3：

根据草莓缺陷评分、成熟度评分、形状评分和权重因子，对草莓等级得分进行计算，并根据草莓等级得分进行评级，其表达如下式所示，等级评分如表4所示。

表4 草莓等级评分Tab.4 Strawberry grade score

2.2 草莓规格评价

完成草莓等级评价后，对满足等级要求的草莓进行质量拟合和规格评价。

2.2.1 草莓质量拟合函数

通过提取草莓图像投影面积和投影周长作为输入参数来拟合质量［9-11］，建立草莓投影面积、投影周长与草莓质量的函数关系表达式，对满足等级要求的草莓进行质量拟合和评分。

采用精度为0.1 g的电子天平对120个草莓样本逐一测量，得到每个草莓样本的质量。对120个样本草莓进行图像采集，通过图像处理得到草莓投影像素面积和周长，并根据相机标定计算得到草莓投影面积和周长，以此得到投影面积、投影周长和质量关系散点，如图8所示。

图8 草莓投影面积、投影周长和质量关系散点图Fig.8 Strawberry projection area, projection perimeter, and mass relationship scatter plot

对数据进行相关性分析，通过曲线回归，得到草莓质量M、投影周长L和投影面积S的关系拟合函数，如下式：

回归曲线拟合度的R2=0.976，说明拟合度较高。

2.2.2 草莓规格评价

通过投影面积、投影周长与质量的拟合函数实现草莓质量评估，对草莓规格进行评分，以n2表示，规格评分如表5所示。

表5 草莓规格评分Tab.5 Strawberry specification score

2.3 草莓品质评价

得到草莓等级评分和规格评分后，创建21×2的矩阵，再次使用熵权法，计算得到草莓等级权重因子为0.35，草莓规格权重因子为0.65。通过等级评分、规格评分和权重因子，对草莓品质进行综合评分，记为N，如下式，其评级如表6所示。

表6 草莓品质评级Tab.6 Strawberry quality rating

3 基于视觉的草莓分选试验

3.1 草莓分选实验装置设计

实验平台由传送带上料装置、视觉检测装置、海绵滚轴和Delta机械手组成［12］。考虑到单个传送带和摄像头，无法对草莓另一面进行数据提取，导致草莓品质分级存在片面性，因此选择2段传送带对草莓进行分选试验，如图9所示。

图9 草莓品质分选实验平台Fig.9 Strawberry quality sorting experimental platform

在2段传送带之间安装1个顺时针旋转的海绵滚轴，传送带1略高于传送带2，且摄像头1和摄像头2分别正视于传送带。当草莓处于传送带1的中心位置时，进行第1次图像采集和分级。当草莓处于传送带边缘时，由于自身重力影响和其传送带边缘的圆弧形状，草莓逐渐发生倾斜，竖直向下掉落在海绵滚轴上，在海绵滚轴的旋转影响下，使得草莓自动翻面并落在传送带2上。当草莓处于传送带2的中心位置时，进行第2次图像采集和分级。2次分级以低品质分级结果为最终结果。完成草莓品质分级后，采用执行末端为带吸盘的Delta机械手对草莓进行分选。

3.2 草莓等级评价

取123颗丹东草莓，对其进行等级分级试验，分级结果如表7所示。与人工分选结果相比，机械分选的一级草莓、二级草莓和三级草莓存在误分情况，其误分主要原因有草莓翻面失败，草莓着色面积或其缺陷面积处于界限位置。整体准确率达到96.7%。

表7 草莓等级分级结果Tab.7 Strawberry grading results

3.3 草莓规格评价

将同样的123颗草莓，对其进行人工称重和图像拍摄，提取图像信息，根据M函数对其进行质量评估，并进行规格划分，结果如表8所示。试验结果表明，草莓投影面积与质量的线性函数拟合度较好，其规格分级准确率达到98.4%。

表8 草莓规格分级结果Tab.8 Strawberry specification grading result

3.4 草莓品质分选

随机选取质量不等、着色不一的大型果草莓107颗，根据草莓品质分级模型对其进行分选试验，结果如表9所示。排除低品质草莓样本较少的因素影响，与人工分选结果相比，一共有4颗草莓出现分级结果不一致，5颗草莓分选失败。各品质分级准确率均在94%以上，整体分级准确率达到96.3%，草莓分选成功率达到95.3%。每幅草莓图像处理平均耗时37 ms，每颗草莓分选耗时0.87 s。误分主要原因为存在草莓翻面失败的情况，且另一面恰巧存在缺陷或着色面积不达标，导致草莓等级评价出现偏差，造成分级误差。分选失败原因为存在草莓吸取不牢固，中途掉落的情况。