基于图像多指标融合的柑橘分级方法与装备设计

杨 涛，马京晶

（1.成都农业科技职业学院机电信息学院，成都 611130；2.四川财经职业学院信息学院，成都 610101）

机器视觉技术因其低成本与高效率的特点在现代农业生产中有着较广泛的应用［6］。机器视觉技术在芒果［7］、桃［8］、葡萄［9］、猕猴桃［10］、苹果［11］等水果品质无损检测中有一定的应用。本研究以川渝地区主产水果柑橘为对象，运用机器视觉技术探讨柑橘自动分级方法并设计了柑橘全自动分级装备，以期降低水果分级成本，进而促进水果生产全程机械化发展。

1 柑橘分级策略与技术路线

根据柑橘分级国家标准《GB/T 12947—2008 鲜柑橘》与行业标准《NY/T 1190—2006 柑橘等级规格》，柑橘分级主要依据果实的外观、大小与内在品质。水果品质无损检测主要包括外观（形状、颜色、大小、组织缺陷、病虫害等）与内在（成熟度、可溶性糖、糖酸比、农药残留等）品质，水果品质无损检测技术主要有高光谱成像［12］（Hyperspectral image，HSI）、近红外光谱［13］（Near infrared spectrum，NIRS）、机器视觉［6］（Machine vision，MV）、拉曼光谱［14］（Raman spectra）和深度学习［15］等高新信息技术。其中，机器视觉技术成本最低，较适合川渝地区小规模农户使用。因此，本研究以柑橘图像为研究对象，研究了其分级方法，柑橘自动分级技术路线见图1。

2 柑橘图像采集与预处理

为保证采集到的图像包含全部的柑橘表面缺陷信息，图像采集装置（图2）连续采集6 张柑橘图像，再对图像进行编组，以确保连续6 张图像来自同一个柑橘。进一步采用图像裁剪、去噪和Otsu 阈值分割等图像处理技术对采集到的柑橘图像进行预处理，以消除图像背景对后续图像分析的影响。预处理后图像见图3，本研究中未特别说明的情况下提取的特征值均是以采集到的6 张图像的特征值平均值来表征。

图2 柑橘图像采集装置

图3 同一个水果采集到的6 张预处理后图像

3 柑橘图像特征提取与分级标准

3.1 果形与果重的判定

3.1.1 几何形状 柑橘形状与大小是重要的品质分级指标，反映了柑橘的几何特征。通常使用似圆度（Ro）、矩形度（Re）、最小外接矩形长宽比（Ra）、最小外接圆面积与目标区域面积比（Rc）描述目标区域的几何形状特征［16］。定义二值图像似圆度为目标区域面积（A）的4π 倍与其周长（L）的平方之比；矩形度则为目标区域的面积与其最小外接矩形围成区域的面积之比，反映了目标区域最小外接矩形充满程度；长宽比则为目标区域最小外接矩形长宽比，反映了该区域是细而长还是短而粗，而且还不受区域方向与采集图像焦距的影响，也是较重要的几何特征；同时，目标区域面积与其最小外接圆面积之比更能反映球形水果与圆形的相似度，也是较重要的几何参数［16］。由此，即可得到描述目标对象几何形状的关键技术指标，具体计算式如下。

式中，L为二值图像目标区域周长，即边缘像素个数；A为二值图像目标区域的面积，即区域像素个数；l、w分别为最小外接矩形的长边、短边的像素个数；r为最小外接圆的半径。

显然，矩形的矩形度为1，圆的矩形度为π/4，正三角形的矩形度为0.5，而其他不规则形状的矩形度在0～1。而且球形的长宽比、面积比均趋近于1，椭球形的长宽比、面积比较大，分别计算各样本的几何特征参数即可判断其形状。将样本图像转换为二值图像后分别计算其几何特征，并将其最小外接矩形、最小外接圆和最大内切圆绘制成图（图4）。

语文教师要应用合适的方法提高学生的写作兴趣，让学生自己感觉到写作是一个有趣且有意义的事情，引导他们学会用自己的语言去描绘生活、表达感情、书写认知。生活和学习中，学生遇到的每一件事，都可以激起他们的写作兴趣，引起他们的写作欲望，进而达到写作目的。

选取100 个柑橘果实获得600 张样本图像，计算其几何特征值，每个果实取6 张图像结果值的平均值绘制成折线图（图5）。由图5可知，样本图像的矩形度（Re）稳定在π/4 处，说明样本几何形状为类圆形。而且大部分样本的长宽比（Ra）、面积比（Rc）趋近于1，即球形柑橘的Re→π/4、Ra→1、Rc→1，进一步说明样本图像为正圆形，其余的离散点说明其几何形状为椭圆形。可凭借样本的Ra、Rc筛选出椭球状、球状以及其他形状的柑橘。由此，即可实现柑橘几何形状的判定。

图5 样本几何特征值

3.1.2 单果重 柑橘的单果重或果实横径（赤道直径）同样是分级的重要指标。一般采用果实二值图像或轮廓的最小外接矩形长短轴来描述果实的横径，进而依据果实横径或投影面积建立预测模型以预估果实的质量［17］。考虑到柑橘形状以球形或椭球形为主，采用果实二值图像最小外接圆与最大内切圆直径的平均值来表征其大小，再以此为基础预测果实的体积，进而构建了柑橘果实质量预测模型，以搭建柑橘果实样本图像与其真实质量之间的函数关系，具体计算式如下。

式中，λ为修正系数，经试验取λ=1.85；ρ为目标对象密度，取ρ=1.36 g/cm3；rˉ为样本二值图像最小外接圆与最大内切圆半径的平均值。

选取大、中、小共100 个柑橘为试验样本，编号后逐一称得其实际质量（m），再借助柑橘果实质量预测模型得到预估质量（me）。对比实际质量与预测质量（图6）发现，该柑橘果实质量预测模型能够适应大、中、小类果实，尤其对球形水果适应性较好，预估质量误差范围在±5 g 之内，满足柑橘按大小分类的要求。

图6 样本实际质量与预估质量对比

3.2 色泽与成熟度

大部分柑橘在成熟过程中果皮颜色会由绿色逐渐转变为橙黄色再到成熟期的橙红色，该过程称为转色现象。图像颜色信息对图像本身的方向、尺寸和视角的依赖性较小，具有较强的鲁棒性。可据此现象建立果实成熟度预测模型以判别果实成熟与否。传统描述图像颜色信息的方法主要有颜色矩、颜色直方图、颜色相关图、颜色集与颜色聚合向量等，其中，颜色矩能较好地反映颜色分布情况，是最常见的描述颜色信息的特征值，其计算式如下［18］。

式中，μi、σi、ζi分别为样本图像的一阶矩、二阶矩、三阶矩，Pij为彩色图像第j个像素的第i个颜色分量，N为图像中的像素个数。

计算样本图像的颜色矩信息得到图7。在RGB颜色模式下，各颜色分量矩特征值均有较明显的分界线，但还不足以区分出样本的成熟度。为此，根据柑橘颜色越鲜艳、成熟度越高的特点，进一步建立了计算特定颜色的占比而描述样本成熟度的数学模型，将样本图像中各颜色分量的像素点中大于试验样本平均值的像素点设置为0。即将样本图像中的深色部分用黑色背景覆盖或替换，得到样本图像中的浅色部分，具体计算式如下。

式中，δr、δg、δb分别为样本图像各颜色分量分割阈值，分别取其试验样本的平均值。

随机抽取的样本试验效果见图8，样本图像中深色部分均与背景融合，只显现出浅色部分。样本图像深色部分的面积与整个样本图像面积的比值即可描述样本的成熟度（ε），具体计算式如下。

图8 样本图像中的浅色区域

式中，A0为样本浅色区域二值图像面积；A为样本二值图像总面积。

柑橘成熟度还反映出样本的甜度，柑橘越成熟则表现出较高的甜度，反之则表现出低甜度或高酸度。经试验，选择100 个柑橘样本计算其成熟度，结果见图9。当ε＜10%时，说明样本为未成熟或果皮表面存在较大瑕疵（如病斑等）；当10%≤ε＜35%时，说明样本成熟度小于其平均值，表现出低甜度；当35%≤ε＜50%时，说明样本成熟度较为正常，表现出中等甜度；当50%≤ε＜80%时，说明样本成熟度较高，全部大于样本的平均值，表现出高甜度；当ε≥80%时，说明样本颜色过深，果皮可能产生了病变，存在较大的褐色病斑。由此，构建了由样本颜色判断样本甜度的数学模型，且据此能够区分出样本中有较大表面缺陷的水果。

图9 样本成熟度

3.3 缺陷类型及识别方法

柑橘果皮常见缺陷表现为机械损伤、病斑、腐烂日灼和裂果等，这些缺陷通常表现出较大的颜色差异，是柑橘品质分级的重要指标［19］。RGB 颜色模式下，图像容易受到亮度的影响，Otsu 分割难以得到较好的缺陷图像。Lab 颜色模型由1 个亮度通道和2个颜色通道构成，能够较好地消除亮度的影响。为得到较好的缺陷分割效果，将样本图像转换到Lab颜色模式再运用K-means 聚类算法分割出缺陷区域。K-means 聚类算法是寻找K个聚类中心，将所有的数据分配到距离最近的聚类中心，使每个点与其相应的聚类中心距离的平方和最小，具体计算式如下［20］。

K-means 聚类分割算法流程见图10，该算法需要人为设定聚类个数和随机选择初始聚类中心。试验结果见图11，可知，当K=3 时，柑橘样本图像缺陷分割效果较好，能够满足后续的图像处理要求，且稳定性较好。

图10 K-means 聚类分割算法流程

图11 K=3 时柑橘样本图像缺陷分割效果

K-means 聚类分割算法在分割柑橘表面缺陷有一定优势，但也存在将正常果图像错误地分割出缺陷区域。进一步分析聚类分割结果发现，当K=3 时，聚类图像中面积（像素个数）占比最大的区域为水果图像中的正常区域，最小的区域则为黑色背景，而缺陷区域则始终位于较大的区域。由此，剔除聚类图像中面积占比最大与最小的区域，即可得到图像中可能存在的缺陷区域。计算出该区域在该水果图像投影面积的占比（ξ），再据此进一步通过设置阈值（T）的方法判断该区域是否为图像缺陷，具体计算式如下。

式中，De为样本中缺陷区域的图像面积。

若ξ≥T，则说明该区域为非缺陷区域，可能在颜色上有一定的差异；若ξ＜T，则判定该区域为缺陷区域。试验发现，水果绿色果梗以及果皮存在较小而不影响销售的缺陷也会被筛选出来。为此，增加一个阈值（T0），剔除果梗图像对判别结果的影响。即T0＜ξ＜T时，判定该区域为柑橘表面缺陷。

随机选取一定数量带缺陷的柑橘，将其混合在没有缺陷的柑橘中完成编号后逐一采集图像计算其缺陷占比，结果见图12。经试验，取T=20%缺陷识别效果较好，T0=2%能够较好地筛选出果梗区域。

图12 样本缺陷占比

3.4 柑橘图像自动分级标准与判别模型

柑橘品种较多，不同品种的分级标准存在差异。为了提高系统的适应性，要求系统预设多种分级标准并能根据果农实际需要实时动态调整。由此，结合果农实际需要，依据柑橘果实大小、形状、成熟度（甜度）以及外观品质将柑橘分为多个等级。为便于柑橘自动分级系统自动化处理，结合对样本图像的几何形状、单果重、颜色矩、成熟度、外观缺陷等信息的分析，筛选出最能表征柑橘品质的参数构成柑橘特征向量（X）。由此，建立了样本图像自动分级标准（表1）。柑橘特征向量如下。

设f（x）为柑橘图像等级判定函数，根据f（x）返回值判定柑橘等级，见式（9），柑橘等级判别过程见图13。首先，令f（x）初始值为0，再判定X中的缺陷面积占比（ξ）是否符合缺陷果等级要求。即T0＜ξ＜T时，f（x）=－1，判定该柑橘为缺陷果；接着，将X逐一与柑橘相应等级Class_j比对。若Xi∈Class_1，f（x）=1，则判定该柑橘为一等果；依次类推，f（x）=2、f（x）=3 时，则判定柑橘分别为二等果、三等果。但是，若比对结果不属于任何一个等级，则判定该柑橘为等外果。此时，令f（x）=－1，即将等外果归为缺陷果。由此，即可完成基于柑橘图像多指标融合的全自动分类。

图13 柑橘等级判别过程

式中，Class_j为相应等级的柑橘图像技术指标，j=1，2，3。

4 柑橘自动分级系统与装备设计

4.1 分级系统实现

为便于观察柑橘检测过程，开发了UI 交互界面（图14），以便及时了解系统状态与发现异常分级情况。采用Microsoft Visual Studio 与MATLAB 混合编程，将MATLAB 中的图像处理函数封装成“.dll”文件再调用。系统标题栏显示各类图像操作命令；左侧区域显示图像处理过程，以便用户观察系统运行状态；右侧区域为必要的参数设置与分级结果显示区。此外，为便于用户操作，特意设置了一键启动与停止按钮，简化了系统操作流程。为了提高系统的适应性，以满足不同类别与批次的柑橘分类要求，将系统分级判别关键指标设置为动态调整模式，用户在正式分级前可选择一批柑橘进行试分级以获取自动分级关键技术指标，进而提高系统的适应能力。

图14 柑橘自动分级系统界面

为进一步验证系统的分级效果，选择乐山沃柑为试验对象，在当地经验丰富的果农指导下人工分选出各类等级水果200 个，编号后逐一放进图像采集系统中采集图像，对其预处理后系统自动分级，最后用人工校核系统分类正确的个数（只统计该类别中分类正确的个数）计算出系统识别率（表2）。由表2 可知，系统对柑橘分级效果较好，对颜色差异较大的果皮缺陷识别效果较好（如病斑、机械损伤等），而对色泽差异较小的腐烂果识别效果稍差，但基本不影响系统的使用，系统综合识别率大于90.0%。

表2 柑橘分级系统识别率

4.2 柑橘自动分级装备设计

柑橘全自动分级装备由上料架、图像采集系统、水果传送系统、分级执行机构与控制系统组成，见图15。将待分级柑橘倒入上料架中会自动被分为2行，再通过传送带逐一将柑橘送到图像采集装置内，采集原始图像并自动传输给分级系统完成柑橘分级，将分级结果以电信号的形式传递给控制系统，以控制执行机构将该柑橘引入相应等级的筐中，完成柑橘的自动分级。

图15 柑橘全自动分级装备

柑橘全自动分级装备基本解决了人工分级效率低、成本高的问题，有效降低了果农的生产成本，进而增加了果农的经济收入。同时，也为低成本、高效率、好体验的水果全自动分级装备研制提供了参考。

5 结论

水果分级销售是提升果农经济收入的重要手段，为满足果农低成本、高效率、好体验的全自动水果分级需要，基于图像多指标融合的方法设计了柑橘自动分级系统。①提出了多视角图像采集方案，避免了因未采集到水果表面缺陷而导致的分类，并且在一定程度上能够提高系统识别率；②基于目标图像最小外接圆与最大内切圆构建了球类水果质量预测模型，提出了基于深色区域占比的成熟度预测模型；③基于K-means 聚类算法设计了柑橘表面缺陷识别模型，为研制全自动水果分级装备奠定了理论基础，该系统扩展性较强，可通过调整相应参数实现色选、水果分类识别等，同时也为系统的迭代升级做好了铺垫；④适应性强，除对柑橘有较好的识别效果外，微调相应参数即可使系统满足硬质球类水果（猕猴桃、苹果、梨、桃等）的分级要求，对提高果农经济收入、促进水果产业全程机械化有一定的意义。