柚果视觉特征与内部品质的相关性及粗略检测方法研究

徐赛，陆华忠，王旭，丘广俊，梁鑫，王陈

1(广东省农业科学院农业质量标准与监测技术研究所，广东 广州，510640)2(广东省农业科学院，广东 广州，510640)

随着消费者对水果品质有了更高要求，水果品质检测越来越重要。传统的感官评定法[1]和理化指标识别法[2]费时费力、需要专业人员操作，且破坏浪费果实，只适合抽检，无法用于保证果园大批量果实品质。无损检测技术[3]是一种智能、快速、非破坏的检测方法，可借助传送带流水线式检测每一个水果的品质状态，较传统方法具有明显优势，在当今水果产业具有广泛市场需求，然而此方法尚存在不足。

目前应用最为广泛、稳定的无损检测技术为机器视觉技术[4]和可见/近红外光谱技术。其中，机器视觉技术主要通过工业相机获取水果的外部特征，对颜色[5]、纹理[6]、果形[7]等外观品质进行评价，该技术准确度高且低成本。可见/近红外光谱技术侧重于内部品质，根据可见/近红外光在水果上透射或者反射后携带的水果内部品质特征，可对水果果肉糖度[8]、水份[9]、缺陷[10]等风味品质进行识别。可见/近红外光谱技术成本相对适中，在大部分小型薄皮水果上已取得了较好的检测效果。因此其对于大型厚皮水果内部特征信息获取较困难，检测精度通常较低，是当今该技术的应用瓶颈之一。

有研究认为多源信息融合可借助多种检测手段，从多角度、多方面获取被测样本特征信息，是提高无损检测精度的一项有效方法[11-13]。本项目组研究发现其也有降低识别精度的风险，保证新增信息与检测目标的相关性是有效融合关键[14]。此外，多源信息融合无疑会增加检测成本，可能造成实用性差，因此需要保证新增信息来源低成本性。长期以来，业内专家致力于研究内部特征无损检测信号与内部品质的直接映射关系，忽略了外部信息与内部品质的间接相关特性。机器视觉技术若能有效提供与水果内部品质相关的特征，一方面能对其他水果内部品质检测方法形成补充信息，提高检测精度；另一方面可能直接形成一种低成本的水果内部品质无损检测方法。此研究具有重要意义。

柚是中国的传统水果，种植面积与产量居世界第一。由于我国柚均以散户种植为主，种植标准不统一，造成品质良莠不齐，主要受粒化程度、可溶性固形物(total soluble solid，TSS)含量和水分影响，严重阻碍产业发展[15-17]，市场亟需开发内部品质无损检测技术。但柚果皮厚果大，且果肉有囊皮包裹，产业已有无损检测装备调研和项目组前期实验均发现了可见/近红外光谱对其内部品质检测精度不高的现象。因此，本研究主要探究柚果视觉特征与内部品质相关特性，以验证机器视觉技术用于水果内部品质无损检测精度提升或直接用于水果内部品质无损检测的可行性，为水果品质无损检测领域的进一步发展提供参考与新思路。

1 材料与方法

1.1 实验材料

实验柚果采于广东省梅州市果园，品种为密柚。为尽可能使实验样本覆盖整个采收期(2019年8～10月)，将采摘时间均分5次，每次14个，共采摘柚果70个。每次采摘后立即运送到广州实验室，次日进行采样。

1.2 仪器与方法

1.2.1 视觉图像采集

柚果视觉图像获取采用实验室自搭建的机器视觉图像采集平台，搭载DFK 33GP006工业RGB相机(德国，The Imaging Source公司)与8 mm M0814-MP镜头(日本，CBC公司)，2个环形光源(1.92 W)分别在柚果两侧上方呈入射角45°照射，2个条形光源(0.96 W)从柚果两侧呈15°照射用于消除柚果透射到底板的背景阴影。为减少外界光干扰，检测在暗箱中进行。为更好地观察柚果视觉特征并固定姿态，将柚果倒放在尺寸小于柚果的圆形托盘上，获取柚果视觉图片。

1.2.2 视觉特征提取

实验共提取柚果20种视觉特征，包括4种尺寸特征、12种颜色特征和4种纹理特征。其中，尺寸特征包括纵径(F1)、横径(F2)、纵横径比(F3)和面积(F4)；颜色特征包括R、G、B灰度分别的一阶、二阶和三阶形态(F5～F13)、H、V、S灰度(F14～F16)；纹理特征包括对比度(F17)、相关度(F18)、能量(F19)和粗糙度(F20)。其中纵径、横径、纵横径比和面积特征均用像素点的数量表征。R、G、B灰度分别的一阶、二阶和三阶形态分别为特征区域R、G、B灰度平均值、方差和偏离度。H、V、S灰度即特征区域的H、V、S灰度平均值。纹理对比度、相关度、能量和粗糙度分别表示特征区域的清晰和锐利程度、纵横灰度的相似度、灰度共生矩阵平方和、以及粗糙程度。为方便表达，上述视觉特征在本文依次用F1～20标记。

实验采集的柚果原图如图1-a所示。尺寸特征有效提取的关键是准确定位目标轮廓。通过对比，R通道的灰度值能最好的反应柚果与背景差异(图1-b)，阈值设置为0.27进行二值化处理，得到柚果的粗略轮廓区域(图1-c)，再通过目标区域提取消除周围因反光造成的噪声点，连续像素>6 000的予以保留，否则消除，较好地提取了柚果的目标区域(图1-d)。整果颜色和纹理特征数据量过大，实际应用运算效率低，且柚果表面特征分布相对均匀，因此采用特定区域特征表达整果特征。而倒放柚果中间高四周低，造成中间位置较亮，四周相对较暗，结合实际情况，本实验选取中心位置左右侧光线相对均匀的两个区域(以中心点为原点，X方向长度-1/3～-2/3和1/3～2/3处，Y轴方向-1/5～1/5处，如图1-e所示)，以左右区域特征的平均值作为柚果的对应特征值。

a-原图；b-R灰度；c-二值化；d-目标提取；e-特征区域选取图1 柚果视觉特征区域定位过程Fig.1 The process of pomelo vision features location

1.2.3 柚果实际尺寸、粒化程度、TSS含量、含水率测量

采用游标卡尺测量柚果实际横径(立放水平方向的最大长度)和纵径(立放竖直方向的最大长度)。采用目前广泛使用的柚果硬粒化评级方法[18]，将柚果纵切8瓣，观察硬粒化面积相对总面积的占比R来评判其硬粒化程度。其中0级为无硬粒化，R=0%；1级为轻度硬粒化，040%。随后，取出柚果果肉，一半用于打浆、纱布过滤得到果汁，采用PAL-1数字光学折射仪(日本，ATAGO公司)测量其TSS值，每个样本测量3次取平均值。采用电子天枰测量另一半果肉鲜重G鲜，以及60 ℃、20 h下烘箱干燥后的重量G干，柚果含水率计算如公式(1)所示：

(1)

1.2.4 数据分析方法

相关关系是一个复杂的映射过程，可以是线性的，也可以是非线性的，需要多方面挖掘。本研究采用线性相关分析(linear correlation analysis，LCA)[19]、典型相关分析(canonical correlation analysis，CCA)[20]和互信息理论(mutual information analysis，MIA)[21]。其中，LCA仅关注线性相关关系，通过求解2组待分析向量之间的线性拟合系数(regression coefficient，R2)表示。CCA主要关注线性相关关系，也可以表达少量的非线性相关特性，通过求解两组待分析向量之间的皮尔逊相关系数的绝对值|λ|表示。MIA主要关注非线性相关特性，也可表达少量的非线性相关特性，通过求解2组待分析向量之间的互信息值MI表示。R2、|λ|和MI的定义域均为(0，1)，对于这一定义域的相关关系标签X(R2、|λ|和MI)，通常0

2 结果与分析

2.1 视觉图像获取精度分析

为保证本研究机器视觉特征采集的准确、有效性，柚果横径、纵径的像素值与实际值的LCA线性拟合结果分别如图2-a和图2-b所示，其拟合系数R2分别达到了0.981 7和0.961 3，具有极强的线性相关特性。因此，本研究采集到的柚果视觉数据可稳定有效地反映柚果实际特征情况。

a-横径；b-纵径图2 柚果横、纵径像素值与实际值的线性拟合度Fig.2 Linear fitting degree of pixel value and actual length of pomelo transverse and vertical diameters, respectively

2.2 LCA

柚果20种机器视觉特征(F1～F20)分别与硬粒程度、TSS含量和含水率的相关特性LCA分析结果如表1所示。所有柚果所有视觉特征与内部品质指标的拟合系数R2均小于0.4，线性相关不显著。

表1 柚果视觉特征与内部品质间相关性的LCA分析结果Table 1 LCA results of vision features and internal qualities of pomelo

2.3 CCA

柚果20种机器视觉特征(F1～F20)分别与硬粒程度、TSS含量和含水率的相关特性CCA分析结果如表2所示。所有柚果视觉特征与内部品质指标之间的CCA相关系数|λ|均小于0.4，CCA相关特性不显著。但对比纯线性相关特性(表1)，CCA相关特性明显强于LCA相关特性。CCA主要关注线性相关特性，但也具备反映少量非线性相关特性的能力。可见，柚果视觉特征与内部品质之间存在非线性相关特性，需采用侧重非线性相关特性的方法进一步分析。

表2 柚果视觉特征与内部品质间相关性的CCA分析结果Table 2 CCA results of vision features and internal qualities of pomelo

2.4 MIA

MIA主要关注非线性相关特性，具有反映少量线性相关特性的能力。为进一步探究柚果视觉特征与内部品质之间的非线性相关特性，柚果20种机器视觉特征F1～F20分别与硬粒程度、TSS含量和含水率的相关特性MIA分析结果如表3所示。柚果视觉特征F5～F15、F17、F9～F20与硬粒程度之间的MIA相关性不显著(MI值<0.4)，其余特征均与硬粒程度显著相关(0.4≤MI<0.7)。柚果视觉特征F5、F8～F15和F17与TSS含量显著相关(0.4≤MI<0.7)，其余特征与TSS含量相关性极其显著(MI≥0.7)。柚果视觉特征F5、F8～F15和F17与含水率显著相关(0.4≤MI<0.7)，其余特征与含水率相关性极其显著(MI≥0.7)。柚果视觉特征与TSS含量以及含水率的MIA相关特性大于与硬粒程度的相关特性。MIA分析结果进一步证明柚果视觉特征与内部品质指标之间的非线性相关特性强于线性相关特性。柚果视觉特征可为内部品质无损检测提供有益的信息补充。为进一步验证与柚果内部品质不同显著相关程度的视觉特征在实际分类识别中发挥的作用，尚需分别采用上述视觉特征对柚果内部品质进行建模识别分析。

表3 柚果视觉特征与内部品质间相关性的MIA分析结果Table 3 MIA results of vision features and internal qualities of pomelo

2.5 视觉特征对内部品质的检测

2.5.1 视觉特征对硬粒程度检测

柚果视觉全特征(F1～F20)对硬粒程度的PLSR识别结果如图3-a所示，验证集硬粒程度预测值与实际值的R2仅为0.091 3，无法较好地进行识别。由于柚果视觉特征与硬粒程度之间主要为非线性相关，参考表3去除相关性不显著特征，保留显著相关视觉全特征对硬粒程度的识别结果如图3-b所示。虽然去除冗余特征后，对硬粒程度的识别精度有所提高，验证集硬粒程度预测值与实际值的R2提升至0.120 5，但识别效果仍然不佳。项目组前期研究也发现了机器视觉与硬粒化程度的相关关系较为微弱，但与可见/近红外光谱形成信息融合仍然可以轻微提升柚果硬粒化程度的识别精度[24]。

a-视觉全特征；b-显著相关视觉全特征图3 基于视觉特征的柚果硬粒程度的PLSR检测Fig.3 PLSR detection of pomelo granulation degree based on vision features

2.5.2 视觉特征对TSS检测

柚果视觉全特征(F1～F20)对TSS含量的PLSR识别结果如图4-a所示，训练集和验证集TSS含量预测值与实际值的R2分别为0.659 9和0.508 2，具有一定识别效果(R2>0.4)。为尝试精简数据结构，提高实际应用的运算效率，参考表3去除显著相关特征，仅保留极其显著相关视觉特征对柚果TSS含量的识别结果如图4-b所示，训练集和验证集的识别精度均有所下降。因此，显著相关特征中包含较多柚果TSS含量识别有益信息，采用视觉全数据对柚果TSS含量进行识别为较优方案。可见，柚果视觉特征不仅包含较丰富的TSS含量识别有益信息，还可形成一种柚果TSS含量低成本的粗略智能识别方法。曹乐平等[25]研究发现采用机器视觉可以有效检测温州蜜柑(小型水果，已有效果较好的其他检测方法)的糖度，本研究证明了机器视觉特征在柚果(大型厚皮水果，缺少效果较好的检测方法)内部品质检测的上的作用，更为领域所需。

a-视觉全特征；b-显著相关视觉全特征图4 基于视觉特征的柚果TSS含量的PLSR检测Fig.4 PLSR detection of pomelo TSS based on vision features

2.5.3 视觉特征对含水率检测

柚果视觉全特征(F1～F20)对含水率的PLSR识别结果如图5-a所示，训练集和验证集TSS含量预测值与实际值的R2分别为0.704 5和0.667 6，对于一种低成本的机器视觉外部特征采集方法而言，已具有较好的粗略识别效果。为尝试精简数据结构，提高实际应用的运算效率，参考表3去除显著相关特征，仅保留极其显著相关视觉特征对柚果含水率的识别结果如图5-b所示，训练集和验证集的识别精度均有所下降。因此，显著相关视觉特征中也包含较多柚果含水率识别有益信息，采用视觉全数据对柚果含水率进行识别为较优方案。可见，柚果视觉特征不仅包含较丰富的含水率识别有益信息，还可形成一种柚果含水率低成本的粗略智能识别方法。

a-视觉全特征；b-显著相关视觉全特征图5 基于视觉特征的柚果含水率的PLSR检测Fig.5 PLSR detection of pomelo water content based on vision features

3 结论

机器视觉是一种广泛使用的外观品质特征获取技术，本文证明了其获取柚果外部品质特征的准确有效性。柚果外部视觉特征与内部品质线性相关特性不强，但具有显著的非线性相关关系，包含内部品质识别的有益信息。其原因在于水果是一种有生命的活体，内外品质之间存在一定的联系，这与传统地通过外观经验判断内部品质好坏做法相符。本文的PLSR建模识别结果进一步验证了柚果视觉特征不仅包含较丰富的内部品质识别有益信息，还可形成一种低成本的TSS含量、含水率粗略智能识别方法。参考本研究基础，下一步研究工作可将视觉特征与光谱特征进行有机融合，通过大量的对比与验证分析，形成一种基于多源信息融合的柚果内部品质高精度识别方法。

本研究对柚果20种外部视觉特征(纵径、横径、纵横径比、面积、R、G、B灰度分别的一阶、二阶和三阶形态、H、V、S灰度、对比度、相关度、能量、粗糙度)与3种主要内部品质(硬粒程度、TSS和含水率)之间的线性/非线性关联特性进行了分析，并基于不同相关程度的视觉特征对内部品质进行了建模识别。

柚果横、纵径像素值与实际值的线性拟合结果表明，本研究的采集的柚果视觉图像可较好反映其真实特征情况。LCA和CCA分析结果表明，柚果全部视觉特征与内部品质指标的线性相关均不显著，但柚果视觉特征与内部品质之间存在非线性相关特。MIA分析结果进一步证明了，柚果视觉特征与内部品质指标之间具有较强的非线性相关特性。其中，柚果视觉特征F5、F8～15、F17、F19～F20与硬粒程度之间的非线性相关不显著，其余特征均与硬粒程度显著非线性相关。柚果视觉特征F5、F8～15和F17与TSS含量和含水率均显著非线性相关，其余特征与TSS含量和含水率的非线性相关均极其显著。柚果视觉特征可为内部品质无损检测提供有益的信息补充。

采用柚果视觉全特征与仅用显著相关特征对其硬粒程度识别结果均不佳。采用柚果视觉特征对其TSS含量和含水率进行粗略识别均是可行的，其中全特征识别效果要优于仅用极其显著相关特征的识别效果。实际应用中，一方面可采用机器视觉特征为柚果硬粒化程度、TSS含量和含水率的其他检测方法提供有益的融合信息，但机器视觉特征与硬粒程度的相关性较弱，作为融合信息的性价比不高；另一方面可基于机器视觉技术形成低成本的便携式柚果TSS含量和含水率粗略检测设备。本研究也为其他水果内部品质无损检测技术的提升提供参考与新思路。