计算机视觉在农产品外部品质检测中的应用研究

姚 缀,吕建秋,向 诚,岑俏媛,田兴国,,*

(1.华南农业大学数学与信息学院,广东广州 510642;2.华南农业大学新农村发展研究院,广东广州 510642;3.华南农业大学食品学院,广东广州 510642)

农产品是人类日常生活中必不可少的消费品。伴随着人民生活水平的不断提高,消费者对农产品品质的要求也日益增加[1]。在消费者购买农产品时,首先接触的是农产品的外部品质,也就是说,农产品的外部品质会直接影响消费者的偏好和选择[2]。因此,科学、准确地评价农产品外部品质就成为了关键[3]。

传统的农产品品质检测方法多数依赖于人工处理,并且只能完成农产品的外部品质检测,对于农产品内部品质,大多数采用化学方法对样本进行破坏性分析。传统的人工处理和化学检测方法耗时、低效,为了能够进一步优化农产品品质检测的方案,近些年国内外开展大量研究,努力寻找快速、准确的农产品品质检测方法[4]。计算机视觉是一种无损、快速、经济的检测技术,可通过电子感知图像、解释和识别标记,实现人类视觉相同的效果。随着信息科学的发展,计算机视觉模式识别和图像处理技术日趋成熟,能为食品分类、分级和检测提供更多信息。在过去的十年,计算机视觉在食品工业领域发展迅速。通过检索WoS数据库,发现,2009～2018年计算机视觉在农产品品质检测领域每年发布的研究论文数量明显增加(图1),计算机视觉在农产品品质检测领域发展迅速。

图1 2009～2018年计算机视觉在农产品品质检测领域发布的研究论文数量Fig.1 Number of research papers published in the field of agricultural product quality inspection by computer vision in 2009～2018

计算机视觉广泛应用于农产品[5-8]品质评估中,已发表各种研究论文,其中一些侧重于分析单一农产品特定的外部质量属性(大小、颜色、表面缺陷等)[9-10],而另一些专注于特定技术(图像分析、多光谱、高光谱、计算机断层扫描、X射线等)[11],缺乏农产品外部品质分析详细的概述。本文介绍了计算机视觉系统的组件、图像处理和分析方法、农产品外部质量检查的步骤。在此基础上,分别对计算机视觉技术在农产品外部质量检测等方面的主要应用进行综述,旨在为农产品加工行业自动化发展提供技术支持[8-12]。

1 计算机视觉系统

计算机视觉是通过计算机获取和分析真实场景的图像,从而获得场景中物体的信息的技术。计算机视觉的目的是从图像中理解目标信息,完成目标的快速无损的检测[13]。计算机视觉通过对获取的图像进行处理与分析,完成目标物体的定量/定性检测[14-15]。计算机视觉是指能够观察物体和感知光学特性并解释结果的机器视觉[16]。在文献中,计算机视觉和机器视觉这两个术语通常可以互换使用。

计算机视觉系统一般包括光源,图像采集设备(相机或成像设备)、计算机、光箱和载物台五个基本部件组成(图2),主要任务是图像的采集、处理和分析识别[17]。计算机视觉系统在通过图像采集设备获取目标图像,并使用相关的图像处理技术和算法做出决策[18]。目前计算机视觉系统以被广泛应用于农产品品质检测。

图2 计算机视觉系统组件Fig.2 Components of computer vision system

计算机视觉系统在农产品外部品质检测中分为四个部分,依次为图像数据采集、图像预处理、特征提取以及图像识别与分类。

图像采集是使用图像传感器将模拟信号转为数字信号的操作。在农产品品质检测中,图像采集可以使用相机[19]、高光谱成像[20-21]、近红外成像[22]等工具。相机是图像采集的常用工具,分为CMOS(互补性金属氧化物半导体)摄像机和CCD(电荷耦合元件)型摄像机两类。CCD相较于CMOS更加适合于图像质量要求高的场景,能够尽量保持图像的原始信息[23]。

图像预处理是图像增强的一种方式。它能通过减少图像中的噪声来实现目标有关信息的可检测性,从而改进特征提取、图像识别与分类的准确性[24-27]。在农产品品质检测中,图像预处理最常用的方法是图像平滑与图像锐化。图像平滑是通过突出低频信息和抑制高频信息的过程,目的是减少图像的梯度,改善图像质量。图像锐化恰好与之相反,是突出高频信息的过程,它的目的是增强图像的细节信息。

图像的特征提取是使用图像目标的自身特性表示目标全部信息的过程,在此过程中,将所得特征形成特征向量。这些特征向量唯一且精确地定义了对象形状。特征提取的目的是通过提取特征在减少数据维度,在提高识别效率的同时增加识别准确性。在农产品质量评估中,颜色、纹理和形态特征经常用于分析农产品的缺陷和成熟度[28]。

图像识别与分类是农产品品质检测的基本目标,它是模拟人类识别和判断方式的一种持久化判别的方法[29-31]。它使用提取到的农产品图像的颜色、形状、尺寸及表面缺陷等特征作为输入数据,然后应用合适的分类算法完成分类任务。在计算机视觉系统中,多种算法如支持向量机(SVM)、卷积神经网络(CNN)、K-近邻(KNN)等应用于农产品外部品质检测中。

2 计算机视觉在农产品外部品质检测中的应用

计算机视觉系统集成了图像采集、处理和分析技术[32-33],通过简单地提供测试样品的灰度值或RGB图像,实现对测试样品的无损、快速检测。在过去的二十年中,计算机视觉系统已被广泛应用于农产品外部品质检测中,并被证明是科学、强大的品质检测工具。本节将详细描述计算机视觉技术在农产品外部品质检测中的应用。表1显示了农产品外部品质检测领域中应用。

表1 关于农产品外部品质检测的研究综述Table 1 Summary of studies about the quality inspection of agricultural products

2.1 尺寸及形状检测

尺寸及形状是农产品外观的一个特别特征。农产品形状的天然不规则性,使得农产品形状检测与评估变得更加复杂[34]。在外观评估研究中,面积、周长、长度和宽度是衡量农产品尺寸和形状的最常用特征[35]。在尺寸及形状评估中,通常将农产品的面积、周长、长度和宽度等作为特征,通过计算图像中目标样本区域的像素个数获取被测样本的面积、周长、长度和宽度等[36]。农产品的不规则形状使得长度和宽度作为特征时,农产品尺寸的判断容易出现偏差[35]。Ohali等[37]计算图像中果实覆盖区域来评估果实的尺寸,并设计开发一套计算机视觉系统,准确率为80%,此研究中尺寸评估的标准受到主观因素的影响,使得分类的准确性存在一定的误差。

基于面积特征的尺寸及形状评估方法被广泛的应用于马铃薯、番茄、蘑菇等的分类[38-40]。Heinemann等[41]利用基于计算机视觉的自动化系统对蘑菇进行尺寸检测,25个样本的检测误差为8%～25%,而人工检测的误差为14%～46%。孔彦龙等[42]提出了一种基于特征(质量、形状)融合的马铃薯分选方法。利用人工神经网络模型对马铃薯侧视图中的特征进行学习分选,马铃薯形状分选识别率为96%,可满足实际应用的要求。马铃薯有许多可能的形状,需要分级出售,用于不同市场的统一课程。这给形状分离带来了困难。Martínez等[43]选取果实成熟指数为5的橄榄果实,此时的橄榄果肉一半转紫且果核发育完全,对果核的顶部、两侧网脉、最大长度等提取了8组46个特征,使用偏最小二乘判别分析(PLSDA)进行分类,准确率可达89%。Zhu等[44]提出基于马铃薯最小外界柱体的体积法,对马铃薯的尺寸大小进行分级,分级准确率为91.0%。

农产品尺寸的检测是农产品自动化分级的重要一步,面积是农产品尺寸及外观的重要特征。面积的计算需要通过农产品轮廓确定,而傅里叶描述子是提取农产品外部轮廓的有效方法之一。当下,计算机视觉技术在番茄、马铃薯、苹果、玉米、柚子等类球体农产品尺寸和外形检测中有着广泛应用和研究,而非类球体的农产品(叶菜等)尺寸及检测大多仍依赖于人工检测,因此,基于计算机视觉技术的非类球体农产品尺寸及形状检测的研究可以为非类球体农产品的自动化分级提供技术支持。

2.2 颜色检测

农产品的品质很大程度上取决于颜色、大小和缺陷等外观特征,开发基于外观特征鉴定农产品品质的自动系统具有广阔的市场前景[45-46]。颜色是农产品的重要感官属性,反映农产品的成熟度、新鲜度等指标。在计算机系统中常用的描述颜色的色彩空间有RGB、HIS、L*a*b*、YIQ等。

Syahrir等[47]在对番茄成熟度进行判断时,使用L*a*b*模型代替RGB模型,并对图像进行滤波、阈值等预处理,最后通过R-G色差判断番茄的成熟度和保质期。王新忠等[48]在将成熟番茄从背景分离的过程中,利用YIQ颜色模型的计算过程简单、聚类性好的优点,提高机器视觉的实时性和鲁棒性,从而较好的将成熟番茄从背景中分离。Wan等[49]在番茄成熟度的鉴别实验中,以番茄最大圆切割图像中番茄颜色区域,并将番茄图像划分为5个区域,然后分别使用RGB和HSI色彩空间中的R、G、B、H、S、I分量的均值作为此区域番茄的颜色特征,通过BP神经网络对番茄成熟度进行检测,识别率为99.31%。

Kurita等[50]在番茄成熟度的鉴别实验中,以R/G比值为颜色特征对番茄进行成熟度分级,分级准确率高于单一颜色成分特征的分级结果。Leemans等[51]依据欧洲外部质量评价标准将苹果分为四类,在颜色分级中,将图像的RGB值作为输入,使用没有隐藏层的简单神经网络对苹果进行检测,总体准确率为78%。

颜色是农产品成熟度与新鲜度的重要判别指标,因此颜色检测在农产品自动化分级中占有重要地位。颜色直方图、色彩空间转化(RGB↔HSI,RGB↔YIQ)、色彩分量的均值与方差等是农产品颜色的重要特征,是农产品颜色检测中常用的判别方法。图像中目标的颜色易受成像设备和环境的影响,颜色检测模型的准确率有待提高,模型的可移植性和扩展性不足。因此,合适的成像设备和环境也是影响实验的重要因素。

2.3 表面缺陷检测

表面缺损会影响农产品的价格和消费者的购买意愿,表面缺损严重的农产品会感染细菌造成农产品的损坏,进而影响农产品的销售[52]。基于计算机视觉技术的农产品自动分拣系统已有相关研究,由于自然环境、病虫害等原因会导致农产品出现不同程度的损伤,因此农产品的表面缺陷检测是农产品无损分拣系统的开发的一个难题[53]。

Hu等[54]设计两步k-means聚类算法对香蕉的缺陷进行检测,第一步的k-means聚类用于分类香蕉的轮廓和背景,第二步的k-means聚类用于量化香蕉表面的损伤病变,实验结果证明可用于香蕉的缺陷检测。Saito等[55]以茄子为研究对象,从茄子图片中获取颜色特征和长度、周长等形状特征,采用人工神经网络模型,较好的区分正常茄子于表面损伤的茄子分类。Li等[56]将原始图像进行归一化处理后,与原始图像相减,然后通过阈值分割的方法提取苹果表面缺损部位,设计并开发基于计算机视觉的苹果表面缺损检测系统。Blasco等[57]利用区域生长算法分割柑橘类水果表面缺损特征,首先通过JSEG算法选取种子,然后通过区域迭代和区域合并获得完整的缺损信息,分割成功率为94%。López-García等[58]采用基于多元分析的主成分分析方法建立特征空间,使用多分辨率的方法提高效率,较好的完成柑橘图像表面缺损信息的分割与识别。

农产品是否存在表面缺陷是农产品自动化分级的重要标准之一。表面缺陷检测的重点在于确定表面缺损的位置,主要检测方法分为两类,一类是基于图像相似性的表面缺损部位分割方法,常见的有阈值分割,区域生长等方法,另一类是基于灰度值不连续性的表面缺损部分的分割方法,常见的有边缘检测等方法。大多数农产品表面缺损的部位的颜色有别于正常部位,通过对比颜色特征的差别并设定合适的阈值,从而完成农产品表面缺损位置的分割。因此,对农产品表面缺损的定位也是目前研究的一个重要方向。

3 计算机视觉在农产品外部品质检测中的不足与展望

3.1 计算机视觉在农产品外部品质检测中的不足

计算机视觉系统作为一种简单、快速、无损的农产品外部品质检测方法,在农产品外部品质检测中取得一定成果的同时也暴露出一些不足。例如,由于计算机视觉系统中使用的相机分辨率不高,会影响获取的图像质量,从而影响到图像的外部品质特征的提取,因此需要大量的样本数据进行训练模型,以期提高准确率。此外,在农产品外部品质判断的标准的制定上存在人为的主观因素,从而影响分类算法的准确性和实用性。

3.2 计算机视觉在农产品外部品质检测中的展望

农产品的外部品质易受外界环境不断变化,计算机视觉作为一种评估农产品外部品质的新方法,能够同时测量农产品的形状、颜色和表面缺陷。在过去的几年中,基于计算机视觉的农产品外部品质研究已取得较大突破,本文重点描述了计算机视觉计算在农产品外部品质检测方面的最新进展,包括颜色(成熟度)判断、形状检测和表面缺陷检测等,同时也揭示了计算机视觉技术应用过程中存在的问题,并提出了参考意见。

为了促进计算机视觉技术的发展,应从以下三个方面入手,增强农产品外部品质检测的客观性与实用性。首先,不断提高软硬件设备性能,用于获取包含更多样本信息的高质图像。其次,研究开发能够更加有效、可靠的提取农产品外部品质特征的算法,提高图像特征对农产品样本表征的准确性。最后完善农产品外部品质评价体系,使得农产品外部品质评价的标准更加合理,从而消除人为主观因素的影响。