水果图像处理技术应用及其展望

刘 勍，张亚亚，黄 金，赵利民

(天水师范学院 电子信息与电气工程学院，甘肃 天水 741001)

数字图像处理是利用计算机在基于一定的数学和算法基础上对图像进行分析和处理的方法.从上世纪70年代以来，数字图像处理已形成较为完善的学科体系，并发展成为一门独立的新学科.目前，图像处理技术已广泛应用于生物医学、电子通信、国防军事、遥感遥测、宇宙探测、农林渔业等领域，已成为当今广泛应用的一门新型技术.

在现代智慧农业生产管理中，数字图像处理技术已广泛的应用在农作物长势监测、农作物缺素识别、农作物自动收获、农作物加工存储以及农作物病虫害诊断等领域.特别是以图像处理技术为基础，在对农业机械进行优化与改进，实现农作物水果类的自动收获、病虫害诊断防治以及农作物水果类加工和存储等方面取得了较大的理论和应用成果[1].将数字图像处理技术应用于水果图像及水果病害的研究应用中，有益于帮助提高水果产量及水果品质，也可以更好地提高自动采摘和优化加工存储作业的准确度和效率，降低劳动力[2]，为现代水果农业提供有力的保障.

1 水果类图像处理流程

数字图像处理一般由图像数字化、图像预处理、图像复原、图像分割、图像压缩编码、图像分析与描述，图像识别分类等八部分组成.在水果农业生产管理中水果要经过识别、分类、采摘、质检、存储等操作，农业水果类常用的图像处理流程如图1所示.

水果类图像处理流程图中包括水果图像数字化、图像预处理、图像分割、图像识别、图像分类等部分.对于水果图像处理，首先获取图像，其可单独侧重于研究水果的某一特性，故可进行单一后续操作，也可执行全部流程，再进行图像预处理使得图像清晰化，利用某一图像分割方法使得背景与目标物之间相互分离，然后识别目标物体，最终将目标物进行分类处理.

水果图像数字化将原始图像转换为数字图像，将原始图像通过采样、量化、编码三步骤转换成可以被计算机接收和存储的过程.吴刚[3]在实验中为了获取水蜜桃图像采用的是3D体感相机，其具有高质量的彩色图像和深度图像.项荣等人[4]在实验中获取番茄图像采用的是Bum-blebee2 型双目立体相机，都能更好的获得数字化的图像.

图1 水果类图像处理流程

水果图像预处理阶段通过图像的增强以及几何变换等操作消除图像中无关的信息，恢复有用的真实信息.毛丽民等[5]对柑橘图像进行图像增强操作中，使用了高斯滤波、中值滤波和图像锐化三种方法分别对水果图像进行处理，实现了提高图像质量的操作.

图像分割中经典的分割方法有阈值分割、分水岭分割、区域分割及遗传算法分割[6].关于水果类图像的分割，还面临着光照以及果实重叠等问题的影响，为了解决此类问题，国内外研究者做了大量的研究：黄晓慰等人[7]通过比对改进的Gamma矫正法、双重同态滤波法和光照无关图法，得出光照无关图法受光照影响最小.项荣等人[4]提出了一种利用最大类间方差法(Otsu)进行阈值分割，然后再进行边缘检测的方法，该方法能够更好的识别重叠的番茄图像，以及可判断出重叠果实所在的前后位置关系，同样在此之前也提出过另外一种重叠果实分离方法，利用边缘曲率分析来实现，在处理过程中计算出边缘点的曲率继而去除异常的边缘点[8]，取得了较好的效果.

图像识别要根据图像自身信息，与现实生活中的物体进行匹配，目前用于水果识别的主要方法有近邻法、模板匹配、人工神经网络、支持向量机、基于深度学习和基于机器视觉的水果识别与分类方法.陈雪鑫等人[9]为能够识别出不同种类的水果图像，采用通过对目标图像提取颜色特征和形状特征的方法，成功地提高了水果识别的效率.文献[10] 在Hdevelop开发环境下,利用卷积神经网络训练样本数据集，抽象出代表各品类水果的特征表示，运用深度学习技术，进而有效准确识别出不同水果品类.

水果图像分类要根据提取出的目标物特征，利用分类技术进行分类.文献[11]提出基于面积阈值的目标分类算法，测试结果表明分类成功率很高.孟大伟[12]针对传统水果分类依靠人工或特殊传感器件局限问题，考虑水果图像的颜色和纹理特征，提出了一种利用图像HSV颜色表达和小波变换生成共生矩阵相结合的纹理信息水果图像分类方法，可以有效实现不同水果的自动分类.罗志翔等人[13，14]利用BP神经网络对水果分类识别，结合多特征的提取实现了水果的分类，也取得了较高的分类效果.

2 水果类图像处理文献统计

水果种类一般可分为核果类、柑橘类、浆果类、瓜果类及坚果类.笔者经过查阅基于数字图像处理技术的水果类图像处理研究与应用文献，发现大多数文献是以苹果、柑橘、葡萄、番茄作为研究对象进行图像的处理操作，少量文献则是以枣、桃子、西瓜、猕猴桃、樱桃等水果为研究对象进行图像处理操作，其主要原因是上述前四种经济水果作物产量大，种植面积广，相较而言，樱桃，猕猴桃这些水果储存困难，季节性强，研究价值较低.截止到2021年8月，关于现有水果类图像处理文献数量分类如图2所示.

图2 水果类图像处理文献统计

从图2水果类图像处理的统计文献数量可以看出，有三个研究频次的层次：第一层次为针对苹果图像处理，有研究文献822篇；第二层次是针对番茄、葡萄和柑橘图像处理的，分别有研究文献296、252和237篇；第三层次是研究对象较少的其他水果，如：枣、香蕉、猕猴桃、樱桃、桃子、西瓜，其研究文献数量分别为：106、77、73、54、46、30.从文献数量对比可得出：第一层次的苹果图像研究最为广泛，第二层次的番茄、葡萄和柑橘图像次之，第三层次中对枣图像研究较多，其次为香蕉图像，最少的为西瓜图像处理.

通过对第一、第二层次研究广泛的苹果、柑橘、葡萄和番茄等四种水果图像文献进行分类，这些文献主要侧重于研究水果图像分割、图像识别、图像分类，还有一些是针对水果病害进行的病害识别、分割、分类，以及树干或叶片的图像处理，其均被划分在其他类中，如图3所示.

根据图3，在苹果图像的研究中，图像分割类文献194篇，图像识别类文献306篇，图像分类文献244篇，其他类78篇；柑橘图像研究中，图像分割类53篇，图像识别类93篇，图像分类类68篇，其他23篇；在葡萄图像研究中，图像分割类64篇，图像识别类51篇，图像分类类64篇，其他73篇；番茄图像研究中，图像分割类49篇，图像识别类128篇，图像分类类68篇，其他51篇.在上述水果图像处理中，图像识别的文献数量较多，而实现水果的图像识别有一定的难度，因为在自然环境中目标水果的重叠与遮挡以及采集到的图像中存在的光斑、噪声、阴影会造成识别困难[15].

3 核果类图像处理

核果类水果是果实内有果核，果肉包含果核的水果，主要有苹果、桃子、樱桃、枣、杏子等，而对苹果图像信息处理的研究是最热门广泛的.苹果在我国的种植面积与产量均领先于世界上其他国家，对苹果产业从种植、管养、采摘到加工存储需要加强精准性、优化劳动效率.通过对苹果图像处理类文献的研究，统计如图4所示结果.

由图4得，针对苹果图像的处理主要集中在苹果的图像分割、图像识别、图像分类三个方面.

针对苹果图像分割研究，典型性研究成果如下：P.D等人[16]提出一种改进的基于多尺度边缘检测的分水岭分割方法，克服了分水岭算法易受到噪声干扰的影响，该方法可以有效地分割出水果图像中的所有缺陷；Sashuang.S等人[17]针对自然环境下多重叠果实目标在识别过程中通常被误判为单个果实的问题，研究并提出了基于Ncut算法的绿色、多重叠苹果目标分割方法，该方法具有分割速度快，效果好的特点； D.L等人[18]使用S+I-H算子进行图像分割，利用水果的形状和纹理特征进行图像分割，达到了良好的分割效果.

图3 水果图像处理研究分支文献统计图4 苹果图像处理文献统计

在对苹果图像识别研究中，Sashuang S等人[17]为了能够在自然环境中实现对目标青苹果的识别，提出利用苹果轮廓中三个随机点来识别目标的方法.L.J等人[19]通过边缘检测和改进的RHT变换方法对苹果果实进行识别.J.M等人[20]为了能够识别重叠苹果果实，提出了使用边界曲率进行图像分割，进而通过圆拟合和归并实现果实的识别.J.W等人[21]提出采用支持向量机(SVM)来提高识别的效率，先提取彩色图像的颜色属性和形状属性，再使用支持向量机分类方法对苹果果实进行识别，并进行了实验验证.R.G等人[22]提出一种基于纹理特征和最大期望算法的高斯混合模型(GMM)苹果识别方法.Guo-Quan J等人[23]利用优化的霍夫变换对苹果进行识别，识别率在90%以上.上述算法对苹果的自动识别提供了有效途径.

关于苹果的外部品质检测分类研究，国内外主要是从颜色检测、果形检测和缺陷检测三个方面展开[24].文献[25]提出一种浅卷积神经网络(CNN)架构，该网络可在保持深度神经网络强度的同时降低其复杂性.文献[26]提出采用多分类器融合的方法进行分级，实现了对苹果缺陷果实的识别和完好果实的分级.文献[27]采用深度学习算法CNN实现对苹果果实最好、未加工、最差的分类.文献[28]提出利用遗传算子对反向传播(BP)神经网络进行优化，实现对苹果的分类.

在苹果图像的其他研究中，主要围绕苹果叶片病害的识别、果实病斑的图像处理、叶片氮含量的检测、树叶面积的求解、果梗和花萼的辨识等方面进行.为提高对农作物病害识别的精确度，有效提高苹果产量和质量，张云龙等人[29]提出一种基于颜色特征和差直方图的苹果叶部病害识别方法，该方法可以有效的识别出苹果叶部的病害.文献[30]使用数字图像色调差来测定苹果叶片含氮量.文献[31]通过比对基于Matlab解析数字图像的方法与叶面积仪测定苹果叶面积的方法，结果显示利用Matlab来求解叶面积更为经济实惠.

在其他核果类图像处理的研究中，宁夏大学何建国、北京林业大学陈锋军研究团队对宁夏灵武长枣及塔里木大学吴刚等研究团队对新疆骏枣等从图像分割、定位分析、图像检测、缺陷识别及成熟度图像分级等方面进行了基于不同理论方法的图像信息处理研究[32-36].在对桃类的研究中，王昭和张永飞分别提出了基于机器视觉的樱桃缺陷检测和基于深度卷积神经网络的樱桃分级检测算法[37-38]，取得了较好的处理效果.文献[39]和[40]利用高光谱图像结合神经网络分别对油桃轻微损伤检测和水蜜桃硬度无损检测进行了研究，均获得了较准确的检测精度.

4 柑橘类图像处理

柑橘类水果的果实都有厚厚的果皮用来保护它们柔软的果肉，主要分布在中国南部沿海地区.柑橘类包括橘、柑、橙、柚和柠檬五大类.关于柑橘类的图像处理文献统计如图5所示.

图5中关于柑橘类图像识别，在2006年至2010年和2011年至2015年文献数量持平，但其从2016年起研究数量迅速增长.有关图像分割，图像分类及其他类的文献数量均随着时间而呈现出一种上升状态.

在柑橘图像分割方面的研究，有些是为后续图像处理方便提供前期处理，有些是由于柑橘表面腐烂会引起食品安全隐患，对柑橘表面缺陷进行检测有助于提高柑橘品质和价值.有代表性的研究成果如下：周丽娟[41]针对柑橘图像的分割，对遗传算法进行改进,设计出了能够依据适应度大小进行自动调整交叉概率和变异概率的改进遗传算法，并将改进的遗传算法与改进的阈值分割方法结合，使分割效果更为良好；R.T等人[42]采用边缘检测和基于颜色的检测分别对柑橘进行图像分割，并通过实验证明了基于颜色的分割优于基于边缘的分割；庄家俊等人[43]针对未成熟柑橘的颜色与自然场景的颜色相近，以及出现果实粘连问题，提出使用改进GB色差图方法去除大量背景区域，再进行数学形态学重构图像，通过改进分水岭实现前景与背景的分离.

对于柑橘图像识别方法的研究，传统图像处理由于在识别中存在了区域特征信息缺失和识别效果不理想的问题，为此，K.L等人[44]提出了一种改进的基于质心填充圆法的大津阈值分割算法，该方法能够充分识别低像素图像在遮挡和不同光照条件下的柑橘颜色.文献[45]提出一种基于椭圆弦与极弦性质的中心点确定方法，可以实现不同光照条件下的识别.文献[46]采用霍夫变换进行果实识别，该算法可以高效率的识别出孤立水果.

针对柑橘的分类研究，钱春花[47]设计了一种基于 Gabor 小波纹理特征提取和主成分分析(PCA)融合的 支持向量机(SVM)柑橘分级方法，并通过实验证明所提方法分级准确率高的特点.Sabzi S等人[48]提出一种用于三个常见柑橘品种的自动识别方法，其采用三种混合分类器对三类柑橘分别进行图像识别，并比较了不同分类器的识别精度.CAPIZZI G等人[49]提出可通过RBPNN径向基概率神经网络对水果表面缺陷区域进行分类.

至于柑橘图像的其他应用研究，主要在表现对柑橘病害的识别.文献[50]提出了一种基于灰度共生矩阵和鲶鱼粒子群优化神经网络的图像识别模型，该方法可以有效的识别出脐橙害虫.文献[51]采用基于骨骼形态特征的提取方法，自动提取柑橘叶螨骨骼数学形态特征，并将其作为BP神经网络输入因子，较好地实现了柑橘叶螨的鉴别.文献[52]利用深度学习模型来检测柑橘黄龙病的严重程度.

5 浆果类水果图像处理

浆果类水果没有坚硬的表皮且果肉软，果汁很多，而番茄和葡萄是典型的浆果类水果.关于浆果类中番茄和葡萄的图像处理文献统计如下图6所示.

图5 柑橘类图像处理文献统计 图6 浆果类图像处理文献统计

由图6(a)可知，自从1995年以来，对于番茄图像分割方面的研究较为缓慢，而在图像识别、图像分类及其他方面研究进展，在最近十年来发展较快.(a)图中的其他主要概括为运用不同方法对番茄病害进行识别检测以及对番茄图像进行降噪类的研究，这些研究为实现后期的品质检测奠定了基础[53].

针对番茄图像分割应用研究，典型的研究成果有：项荣等人[54]提出一种基于Otsu的脉冲耦合神经网络(PCNN)图像分割算法，该算法分割效果要优于Otsu算法和传统PCNN模型；文献[55]使用OHTA颜色空间来进行番茄图像的目标分割，实验表明整体分割准确率提高不少.关于番茄图像识别研究中，有代表性的文献有：文献[56]采用Mask R-CNN对标注图像进行训练，可实现精确识别出每个番茄；文献[57]采用模糊聚类算法进行番茄目标的识别，实验表明该算法对番茄目标的识别速度与识别准确率都得到了一定程度的提高.

由图6(b)可知，针对葡萄图像处理研究与番茄图像相反，最近几年来在其图像分割方面的研究进展大于其他三个方面.葡萄果穗生长在繁密的枝叶间，为了能够在复杂背景中实现葡萄果穗的图像分割，张永剑等人[58]提出采用基于粒子群优化K均值聚类的分割算法，实验证明该方法确实能够分割出完整的葡萄轮廓.宋西平等人[59]提出将HIS颜色空间与快速模糊C均值聚类(FFCM)算法相结合的分割方法，该方法也能够达到将葡萄目标分割出来的效果.Eduardo A等人[60]提出了一种自动获取葡萄园葡萄果穗图像的视觉系统，利用霍尔变换来实现分割.Maleki 等人[61]提出了一种基于人工神经网络和遗传算法的鲁棒算法，通过实验验证了所提算法的总体准确率.

另外，对浆果类中草莓和猕猴桃的图像处理研究相对较多一些.赵玲、阮松等人分别提出基于迭代自组织数据分析技术(ISODATA)和快速最大熵多阈值草莓图像分割算法[62～63];文献[64～66]针对草莓图像的识别分别研究了基于颜色特征、基于高光谱多参数、以及基于机器视觉多中处理算法.

在猕猴桃图像信息处理中，主要对其形状特征检测、表面缺陷检测、目标识别、叶部病害监测及树干特征提取等方面进行基于传统处理算法和深度学习理论的方法[67～70].这些算法为实现草莓和猕猴桃自动采摘提供了科学指导.

6 瓜果及坚果类水果图像处理

瓜果类水果是一种有坚硬外表保护的甜味水果，主要有西瓜、哈密瓜、甜瓜及白兰瓜等；坚果类水果是果皮坚硬的水果，主要有核桃、板栗、开心果、杏仁及松子等.而基于图像信息技术对这两类水果进行处理研究的相关成果相对较少，主要集中在对西瓜、哈密瓜、核桃和板栗的处理上.

孙静涛和张初分别利用近红外光谱技术、高光谱成像技术、计算机视觉技术对哈密瓜内部品质和成熟度无损检测、西瓜种子品种快速鉴别等方面做了研究[71～72]；文献[73]在Lab色彩空间下，采用K-means聚类法对哈密瓜缺陷区域(霉变、较大范围破损等缺陷)进行分割，并选取基于灰度共生矩阵的4种纹理参数和分形盒维数对哈密瓜表皮纹理进行统计分析；文献[74～75]分别基于机器视觉和深度学习对西瓜无损检测与分级、西瓜叶片遮挡分析与处理等方面进行了系统研究,并通过实验验证了所提方法的有效性.

文献[76～77]分别利用基于传统分水岭算法及常用边缘检测方法对核桃叶片图像和板栗图像进行了分割与边缘锐化研究；针对核桃和板栗图像的自动识别、品质检测等信息处理工作，高庭耀、卢军党、周建民、丁玲玲等人分别提出了基于X射线图像的核桃品种识别、基于机器视觉技术的核桃分级检测、基于红外热成像树上板栗机器识别和基于近红外高光谱图像技术对板栗果实的无损检测与品质鉴定等方法[78～81].这些研究对上述水果图像智能采摘和分级识别管理等提供了重要的途径.

鉴于篇幅，对其他各类水果中很少(或较少)涉及图像处理水果的研究在此不再赘述.

7 问题与展望

将图像处理技术应用在水果农业中，大多数水果图像的研究主要集中在图像分割、图像识别以及图像分类这三部分，也有一些聚焦于水果病害的图像处理研究.而要在自然环境中更好地对水果图像识别、分类、检测和采摘，需要结合专业知识及农林工程实践才能更好地完成任务.目前关于水果图像处理研究有很大一部分是在实验室进行的，考虑客观实际环境干扰因素相对较少.

目前针对水果图像分割的方法有很多，大多是基于灰度图像的处理.图像分割存在以下难题：(1)如何准确分割图像边缘；(2)如何针对重叠部分或者阴影区域构建合理的处理模型；(3)像素分布不均，导致不同目标物分割难度不同.发展趋势：(1)注重彩色图像的分割研究；(2)有效实施交互式图像分割策略；(3)加强多种分割方法的结合使用；(4)进一步优化和改进原有算法.

水果图像识别是水果图像处理中较为困难的一部分，例如：自然环境中一些目标物与树叶颜色相似，果实重叠粘连，光线过亮或过暗，都会影响对果实的识别效果，且目前大部分的采摘机器人只针对某一种果实进行作业，不利于商业推广[82].这方面的发展趋势是：水果识别在现有处理方法的基础上，要将计算机视觉、深度计算、人工智能等先进的方法有效结合在一起，努力实现智能识别的目的.

水果图像分类多用于缺陷以及伤痕检测，等级识别与划分.国外发达国家在水果行业已实现专业化选果包装无损伤检测，国内还处于人工和半机械阶段.发展趋势：近几年，由于人工神经网络、计算机视觉和模糊模式发展迅速，在当前背景下，新的智能分类法效果好于传统的图像分类方法，未来基于深度学习以及彩色图像的水果分类将会越来越广泛应用.

8 总结

针对水果图像处理应用研究，迄今为止在各个阶段已研究提出了许多不同的方法，有些是基于某一算法的，也有多种算法相结合的，但目前没有一个通用的模型或者算法来对不同类型的水果图像进行相关图像处理，许多应用研究基本上都是基于特定图像进行的.但随着一些新兴学科的发展和交叉学科的交叉应用研究，水果图像处理技术必将会进一步完善和发展.