基于机器视觉的红枣外部品质检测技术研究进展

李 聪，李玉洁，李小占，喻国威，刘 鑫，马本学,2,

（1.石河子大学机械电气工程学院，新疆石河子 832003；2.农业农村部西北农业装备重点实验室，新疆石河子 832003）

红枣是原产中国的传统名优特产品，被列为“五果”（栗、桃、李、杏、枣）之一，富含维生素C、蛋白质、脂肪、胡萝卜素等营养成分，种植面积遍布全国。据统计，2009～2018 年中国红枣产销量在逐年增加，但出口量并不大，约占年产量的千分之一。红枣产后分级是其包装销售和深加工前的一个重要工序，亦是实现红枣优质优价，提高其经济价值的关键。

红枣外部品质分级一般是通过颜色、质地、大小和质量等外部品质标准在工业分级机上自动完成的，但是根据其他外观标准对红枣进行分级，如擦伤、腐烂和裂纹等一些不明显的缺陷，这些缺陷对健全的果皮呈现相同的颜色和质地，或者总是与果梗和花萼混淆，效率较低，因此仍然是通过人工分选。人工分选存在主观性较强、耗时、分选不一致等缺点，并且容易受到周围环境的影响，开发一种自动化的外部品质质量检测分级系统代替人工分选是十分迫切和必要的。

红枣种植地主要在我国，国外对红枣分级机的研究较少。目前红枣的分级装备主要包括机械式、光电式和机器视觉式3 种，其主要特征见表1 所示。现阶段我国主要以机械式为主，大多以大小尺寸作为分级标准，分级标准单一。基于机器视觉的分级装备可以满足多特征检测分级，但现阶段国内基于机器视觉的红枣分级技术还不成熟。迫于市场压力，部分红枣经销商从国外进口基于机器视觉的红枣分级设备，其利用图像处理技术，通过获取枣的彩色照片，进行图像的处理，获取枣的大小、颜色以及表面缺陷等方面的信息，从而可以判断枣的品质，但价格极其昂贵，维护费用高。因此研究红枣的无损检测分级技术，生产基于机器视觉的红枣检测分级机有利于提高红枣的产后处理效率，降低分级时造成的损伤，对提高红枣在国内和国际市场上的经济价值和竞争力具有重要意义。本文拟通过介绍机器视觉技术在红枣外部品质检测中的研究现状与应用，以促进我国红枣在线检测装备的研制。

表1 不同类别红枣分级装备主要特征Table 1 Main characteristics of different types of jujube grading equipment

1 机器视觉技术

机器视觉系统一般包括光源系统、图像捕捉系统、图像处理系统、图像数字化模块和控制执行模块。首先通过CCD（CMOS）摄像机获取图像，经采样量化后将模拟图像转换为数字影像或数字信号传递给图像处理系统。图像处理系统采用各种运算对信号进行目标特征提取，如目标的大小、位置和颜色等，最后根据预定的标准输出所需结果、显示数据或控制执行模块完成预定操作。图1 所示为典型的红枣机器视觉检测分级系统示意图，一般是通过CCD相机将被拍摄的红枣转换成图像信号，传送给图像处理系统，得到红枣的外部表面信息，将获取的纹理、大小、缺陷和颜色等信息转变成数字化信号，图像系统对信号进行各种运算提取目标特征，根据目标特征结合机器学习或深度学习对红枣的优劣进行分级。

图1 红枣机器视觉检测分级系统Fig.1 Jujube machine vision inspection grading system

马学武等利用链轮输送机构，当红枣经过黑箱区域时触发光电开关，此时信号被传送给计算机，计算机接收到信号触发图像采集卡采集图像，通过图像处理算法提取红枣的特征（颜色，直径，面积等），并记录红枣的实时位置，当到达分级位置时利用光电开关实现对红枣的分级。由于单表面检测会造成信息遗漏，导致分级准确率不高。田绪顺等采用两个摄像机对红枣进行拍摄取照实现双面检测，并指出利用物料本身滑动摩擦力结合吸振能力较好的材料，采用分步检测的机理，能够实现红枣及其他椭球形水果的单体化喂入、全表面呈现等功能。

考虑两个相机的检测装置比较复杂，效率比较低，为了实现红枣全表面检测，王丽丽利用PVC带作为传输装置，通过调节传送带的速度来实现单列化均匀上料，利用翻转传输装置实现哈密大枣外部品质全表面检测。王松磊等设计了基于机器视觉技术的红枣快速无损检测分级机，采用间歇式凸轮机构结合辊轮输送链板实现红枣单体化排布输送，利用相机与STM32 嵌入式系统结合正面和背面光源实现红枣多表面图像采集，最后采用高压喷气装置完成红枣的分级。从单面检测到双面检测再到全表面检测，检测可靠性不断提升，但是红枣检测装置的复杂性有所提升，检测速度有所下降，在提升检测准确率的同时优化检测装置结构是实现红枣在线检测的难题。

目前机器视觉技术已经发展成为一门涉及人工智能、图像处理、计算机科学、模式识别等诸多领域的交叉学科，相比于其他检测技术，机器视觉技术具有高效、无损、分级指标多，检测结果客观准确等优点，是一种无损的检测方法。近年来获得广泛地研究和应用，已成为农产品品质检测的重要技术手段之一，在红枣、柑橘、苹果、马铃薯等农产品品质检测中有很大的应用前景。随着基于统计学模型的机器学习的快速发展，各种浅层机器学习模型相继被提出。结合机器学习相关统计学特征的算法使得机器视觉系统的精度和效率都有了很大提升。近年来，深度学习在特征提取方面表现出来的独特优势，成为人工智能领域最热门的学习方法。与传统的机器学习相比，深度学习提倡采用端到端的方式来解决问题，即直接将图像特征提取与模式分类集合在一起，然后根据具体的模式分类目标损失函数（如交叉熵损失、Hinge 损失函数等）从数据中自动地学习到有效的特征并实现模式分类，学习能力强。因此深度学习在计算机视觉、人脸识别、语音识别、行人检测等领域取得了巨大成功。深度学习也存在缺少完善的理论支持、模型正确性验证复杂且麻烦、需要大量训练样本、计算量大等问题。相信随着深度学习研究的不断深入，将为机器视觉带来更广阔的发展空间。

2 机器视觉技术在红枣外部品质检测中的研究现状

2.1 缺陷检测

目前大部分红枣经大小分级机分选后直接流入市场，若不进行初步的品质分级，缺陷枣流入市场，将影响红枣的附加值。针对红枣缺陷分类问题，研究人员通过使用不同颜色空间对红枣进行分析。赵杰文等在HIS 颜色空间中提取H 的均值和均方差作为特征值，利用支持向量机建立缺陷红枣识别模型，对表面颜色呈现较暗的霉烂、浆头、油头果识别准确率可达到96.2%。海潮等在HSV 颜色空间中提取H 分量和S 分量，并采用Blob 分析算法进行红枣与背景的分离以及红枣表面缺陷的识别，缺陷果识别的准确率可达到90%以上。根据红枣表面差异，李运志等依据半干枣在病害和非病害区域色调值差异提取病害区域，提出了一种以机器视觉为基础的缺陷识别方法，用提取的病害区域与枣表面积的比作为阈值来确定识别精度，以识别病害和裂痕枣。张萌等针对红枣表面灰度不均匀提出了一种亮度快速矫正算法，解决了表面缺陷难以快速定位的问题。显著地增强了果面缺陷特征，提高了红枣自动分级的实时性。这些传统的基于机器学习的机器视觉方法虽然可以较好的识别缺陷枣果，但需要人工提取缺陷特征，费时费力，且局限于如裂纹、破头、病虫害等缺陷特征明显的枣果。对于缺陷特征不明显的枣果难往往以达到预期效果。此外，基于机器视觉的高光谱成像技术也被用于红枣缺陷检测，这种检测技术增加了图像的光谱信息，检测精度高，但速度慢，成本高。WU 等通过使用高光谱成像技术获取反射图像，以实现常见缺陷如裂纹、虫害和淤伤的识别。WANG等采用在400～720 nm 光谱区域内的高光谱反射率成像方法检测鲜枣果实的外部损伤和昆虫缺陷。

随着互联网时代大数据的爆发，深度学习已经广泛应用于人脸识别、语音识别和行人检测等。杨志锐等提出一种基于网中网卷积神经网络对红枣进行缺陷检测的方法，试验结果表明该方法优于基于常规SVM（Support Vector Machine）的视觉检测方法和基于AlexNet 网络的分类方法。方双等采取多尺度卷积神经网络对黄皮枣、霉变枣、破头枣和正常枣进行了检测，模型在AlexNet 卷积神经网络上进行了改进，增加了深度和宽度，提高了模型的检测准确率。在生产中，由于自然条件或工艺流程的不同，一个单一的产品往往可能表现出不止一种类型的缺陷，而且典型的卷积神经网络在提取特征时倾向于将图像视为不可分离的实体和单个实例。针对此问题，XU 等提出了一种基于特征关注度的多标签枣缺陷分类关系网络，实现对同一红枣多种缺陷类别的检测与识别。为实现缺陷红枣的精准定位与实时检测，曾窕俊等提出一种基于帧间最短路径搜索的目标定位方法和集成卷积神经网络模型，通过建立图像坐标系及图像预处理操作，获得图像中单个红枣目标的位置坐标，将其映射到空间坐标系中，结合帧间最短路径判定规则，实现对红枣位置坐标的更新与传递，从而实现对视频中红枣的定位与跟踪。以上研究表明了深度学习目前已可以较好的应用于红枣缺陷的识别与检测。表2 详细总结了使用不同机器视觉系统对各类红枣进行缺陷检测的研究。

表2 红枣缺陷检测研究综述Table 2 Summary of research on red jujube defect detection

2.2 大小检测

大小是红枣分级的重要依据之一，按红枣大小进行检测分级，选出大小基本一致的红枣，有利于包装储存和加工处理。尺寸检测可以用传统的机器视觉进行，目前用于测算红枣大小的特征有面积、周长、拟合圆半径、横纵径、体积和质量，通过提取红枣大小特征，进行数据拟合得到预测函数。李景彬等提出一种基于机器视觉的干制红枣大小分级方法，对红枣样本图像进行预处理，提取红枣的外形尺寸和质量等特征，采用最小外接矩形法获取红枣的长径和短径当量值，应用线性回归得到拟合函数分别求得红枣纵径值和质量值，采用句法模式识别对数据进行红枣大小分级，分级准确率达到85%。单个表面的红枣图像难以反应红枣的整体大小，利用红枣单侧图像对红枣进行分级准确率不高，针对此问题，QI等通过提取哈密大枣的投影面积、横向直径和纵向直径，建立BP 神经网络分类模型，测试准确率达到91.43%，平均检测时间为80 ms，可满足大小尺寸的实时检测。王艳等利用图像处理技术提取鲜骏枣的平均面积、周长、长轴、短轴几何特征，与实际质量拟合建立回归模型，预测鲜骏枣的质量，最后采用判别分析法对大小进行分选。结果表明机器视觉技术能够较为准确地实现对质量与大小的预测和分选。

现阶段对红枣大小检测原理主要是利用最小外接矩形法或者利用边缘检测提取红枣大小特征进行对红枣大小分级，但平面信息不能准确地判定红枣的大小，针对此问题，程子龙等提出一种用双目视觉测量物体大小的方法，先进行双目标定、立体匹配，获得景深图后，对物体轮廓进行检测，用最小四边形框出物体的轮廓，通过计算四边形四个顶点的坐标得到物体中心点的像素坐标，通过双目测距的原理获得物体中心点距离摄像头的距离。根据三角形原理，计算出物体的宽度和高度，实现物体大小的测量。利用双目视觉技术结合机器视觉测量红枣体积以获取空间信息，实现红枣品质分级将是未来的一个研究方向。

2.3 纹理检测

红枣的表面纹理特征是衡量红枣外部品质的重要指标，一般纹理比较多的红枣果肉较少，水分含量低，含糖量低，在销售时要将其剔除。在红枣纹理检测过程中，通常首先提取红枣纹理特征，然后通过机器学习算法建立分级模型实现红枣的品质分级。针对目前红枣分级效率低，漏检率高，劳动强度大等问题，柴春花等以红枣的纹理作为分级指标，提出了一种基于机器视觉红枣纹理分级方法，通过提取红枣图像的均值、标准差、平滑度、三阶矩、一致性和熵6 个纹理特征，采用BP 神经网络进行红枣纹理分级，试验结果表明，一级红枣识别率为100%，二级红枣识别率为80%，三级红枣识别率为100%，综合识别率为93.33%。张灵通等采用灰度共生矩阵提取南疆红枣的纹理特征，根据红枣纹理特征参数的区分度，实现南疆红枣的外观品质分级检测。由于红枣的褶皱在白色光源下不明显，导致检测效果比较差，ZHANG 等通过调节光源的颜色，改变光源强度，对红枣图片灰度均值方差和灰度信息熵进行数据拟合，发现在光强35800 lx 下的绿+蓝图片红枣的褶皱最清晰，并提出一种自动分水岭分割算法实现枣果褶皱分级，结果表明该算法得到的褶皱分级准确率为92.11%。但以上纹理特征提取均需要人工提取，费时费力。针对传统机器学习方法需要人工提取纹理特征并对图片进行预处理等问题，罗秀芝等提出一种基于卷积神经网络的哈密大枣纹理分级方法，使用卷积核自动提取纹理特征，相对于用灰度共生矩阵提取纹理信息，再分别用BP 神经网络或SVM 来分类，用卷积神经网络对哈密大枣纹理进行分类准确率高并且试验过程更简单。上述研究表明，深度学习较传统的机器学习方法，在红枣褶皱分级上更有优势。

2.4 颜色检测

红枣表面颜色受天气、土壤、水分等环境的影响，个体之间会有很大的差异，影响到红枣品质，为满足消费者对红枣品质的需求，进行红枣表面颜色的检测和分级至关重要。马翔等开发了一种基于嵌入式 STM32F407 处理器结合机器视觉技术的红枣颜色检测分级系统，首先通过CMOS 图像传感器获取鲜枣图像，经图像预处理后，利用颜色阈值算法实现鲜枣颜色分级，经验证表明该系统具有分级速度快、检测识别精度高、制作成本低等优点，在红枣颜色分级方面有较高的实用价值。孙中国等以表面颜色为生熟判别指标，建立了基于机器视觉技术的冬枣成熟度检测系统，利用 HIS 模型中H 分量在冬枣表面图像中含量的百分比进行生熟判别，实现了对冬枣的自动化分拣。詹映等通过对采集的红枣图像进行预处理后，提取红枣的颜色特征参数为BP 神经网络输入层，实现红枣品质分级。结果表明BP 人工神经网络分级与人工分级的一致度达到了91.6%。上述研究表明，相比于其他特征检测方法，颜色特征提取后往往被用于缺陷、纹理和成熟度的检测，仅靠颜色特征往往难以直接实现外部品质的分级。

2.5 综合外部品质检测

依据单因素对红枣检测不足以全面实现红枣品质检测分级，综合多种外部特征对红枣进行检测有利于提高检测准确率。针对红枣果形大小、表面质量和纹理等表面综合信息，研究人员通常使用机器学习算法建立模型，集成各种模型进行外部品质检测。钟小华等提出了一种基于机器视觉技术的红枣全表面信息无损分拣方法，依据果形大小、表面质量、纹理等表面信息分别建立对应模型，实现红枣无损自动分级，系统验证表明分级准确率达到90%以上，可以解决高速运输状态下无法在线呈现红枣全表面信息的难点。GANBOLD 等提出一种基于图像边缘检测的红枣分级方法，通过图像预处理、滤波及增强、梯度算法处理和自适应Canny算法实现红枣大小、形状、颜色、表面轮廓的检测与分级，综合准确率可达96.52%，已经可满足红枣分级的要求。但是在红枣实际分级过程中，往往需要先筛选缺陷枣果，否则缺陷枣混入正常枣中，会影响红枣的附加值。针对此问题李运志以大小、褶皱、缺陷作为分级指标，采用最小直线法拟合短轴的真实值与检测的像素值的函数关系，建立大小分级模型。采用灰度共生矩阵提取纹理特征建立基于BP 神经网络和SVM 的褶皱分级模型。提取病害区域与枣表面积的比作为阈值，建立基于SVM 的缺陷识别模型，实现骏枣外观品质自动分级。其中缺陷识别准确率为95.79%，大小与褶皱分级准确率分别为95.65%和95.23%。可以满足红枣实际分级需求。但这种方法需要人工提取特征，费时费力。随着深度学习技术的发展，可以从数据中自动学习特征，比传统机器学习方法具有更强大的特征学习和特征表达能力。文怀兴等以表面缺陷和纹理为分级指标，提出了一种基于深度残差网络对红枣表面缺陷以纹理识别的分类算法，通过结合机器视觉与深度学习，实现红枣在线检测，研究结果表明，该分类方法准确率达96.11%，检测效率约为120 个/min。上述研究表明，综合多种外部特征融合检测方法可以提高检测准确率，但各指标需要建立不同的识别与分级模型，系统验证需要综合各种模型进行结果输出。

3 结语与展望

在红枣加工和流通过程中，红枣品质检测是不可缺少的一环，颜色、褶皱、大小、形状和缺陷的种类，是红枣最重要的外部感官质量属性。快速、准确地对红枣外部品质检测能有效保障食品安全、提高企业生产效率。机器视觉有快速、准确、客观和无损检测等优点，已经被广泛用于食品和农产品的质量检测，以取代人工检测。本文综述了机器视觉系统分别在红枣缺陷检测、大小检测、褶皱检测、颜色检测以及特征融合检测中的应用。研究发现传统的机器视觉系统是检测颜色、纹理、尺寸、形状和一些相对明显缺陷的有力工具，但在检测不明显的缺陷方面效率较低。随着人工智能技术的快速发展，深度学习算法在农产品检测中得到越来越广泛的应用。利用机器视觉结合深度学习对红枣外部品质进行检测与分级已成为热点，但在红枣外部品质实际检测中，还需进一步完善和发展。

一个红枣可能存在多种缺陷，有些缺陷部位往往难以被检测到。目前深度学习中物体检测技术可以实现目标的实时检测与定位。因此，将物体检测技术（Faster RCNN、SSD、YOLO 等）应用于红枣外部品质检测，可以实现红枣全表面检测，提高红枣实时检测效率。目前的机器视觉红枣检测设备往往只针对某一特定品种的红枣进行检测分级，对于其他品种的红枣需要单独开发检测设备和软件，相应地增加了检测成本，因此有必要开发一种适用于不同种类红枣的机器视觉检测设备。结合机器视觉与多种光谱技术（近红光光谱、高光谱成像技术和拉曼光谱等），开展对红枣内外部品质指标综合评价技术及装备的研究，将成为红枣品质无损检测的研究热点。