苹果外部缺陷全表面在线检测分选装置研发

彭彦昆，孙 晨，刘 乐，李 阳

苹果外部缺陷全表面在线检测分选装置研发

彭彦昆，孙 晨，刘 乐，李 阳

（1. 中国农业大学工学院，北京 100083；2. 国家农产品加工技术装备研发分中心，北京 100083）

中国是水果消费大国，但在水果产后检测装备方面相对滞后。针对目前在线检测装置无法采集苹果全表面图像信息且无法精确计算缺陷面积的问题，该研究以表面缺陷面积的快速检测为主要目标，提出苹果全表面图像合成算法，设计了一套苹果外部品质在线检测及分级装置。该研究以苹果为例，基于球模型提出苹果全表面图像合成算法、缺陷面积校正算法精确计算苹果的表面缺陷面积。通过试验验证，对苹果表面图像进行分割合成后，整体的图像的漏检率为0。提出缺陷面积校正算法，可以计算图像中位于任意位置的苹果缺陷真实面积，选取了120个样本进行验证，其中擦伤样本、碰伤样本、痘斑病样本、表面腐败样本各30个。4种表面损伤面积的预测值和真实值的决定系数2均在0.97以上，均方根误差（Root Mean Squared Error, RMSE）在4 mm2以下。在偏角试验中，4种表面损伤面积的预测值和真实值的决定系数2均在0.974 2以上，RMSE在6.304 4 mm2以下。装置检测苹果的速度为2个/s，评级准确率为95%。研究结果表明，检测与苹果评级精度较高，工作较为稳定，实现了苹果外部缺陷的检测与分级评价，可为苹果的外部品质检测提供技术支撑。

机器视觉；农产品；无损检测；苹果外部品质；在线式装置

0 引 言

随着人们生活水平的提高，消费者对于水果的品质越来越看重，以苹果为例，中国是最大的苹果生产和消费国[1]，苹果年产量和种植面积均居世界首位[2]。据联合国粮食及农业组织（Food and Agriculture Organization of the United Nations，FAO）统计：2020年，中国的苹果产量是排名第二的美国的9倍以上。虽然中国的苹果产量和出口量均居世界第一，但中国苹果出口量与产量的比值却远低于世界平均水平8%[3]。这主要是因为中国在苹果产后检测分级、研发及应用方面相对滞后，高品质的苹果与品质较差的苹果没有进行分级区分，导致产品的附加值降低，严重制约了中国苹果产业链的发展。因此，大力推行水果产后检测分级，提高产品的附加值，对于推进水果产业的发展以及促进经济发展具有重要意义。

针对苹果外部品质检测，机器视觉技术已成为重要的检测手段之一。主要分为两类，一是机器学习技术[4-9]，二是传统的图像处理技术[10-13]。机器学习技术不仅包含支持向量机、决策树、随机森林算法等一些优秀的传统方法，目前新兴的深度学习技术也是机器学习技术的一大主要分支，其主要是通过卷积神经网络提取图像的特征信息，再根据特征信息进行识别分级[14]，主要应用于图像的识别分类。李学军等[15]提出了一种判别树和改进支持向量机决策融合的苹果分级方法,可以较为有效地进行苹果分级。周胜安等[16]为增强小型缺陷的检出能力，对MobileNetV3模块进行改进，并对CenterNet的预检测阶段进行优化，结果显示其改进后的模型对缺陷直径大于4 mm的缺陷检出效果较为优异。李龙等[17]使用支持向量机（Support Vector Machines, SVM）对苹果外部缺陷进行判别，正确率为97%。Pande等[18]基于卷积神经网络使用Inception V3模型将苹果分为4级，分级准确率为90%。传统的图像处理技术主要有图像滤波、图像增强、霍夫变换等，黄辰等[19]提出改进的三层Canny边缘检测算法来提取苹果轮廓，采用判别树对苹果果径、缺陷面积、色泽等特征进行分级判断。谈英等[20]融合颜色特征与重量特征，优化权值系数提高分级准确率，分级正确率为87%。Zhang等[21]使用压力传感器测量果重，并与图像技术相结合设计分选装置，综合分级正确率为89.71%。李龙等[22]利用哑铃式滚子及大津法、高斯滤波等方法，对苹果表面损伤进行检测，其检测正确率达到94%。Yang等[23]基于多特征与加权均值聚类方法，提出融合颜色与果径特征的分级算法，检测分级正确率为96%。孙丰刚等[24]基于改进的YOLOv5s模型，结合迁移学习方法对苹果果实的病害进行检测识别，使得其检测精度在原模型结果上提升8.5%，实现了在占用较少的计算资源的情况下对苹果病害进行快速准确地识别。Zhang等[25]使用结合了近红外编码的点阵列结构光及快速亮度校正的机器视觉系统来识别有缺陷的苹果。Chopra等[26]结合分光光度法与机器视觉，在对1 366个苹果数据的训练后，分级准确率为82%。

上述研究中，大多是通过单相机获取果品的图像，无法获得到果品的全表面图像，另外以上两类检测方法在进行检测时无法做到精确计算缺陷面积，所以无法根据损伤面积大小对苹果进行精确分级。为解决现今苹果检测中无法实现全表面品质完整检测问题和苹果缺陷面积无法精确计算的问题，笔者提出一种针对苹果全表面图像合成方法及缺陷面积校正算法，该算法能够实现对如苹果、梨、番茄、柑橘等水果全表面图像的获取以及对表面缺陷面积的精确计算。本研究以苹果作为研究对象，获取苹果的全表面图像，对苹果的外部缺陷面积进行精确计算，并根据缺陷面积大小对苹果进行精确分级，以期为苹果的外部品质检测提供参考。

1 材料与方法

1.1 试验材料

在表面缺陷面积校正算法的验证中，分别购买擦伤缺陷苹果30个、痘斑病缺陷样本30个，自行制备碰伤样本30个、表面腐败样本30个。共计120个表面缺陷样本进行缺陷面积校正算法的验证。试验中的苹果均收集自北京美廉美超市及周边水果市场。缺陷面积的真实值测定方式为将苹果缺陷的形心正对相机镜头，并将其固定在距离相机镜头15 cm处的台面上，在采集图像后经过图像处理方式，将缺陷的像素面积转换为实际面积，以此方法测定缺陷的实际面积，用于缺陷面积的校正算法验证。

购买并挑选100个样本进行分级试验，其中特等样本30个，一等样本40个，二等样本30个用于验证分级的准确性。分级标准可根据实际需求灵活调整，本研究根据苹果外观标准以及表面缺陷面积自行设定了标准进行试验，如表1所示。

表1 苹果分级标准

1.2 系统设计

苹果外部品质在线检测与分级装置可以分为检测单元与分级单元。在线检测装置的传动单元包括：电机、传动齿轮、传动链、果杯。选择链传动作为传动方式具有工作可靠，效率高的优点。电机为链条提供动力，链条通过支撑横杆带动果杯运动。为尽可能降低图像采集过程中的抖动，故将张紧边布置在上方，且设置张紧轮。图像采集单元包括：相机、光源、暗箱、位置传感器等。暗箱的作用是屏蔽外部杂光的影响，为图像采集提供稳定的环境。光源分为上下光源，上光源布置在暗箱顶部，此布置可以有效避免下相机采集到的图像出现过曝现象，且光源选择为红光光源。图像分析单元主要由计算机及人机交互软件组成，对相机采集到的图像进行分析以及结果显示。图1为苹果外部品质在线式检测装置结构图。本研究使用笔记本计算机作为处理工具，CPU为英特尔i7-9750H。装置的总质量为169 kg，尺寸为1 300 mm× 480 mm×1 220 mm，电机型号为6IK200GN-CF，额定功率为200 W，额定电流2.5 A。

使用Visual Studio 2015软件的微软基础类库（MFC）基于对话框建立人机交互软件程序的框架部分；使用OpenCV 3.0.0作为图像处理部分的函数库；使用Arduino 1.8.13 编写下位机软件。数据分析基于Matlab 2018a软件完成。

在分级过程中，苹果被随意放置在图1a所示的透明果杯中，由传送链条输送进入暗箱进行全表面图像的采集和检测。图像采集由图1b所示分布的相机完成，1号相机位于苹果正上方，2、3、4号相机则在苹果下方同一平面，相互之间呈120°分布，4个相机整体呈正四面体分布，分别位于正四面体4个顶点处，样本位于正四面体中心位置。检测装置的实物图如图1c所示。4个相机采集到的图像会直接输入到计算机，利用苹果全表面图像合成算法将采集到的图像进行分割，再在分割完成后的图像中计算苹果表面缺陷面积。计算机结合制定的分级标准给出等级信息，最后将等级信息发送给单片机，由单片机控制自行设计的分级机构实现对苹果的分级。

苹果分级机构如图1d所示，主要由两部分组成：①传动部分，主要包含电机、传送带等，其主要作用是为装置提供动力，带动苹果前进；②分级部分，主要包括到位传感器、控制板、旋转电磁铁、通道开关等。其主要作用是监测苹果的位置信息，根据人机交互软件的等级序列控制旋转电磁铁开合进行分级。

在分级过程中，旋转电磁铁带动通道开关抬起，苹果在重力作用下，滚落到分级通道内，待苹果通过开关后，旋转电磁铁反转，带动开关关闭，完成苹果分级过程。此分级机构设计有3个分级通道，可以对3个级别的苹果进行分级，若需要分更多等级，可增加通道个数达到分级目的。

1.3 果杯材料折射试验

在系统设计中，相机的布置在空间结构上对称，但是由于透明果杯的存在，使得2、3、4号相机在采集图像时需要透过果杯。当下方光线从空气中穿过透明树脂再次进入空气时会发生折射现象，会导致光线的传播方向发生变化。若折射明显，则会导致上下方相机拍摄到的图像的差异过大，不利于进行缺陷面积的计算，所以需要通过试验的方式对果杯的折射现象进行研究。

为保证试验情况贴合实际应用场景，故以苹果果径尺寸范围为参考，购买直径分别为55、65、75、85、95、105 mm的白色样本球。在不透过果杯与透过果杯两种情况下分别采集图像，对比图像中球模型的直径差异，计算果杯的折射情况。对每个样本球分别在两种情况下采集3次图像，将3次直径测量结果求平均值，测量结果如表2所示。

图1 苹果外部品质在线检测装置结构图

分析表2中的数据可以发现，当样本球的直径较小时，整体的误差在3%左右，随着样本球直径的增大，整体的误差呈现逐渐降低的趋势，在样本球直径为105 mm时误差为2.46%。随着样本球的增大折射后的光线进入相机镜头的路径要更短，这也就是误差随直径增大有减小趋势的原因。现实情况中，大部分苹果的果径集中在65～95 mm之间，包含于此试验的直径范围。所以透过果杯拍摄苹果图像的误差会在3%以下。此结果证明果杯材料折射对整体测量结果的影响较小。

表2 果杯折射试验球模型直径数据

1.4 光源选型

由于整个设备的图像采集模块位于暗箱中，为保证采集图像的亮度和清晰度满足处理的要求，需要在暗箱中设立光源模块。而合理选择特定波长的光源可以增大图像中缺陷与正常组织的对比度，对提高检测精度有重要作用。因此，为确定正常组织与缺陷差异较大的波长范围，购买50个苹果样本进行试验。先对苹果的固定标记点采集正常组织的光谱，采集完光谱后，取25个苹果在标记点制造机械损伤，另外25个苹果在标记点进行表面真菌感染。真菌感染与碰伤48 h后采集50个苹果标记点的光谱信息，对比二者光谱差异。

图2a中深色光谱曲线为正常苹果组织的光谱曲线，浅色光谱曲线为缺陷苹果组织的光谱曲线。通过图像可以看出在500～800 nm波长之间，两种颜色光谱存在明显差异，波长为400～500 nm和800～1 100 nm波段时，二者光谱信息区分不明显。为进一步确定具体的差异较大波段，分别对正常组织和表面缺陷组织的光谱信息进行平均，二者平均光谱的差值如图2b所示，二者光谱的反射率差值500～630 nm之间差异逐渐增大，在630 nm处差值最大，在630～730 nm之间较大，且在630与730 nm处有两个峰值，差异明显。在730 nm之后的波段中二者平均光谱差异较小。差异较大波段630～730 nm属于红光波段（625～740 nm）范围。由此证明在红色光源的照射下缺陷组织与正常组织差异明显，所以由此试验确定苹果外部品质在线检测及分级装置的光源为红光光源。

1.5 苹果全表面图像合成算法

目前在线水果外部品质检测中，无论是两相机或者三相机都无法对水果的全表面图像进行采集，只能采集到85%～90%的近似全表面，因此容易造成水果品质的误判，无法对水果的外部品质做出准确的评定。而且在线式水果外部品质检测中，在对采集到的外部品质进行图像处理过程中，并不涉及图像的合成，只是简单对每一幅图像进行处理，这容易导致计算机处理了大量的重复信息，大大降低计算效率。

苹果图像中若有过多的重复信息，对缺陷识别以及缺陷面积计算的准确率有着较大影响，且可能出现同一缺陷在多幅图像中同时存在的情况，大大降低外部品质评测的准确性。所以提出基于4相机采集结构的全图像合成算法，此算法以球模型为计算本体，通过将球体的全表面信息分割为4个区域，计算4个区域的分界线位置，并将其转换到像素坐标上，完成图像的分割。其处理流程如图3所示。

图3 图像处理流程图

首先对采集到的图像进行灰度化、去噪声等预处理，再利用大津法进行二值化处理，最后利用苹果全表面图像合成算法对4个相机采集到的图像进行分割。

图4 苹果分割效果图

图4a展示了全表面合成算法对苹果图像进行分割的俯视图，图4b展示了全表面合成算法对苹果图像进行分割的主视图，图中的编号分别对应4个相机所采集到的图像进行分割后在苹果上的位置。在实物图上的分割效果如图4c，图4d所示：图4c展示了4个相机采集到的对应的原始图像，对苹果的全表面信息进行分割。分割后所得的4个区域如图4d所示。

注：xoy平面为苹果赤道平面，z轴为地轴；XOY平面为相机所在平面，Z轴为垂直于XOY平面向上的轴；θ为相机拍摄角度与赤道面夹角，(°)；l1，l2为分割边缘线，l3为赤道线。

图5展示了2、3、4号相机所对应的图像表达示意图，、、分别表示以球心为原点的相机坐标系，、、分别表示以球心为原点的相实物坐标系，通过求取二者转换关系完成分割边缘的求解。

=（5）

式中、、分别表示以球心为原点，将球坐标系绕轴旋转形成的以相机与几何中心连线为轴的坐标系；表示苹果的像素半径，pixel；表示上方相机与下方相机的重合视野的中间点与几何中心的连线相对于苹果的赤道面的夹角，(°)；表示摄像模块的中轴线相对于苹果的赤道面的夹角，(°)。将苹果表面实际坐标按照转换方式可转换到像素坐标中。式（1）～（3）为球表面的分割线公式，通过式（4）～（6）完成到相机坐标系的转换，舍弃变量便得到图像坐标中的表达式，上方相机按照下方相机做大视野角的纬度信息进行分割，分割图像为以形心为中心的圆，半径为cos。

为验证分割方法的准确性，设计使用直径分别为55、65、75、85、95 mm的模型球进行分割试验。每个球模型分别取3次图像，利用3次图像中像素点个数的平均值代表试验结果。利用分割后与分割前像素点的个数与位置的对比，计算漏检率和重复率，以这两个参数来评价分割的精确度。其中，漏检率表示未检测到的像素点个数占总像素点个数的比例；重复率表示所有检测出来的像素点个数与未漏检的像素点个数之差占未漏检的像素点个数的比例。结果如表3所示。取平均果径为60、70、80和90 mm的苹果，重复上述试验后，得到表4数据。

表3 分割试验结果

注：表中分割后像素点的个数取3次计算的平均值。下同。

Note: The number of pixels after segmentation in the table is the average of three calculations. The same below.

表3中的数据显示：随着球模型直径的增大分割后的重复率逐渐降低，在55～95 mm的球模型试验中，重复率由3.38%下降到0.69%，漏检率均为0。表4中的数据显示在60～90 mm的苹果试验中，重复率由5.93%下降到2.95%，漏检率为0。无论是球试验还是苹果试验中，此算法漏检率均为0。在苹果试验中，重复率高于球模型的试验结果。这是由于苹果并不是标准球体，所以与球模型相比试验结果相对较差。这两个试验证明此分割方法分割后可获取全表面图像，且苹果图像不存在漏检区域，算法用于全表面分割可靠性高。

表4 非对称式分割苹果试验结果

针对苹果的全表面检测，果梗花萼的检测是一个难题。本文所提出的全表面图像合成算法在解决果梗花萼的问题上采取的策略是：根据所检测到的损伤的相对位置进行判断，若在检测中存在有两处损伤的位置是相对的，则判断为果梗和花萼，不计入损伤。这一部分的检测还存在一些漏洞，如有些苹果外形略微畸形，果梗花萼不在相对位置时，可能会出现检测判断失误的情况，这也是本研究下一步推进解决的问题。

1.6 苹果缺陷面积校正算法

当苹果存在缺陷，利用其图像信息对缺陷进行面积计算时，如果仅仅计算原图像中的缺陷面积是不准确的。图像中缺陷的真实面积与缺陷所在图像中的位置有关，必须要考虑缺陷部分与相机之间的偏角的影响。例如若缺陷存在于图像的边缘位置，则在图像中占据的像素数量会少，但并不代表其真实面积比较小。所以不考虑缺陷部分与相机之间的偏角，直接进行图像中缺陷面积的计算，进而对苹果进行评级，这样的做法是不准确的。针对此问题，提出一种基于图像处理的苹果缺陷面积校正算法。利用球模型推导校正算法用于苹果的缺陷校正。

该方法分两步对缺陷面积进行校正。首先，根据缺陷的经度跨度与经度位置对缺陷面积进行经度方向的校正。其次，根据缺陷的纬度跨度与纬度位置对缺陷面积进行纬度方向的校正。首先计算缺陷所在每个像素行的圆心角，根据圆心角与该像素行切面的半径计算得到此像素行处缺陷的实际长度。其次，由于两个像素行之间的距离并不是0，所以需要计算每两个像素行之间的实际距离a，以此进行纬度方向的拉伸校正[27]。

图6a为模型球示意图，图6b为B-B向视图，图6c为A-A向视图，图6d为像素行间距校正模型示意图。

l=·（8）

式中为处的样本半径，mm；1为1在半径方向上的投影长度，mm；1为1与1的夹角，(°)；2为2在半径方向上的投影长度，mm；2为2与的夹角，(°)；为位置缺陷弧长所对应的圆心角，(°)；为位置缺陷校正弧长，mm；3为某一行缺陷所在的纬度位置，3为3与2的夹角，(°)；3、4分别为3在水平半径和竖直半径上的投影长度，mm。通过计算不同行的弧长，可以得到整个缺陷的不同像素行的弧长。l为第行像素的拉伸长度，mm；为校正后的缺陷尺寸，mm2。

注：a1为A1在半径方向上的投影长度，mm；a2为A2在半径方向上的投影长度，mm；a3、a4分别为A3在水平半径和竖直半径上的投影长度，mm；α1为OA1与OP1的夹角，(°)；α2为OA2与OP的夹角，(°)；α3为OA3与OP2的夹角，(°)；r为A处的样本半径，mm；A1、A2为缺陷所在的经度位置，A3为某一行缺陷所在的纬度位置。P1，P2为赤道上的点，分别靠近缺陷的经度位置和纬度位置。Ai+1对应图6c中点O，Aii对应A3，AiAii对应a4，ai对应OA3。

1.7 检测分选装置流程

装置的检测流程如图7所示，当检测装置上的传感器检测到苹果经过时，会将信号传递给计算机，接着，计算机给相机发送采集指令，随后将采集到的图像进行全表面合成及缺陷面积校正，并给出预测的计算结果。最后，根据计算结果划分苹果等级，再将等级信息发送至单片机，由单片机控制分级机构实现分级。

图7 检测分选装置流程图

2 结果与分析

为验证本文针对苹果检测任务所设计方法的有效性。对缺陷面积校正的检测准确度进行外部验证。

2.1 缺陷面积检测结果的验证

为验证此模型的正确性，首先利用理想的球模型代替苹果进行试验。通过制作缺陷张贴在球体表面的方式进行试验。

该试验分为以下两个部分：1）果径对苹果缺陷面积校正算法的影响。2）缺陷位置对苹果缺陷面积校正算法的影响。

试验1：制作6个大小不同、形状相同的“缺陷”，准备样本球的直径分别为60、70、80、90、100 mm的5个试验样本球。试验过程如下：先将面积为18 mm2的“缺陷”分别张贴在5个样本球的表面的相同位置（偏角为10°），采集一轮预测面积的数据，再依次将其他“缺陷”置于不同直径的样本球表面，采集预测面积数据，共采集30个数据。通过计算校正后的缺陷面积，验证此算法是否适用于不同果径的样本。其经过校正前后对比结果如表5所示。

此试验结果显示，在经过校正后，除了第一组变异系数稍大，达到了9.41%，其余五组变异系数均小于6%，此外，各组标准差均有降低，这表明在经过校正以后，预测的结果与实测值更为接近，预测值更为稳定。综合分析上述试验，得出结论：苹果缺陷面积校正算法适用于不同直径的球模型，且样本的直径参数对此校正算法影响不大。

在实际采集苹果图像进行检测的过程中，会出现缺陷位置形心与相机镜头不是正对着的情况。形心与相机镜头之间的偏角对缺陷面积的检测也有影响。为了验证该算法对与形心与镜头在不同偏角处的校正效果，设计了试验2进行验证。

试验2：为验证缺陷的位置对算法校正值的影响。制作6个等级形状相同的“缺陷”，并将其分别张贴在80 mm样本球的10°、20°、30°、40°、50°的偏角处，每个角度处采集一次数据。此试验共采集30个数据，计算校正后的面积，分析缺陷的相对位置对此校正算法的影响，见表6。

表5 试验1缺陷验证试验对比结果

表6 试验2偏角验证试验对比结果

此试验结果显示，在经过校正后，6个缺陷的变异系数均小于9%，且6个缺陷的标准差对比校正前数据都有较大幅度的降低，在前5个等级的缺陷中，校正后的标准差均小于8 mm2。第6组的标准差相比前5组的结果较差，这是由于缺陷面积较大，无法贴紧样本表面导致，但相比于校正前依然有较好的结果。综合分析上述试验，得出结论：苹果缺陷面积校正算法适用于不同偏角位置的缺陷面积计算。

针对苹果表面缺陷面积检测做实际的试验验证。在线检测装置苹果缺陷面积校正算法精度验证分为2个验证试验：苹果缺陷面积校正算法的擦伤、碰伤、痘斑病、表面腐败样本的缺陷面积校正试验；苹果缺陷面积校正算法的擦伤、碰伤、痘斑病、表面腐败样本在不同偏角位置的缺陷面积校正试验。

从图8的结果中可以看出，经过校正算法校正以后，4种情况下的表面缺陷面积的预测值与实测值的决定系数2均在0.97以上，均方根误差（Root Mean Squared Error, RMSE）整体在4 mm2以下，整体的校正效果较好。在试验过程中发现，当相机镜头与缺陷形心之间的夹角变大时，预测值与实测值的误差大小也会相应地增大。为探究缺陷位于不同位置时算法校正的效果以及验证算法的校正稳定性，针对4种不同的表面损伤情况，分别各选取6个苹果样本进行验证试验。首先，按照前文中的测定实际损伤面积的方法测定损伤的实际面积大小，接着将缺陷置于不同偏角处（10°、20°、30°、40°、50°）进行图像采集，采集图像时，控制缺陷的形心与相机镜头之间的夹角与对应的偏角角度相等。采集完图像以后，利用图像校正算法对图像进行校正再计算其缺陷面积。最后，将实际测得的值与不同偏角处的预测值进行对比，结果如图9所示。

图8 4种缺陷校正后预测效果图

从图9可以看出，4种缺陷部分面积检测的结果在经过校正以后，预测值与实测值的误差整体在7 mm2以下。表7、8、9、10展示了试验对比结果。以表7为例，表7展示了6个用于试验的苹果样本在不同偏角处预测得到的表面擦伤面积的平均值与其实际值的对比结果，以及矫正前后检测的缺陷面积的大小、变异系数等的对比。表8、9、10分别展示了碰伤样本、痘斑病样本以及表面腐败样本的对比试验结果。

图9 4种缺陷偏角试验校正预测效果图

表7 擦伤样本面积校正后试验结果

表8 碰伤样本面积校正后试验结果

表9 痘斑病样本面积校正后试验结果

表10 表面腐败样本面积校正后试验结果

对比试验前后的试验结果可以看出，使用校正算法以后的计算结果比使用算法校正之前更接近真实值，其最大变异系数为10.15%，预测结果较稳定。

总结此次试验结果：30个擦伤样本预测值与真实值的2为0.978 7，RMSE为3.577 4 mm2，偏角试验中2为0.975 8，变异系数最大值为8.51%，RMSE为3.466 3 mm2；30个碰伤样本预测值与真实值的2为0.973 0，RMSE为3.981 9 mm2，偏角试验中2为0.974 2，变异系数最大值为9.98%，RMSE为4.062 4 mm2；30个痘斑病样本预测值与真实值的2为0.970 8，RMSE为3.836 6 mm2，偏角试验中2为0.977 9，变异系数最大值为7.57%，RMSE为3.895 3 mm2；30个表面腐败样本预测值与真实值的2为0.981 2，RMSE为3.178 1 mm2，偏角试验中2为0.974 8，变异系数最大值为10.15%，RMSE为6.304 4 mm2。以上试验结果表明，该缺陷面积校正算法在不同的偏角处所计算出的预测值与实际值的相关系数较高，整体误差和变异系数在可接受的范围内，对于缺陷面积的计算起到了一定的校正效果。

2.2 苹果外部品质分级试验

2.2.1 苹果分级标准

参考NY/T439-2001苹果外观等级标准[28]，结合样本的外观品质参数分布，提出基于缺陷面积的苹果等级分级标准。针对表面缺陷面积的分级没有特定的标准，在实际应用时，可以根据不同的需要，灵活调整。

2.2.2 苹果分级结果

使用100个样本进行评级试验，其中特等样本30个，一等样本40个，二等样本30个。试验结果如表11所示。100个样本的验证试验中，检测速度可以达到2个/s，其中评级正确95个，评级错误5个，总体评级正确率为95%。由于预测值与实际值之间存在一定的误差，使得在实际验证时造成错误评级，但误差整体偏小，处于可以接受的范围。

表11 苹果评级试验结果

3 结 论

本研究基于图像处理技术，以苹果表面缺陷面积为检测参数进行了无损检测研究，并研发了用以检测苹果表面缺陷在线检测及分级装置。主要研究内容及结论如下：

1）设计研发了苹果外部品质全表面在线检测分选装置。以苹果为研究对象，提出全表面图像合成算法，获取苹果全表面图像信息；提出缺陷面积校正算法，用于解决苹果经纬度跨度及位置对缺陷面积的预测所产生的影响，并进行动态试验验证，试验结果表明，在苹果直径及损伤位置偏角变化的情况下，该缺陷面积算法有较好的校正效果，能够提高对于表面缺陷面积的检测精度。

2）利用未参与建模的样本对研发的苹果外部品质在线检测装置的缺陷面积校正算法以及分级结果进行了独立外部验证。检测结果显示，经过缺陷校正算法的校正，预测值与实测值的总体决定系数2在0.97以上，均方根误差RMSE在4 mm2以下；在偏角试验中，预测值与实测值的总体决定系数2在0.974 2以上，均方根误差RMSE在6.304 4 mm2以下。在100个样本的分级验证试验中，整体正确率为95%。在实际的检测分级试验中，检测速度可以达到2个/s，满足实际的检测需求。测试结果显示优化后装置的各项性能均稳定可靠。

此苹果外部缺陷全表面在线检测分选装置针对苹果的缺陷面积检测结果以及分级效果均较好。所提出的全表面缺陷面积检测算法在检测试验中获得了较好的结果，研发的装置对于苹果的检测分级提供了一种理论方法和技术方案。

[1] 张彪. 中国苹果产业近7年产量、加工和贸易状况分析[J]. 中国果树，2018(4)：106-108.

Zhang Biao Analysis on the output, processing and trade of China’s apple industry in recent seven years[J]. China Fruits, 2018(4): 106-108. (in Chinese with English abstract)

[2] 赵德英，袁继存，徐锴，等. 近10年来国内外苹果产销分析[J]. 中国果树，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[3] 庞桂娟，张复宏，宋晓丽. 我国苹果产业转型升级路径与对策[J]. 合作经济与科技，2018，598(23)：24-27.

Pang Guijuan, Zhang Fuhong, Song Xiaoli. Path and countermeasures for transformation and upgrading of China's apple industry[J]. Cooperative Economy and Science and Technology, 2018, 598(23): 24-27. (in Chinese with English abstract)

[4] Fan S, Liang X, Huang W, et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network[J]. Computers and Electronics in Agriculture, 2022, 193: 106715.

[5] Xin Y, Ma S, Wei Y, et al. Detection of apple surface defect based on YOLOv3[Z]. 2021 ASABE Annual International Virtual Meeting. St. Joseph, MI; ASABE. 2021: 1.

[6] Wang Z, Jin L, Wang S, et al. Apple stem/calyx real-time recognition using YOLO-v5 algorithm for fruit automatic loading system[J]. Postharvest Biology and Technology, 2022, 185: 111808.

[7] Fan S, Li J, Zhang Y, et al. Online detection of defective apples using computer vision system combined with deep learning methods[J]. Journal of Food Engineering, 2020, 286: 110102.

[8] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180: 111615.

[9] 彭彦昆，孙晨，赵苗. 苹果品质动态无损感知及分级机器手系统[J]. 农业工程学报，2022，38(16)：293-303.

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract)

[10] 邵志明，王怀彬，董志城，等. 基于近红外相机成像和阈值分割的苹果早期损伤检测[J]. 农业机械学报，2021，52(S1)：134-139.

Shao Zhiming, Wang Huaibin, Dong Zhicheng, et al. Early bruises detection method of apple surface based on near infrared camera imaging technology and image threshold segmentation method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 134-139. (in Chinese with English abstract)

[11] 陈艳军，张俊雄，李伟，等. 基于机器视觉的苹果最大横切面直径分级方法[J]. 农业工程学报，2012，28(2)：284-288.

Chen Yanjun, Zhang Junxiong, Li Wei, et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 284-288. (in Chinese with English abstract)

[12] 樊泽泽，柳倩，柴洁玮，等.基于颜色与果径特征的苹果树果实检测与分级[J].计算机工程与科学，2020，42(9)：1599-1607.

Fan Zeze, Liu Qian, Chai jiewei ,et al. Apple detection and grading based on color and fruit-diameter.[J]. Computer Engineering and Science, 2020, 42(9): 1599-1607. (in Chinese with English abstract)

[13] 张彦斐，刘茗洋，宫金良，等. 基于两级分割与区域标记梯度Hough圆变换的苹果识别[J]. 农业工程学报，2022，38(19)：110-121.

Zhang Yanfei, Liu Mingyang, Gong Jinliang, et al. Apple recognition based on two-level segmentation and region-marked gradient Hough circle transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 110-121. (in Chinese with English abstract)

[14] 田有文，吴伟，卢时铅，等. 深度学习在水果品质检测与分级分类中的应用[J]. 食品科学，2021，42(19)：260-270.

Tian Youwen, Wu Wei, Lu Shiqian, et al.Application of deep learning in fruit quality detection and grading[J]. Food Science, 2021, 42(19): 260-270. (in Chinese with English abstract)

[15] 李学军，程红. 基于决策融合的苹果分级检测关键技术研究[J]. 食品与机械，2020，36(12)：136-140.

Li Xuejun, Cheng Hong. Study on key technologies for apple grading detection based on decision fusion method[J]. Food & Machinery, 2020, 36(12): 136-140. (in Chinese with English abstract)

[16] 周胜安，黄耿生，张译匀，等.基于深度学习的水果缺陷实时检测方法[J]. 食品与机械，2021，37(11)：123-129.

Zhou Sheng’an, Huang Gengsheng, Zhang Yijun, et al. Real time detection method of fruit defects based on deep learning[J]. Food & Machinery, 2021, 37(11): 123-129. (in Chinese with English abstract)

[17] 李龙，彭彦昆，李永玉，等.基于纹理和梯度特征的苹果伤痕与果梗/花萼在线识别[J]. 农业机械学报，2018，49(11)：328-335.

Li Long, Peng Yankun, Li Yongyu, et al. Online identification of apple scarring and stems/calyxes based on texture and edge gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(11): 328-335. (in Chinese with English abstract)

[18] Pande A, Munot M, Sreeemathy R, et al. An efficient approach to fruit classification and grading using deep convolutional neural network[C]//2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, 2019: 1-7.

[19] 黄辰，费继友. 基于图像特征融合的苹果在线分级方法[J].农业工程学报，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[20] 谈英，顾宝兴，姬长英，等. 基于颜色和重量特征的苹果在线分级系统设计[J]. 计算机工程与应用，2016，52(2)：219-222.

Tan Ying, Gu Baoxing, Ji Changying, et al. Design of on-line apple grading system based on color and weight[J]. Computer Engineering and Applications, 2016, 52(2): 219-222. (in Chinese with English abstract)

[21] Zhang Q, Gu B, Ji C, et al. Design and experiment of an online grading system for apple[J]. Journal of South China Agricultural University, 2017, 38(4): 117-124.

[22] 李龙，彭彦昆，李永玉. 苹果内外品质在线无损检测分级系统设计与试验[J]. 农业工程学报，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[23] Yang Y, Velastin S A, Fei Y. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm[J]. Information Processing in Agriculture, 2020, 7(4): 556-565.

[24] 孙丰刚，王云露，兰鹏，等. 基于改进YOLOv5s和迁移学习的苹果果实病害识别方法[J]. 农业工程学报，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[25] Zhang C, Zhao C, Huang W, et al. Automatic detection of defective apples using NIR coded structured light and fast lightness correction[J]. Journal of Food Engineering, 2017, 203: 69-82.

[26] Chopra H, Singh H, Bamrah M S, et al. Efficient fruit grading system using spectrophotometry and machine learning approaches[J]. IEEE Sensors Journal, 2021, 21(14): 16162-16169.

[27] Liu L, Peng Y, Li L. Accurate conversion method of surface bruise size in on-line detection of spherical fruit[C]//2021 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, USA, 2021.

[28] 中华人民共和国农业部. 苹果外观等级标准：NY/T 439-2001[S]. 北京：中国标准出版社，2001.

Development of full-surface online detection and sorting device for external defects of apples

Peng Yankun, Sun Chen, Liu Le, Li Yang

(1.,,100083,; 2.-,100083,)

Testing equipment is still lacking on the fruits post-production, particularly in a major fruit consuming of China. The current online device cannot fully meet to collect the full surface image information of spherical fruits, leading fail to accurately calculate the defect area. This study aims to rapidly and accurately detect the surface defect area of spherical fruits. The full surface image synthesis and defect area correction were proposed using the ideal ball model. A series of online detection and grading device were designed for the external quality of spherical fruits. This device was also different from the traditional full-surface detection device. Specifically, four cameras were used to collect images at the same time to obtain the full surface images of spherical fruits. The collected images were used to synthesize and correct, in order to obtain more accurate values of the surface defect area. Taking the apple as an example, an online detection device was designed to explore the best excitation light source required for the apple image acquisition. The refraction effect was then evaluated to clarify the influence on the fruit cup material. Then, the ball model was established to accurately calculate the surface defect area of apples using the apple full surface image synthesis and the defect area correction. A series of experiments were carried out to verify after segmentation and synthesis of the apple surface image, indicating no missing rate in the overall images. A defect area correction was proposed to calculate the real area of apple defects at any position in the image. 120 samples were selected for verification, including 30 scratch samples, 30 bruise samples, 30 spot samples, and 30 surface corruption samples, respectively. The determination coefficient (2) was 0.978 7 between the predicted and the real value of the scratch sample defect area, where the Root Mean Squared Error (RMSE) was 3.577 4 mm2,2was 0.975 8 in the deflection angle experiment , and the RMSE was 3.466 3 mm2. The2was 0.973 0 between the predicted and the real value for the defect area of the impact sample, where the RMSE was 3.981 9 mm2, the2was 0.974 2 in the deflection angle experiment, and the RMSE was 4.062 4 mm2. The2was 0.970 8 between the predicted and real value for the defect area of the speckled spot sample, where the RMSE was 3.836 6 mm2, and the2was 0.977 9 in the deflection angle experiment, the RMSE was 3.895 3 mm2. In the surface corruption sample defect area, the2was 0.981 2 between the predicted and real values, the RMSE was 3.178 1 mm2, whereas, the2was 0.974 8 in the deflection angle experiment, and the RMSE was 6.304 4 mm2. The detection speed of the device was 2 apples/s, the rating accuracy was 95%, indicating a higher detection and apple rating accuracy than before. The relatively stable running was realized for the detection and grading evaluation of external defects of apples. The finding can provide technical support for the external quality detection of spherical fruits.

machine vision; agricultural products; nondestructive testing; apple external quality; online device

10.11975/j.issn.1002-6819.2022.23.028

S237

A

1002-6819(2022)-23-0266-10

彭彦昆，孙晨，刘乐，等. 苹果外部缺陷全表面在线检测分选装置研发[J]. 农业工程学报，2022，38(23)：266-275.doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

Peng Yankun, Sun Chen, Liu Le, et al. Development of full-surface online detection and sorting device for external defects of apples[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

2022-07-26

2022-10-27

国家重点研发计划项目（2021YFD1600101-06）

彭彦昆，教授，博士生导师，研究方向为农畜产品无损检测技术与装备。Email：ypeng@cau.edu.cn