苹果品质动态无损感知及分级机器手系统

彭彦昆，孙 晨，赵 苗

苹果品质动态无损感知及分级机器手系统

彭彦昆，孙 晨，赵 苗

（1. 中国农业大学工学院，北京 100083；2. 国家农产品加工技术装备研发分中心，北京 100083）

为了实现灵活高效的苹果多品质指标检测分级，基于机器视觉技术及可见/近红外光谱技术，开发了用于苹果内外部品质无损感知及分级的机器手系统。机器手系统采用六轴机械臂搭载自行研发的末端执行器，末端执行器上装载有光学传感器与抓取结构，可以抓取流水线上的苹果并同时采集苹果的光谱进行糖度检测。使用CMOS相机采集苹果图像，训练并使用PP-YOLO深度学习目标检测模型处理采集的苹果图像，计算苹果的坐标位置实现苹果的动态定位，并获取苹果的果径大小、着色度信息实现外部品质检测。采集苹果样本光谱，结合不同的光谱预处理方式，利用偏最小二乘（Partial Least-Square，PLS）方法进行建模分析。试验结果表明，使用PP-YOLO目标检测算法处理图像和计算苹果位置，其识别速度为38帧/s，极大地提高了检测速度。使用归一化光谱比值法（Normalized Spectral Ratio，NSR）作为预处理算法的糖度建模结果较佳。采用NSR+CARS（Competitive Adaptive Reweighted Sampling，竞争性自适应重加权算法）作为机器手的动态光谱模型效果较佳，该动态光谱模型相关系数为0.958 9，验证均方根误差RMSEV（Root Mean Squared Error of Validation）为0.462 7%，与静态下建立的模型相比，机器手在动态状态下采集光谱对所建立的预测模型的预测效果影响较小。对整体机器手系统进行了试验验证，机器手在工作时能够无损伤地抓取苹果，给出果径大小、着色度、糖度3个检测指标并依据指标自动划分等级，然后依据等级信息分级。随后测定了3个指标的实测值与预测值进行分析，果径大小的预测相关系数为0.977 2，均方根误差为1.631 5 mm；着色度的预测相关系数为0.967 4，均方根误差为5.973 4%；糖度的预测相关系数为0.964 3，均方根误差为0.504 8%，预测结果与真实值均具有较强的线性关系和较低的预测误差，机器手系统分级正确率为95%，完成一颗苹果的定位、抓取、检测、分级和放置的时间约为5.2 s，具有较好的工作可靠性，研究结果可为苹果多品质指标的高效检测提供参考。

机器视觉；可见/近红外光谱；苹果；无损感知；分级；机器手系统

0 引 言

中国作为农业大国，是世界上苹果种植面积和产量最高的国家[1]，随着人们生活水平的提高，消费者越来越看重苹果的品质，苹果品质的优劣直接影响消费者的购买行为。从产量看，中国苹果产量高，但是国际市场竞争力不足，中国苹果经过商品化处理的数量仅占总产量的8%，而波兰、美国等苹果贸易大国基本实现了100%的苹果采后处理[2]，采后分级处理是制约中国苹果产业发展的重要因素，主要原因是中国果品的自动化分级处理程度仍处于较低水平[3]。

国外对水果分级的研究相比国内起步较早，已有成熟的水果检测分级产品，如美国的OSCARTM型和MERLIN型高速球形水果分级生产线[4]，可以实现果实大小、颜色、外部缺陷、内部缺陷等指标检测分级，自动化程度较高。国内对水果品质检测技术也已有较多研究[5-10]，对水果内部品质进行无损检测多应用可见/近红外光谱技术，外部品质检测一般应用计算机视觉/机器视觉技术。

糖度是苹果重要的内部品质指标，对于苹果糖度的测定，传统检验方法是利用化学方法进行破坏性试验，而可见/近红外光谱分析技术突破了化学检验的局限性，具有快速、无损、简便、精确等优点。在苹果可见/近红外光谱分析中，主要定量建模方法有偏最小二乘法、多元线性回归、支持向量机回归和主成分回归等。樊书祥等[11]针对苹果产地差异对苹果可溶性固形物近红外光谱模型的影响进行了研究。郭志明等[12]为提高近红外模型对苹果品质指标的检测精度，利用提取特征变量的方法对苹果检测模型进行优化。果径大小、重量、颜色、外部缺陷等是苹果重要的外部品质指标，Sofu等[13]设计了一种基于机器视觉的苹果自动分拣系统，可根据苹果的大小、颜色、重量及外部缺陷进行分级。黄辰等[14]提出改进的三层Canny边缘检测算法来提取苹果轮廓，融合判别树对苹果果径、缺陷面积、色泽等特征的初步判断以及采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征的分级结果实现了对苹果的精确分级。

目前，苹果的无损检测分级设备主要有便携式检测设备和在线式检测设备，乔鑫等[15]发明了一种手机联用的苹果糖度便携式无损检测装置，但是便携式设备依赖人工操作，无法实现大批量自动化检测分级。在线式检测分级设备能实现大批量检测分级，但是一般在线式设备体积较大，机械结构复杂，价格昂贵[16]，并且能够同时检测内外部多品质指标的分级检测设备还比较少。李龙等[17]设计了苹果内外品质在线式无损检测分级系统，使用近红外检测模块和机器视觉模块，检测指标包括苹果可溶性固形物含量及外部损伤，系统体积小，结构简单，检测速度快，但是检测后缺乏自动化分级环节。目前国内外应用于水果内部及外部品质检测的分级机构类型主要有料斗翻转式[18-19]、气吹式[20-21]、机械手抓取式[22]等；在蔬菜分级领域，最新的研究采用了托架式分级机构对水培生菜进行分级[23]，实现了对水培生菜检测分级一体化，极大地提高了分选的机械化程度。随着机器人技术的不断发展，机械臂在农业生产、工业制造、物流运输、医疗设备等方面的应用越来越广泛，其具有灵活度高、自由度高的特点，不仅能应用于苹果的采摘收获[24]，而且将其应用于苹果的检测分级也能使得分级更加轻柔灵活[25]。为解决国内市场上苹果检测与分级装箱设备分立，多为外部品质指标分级，外部品质结合内部品质检测分级设备少，且机械结构复杂等难题，实现灵活高效的苹果多品质指标检测和分级一体化，本研究基于机器视觉技术及可见/近红外光谱技术，在实验室前期研究[26]的基础上，对机器手系统的目标检测算法进行了优化，提高了视觉系统的检测速度以及识别准确率；对末端执行器的整体结构进行调整优化，使得机器手系统在动态状态下采集光谱更稳定，对糖度的预测效果更佳。能够实现苹果的糖度、果径大小、着色度在线检测与分级，拟为苹果多品质指标的高效检测提供参考。

1 材料与方法

1.1 材料

试验材料为购于北京当地一家超市的红富士苹果，选取了200个没有损伤和缺陷的样本，运回实验室，对样本进行表面清洁和编号，保存在冰箱冷藏室内，在进行试验之前取出苹果样本，将苹果样本在室温25℃下放置24 h，使苹果温度与室温一致，避免温度因素对试验结果造成影响。取其中160个苹果样本用于糖度建模，另外40个样本用于分级试验，验证机器手检测分级功能。

使用CMOS相机在不同场景下拍摄了200张包含苹果的照片，部分照片如图1所示，将照片尺寸统一修改为（512×512）像素，然后使用图像标注软件Labelme对数据集内图片进行人工标注。之后对这200张标记过的图片进行数据增强处理，数据增强方式包括随机旋转、随机裁剪、颜色变换、高斯噪声、缩放，最终获得了一个3 000张图像的数据集。该数据集用于深度学习神经网络的训练。

图1 数据集部分图片

1.2 机器手动态检测分级系统

1.2.1 系统结构组成

本文设计的机器手动态检测分级系统由一台六自由度机械臂、机械臂控制器、传送带、CMOS相机、机械臂末端执行器、计算机及控制软件组成，其结构如图2所示。选用六自由度的机械臂而没有选用高效的delta机械臂，一是因为delta虽然在分拣小型零件时非常灵活高效，但是苹果体积对delta机械臂来说是比较大的分拣对象；二是因为为了实现抓取-检测-分级-装箱一体化，要将苹果分为三个等级，装到三个不同的箱子里，机械臂需要将苹果从传送带上移动较大的距离，但是delta机械臂的工作空间较小，因此整体设计方案选用六自由度机械臂。

整体架构在前期的工作[26]基础上进行了进一步改进，实现了从静态检测到动态抓取检测分级及装箱。机械臂本体质量为13 kg，最大载荷3 kg，最大伸展距离624 mm，机械臂控制器分别与计算机和机械臂本体连接，接收计算机发送的移动指令，控制机械臂本体各轴电机转动。机械臂末端轴与末端执行器之间使用螺栓连接，组成机器手。本文设计的末端执行器上搭载了抓取苹果的夹持机构和可见/近红外光谱采集结构，用于抓取苹果的同时采集苹果的可见/近红外光谱。使用传送带输送苹果用于模拟苹果采后处理动态流水线，苹果被朝向一致地排布在输送带上，果梗和花萼的轴线处于水平方向上，以便于夹持机构抓取苹果的赤道部位并采集赤道部位光谱。CMOS相机固定在传送带上方，与机械臂的关系属于“eye-to-hand”形式，即“眼在手外”，此种布置方式的优势在于，相机能够获得较大的视野，且相机视野不随机械臂运动而改变，当机械臂运动时不会脱离视场，具有较高的工作效率。CMOS相机用于采集图像和获取苹果的外观信息及位置信息，相机与机器手之间经过手眼标定，可以将相机坐标系中的苹果位置坐标转换为机器手坐标系中的坐标。相机配合深度学习模型对苹果进行实时识别定位，计算机根据苹果位置信息及传送带的运输速度计算出合适的抓取位置坐标，再向机器手发送抓取指令完成抓取及后续检测分级操作。编写的控制软件用于控制检测分级全过程并将检测分级结果实时显示在软件界面上。

图2 机器手系统结构图[26]

1.2.2 机器手手眼标定

相机用于采集图像并进行苹果坐标位置检测及外部品质检测，但是相机的图像坐标系与机械手的坐标系是两个不同的坐标系，同一个苹果在两个坐标系下的位置坐标是不同的。为了让机械手成功抓取苹果，需要将相机坐标系下的苹果坐标转化成机械手坐标系下的坐标，因此，还需要进行“手眼标定”。相机镜头轴线处于竖直方向，且机械手底座、传送带都是水平安装、相机、机械臂底座、传送带的相对高度是一定的，因此，只需要对图像坐标系和机械手坐标系进行二维平面之间的标定。

标定的本质是对两个坐标系的仿射变换，需要得到两个坐标系之间的仿射变换矩阵，该矩阵可由式（1）表示，由于只进行二维仿射变换，因此矩阵最后一行为“0”，“0”，“1”。为了便于矩阵运算，假定图像坐标系内的某一点坐标用（X，Y，1）表示，假设该点在机械手坐标系下坐标为（X，Y，1），两个坐标与矩阵之间的关系可以表示为公式（2）。

由公式可知，机械手坐标系下的苹果坐标只需通过矩阵与图像坐标系下的坐标进行运算即可求得，因此，使用三组对应点的坐标即可求取矩阵中的a～f各参数。使用硬纸板和打印有若干黑色圆点的白纸制成标定板，如图3所示。

图3 标定板

在机械臂末端轴上安装标定针，利用机械臂示教器手动控制机械臂和标定针移动，因为机械手在抓取苹果时末端轴轴线应保持竖直，因此标定过程中使机械臂末端轴轴线始终保持竖直向下，当标定针接触到标定点的圆心位置时，记录此时机械臂的坐标，依次走完3个点。再利用软件HALCON通过图像处理的方法得到这3个点在相机坐标系下的坐标。将得到的对应的三组机械手坐标系坐标和相机坐标系坐标代入公式（2），即可求解仿射变换矩阵。由此，完成了相机坐标系到机械手坐标系的转换。

1.2.3 末端执行器

末端执行器集成了抓取苹果和内部品质检测功能，末端执行器上搭载了抓取苹果的夹持机构和可见/近红外光谱采集结构，可见/近红外光谱结构位于末端执行器内部，可实现抓取苹果的同时采集可见/近红外光谱，通过对采集到的光谱进行分析从而进一步得到苹果的内部品质信息。末端执行器夹持苹果由一对齿轮齿条驱动的手指完成，末端执行器在抓取苹果时，需要保证无损抓取苹果[27]，夹持机构使用基于鱼鳍结构[28]的软橡胶两指结构完成抓取和释放苹果的动作，在夹持苹果时软橡胶直接接触苹果表面，不会对苹果表面造成损伤。使用了步进电机驱动齿轮齿条副及与之相连的手指，达到两指结构开合的动作，完成苹果的抓取和释放。可见/近红外光谱采集结构由光源、光学传感器、光纤探头等部分组成，其结构可参考此前的工作[26]。末端执行器底部具有微动开关，当机器手带动末端执行器贴近苹果表面时，微动开关被触发并向计算机发送信号，光谱采集结构采集苹果样本的可见/近红外光谱。在试验研究中采用了我团队先前开发的末端执行器[26]，在其基础上对可见/近红外模块进行优化、优化了光谱采集策略，配合机器手的抓取动作，调整积分时间，提高光谱采集的稳定性；整体结构进行细化，对驱动手指开闭的齿轮架进行重新设计优化，对手指与传动齿条间的固定支撑结构重新设计，进一步提高结构的稳定性以及工作的可靠性，实物图如图4所示。末端执行器质量为1.5 kg，长度约为20 cm，宽度约为2 cm，高度约为13 cm，单次张开或闭合耗时约0.5 s。

图4 末端执行器

1.2.4 控制软件的实现

基于Python语言，利用PyQt5平台，编写了上位机控制软件，软件的主要功能包括图像采集、目标检测、图像处理、机械臂通信及控制、末端执行器控制、光谱采集及分级结果显示等，软件界面如图5所示。当机器手系统启动时，传送带开始以设定的速度输送苹果，CMOS相机开始采集图像并传回计算机软件，软件通过调用PP-YOLO训练的目标检测模型计算苹果的实时位置，并计算合适的抓取位置。机械臂在抓取苹果时，需要考虑机械臂最大的工作范围，需要确保机械臂在抓取时，处于安全的工作范围。因此，在传送带上设定了一段安全的抓取范围，当目标检测模型检测到苹果进入安全抓取范围时，会记录这一时刻苹果的坐标位置（,）及果径大小（mm），根据公式（3）计算机器手的抓取坐标（，，）。

式中为机器手由初始位运动到苹果抓取区域范围的一般用时，经试验约为0.5 s，v为传送带输送速度，mm/s；为传送带相对地面高度，mm；为机械臂底座相对地面高度，mm。需要注意的是，抓取点为末端执行器的抓取中心应到达的点，已考虑末端执行器长度的偏移量。然后将抓取位置信息发送给机械臂控制器，从而控制机器手抓取传送带上的苹果。在末端执行器靠近苹果的同时微动开关被触发，信号由与微动开关相连的单片机发送给上位机软件，软件控制光谱采集结构采集苹果的可见/近红外光谱，调用上位机中的糖度光谱预测模型计算苹果糖度值，实现苹果内部品质的检测。

图5 控制软件界面

1.3 基于PP-YOLO的目标识别算法

为了提高检测分级效率，本文设计了在动态流水线上使用机器手系统完成苹果检测分级的方案。在动态流水线上实现使用机器手抓取苹果是一个关键环节，而得到准确的苹果位置信息是实现抓取的第一步，因此苹果位置动态识别至关重要。

为了实现苹果位置动态识别，本文使用了PP-YOLO目标检测算法，PP-YOLO是在YOLOv3基础上改进得到的目标检测算法，检测速度更快，精度更高，也更轻量化，更加适用于实时检测场景。PP-YOLO结合了现有的几乎不增加模型参数和触发器的技术，在几乎恒速的条件下尽可能地提高了检测器的精度。PP-YOLO使用改进后的ResNet50-vd替换了原YOLOv3中的DarkNet-53，数据增强只使用mix-up方法，使得PP-YOLO的训练和推理效率更高。图6是PP-YOLO的整体结构。

1.4 图像处理

苹果的外部品质检测通过图像处理实现，外部品质指标包括果径大小和着色度。在使用PP-YOLO检测模型进行目标检测后，已经得到苹果的外接矩形的坐标，可以进一步计算出苹果在图像中的果径大小，在相机和传送带相对固定后，对图像坐标系下苹果的直径与苹果直径的实际测量值之间的关系进行标定，从而根据图像中苹果直径推算苹果实际直径。对于富士苹果而言，苹果的着色度可定义为苹果表面红色部分面积占整个苹果表面积的比例，在本文中，对苹果显露在相机视野中的一面进行着色度计算，用苹果的一部分表面着色度情况预测整体着色度，在后续研究中将使用机械结构使苹果翻滚，以获得苹果全表面图像，进一步提高着色度检测的预测准确度及精度。图像处理过程如图7所示，在进行目标检测后，需要更加精确提取苹果的表面区域，对苹果矩形区域范围内的图像进行灰度化处理及二值化处理，采用了膨胀的图像形态学处理，得到苹果表面的感兴趣区域图像。相机采集到的图像为RGB彩色图像，使用OpenCV库中的“cvtColor”方法将图像转换到HSV色彩空间，编写程序遍历HSV色彩空间图像对应的感兴趣区域中的每一个像素点，提取每个像素点的、、三个通道的值，判断像素点是否为红色像素，根据红色像素点数量占苹果表面像素点数量的百分比计算其着色度。

注：C1～C5代表骨干网络ResNet50-vd的5个尺寸不同的卷积层，其尺寸、通道数、卷积层数都不同；P3～P5代表经由特征金字塔网络生成的三个尺寸不同的特征金字塔层。

图7 图像处理过程

1.5 苹果内部品质检测模型的建立

苹果的光谱由机器手末端执行器抓取苹果的同时采集，末端执行器上装载的光学传感器（STS-NIR型，Ocean Optics，USA）采集苹果的可见/近红外光谱，其尺寸为40 mm×42 mm×24 mm，质量为68 g，光学分辨率为0.5 nm，采集的波长范围为650～1 100 nm，光学传感器对每个样本的采光谱部位采集5次取平均光谱。所有用于建模的样本采集完静态光谱后采集动态光谱。样本先在机器手处于静态状态下采集光谱，采集时手动将苹果贴近末端执行器，触发微动开关从而采集光谱，随后再采集机器手动态抓取苹果状态下的光谱，苹果由传送带输送，机器手抓取苹果的同时采集光谱，如图8所示。当传送带传送速度在0～0.15 m/s范围内时，机器手系统能保证准确抓取。分别采集静态光谱和动态光谱进行建模分析是为了比较这两种采集状态下光谱及建立的模型是否会存在较大差异，从而探究机器手在正常的动态工作状态下是否会对采集光谱环节造成影响。光谱数据所使用的预处理方式包括无预处理（None）、标准正态变换（Standard Normal Variate transform，SNV）、归一化光谱比值法[29]（Normalized Spectral Ratio，NSR）。

图8 光谱的动态采集

在光谱数据采集完成后，根据标准NY/T 2637—2014中的方法[30]，使用数字折光仪测定苹果的糖度值。从苹果样本赤道上的光谱采集部位削去果皮，取出适量果肉，将果肉榨出果汁并摇匀，将果汁滴入数字折光仪，测定糖度值并记录，后续用于建立苹果糖度的可见/近红外预测模型。苹果直径一般被定义为苹果沿赤道方向的直径，利用游标卡尺测定其果径的真实值，用于验证果径大小的预测情况。利用标准比色板进行着色度的感官评定，用于验证着色度的预测情况。用于试验的200个苹果样本的糖度在8.1%～15.5%之间，果径大小在62.5～93.5mm之间，着色度范围在10.1%～99.5%之间。

1.6 机器手系统工作流程

机器手系统的工作流程如图9所示。

图9 机器手系统工作流程图

2 结果与分析

2.1 PP-YOLO模型训练与验证结果

将数据集图片输入网络进行训练，训练集和测试集的比例为7∶3。模型训练的运行环境：GPU: Tesla V100，Video Mem: 16 GB，设置基础学习率为0.001 5，batchsize设置为8，迭代轮数epoch设置为500轮，迭代完成后保存最终模型，训练总耗时约20 h。

模型的精准率为0.965 5，召回率为1，准确率为0.998 4，该模型对苹果的正确识别率达到100%，实际识别时的效果如图10所示，模型能对苹果的位置信息进行画框标注，其画框准确性与人工标注效果十分接近，模型识别效果良好。模型的检测速度为38帧/s，能够实现对苹果位置坐标的实时监测，满足机器手系统的工作要求。

a. 真实结果b. 预测结果 a. True valueb. Predicted value

2.2 苹果糖度建模与模型评价

图11为160个样本采集的静态光谱和动态光谱及对应的预处理后的光谱。

a. 静态原始光谱b. 动态原始光谱c. 静态SNV光谱 a. Static raw spectrumb. Dynamic raw spectrac. Static SNV spectrum

d. 动态SNV光谱e. 静态NSR光谱f. 动态NSR光谱 d. Dynamic SNV spectrae. Static NSR spectrumf. Dynamic NSR spectra

使用偏最小二乘回归算法分别建立了静态光谱与糖度值、动态光谱与糖度值的模型，将160个样本按照3∶1的比例随机划分为校正集和验证集，为了评价模型效果，使用了校正集相关系数（R）、校正集均方根误差（Root Mean Squared Error of Calibration，RMSEC）、验证集相关系数（R）、验证集均方根误差（Root Mean Squared Error of Validation，RMSEV）等参数评价模型。苹果糖度的可见/近红外光谱建模结果如表1所示。相比于原始光谱建模，SNV预处理和NSR预处理均能起到提升建模效果的作用，NSR预处理取得了较佳建模结果，静态光谱建模结果整体略好于动态光谱建模结果。机器手在动态工作状态下采集光谱建模结果和静态状态下相比有所降低，但相差不大，因此动态光谱所建模型可以用于机器手工作状态下预测苹果内部品质。

表1 苹果糖度静态和动态采光谱建模结果

在NSR预处理的动态光谱模型基础上进行了进一步优化，分别使用竞争性自适应重加权算法（Competitive Adaptive Reweighted Sampling，CARS）[31]和变量组合种群分析（Variable Combination Population Analysis，VCPA）[32]对NSR预处理光谱进行了特征波长筛选。

使用CARS筛选到的特征波长数量为39个，VCPA筛选到的特征波长数量为10个，图12a、12b分别为CARS和VCPA筛选到的特征波长点在NSR光谱曲线上的分布情况，可以看出两种方法筛选到的特征波长一部分具有相近的波长范围，但是VCPA将特征波长的空间压缩得更小，特征波长数量少于CARS。

使用NSR预处理结合特征波长筛选方法进行建模，NSR+CARS的建模结果为：R=0.974 9，RMSEC= 0.313 8%，R=0.970 5，RMSEV=0.366 8%；NSR+VCPA的建模结果为：R=0.972 0，RMSEC=0.334 9%，R= 0.967 5，RMSEV=0.401 1%。经过特征波长筛选，建模结果有所提升，CARS筛选的特征波长建模结果好于VCPA，因此使用NSR+CARS模型作为最终机器手系统工作时的糖度预测模型。

2.3 装置验证结果

为了验证机器手系统动态检测分级性能，进行了分级试验。将NSR预处理的动态光谱模型置入上位机，可以在机器手系统进行动态抓取检测时供上位机控制软件调用，以实现苹果内部品质的动态检测。

使用了40个样本用于分级试验。机器手系统根据果径大小、着色度、糖度将苹果品质分为3个等级，3个等级的要求参考了GB/T 10651—2008鲜苹果标准中对富士苹果的品质要求的规定，并根据实际的检测情况加以修改，市面上售卖的富士苹果的果径大小一般在60～100 mm之间，据此划分了3个等级的果径大小阈值，富士苹果大多数以红色为主，优等苹果的着色度在90%以上，着色度75%以下的苹果在视觉上花纹较多，据此划分了着色度的等级阈值，在试验过程中测定的苹果糖度的范围一般在8%～15%之间，据此划定了糖度的等级阈值，苹果各等级对品质指标的要求如表2所示。

图12 特征波长筛选结果

表2 苹果品质综合分级方式

若苹果的三个指标检测结果分属不同等级，则苹果最终的等级按照最低的等级确定，例如，苹果果径属于一级，着色度属于一级，糖度属于二级，则该苹果属于二级，依此类推。

试验流程和机器手系统工作流程一致，苹果样本使用传送带输送，苹果运动到相机视野内后，目标检测模型对图像进行处理，实时追踪苹果的坐标位置，同时，控制软件计算苹果的果径大小和着色度。当苹果运动到适合机器手抓取的区域范围，控制软件计算抓取点坐标，将坐标发送给机械臂控制器，机器手移动到抓取点，苹果触碰微动开关，触发手指的抓取动作并完成光谱采集，光谱数据被代入模型进行计算，得到糖度预测值。控制软件根据果径大小、着色度、糖度等信息判断苹果所属等级，控制机器手将苹果装入不同的等级箱中，完成分级。在使用机器手系统完成分级后，对40个样本的果径、着色度、糖度进行了测量并记录，随后使用游标卡尺测量苹果样本的果径大小，使用标准比色板进行着色度感官评定，使用数字折射仪测定苹果糖度值，记录苹果的品质指标实际测定值与实际等级。机器手系统对苹果样本品质指标检测结果如图13所示，苹果样本的等级检测结果如表3所示。

图13 机器手系统对苹果样本品质指标检测结果

表3 机器手系统对苹果样本等级的检测结果

从表3中可以看出，在所有苹果样本中，有2个样本实际等级与机器手系统的分级结果不一致，分别是样本4号和24号，是由于机器手系统的着色度检测结果比实际着色度值偏大造成的，其余38个样本的分级结果正确，分级正确率为95%。对苹果果径大小、着色度、糖度的实测值与预测值进行分析，果径大小的预测相关系数为0.977 2，均方根误差为1.631 5 mm；着色度的预测相关系数为0.967 4，均方根误差为5.973 4%；糖度的预测相关系数为0.964 3，均方根误差为0.504 8%，果径大小、着色度、糖度的预测结果与真实值均具有较强的线性关系和较低的预测误差。在机器手工作过程中，机器手能够准确稳固地抓取苹果，并能够成功装箱，每颗苹果从识别到装箱的分级平均用时为5.2 s，满足动态分级的需求。在后续的研究中，可以对机械臂的运动轨迹及抓取策略进行优化，也可以考虑应用更加高速灵活的机械臂，并使用多台机械臂同时工作，以提高机器手系统整体的工作效率。

3 结 论

1）本研究针对富士苹果的内外部品质指标研发了动态无损感知及分级机器手系统，系统由机械臂、机械臂控制器、CMOS相机、末端执行器、计算机及控制软件等部分组成，将灵活高自由度的机械臂与苹果检测分级相结合，实现了高效灵活的苹果检测分级。应用机器视觉技术检测苹果的果径大小及着色度，应用可见/近红外光谱技术检测苹果的糖度，基于PP-YOLO网络结构训练识别追踪苹果位置的深度学习模型，其精准率为0.965 5，召回率为1，准确率为0.998 4，模型检测速度为38 帧/s，具有良好的检测识别效果。

2）比较了机器手静态采集光谱及动态采集光谱条件下苹果糖度的建模结果差异，结果表明，在使用NSR（Normalized Spectral Ratio，归一化光谱比值法）预处理光谱后建模结果较佳，静态光谱模型R为0.960 2，RMSEV（Root Mean Squared Error of Validation，验证均方根误差）为0.450 1%，动态光谱模型R为0.958 9，RMSEV（Root Mean Squared Error of Validation，验证均方根误差）为0.462 7%，相比于静态光谱，机器手动态状态下采集光谱对模型的预测效果存在一定影响，但影响较小，动态状态下所建模型可以满足机器手系统工作需要。采用不同的特征波长筛选方法对动态光谱模型进行了优化，得到了结果较佳的NSR（Normalized Spectral Ratio，归一化光谱比值法）+CARS（Competitive Adaptive Reweighted Sampling，竞争性自适应重加权算法）动态光谱模型，R=0.970 5，RMSEV=0.366 8%，该模型被选为机器手系统工作时的糖度预测模型。

3）对装置的试验验证结果表明，机器手对苹果具有较高的抓取成功率，能够成功抓取所有移动状态下的苹果样本，对苹果的果径大小、着色度、糖度3个指标划定了等级阈值，机器手系统分级正确率为95%，完成一颗苹果分级的时间约为5.2 s，装置具有较好的可靠性和实用性。

本文将糖度作为内部品质检测指标，将果径大小和着色度作为外部品质检测指标，在下一步工作中可以增加内部品质指标，例如酸度、水心病，也可以增加外部品质指标，例如苹果外部损伤。检测分级速度受制于机械臂运动速度，今后可应用更加高速灵活的机械臂，并使用多台机械臂同时工作，以提高检测分级效率。

[1] 赵德英，袁继存，徐锴，等. 近10年来国内外苹果产销分析[J]. 中国果树，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[2] 刘梦琪，赵俊晔. 中国苹果产品出口现状、竞争力分析及提升对策[J]. 中国食物与营养，2018，24(6)：47-51.

Liu Mengqi, Zhao Junye. Export status, competitiveness and promotion countermeasures of apple products in China[J]. Food and Nutrition in China, 2018, 24(6): 47-51. (in Chinese with English abstract)

[3] 曹玉栋，祁伟彦，李娴，等. 苹果无损检测和品质分级技术研究进展及展望[J]. 智慧农业，2019，1(3)：29-45.

Cao Yudong, Qi Weiyan, Li Xian, et al. Research progress and prospect on non-destructive detection and quality grading technology of apple[J]. Smart Agriculture, 2019, 1(3): 29-45. (in Chinese with English abstract)

[4] 应义斌，饶秀勤，赵匀，等. 机器视觉技术在农产品品质自动识别中的应用研究进展[J]. 农业工程学报，2000，16(3)：4-8.

Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Advance on application of machine vision technique to automatic quality identification of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4-8. (in Chinese with English abstract)

[5] 郭志明，王郡艺，宋烨，等. 手持式可见近红外苹果品质无损检测系统设计与试验[J]. 农业工程学报，2021，37(22)：271-277.

Guo Zhiming, Wang Junyi, Song Ye, et al. Design and experiment of the handheld visible-near infrared nondestructive detecting system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 271-277. (in Chinese with English abstract)

[6] 孙丰刚，王云露，兰鹏，等. 基于改进YOLOv5s和迁移学习的苹果果实病害识别方法[J]. 农业工程学报，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[7] 毕淑慧，李雪，申涛，等. 基于多模型证据融合的苹果分类方法[J]. 农业工程学报，2022，38(13)：141-149.

Bi Shuhui, Li Xue, Shen Tao, et al. Apple classification based on evidence theory and multiple models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 141-149. (in Chinese with English abstract)

[8] 冯海宽，杨福芹，杨贵军，等. 基于特征光谱参数的苹果叶片叶绿素含量估算[J]. 农业工程学报，2018，34(6)：182-188.

Feng Haikuan, Yang Fuqin, Yang Guijun, et al. Estimation of chlorophyll content in apple leaves base on spectral feature parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(6): 182-188. (in Chinese with English abstract)

[9] 张海辉，陈克涛，苏东，等. 基于特征光谱的苹果霉心病无损检测设备设计[J]. 农业工程学报，2016，32(18)：255-262.

Zhang Haihui, Chen Ketao, Su Dong, et al. Design of nondestructive detection device for moldy core in apples based on characteristic spectrum[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)

[10] Fan S, Li J, Xia Y, et al. Long-term evaluation of soluble solids content of apples with biological variability by using near-infrared spectroscopy and calibration transfer method[J]. Postharvest Biology and Technology, 2019, 151:79–87.

[11] 樊书祥，黄文倩，郭志明，等. 苹果产地差异对可溶性固形物近红外光谱检测模型影响的研究[J]. 分析化学，2015，43(2)：239-244.

Fan Shuxiang, Huang Wenqian, Guo Zhiming, et al. Assessment of influence of origin variability on robustness of near infrared models for soluble solid content of apples[J]. Chinese Journal of Analytical Chemistry, 2015, 43(2): 239-244. (in Chinese with English abstract)

[12] 郭志明，黄文倩，陈全胜，等. 近红外光谱的苹果内部品质在线检测模型优化[J]. 现代食品科技，2016，32(9)：147-153.

Guo Zhiming, Huang Wenqian, Chen Quansheng, et al. Model optimization for the on-line inspection of internal apple quality by shortwave near-infrared spectroscopy[J]. Modern Food Science and Technology, 2016, 32(9): 147-153. (in Chinese with English abstract)

[13] Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127: 395-405.

[14] 黄辰，费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[15] 乔鑫，彭彦昆，王亚丽，等. 手机联用的苹果糖度便携式检测装置设计与试验[J]. 农业机械学报，2020，51(s2)：491-498.

Qiao Xin, Peng Yankun, Wang Yali, et al. Design of portable device for testing sugar content of apples combined with mobile phones[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(s2): 491-498. (in Chinese with English abstract)

[16] 潘圆媛，刘燕德，孙旭东. 水果内部品质近红外动态在线检测研究进展[J]. 激光与红外，2010，40(8)：805-810.

Pan Yuanyuan, Liu Yande, Sun Xudong. Research progress of on-line detection of fruit quality using near infrared spectroscopy[J]. Laser& Infrared, 2010, 40(8): 805-810. (in Chinese with English abstract)

[17] 李龙，彭彦昆，李永玉. 苹果内外品质在线无损检测分级系统设计与试验[J]. 农业工程学报，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[18] 孙凯，闫学慧，朱荣胜. 圆形水果自动分选和贴标签机的设计与应用[J]. 食品与机械，2018，34(8)：79-84.

Sun Kai, Yan Xuehui, Zhu Rongsheng. Design and application of round fruit sorting and labeling machine[J]. Food and Machinery, 2018, 34(8): 79-84. (in Chinese with English abstract)

[19] 常汉. 水心病苹果水心程度与可溶性固形物含量在线无损检测方法与分级装备研究[D]. 杭州：浙江大学，2021.

Chang Han. Research and Development of On-line Non-destructive Detecting Method and Grading Equipment of Apple Watercore and Soluble Solids Content[D]. Hangzhou：Zhejiang University，2021.

[20] 于大国，赵明，Shi Yijun，等. 基于比重和图像的核桃内部品质无损检测与分选[J]. 农业机械学报，2021，52(7)：373-378，357.

Yu Daguo, Zhao Ming, Shi Yijun, et al. Internal quality nondestructive detection and sorting principle of walnut based on density and digital image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 373-378, 357. (in Chinese with English abstract)

[21] 刘民法. 基于机器视觉技术的红枣自动化分级机的结构设计研究[D]. 银川：宁夏大学，2015.

Liu Minfa. Structure Design Study on the Automated Classifier of Red Jujubes Based on Machine Vision Technique[D]. Yinchuan: Ningxia University, 2015. (in Chinese with English abstract)

[22] 彭彦昆，马营，李龙. 苹果内部品质分级机械手设计与试验[J]. 农业机械学报，2019，50(1)：307-312.

Peng Yankun, Ma Ying, Li Long. Design and experiment of apple internal quality sorting manipulator[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 307-312. (in Chinese with English abstract)

[23] Wu Z, Yang R, Gao F, et al. Segmentation of abnormal leaves of hydroponic lettuce based on DeepLabV3+ for robotic sorting [J]. Computers and Electronics in Agriculture, 2021, 190: 106443.

[24] Bu L, Chen C, Hu G, et al. Design and evaluation of a robotic apple harvester using optimized picking patterns [J]. Computers and Electronics in Agriculture, 2022, 198: 107092.

[25] Li L. Design and trajectory planning of six axis robot based on food industry[J]. The Food Industry, 2020, 41(6), 237–240.

[26] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180, 111615.

[27] 苗玉彬，郑家丰. 苹果采摘机器人末端执行器恒力柔顺机构研制[J]. 农业工程学报，2019，35(10)：19-25.

Miao Yubin, Zheng Jiafeng. Development of compliant constant-force mechanism for end effector of apple picking robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 19-25. (in Chinese with English abstract)

[28] Crooks W, Vukasin G, O’Sullivan M, et al. Fin ray effect inspired soft robotic gripper: From the robosoft grand challenge toward optimization[J]. Frontiers in Robotics and AI, 2016, 2016(3): 1-9.

[29] Li L, Peng Y, Yang C, et al. Optical sensing system for detection of the internal and external quality attributes of apples[J]. Postharvest Biology and Technology, 2020, 162: 111101.

[30] 中华人民共和国农业部. 水果和蔬菜可溶性固形物含量的测定折射仪法：NY/T 2637—2014[S]. 中国：中国标准出版社，2015.

[31] 宋华鲁，闫银发，宋占华，等. 利用介电参数和变量筛选建立玉米籽粒含水率无损检测模型[J]. 农业工程学报，2019，35(20)：262-272.

Song Hualu, Yan Yinfa, Song Zhanhua, et al. Nondestructive testing model for maize grain moisture content established by screening dielectric parameters and variables[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 262-272. (in Chinese with English abstract)

[32] 孙宗保，王天真，刘小裕，等. 高光谱结合波长选择算法串联策略检测调理牛排新鲜度[J]. 光谱学与光谱分析，2020，40(10)：3224-3229.

Sun Zongbao, Wang Tianzhen, Liu Xiaoyu, et al. Detection of prepared steaks freshness using hyperspectral technology combined with wavelengths selection methods combination strategy[J]. Spectroscopy and Spectral Analysis, 2020, 40(10): 3224-3229. (in Chinese with English abstract)

Dynamic nondestructive sensing and grading manipulator system for apple quality

Peng Yankun, Sun Chen, Zhao Miao

(1.,,100083,; 2.-,100083,)

Flexible and efficient detection and classification were here proposed for the multiple quality index of the apple. In this study, a manipulator system was also developed with nondestructive sensing and grading for the internal and external quality of apple using machine vision and visible and Near-Infrared (Vis/NIR) spectroscopy. A six-Degree of Freedom (DOF) mechanical arm was used to equip a self-designed end effector in the system. Specifically, the end effector was loaded with the optical sensor and grasping structure, in order to capture the Vis/NIR spectrum of the apple. A manipulator was obtained to combine the end effector with the mechanical arm. The apple was first grabbed on the assembly line, and then the spectrum of the apple was collected at the same time for sugar content detection. The spectra of apple samples were collected in the static and dynamic states. Some spectral preprocessing was implemented for the modeling and analysis using the Partial Least Squares (PLS). A CMOS camera was selected to collect the images for the dynamic positioning and external quality detection of apples. A target detection model of PP-YOLO deep learning was trained on the apple images to calculate the coordinate position of the apple for the fruit diameter and coloration. The experimental results show that the Normalized Spectral Ratio (NSR) preprocessing performed the best in the static and dynamic states. The best performance was achieved in the dynamic spectral model of the manipulator using the NSR and Coherent Anti-Stokes Raman Scattering (CARS). The correlation coefficient,R, was 0.958 9 in the dynamic spectral model, where the Root Mean Square Error (RMSE) was 0.462 7%. There was less influence on the prediction model. The overall manipulator system was verified in the field test. The manipulator was used to flexibly grab the apples without damage during work. Three detection indicators were also given for the fruit diameter, coloring degree, and sugar content. An automatic grading was then implemented, according to the indicators. As such, the apples were finally placed into the corresponding level box in terms of the grade information. A comparison was also made between the measured and predicted values of the three indexes. The predicted correlation coefficient of apple diameter, coloring degree, and sugar content were 0.977 2, 0.967 4, and 0.964 3, respectively, with the RMSE of 1.631 5 mm, 5.973 4%, and 0.504 8%, respectively. There was a strong linear relationship between the prediction and actual value, indicating a lower prediction error than before. The maximum classification accuracy was up to 95% in the manipulator system. The grading system of the mechanical arm was taken about 5.2 s to realize the positioning, grasping, detection, classification, and placement of an apple, indicating better reliability.

machine vision; vision and visible and Near-Infrared spectroscopy; apple; nondestructive sensing; grading; manipulator system

10.11975/j.issn.1002-6819.2022.16.032

TP23；S237

A

1002-6819(2022)-16-0293-11

彭彦昆，孙晨，赵苗. 苹果品质动态无损感知及分级机器手系统[J]. 农业工程学报，2022，38(16)：293-303.doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

2022-04-24

2022-08-07

国家重点研发计划项目( 2016YFD0400905-05)

彭彦昆，教授，博士生导师，研究方向为农畜产品无损检测技术与装置研发。Email：ypeng@cau.edu.cn