柑橘全表面色泽在线检测与分级系统

李 浪 文 韬 代兴勇 王志宇

(中南林业科技大学机电工程学院，湖南 长沙 410004)

表面色泽均匀程度是消费者挑选柑橘的重要指标。目前普遍采用机器视觉技术对柑橘进行色泽分选，该技术重点在于获取柑橘表面的颜色信息，根据颜色等级完成分级。

为了有效获取柑橘的全表面信息，许多学者对此做了大量研究。张俊雄等[1]搭建了双通道柑橘计算机视觉分级系统，利用单个相机在柑橘传输时采集其在不同工位的图像以减少盲区，但获取的重复信息难以去除，且只能识别纯色柑橘。王旭等[2]采用单个相机通过两面呈一定角度的平面镜获取图像，可以获得柑橘完整且无重复的表面信息。然而图像经平面镜成像后再被相机获取存在较大的畸变,对后续的图像处理会造成一定的影响[3]。王干等[4]采用3个摄像头图像采集装置，每个果实采集3个工位的顶部和两侧3个方向共 9 幅图像对柑橘的尺寸和缺陷进行检测，可以保证信息不遗漏且不会产生畸变，但3个相机的信息难以同步，给数据传输和处理增加了难度。

为解决柑橘全表面信息获取存在信息漏采、冗余，图像畸变，分选精度低，正确率不高等问题，研究拟采集翻滚机上柑橘序列帧图像，对每一帧图像进行分割、除噪等处理，提取柑橘二维投影图像黄色着色比并以二维着色比的平均值作为柑橘表面着色率，以此判断柑橘等级，旨在实现柑橘色泽在线无损检测与分级。

1 分选系统总体设计

1.1 总体结构设计

柑橘在线分选系统整机结构如图1所示，其中，上料单元包括提升机和排序机构，主要功能为将柑橘成单列投入链式输送机构中。链式输送机构由链条驱动，果杯被均匀地布置在链条上以承载柑橘。分果单元包括打果器和分果箱，该单元对柑橘进行分选、收集。控制部分采用计算机作为上位机，完成图像的采集和实时处理并对系统运行进行总体控制；可编程逻辑控制器(PLC)作为下位机，执行上位机的命令对外部单元动作进行控制，两者之间通过 TCP/IP 协议进行通信。

图1 整机结构示意图

1.2 图像采集系统

为了避免外部环境带来的影响，在链式输送机构上搭建如图2所示的全封闭图像采集系统。系统主要功能为在可见光范围内对柑橘外部色泽进行检测与分级，为满足检测需求在采集系统的侧壁上布置4条长条形LED光源，安装漫反射板，以漫反射的方式进行补光，保证良好照明条件的同时避免光源直射柑橘表面产生耀斑，影响成像质量。

图2 图像采集系统

作业时，上料单元将柑橘逐个输送到传送链的果杯上，传送链在电机带动下匀速转动使柑橘依次通过图像采集系统。采集系统下方设计了皮带翻滚模块，果杯上的双锥滚子和皮带接触，两者之间速度差产生的摩擦力使得滚子绕其轴线旋转，带动柑橘前进的同时不断翻滚，将各个面暴露在相机视野下，最后系统通过RJ45千兆以太网接口将采集到的动态帧图像传输到计算机进行处理。工业相机固定在图像采集系统的正上方，镜头与柑橘物距为700 mm。为了获取更全面的柑橘表面信息，将相机帧率设置为60帧/s，图像像素设置为1 136像素×240像素以提高图像处理速度，相机视野范围为6个果杯区域。

1.3 控制系统

控制系统用于控制柑橘上果、运输、检测、分级、打果等过程，控制系统的工作原理如图3所示。

图3 控制系统原理图

将柑橘放入上料单元后，PLC控制上果和排序，传送链将柑橘运送至图像采集系统。为了监控果杯的实时位置并判别果杯上是否有柑橘，在系统上安装对射式光电传感器A、B，传感器A位于图像采集系统入口与传送链等高处，当传送链每移动一个果杯长度时，传感器A发送1次脉冲信号至计算机。传感器B位于传感器A正上方与柑橘样品同一水平高度处，当进入图像采集系统的果杯上有柑橘时，传感器B发送脉冲信号至计算机。系统运行时，在计算机软件系统中创建一个果杯信息队列以存储图像信息，当系统仅接收到A信号时，表明新进入图像采集系统的果杯为空，在果杯队列尾部添加一个空果杯对象；当系统同时接收到A、B信号时，表明进入图像采集系统的果杯上有柑橘，在队列尾部添加一个有果果杯对象，使得信息队列中的成员与果杯同步移动，以此判断果杯位置。

图像处理完成后，控制系统将提取的信息储存到柑橘对应的果杯对象上，在柑橘离开视觉采集系统时，发出分选信号，PLC分析等级信号控制对应打果器动作实现分选。

1.4 分选系统

柑橘色泽分选系统工作流程如图4所示。调节光源控制器至合适亮度后，启动所有电机，设定生产速度，并根据生产速度调整打果器提前或延迟动作的时间，待系统稳定运行后开始上料，柑橘成单列进入链式输送机构向分选系统末端运动，当其进入图像采集区域时，工业相机对运动柑橘进行拍摄，传送给计算机进行分析，判定分级结果后，将分选控制指令发送至PLC。当柑橘到达对应的类别所在位置时，PLC控制打果器击打果杯将柑橘推送至对应的分果箱，完成柑橘在线分级。

图4 系统工作流程

2 柑橘全表面着色率在线计算算法设计

2.1 二维着色比特征信息提取

由于难以将柑橘原始RGB图像的黄色和绿色区域较好地分割开[5-7]，因此将采集的原始样本图像从RGB颜色空间转换为H、S、V颜色空间。获得的H、S、V通道直方图如图5所示，其中V通道有明显的双峰结构，适合对图像进行分割。根据V通道直方图的横坐标显示，柑橘最佳分割阈值为18～30。由于绿色区域亮度较低，阈值过高对绿色信息耗损较多，经过多次试验得出阈值取20时[8]，图像分割效果较好。柑橘果皮色泽的橙色、黄色在H通道中范围为(11，34)，根据实际试验划分效果选取(16，21.5)。 最终确定H、S、V通道中：柑橘取值范围为：H∈(0，180),S∈(0, 255)，V∈(20, 255)；黄色区域取值范围为：H∈(16，21.5),S∈(0, 255)，V∈(20, 255)。

通过H、S、V通道范围提取的柑橘二值图像存在小区域噪声[图6(a)]。为去除噪声，设定轮廓阈值(A)，将小于A的柑橘轮廓剔除[9]。通过对不同阈值结果进行比较得知，A=6 000时能保留完整的柑橘信息，且背景区域的噪声不会影响柑橘轮廓信息，如图6(b)所示。

图5 柑橘H、S、V通道直方图

图6 去噪前、后的柑橘二值图像

为了获取柑橘对应黄色区域面积，以柑橘的最小外接矩形[10]为界，对每个矩形框图进行分割,提取柑橘黄色区域如图7(a)所示。由于柑橘黄色区域比较零散，数目较多，对黄色面积求和耗时较长。因此对黄色区域进行开闭运算、中值滤波等操作从而连通或消除小轮廓区域，以减少处理时间，最终结果如图7(b)所示。按式(1)计算柑橘的二维着色比。

(1)

式中：

H——二维着色比，%；

M——单个黄色区域的像素个数；

N——柑橘区域的像素总数量。

图7 分割处理前、后得到的柑橘黄色区域

2.2 轮廓排序

柑橘从左往右以固定顺序通过图像采集系统，图像处理算法输出的柑橘轮廓根据轮廓上像素点Y坐标从大到小排序，若存在Y坐标相同的情况则根据X坐标从大到小排序。而当柑橘处于运动状态时，Y坐标难以固定，不同图片提取的着色比顺序混乱，给后续分选控制带来一定的困难。因此在计算二维着色比之前，对轮廓以最小外接矩形中心点横坐标值按柑橘运动方向进行冒泡排序，使轮廓与柑橘顺序一致。

2.3 帧图像柑橘动态信息跟踪

帧图像的动态处理过程为对相机拍摄的连续帧图像进行分割和排序处理[11]，得到柑橘运动状态下的二维着色比，再将二维着色比储存到果杯信息队列中(见图8)。图8 中圆形代表提取的柑橘二维着色比信息，方框代表果杯，数字代表柑橘顺序。每当一个新果杯完全进入图像采集系统时，计算机果杯信息队列尾部添加一个新成员，当果杯未完全进入图像采集系统时，此柑橘对应的果杯未添加到队列信息中，图像处理算法则会去除掉此柑橘轮廓，即图8中a部分的第二帧。之后，从首个特征值开始依次从计算机信息队列尾部向前轮询，空果杯跳过，有果的果杯则进行储存。对每一帧图像都做上述处理，即可完成柑橘运动信息跟踪，在柑橘离开图像采集系统时，计算出表面着色率。图8中b部分为动态帧图像拍摄时对应的计算机果杯队列信息储存方式。

图8 柑橘动态信息跟踪示意图

2.4 表面着色率计算

饶秀勤[12]采用球带法对二维投影图像进行积分计算表面占比，但单幅图像的处理时间达1 s以上，达不到在线检测需求。而采用柑橘多工位图像法计算着色率存在计算量大且重复计算的问题。因此，试验所建系统通过工业相机配合翻滚机构获取多帧柑橘运动中的图像，使各个面能多次、均匀地出现在相机视野中。取多帧图像的二维着色比算术平均值记为表面着色率P，以降低图像中重复区域对柑橘表面着色率计算的影响，按式(2)计算P值。在柑橘离开工业相机视野范围时，计算柑橘表面着色率并对其等级进行判断，将等级信息发送至PLC驱动对应执行机构完成分级。整体计算流程如图9所示。

(2)

式中：

P——表面着色率，%；

H——二维着色比，%；

n——信息提取次数。

图9 柑橘表面着色率计算算法

3 验证实验

3.1 试验设计

为验证系统能否获取柑橘全表面信息，以及识别柑橘色泽的精度和准确性，随机挑选148个黄绿相间的柑橘样本对搭建样机进行试验。① 柑橘表面暴露率试验[13]：试验随机取5个样本外柑橘用数字1～6分别标记每个柑橘的果梗、果蒂以及赤道面呈90°分布的4个点(见图10)，以检测到的特征点数(不包括重复出现的特征点)与柑橘标记的总特征点数的比值记为柑橘表面暴露率，重复5次取平均值记为最终结果；② 精度检测试验：随机挑选6个柑橘样品和3个标准球，柑橘样本由人眼进行观察，得到表面黄色着色率，标准球的黄色着色率分别为75%，50%，25%，每个样本测量10次，取10次分选系统检测值与人工观察色泽之差绝对值最大的结果作为系统检测精度；③ 柑橘在线色泽分选试验：首先由人工对柑橘样本按黄色面积占比：80%～100%，60%～80%，40%～60%，20%～40%，0%～20%分为一、二、三、四、五等果，并对其等级进行标记，作为系统色泽评判标准。试验速度均取6个/s。

图10 柑橘特征点

3.2 结果与分析

3.2.1 柑橘表面暴露率 单个柑橘的检测周期约为1 s，软件系统拍摄了50帧翻滚状态的柑橘图像，特征点统计如表1所示。

表1 柑橘表面信息获取结果

由表1可知，柑橘的每个面都能够出现多次，且各个面出现的次数基本相同，计算得柑橘表面暴露率为100%，原因是输送机构前进时带动柑橘翻滚，促使工业相机从单一方向获取柑橘完整的表面信息。

3.2.2 精度 由表2可知，由于1、6号柑橘为纯色，每帧图片的着色比单一，所以结果较为准确。其他样本经过10次检测，检测值与实际结果基本一致，最大误差为5%，虽然单次检测结果与标准值有所区别，但整体平均绝对误差较小(为1.92%)，稳定性较好。造成单次检测误差的原因是相机均匀拍摄柑橘表面信息时偶然出现柑橘部分面信息获取次数过多，造成单次结果误差较大。研究提出的柑橘表面色泽测量方法简单、误差较小，能够满足实际分选精度要求。

表2 柑橘精度检测试验

3.2.3 准确率 由表3可知，以人工分选结果为标准，系统与人工的一致度为90.54%。其中一等果和五等果由于单一颜色占比较高使得分选正确率为94%以上。二、三、四等果中部分柑橘处在区间边缘，肉眼难以精确判断，导致与人工判别不一致，另有3个柑橘在离开视觉检测区域时，由于摩擦带的坡度落入前一个果杯的滚子上，执行机构动作时将柑橘带入至其他等级果箱中。对比两种分选方式，人工分选识别效率约0.5个/s，在线分选系统约6个/s。分选系统效率约为人工分选的12倍，且能连续稳定工作，优势显著。

表3 柑橘色泽特征检测试验

4 结论

为满足柑橘色泽在线分选需求，研制了由上料单元、链式输送机构、图像采集系统、控制系统和分果单元组成的分选系统。该系统通过均匀拍摄多帧柑橘表面图像，将每帧图像进行分割、排序、除噪、提取二维着色比信息取平均值作为表面着色率以降低图像中重复区域的影响，能够较好地对柑橘表面色泽进行分选，解决了传统分类系统采集信息不全面、信息冗余等问题。选取148个柑橘样品验证系统精度和准确率，结果表明柑橘色泽占比最大误差为5%，分级准确率为90.54%、分级速度6个/s。综上，所建立的系统精度和准确率较高，可用于柑橘的色泽识别和分级。后期将在此系统的基础上采用其他方法对柑橘着色率进行直接计算，提高检测精度。