基于机器视觉技术的红枣全表面信息无损分拣系统研究与实现

钟小华

曹玉华1

张永清2

肖成军1

(1. 广东白云学院机电工程学院，广东 广州 510450；2. 广东非思智能科技股份有限公司，广东 广州 510507)

基于机器视觉技术的红枣全表面信息无损分拣系统研究与实现

钟小华1

曹玉华1

张永清2

肖成军1

(1. 广东白云学院机电工程学院，广东 广州 510450；2. 广东非思智能科技股份有限公司，广东 广州 510507)

设计了基于机器视觉技术相配套的红枣全表面信息无损分拣系统，整机由红枣自动喂料机构、红枣排序机构、输送及调整机构、分级执行机构、检测及控制部分组成。该系统利用镜面反射原理设计的红枣表面信息采集机构，能同时采集红枣正面、两侧面和底部图像，完成红枣全表面信息的获取，解决了以往分拣系统无法在高速运输状态下在线呈现红枣全表面信息的难点。基于视觉的无损分级软件将实时处理采集到的图像，分析与获取红枣的果形大小、表面质量、纹理等表面信息，并采用信息融合技术进行判别分级。试验结果表明，本系统分级速度快，分级准确率达到90%以上，可较好满足红枣自动化快速检测分级生产要求。

红枣；分拣系统；全表面信息检测；机器视觉；姿态调整

分级是红枣贮藏、加工及流通等的一个关键技术环节，直接影响果农的经济效益。目前中国的红枣分级方法主要分为人工拣选和机械筛选两大类。人工拣选红枣存在劳动强度大、效率低、成本高、分级精度和卫生质量都难以保证等弊端；红枣机械筛选分为基于红枣尺寸大小的机械式分级设备，以及基于机器视觉的红枣综合指标智能化分级设备。机械式分级设备主要集中为滚筒式[1]和滚杠式分级设备[2]，结构简单，效率高，但分级方式单一、易串级、精度低。基于机器视觉的红枣分级设备是中国近几年研发出的针对红枣的颜色、纹理、大小、形状，以及视觉缺陷等信息进行无损分级的设备，分级精度高、速度快，有广阔的市场前景。虽然基于机器视觉技术的红枣分级设备在分级的方法[3]、算法[4]以及相关的机械装置[5]等方面已取得了较多成果，但绝大部分的研究成果只依据红枣的某个单一参数，如红枣的果型或者纹理信息进行红枣分级，红枣全表面信息实时在线检测分级目前仍处于研究阶段，其中能够实现红枣全表面信息呈现的配套机械装置是制约视觉红枣分级发展的难点之一。王松磊等[6]设计出采用搓动旋转输送系统输送红枣，并在输送的同时摄像机连续采集翻转红枣的图像，对采集的图像分析后进行分级。但由于红枣果型、表面情况等原因，不能保证红枣在输送中跟随搓动旋转机构旋转。罗华平等[7]通过专利提出一种红枣翻转机构方案，可分两次实现红枣的双面检测，但这种机构很难进行在线高效率的分拣。田绪顺等[8]采用仰拍摄像机采集从一次输送机构抛射到二次输送机构红枣底面的图像，而二次摄像头采集落在吸振功能较好二次输送机构红枣正面的图像，但经抛射后的红枣落在二次输送机构后会发生弹跳和翻转，同时仰拍摄像机容易积尘，影响后期检测精度。

本研究以新疆干制和田玉枣(含水率低于25%)为研究对象，设计了一种基于机器视觉技术，能实现红枣快速喂料排序，在高速输送过程中实时在线检测红枣全表面图像信息，可根据红枣的果形大小、表面质量、纹理等表面信息进行无损自动分级的新型分级系统。

1 分拣系统的总体构建

红枣分拣系统主要由自动喂料机构、红枣排序机构、输送及调整机构、上检测系统、下检测系统、分级执行机构几部分构成，其结构示意图见图1。

1. 料斗 2. 喂料输送机构 3. 下料导向板 4. 红枣挡板 5. 红枣排序皮带 6. 红枣下料口 7. 红枣检测电眼 8. 红枣输送及调整单元 9. 左右面图像反射镜 10. 上检测系统 11. 红枣夹送单元 12. 下检测系统 13. 分级排出口图1 整机结构示意图Figure 1 Schematic diagram of the whole machine

红枣分级系统经过喂料输送机构进行上料，保证有序上料率≥95%，接着排序机构对红枣进行有效的排序，然后上检测系统对经调整机构调整好姿态的红枣进行上侧、左侧、右侧的表面图像采集，下检测系统采集红枣的底部信息图像。系统视觉无损分级软件将采集到的图像实时处理分析红枣的果形大小、表面质量、纹理等表面信息，最后利用信息融合技术分析红枣外部综合品质等级。计算机同时控制气动式分级执行机构，当红枣运送至相应等级通道时，喷气嘴把红枣送入分级通道完成分级。

1.1 输送及调整机构

如图2所示，输送及调整机构由一对相对摆放并呈一定速差(V2≠V3)的差速皮带及输送皮带构成。当红枣进入输送及调整机构时，若红枣的长径方向与输送方向不一致，则会在差速皮带作用下旋转直至基本与两侧皮带平行的稳定状态。

1. 差速皮带1 2. 差速皮带2 3. 输送皮带图2 红枣输送及调整机构图Figure 2 Diagram of conveying and adjusting mechanism

1.2 上下图像检测机构

上检测机构由工业CCD、环形光源、与水平方向成夹角45°的镜子组成，其结构示意图见图3。当红枣经过时，工业相机会抓取红枣正面的图像及镜子中反射的红枣两侧图像，并输送给图像处理系统。

1. 左反射镜 2. 环形光源 3. 摄像机 4. 红枣 5. 红枣输送带 6. 右反射镜图3 上检测机构示意图Figure 3 Schematic diagram of the upper surface inspection mechanism

下检测机构(见图4)采用呈一定角度(可调)的皮带夹住红枣的两侧边，工业摄像机采集镜面反射的红枣底部图像，保证高速分级速度的同时可避免工业相机朝上易积灰尘的缺点，同时红枣镜面采用吹气装置保持镜面的洁净。

1. 夹送皮带 2. 反射镜 3. 摄像头图4 下检测机构示意图Figure 4 Schematic diagram of the under surface inspection mechanism

2 红枣全表面图像采集处理系统

如图5所示，红枣全表面图像采集系统采用双摄像头对红枣进行多表面图像信息的采集。图像处理软件首先对摄像头采集到的图像进行预处理，包括采用二值法可去除背景，减少冗余数据，中值法+小波变换去除噪声；接着采用凹点搜索法分析红枣的果形；采用灰度共生矩阵得到红枣的纹理参数；采用RGB+HSI模型分析红枣颜色得到红枣是否腐烂、破损的信息；然后根据得到的果型参数、纹理参数、颜色参数，应用信息融合技术进行红枣的分级，最后向分级执行机构发出分级命令控制气动分级执行机构进行分级。

图5 红枣全表面图像采集及处理框图Figure 5 Full surface image acquisition and processing block diagram

2.1 红枣大小和果形分析

2.1.1 红枣大小检测 红枣的大小分级主要按照红枣的长径分级[9-10]，分级标准见表1。

表1 干制红枣分级标准Table 1 Grading standard of dried jujube

本系统将预处理后的4个级别分别为50个红枣二值图采用OpenCV最小外接矩形函数cvMinAreaRect2得到红枣的长径和短径数据，用游标卡尺测得红枣长径的真实值，得到的红枣长径真实值和像素值见表2。利用最小二乘法直线拟合的红枣图像长径像素尺寸值与实测长径值关系来判定红枣大小等级，拟合函数为f= 89.225x-15.306，R2=0.972 7。

表2 红枣的长径真实值和像素值Table 2 The true value and pixel value of long diameter of jujube

(1)

(2)

式中：

Di(N)——某点的方向编码差;

N——曲线上的点xi的前驱点个数；

图6 凹点深度图Figure 6 Schematic diagram of concave point search

图7为正常枣与畸形枣的边界凹点搜索结果，可以看出，正常枣在定位的过程中得到的凹点并不是真正意义上的点(葫芦形枣与正常枣搜索结果类似)，而畸形点定位得到的凹点为垂直方向上的凹点，很好地区分了正常枣跟畸形枣。凹点搜索法可以很好地定位红枣的最大凹点位置。经试验分析当红枣图像边界的最大凹点深度小于阈值(阈值由试验统计确定)，该枣为正常枣或者葫芦形枣；当红枣图像边界的最大凹点深度大于阈值，该枣为畸形枣。

图7 红枣边界凹点搜索结果Figure 7 The results of the boundary point search

2.2 纹理分析

纹理是红枣外部品质的重要特征，纹理多的红枣果肉少重量轻糖分低，俗称“皮皮枣”[13]，红枣纹理特征的提取直接影响后续红枣品质分级的质量，按纹理相似性对相同尺寸大小的红枣进行分级，对保证红枣品质的一致性意义重大。纹理特征提取方法有：灰共生矩阵(GLCM)、Tamura纹理特征、自回归纹理模型、小波变换等。本系统采用灰度共生矩阵来提取南疆红枣的纹理特征。

红枣表面褶皱在其灰度图实质是像素的灰度级的大小及空间的分布不同。灰度共生矩阵常用的特征参数有4个[14]：能量、对比度、相关性、熵。在图像中任意取一点(x,y)及偏离它的一点(x+a,y+b)(其中a，b为整数，人为定义)构成点对。设该点对的灰度值为(i,j)，再令点(x,y)在整幅图像上移动，则会得到不同的(i,j)值。设图像的最大灰度级为L，则i与j的组合共有L×L种。对于整幅图像，统计出每一种(i,j)值出现的次数，然后排列成一个方阵，再用(i,j)出现的总次数将他们归一化为出现的概率P(i,j)，由此产生的矩阵为灰度共生矩阵。

(1) 能量(Energy)：是灰度共生矩阵各元素值的平方和，反映图像灰度分布均匀程度和纹理粗细度。能量值大表明当前纹理是一种规则变化较为稳定的纹理。由式(3)得出红枣纹理粗细度。

(3)

式中：

i,j——分别表示两个像素的灰度；

(2) 熵(Entropy)：图像包含信息量的随机性度量，表明图像灰度分布的复杂程度，熵值越大，图像越复杂。由式(4)计算红枣纹理的复杂程度。

(4)

(3) 对比度：矩阵的值是图像分布和图像局部变化的度量，反映图像的清晰度和纹理的沟纹深浅。对比值越大，沟纹越深。由式(5)计算红枣沟纹的深浅度。

(5)

(4) 相关性(Correlation)：图像中局部灰度相关性的度量。当矩阵元素值均匀相等时，相关值就大。由式(6)计算红枣颜色的均匀性，其中式(7)～(10)为式(6)参数。

(6)

(7)

(8)

(9)

(10)

式中：

μx——灰度共生矩阵元素在x方向的均值；

μy——灰度共生矩阵元素在y方向的均值；

σx——灰度共生矩阵元素在x方向上的方差；

σy——灰度共生矩阵元素在y方向上的方差。

人工挑选不同纹理等级的2组红枣分别各50颗，经试验分析，由于红枣的褶皱条纹通常为沿长径方向分布，不同纹理的红枣在沿45°或135°方向统计的能量、熵、对比度、相关性的数值差异性较大，因此本研究统一采用135°方向分析红枣纹理。

表3为部分红枣纹理共生矩阵参数。由表3可知，两组红枣的相关性差异不大，因各级红枣图像都表现为红色，颜色差异不大。两组红枣的能量、熵、对比度有一定的差异性，能很好地反映红枣的纹理特征。

2.3 损伤腐烂分析

破损、黑斑和裂纹是红枣常见缺陷，严重影响了红枣的品质。相机采集的图像为RGB模型，便于计算机处理，但不符合人对颜色的直接感觉。HSI颜色模型包含色相(Hue)、饱和度(Saturation)和亮度(Intensity)，红枣图像的HSI颜色模型可以很好地分析红枣的缺陷特征，见图8。

表3 135°方向统计的红枣纹理共生矩阵参数Table 3 Parameters statistics of jujube texture co- occurrence matrices in 135° direction

图8 红枣缺陷特征提取Figure 8 Defect features extraction of jujube

缺陷区域面积与最后分割红枣面积的比值是判断缺陷有无和严重等级的重要参数。随机选择100个缺陷枣和400个非缺陷枣作为训练样本，50个缺陷枣和50个非缺陷枣作为测试样本。统计缺陷面积比，当病害面积比值为0.09±0.01时，对缺陷枣和非病害枣的正确识别率都在90%以上，见表4。

3 结论

(1) 本试验以新疆和田玉枣为对象，设计了能实现红枣快速喂料排序，在高速输送过程中实时在线检测红枣全表面图像信息，无损自动分级的新型红枣分拣系统。本系统全表面信息的采集机构结构设计紧凑，可用在其他小型果品的无损分拣。

(2) 红枣全表面图像处理系统在得到果型、纹理、颜色参数后应用信息融合技术能够有效分拣红枣，其中凹点搜索法分析红枣的果形可以实现畸形果的检测；灰度共生矩阵得到红枣的纹理参数可以实现同样大小尺寸红枣的纹理分级；RGB+HSI模型分析红枣颜色得到红枣是否腐烂、裂纹的信息，能有效地剔除坏枣、裂枣。

表4 红枣缺陷识别结果Table 4 Results of defect features extraction

[1] 白依凡, 贺晓光, 何建国, 等. 红枣自动分级机的研究进展[J]. 宁夏工程技术, 2016(1): 88-92.

[2] 马少辉. 栅条滚筒式红枣分级机改进与试验研究[J]. 中国农机化, 2012(3): 96-98.

[3] 罗雪宁, 彭云发, 代希君, 等. 基于MATLAB的红枣图像处理研究[J]. 农机化研究, 2015(3): 183-186.

[4] 赵杰文, 刘少鹏, 邹小波, 等. 基于支持向量机的缺陷红枣机器视觉识别[J]. 农业机械学报, 2008(3): 113-115, 147.

[5] 刘艳丽, 杜鸿运, 王世璞. 红枣高速在线分级检测系统研发[J]. 中国农机化学报, 2015(5): 142-144.

[6] 王松磊, 刘民法, 何建国, 等. 红枣自动快速无损检测分级机研究[J]. 农业机械学报, 2014(9): 79-83, 95.

[7] 罗华平, 徐贲, 郭玲, 等. 果品分级筛选装置: 中国, 200920277329.7[P]. 2009-12-28.

[8] 田绪顺, 李景彬, 坎杂, 等. 基于机器视觉的红枣双面检测分级装置设计[J]. 食品与机械, 2012, 28(5): 138-140.

[9] 李景彬, 邓向武, 坎杂, 等. 基于机器视觉的干制红枣大小分级方法研究[J]. 农机化研究, 2014(2): 55-59.

[10] 肖爱玲, 潘斌. 基于标记的极半径极值红枣形状识别方法[J]. 农机化研究, 2015(7): 61-65.

[11] 谢忠红, 姬长英, 郭小清, 等. 基于凹点搜索的重叠果实定位检测算法研究[J]. 农业机械学报, 2011(12): 191-196.

[12] 朱煜, 江林佳, 肖玉玲. 材料图像目标粘连点定位与分割方法研究[J]. 南京理工大学学报: 自然科学版, 2008(1): 110-113.

[13] 詹映. 基于机器视觉南疆红枣颜色分级方法研究[D]. 阿拉尔市: 塔里木大学, 2015: 11-12.

[14] 胡小锋, 赵辉. VisualC++/MATLAB图像处理与识别实用案例精选[M]. 北京: 人民邮电出版社, 2004: 131-133.

Research and implementation of the non-destructive sorting system for full surface information of jujube based on machine vision technology

ZHONGXiao-hua1

CAOYu-hua1

ZHANGYong-qing2

XIAOCheng-jun1

(1.SchoolofElectromechanicalEngineering,GuangdongBaiyunUniversity,Guangzhou,Guangdong510450,China; 2.GuangdongFaceIntelligenceTechnologyCo.,Ltd,Guangzhou,Guangdong510507,China)

Based on machine vision technology, a non-destructive sorting system for full surface information of jujube is designed. The whole machine consists of several parts, including automatic feeding mechanism, sorting mechanism, conveying and attitude adjustment mechanism, grading actuator, detecting and controlling part. Based on theory of mirror reflection principle, an inspection mechanism that can provide the full surface information to the Image processing software is designed to capture a top image, a bottom image and two side images of jujube at the same time, then the problem that the previous sorting system cannot acquire a whole surface information of the red jujube in the condition of high speed transportation is solved. The grading software is designed to process the acquired images in real time, and obtains the surface information such as fruit shape, surface quality and texture. Finally, information fusion technology is used to sort the red jujube with the surface information. The test result shows that the sorting speed of this system is fast, and the sorting accuracy is more than 90%. It can meet the production requirements of detecting and sorting jujube rapidly in an automated way.

jujube; sorting system; full surface information detec-tion; machine vision; attitude adjustment

广东省智能制造应用型人才协调育人基地(编号：粤高教函[2016]31号)

钟小华，女，广东白云学院助教，硕士。

曹玉华(1958—)，女，广东白云学院教授，博士。 E-mail:yh.cao@baiyunu.edu.cn

2017—02—15

10.13652/j.issn.1003-5788.2017.05.024