基于OpenCV的动态葡萄干色泽实时识别

2019-02-20刘星星王烁烁徐丽明袁全春于畅畅袁训腾

农业工程学报 2019年23期

刘星星，王烁烁，徐丽明，袁全春，马帅，于畅畅，牛丛，陈晨，袁训腾，曾鉴

刘星星，王烁烁，徐丽明※，袁全春，马帅，于畅畅，牛丛，陈晨，袁训腾，曾鉴

（中国农业大学工学院，北京 100083）

为了实现新疆吐鲁番地区“无核白”葡萄干的自动化色泽识别，该文利用OpenCV对无核白葡萄干的表面色泽识别进行研究，设计了一套可以实时、动态、多条输送通道同时处理的葡萄干色泽识别设备。为保证葡萄干色泽特征提取的正确率，对实时获取的每一帧图像进行预处理，获得平滑无孔洞的葡萄干二值图像；去除每一帧二值图像两侧边缘处不完整的葡萄干轮廓，从而保证获取葡萄干的完整色泽信息；定义图像上、下2部分掩膜，并分别仅保留图像右侧第一个葡萄干轮廓，利用上、下掩膜对每一帧图像分别处理，实现2条输送带上葡萄干的同时识别，以提高葡萄干色泽识别效率；在HSV空间下对保留的图像右侧第一颗葡萄干提取各通道的均值，以绿色、黄色、褐色葡萄干各40粒进行测试取值，统计数据并分析，确定色调通道值23、亮度通道值80为阈值进行葡萄干色泽识别；以3种颜色葡萄干各150粒分3次进行试验，结果表明，绿、黄、褐色葡萄干的识别正确率分别为89.33%，92.00%和96.67%，识别效率为21s/百粒葡萄干，识别方法简单有效。该方法的识别效率高于人工分选方式的110s/百粒葡萄干，但识别正确率低于人工分选方式的100%；相比于现有研究方法对各色葡萄干93%以上的识别正确率，该识别方法对褐色葡萄干的识别正确率较高，但对黄、绿色葡萄干的识别正确率较低；市场上现有的葡萄干分级设备使用的识别方法几乎无法区分黄、绿色葡萄干，与其相比，该文提供了一个可以较好区分黄、绿色葡萄干的方法。该文基于OpenCV设计的葡萄干色泽识别算法具有分选可行性和较好的识别正确率，可为后续分选执行机构和控制系统的搭建提供算法基础，为葡萄干色选的商业化提供算法参考。

农产品加工；图像处理；OpenCV；颜色空间；葡萄干；色泽识别

0 引言

中国葡萄干总产量为15～16万t，是世界上最大的绿色葡萄干生产国之一，全国90%以上的葡萄干均来自于新疆，葡萄制干品种主要以“无核白”为主[1-3]。在葡萄干生产加工到销售之前，由于葡萄干生产企业在加工及贮藏过程中对葡萄干的含水率以及储藏温度等条件把控不到位，使得原本绿色的葡萄干会出现或多或少的黄化甚至褐化现象，影响葡萄干的商品价值[4-6]，所以需要对葡萄干进行色泽分级后推向市场。

现有葡萄干的分级工作大部分由人工完成，工作量大、效率低、人工成本高且由于人的主观评价标准不同使得分级后的葡萄干质量参差不齐，严重制约了新疆地区葡萄干产业的规模化发展。因此，目前急需实现葡萄干的自动化分级[7]。Angadi等对手持摄像头拍摄到的葡萄干图片提取颜色特征，并利用人工神经网络分类器建立分级模型并对葡萄干进行识别，识别正确率达到95%[8]。Okamur等对葡萄干图片进行预处理、提取颜色特征，利用贝叶斯分类器进行多级分选，取得了良好的效果[9]。Mollazade等试验对比了人工神经网络、支持向量机、决策树、贝叶斯分类器4种算法对葡萄干色泽和大小的识别正确率[10]。Yu等利用最小平方支持向量机、线性判别分析的方法对葡萄干实现了基于颜色和纹理组合特征的分类[11]。刘小英等利用VPMCD和基于稀疏表示方法进行样本训练并进行葡萄干等级检测，分级效果明显，识别正确率达到100%[12-13]。雪合拉提·木塔力甫等通过提取葡萄干特征值并建立BP神经网络色泽分级模型，识别正确率达94.62%[14]。唐晶磊等同样采用类似上述方法建立分级鉴定模型，实现93％的分级正确率[15]。以上方法的实现步骤均为采集图像、图像预处理、特征提取、建立分类器模型实现分级，需要花费较多时间制作数据集用于分类器的训练且大部分方法为静态识别。而目前市场上用于葡萄干分级的商业化产品大多基于CCD传感器对采集到的图像利用加权平均的方法灰度化，直接通过不同颜色葡萄干表面的亮度差异设定阈值进行分级，此算法实现简单、速度快，但由于黄、绿葡萄干表面亮度相近，无法很好地对其进行区分。

针对上述问题，本文以吐鲁番地区的“无核白”葡萄干为研究对象，研究运动状态下的葡萄干色泽识别算法，对序列帧动态图像中的每一帧图像进行相对简单、有效的处理，以实现实时、动态、多条输送通道条件下不同颜色葡萄干的色泽识别、提高识别效率并对不同颜色葡萄干有较好的区分效果。

1 图像识别系统的搭建和葡萄干图像的采集

1.1 葡萄干表面色泽识别系统的搭建

区分不同颜色葡萄干表面色泽之间的差异是实现葡萄干的自动化识别的重要方式，根据无核葡萄干分级标准NY/T 705-2003[16]，将其分为绿色果粒（主色调为绿色、黄绿色）、黄色果粒（主色调为黄色）、褐色果粒（主色调为褐色、深褐色），褐色果粒一般伴随渗糖、霉烂、虫蛀等现象。

本文搭建的葡萄干表面色泽自动识别系统，如图1所示。工作时，葡萄干投放机构将葡萄干逐个投放在输送带上，输送带在闭环步进电机的带动下匀速运动，从而带动上面的葡萄干依次进入图像处理区域，即光源箱内部区域（图1b）；由OpenCV摄像头驱动程序打开OV2710型工业相机实时拍摄图像，计算机通过USB接口协议接收图像信息并进行后续处理和分析；最后由气动执行机构将识别后的葡萄干吹落至相应的收集箱。其中，光源箱的作用是给工业相机提供相对密闭的拍摄环境，避免外界环境干扰；光源采用T8一体式LED白光灯管，使得图像处理区域的光照强度为7 000 lux左右；散光布的作用是防止葡萄干上的杂光或多余的反射光映入镜头并记录在图像中。

1.OV2710 USB工业相机 2.气动喷口 3.计算机 4.光源箱 5. 葡萄干投放机构 6.闭环步进电机 7.LED光源 8.散光布 9.同步输送带

1.2 葡萄干RGB图像的采集

选取绿、黄、褐色葡萄干各40粒，由葡萄干投放机构将其置于同步带上，在闭环步进电机的带动下依次经过图像采集区域。

利用OpenCV库函数驱动工业相机获取图像，为保证图像的流畅程度，设置帧率为30帧/s。图2为获取的某一帧RGB图像，OpenCV默认横向为轴，竖向为轴，所获得的图像为800×600（像素）。限于所使用工业相机的硬件性能，仅对图像处理区域中间2条葡萄干输送带进行拍摄，以保证采集到清晰的葡萄干图像，为保证所使用的120粒葡萄干全部被拍摄到，共采集60幅图像。

图2 葡萄干RGB图像的采集

2 基于OpenCV的图像处理

2.1 图像预处理

图像预处理的目的是改善图像数据，抑制不需要的变形和增强某些对于后处理有重要作用的图像特征[17]。图像预处理步骤如下：

1）原始RGB葡萄干图像灰度化。灰度化是为了压缩图像数据、减少处理时间并且增强前景与背景的对比度。灰度图像与RGB彩色图像之间的映射关系为

Gray

(

))（1）

式中(,)表示灰度值，(,)、(,)、(,)表示、、分量值。灰度化方法一般有最大值法、平均值法、加权平均法和分量法等全局映射法。最大值法是将原彩色图像的、、三通道的亮度最大值作为灰度图像灰度值；平均法即采用、、通道的平均值作为灰度值；加权平均法给3个通道分别赋予不同的加权系数实现灰度化；分量法直接采用某一通道的值作为灰度值[18]。经试验发现利用分量法得到的灰度图像前景与背景差别最为明显且程序实现较为简单，故本文采用分量法首先获得、、三通道灰度图（图3a、3c、3e），并分别计算其灰度直方图（图3b、3d、3f）。其中通道有明显的双峰结构，且峰值相距较远（图3f），适合进行后续的二值化处理。

2）阈值分割。阈值分割处理一般看作是灰度图像的二值化处理，输出图像只有2种灰度值：0和255。图像分割方法基于图像中前景与背景的像素值差异，通过设定合适的阈值实现目标与背景的分割，提取图像中有用的信息，常用方法有全局阈值分割和自适应阈值分割[19]。本文搭建的葡萄干色泽识别系统的光线条件相对均匀且所选取的通道灰度图的前景与背景灰度级相差较大（图3f），故选取处理时间短、速度快的全局阈值分割进行二值化操作，其计算公式如下：

其中为输入图像，设其高为，宽为，(,)代表图像中第行第列的灰度值，其中0≤，0≤<；全局阈值分割后的输出图像为，(,)表示输出图像中第行第列的灰度值。由于后续处理步骤需得到葡萄干的颜色信息，故应使葡萄干轮廓区域的灰度值为255，背景区域的灰度值为0，全局阈值分割进行二值化分割公式为

通过图3f可知，其分割最佳阈值在48~64之间，本文取55为分割阈值。利用OpenCV的全局阈值分割函数Threshold()完成图像的二值化处理，效果如图4所示。

图4 阈值分割后图像

3）形态学处理。获得原图像的二值图像后，葡萄干轮廓边缘存在“毛刺”，不够平滑，如图5a中的A区域，本文利用形态学处理方法对分割区域的轮廓进行调整，平滑“毛刺”以获得最理想的效果。形态学运算的基本方法有膨胀和腐蚀[20]。本文采用形态学开运算处理方法，即先腐蚀后膨胀的迭代运算过程，其计算公式如下：

式中(,)为腐蚀或膨胀后得到的灰度值，(+′,+′)为指定内核的大小，内核中心参考点位置为(′,′)，其值为(′,′)。

经试验可知，开运算时采用椭圆形、内核尺寸为5×5的卷积核，可有效消除二值图像中出现在葡萄干轮廓周边的小范围“255值”区域，并且可使得类似图5a中A区域的“毛刺”和其他葡萄干轮廓的边缘更加平滑。处理后结果如图5b所示。

注：A区域为二值化后葡萄干轮廓存在的“毛刺”，A′区域为平滑“毛刺”后得到的轮廓。

2.2 边缘不完整葡萄干轮廓的处理

由于葡萄干在输送带上面连续输送，使得几乎每一帧图像中都有不完整的葡萄干图像存在，故为获取每个葡萄干完整的颜色信息以保证识别的正确率，需要对预处理后的二值图像进行去除不完整葡萄干轮廓操作。常用的实现方法是通过遍历图像中所有像素，找到二值图像中的所有轮廓，利用冒泡排序法根据轮廓位置进行排序；然后找到图像中最左（右）边轮廓的最左（右）极值点的坐标，与图像左（右）边缘坐标比较，最后若轮廓与相关方向的坐标一致，则从轮廓序列中去除此轮廓[21-23]。此方法处理步骤较多，对于尺寸大的图像处理效率低，故本文运用对图像进行边缘扩充、漫水填充、裁剪的方法实现图像边缘不完整葡萄干轮廓的去除，如图6所示。具体实现步骤如下：

1）图像边界扩充。首先对经过预处理的二值图像进行边界扩充，为减对处理速度的影响，扩充值不宜过大，只需满足漫水填充的要求即可，且可以形成一个完整的封闭区域，本文上、下、左、右扩展像素数设置为10，扩充边缘类型采用常量法，即对扩充得到的边界进行常量像素值填充，为保证与边缘不完整轮廓的葡萄干灰度值相同，填充值为255（图6a方框圈定区域）。扩充后的二值图像大小为820×620（像素）。

2）漫水填充。选择扩充后的二值图像为操作对象，为保证漫水填充时不影响原二值图像中的完整葡萄干轮廓，漫水填充算法的起始点应在边界扩充区域内，故坐标设为（5,5），为将不完整葡萄干轮廓填充为与底面灰度值一致，从而去除不完整葡萄干轮廓，填充值与底面灰度值一致，设为0（图6b方框圈定区域）,图像边缘不完整葡萄干轮廓区域（图6a中A、B、C）经漫水填充后得到去除（图6b中A′、B′、C′）。

3）图像裁剪。创建一个矩形类Rect对象，其变量为、、width、height，分别表示矩形左上角点的坐标和矩形的宽、高。由于边界扩充值为10（像素），故取相同尺寸进行图像裁剪，设置（,）=（10,10），width、height为原二值图像尺寸，得到800×600（像素）的二值图像（图6c）。此时A′、B′、C′已得到滤除且尺寸相比于原二值图像不变。

注：A、B、C为图像中不完整葡萄干轮廓的区域，A′、B′、C′为不完整葡萄干轮廓去除后的区域。

2.3 多输送通道识别掩膜的建立

在气动执行机构工作时，需要分别对2条输送带上的葡萄干进行气吹操作且互不干扰，所以在图像处理阶段需要在采集到的每一帧图像上划分出不同的处理区域；而每一处理区域存在多个葡萄干，若同时对区域内的所有葡萄干进行色泽识别，会增加程序返回的数据量和处理时间，故图像处理时仅识别每一条输送通道最靠近图像右侧边缘处的完整葡萄干。本文采用掩膜分别对2条输送通道最靠近图像右侧边缘处的完整葡萄干进行同时识别，步骤如下：

1）建立上、下区域掩膜。利用OpenCV中Rect函数对原图像进行矩形划分。设置Rect类的4个变量分别为0、0、width、height/2，得到上区域掩膜，命名为掩膜（图7a）；设置变量分别为0，height/2，width，height/2，得到下区域掩膜，命名为掩膜（图7c）。其中width、height分别为原图像宽、高尺寸即800和600像素。

2）找寻最靠近图像右侧边缘处的完整葡萄干轮廓。首先利用OpenCV的轮廓查找函数findCountours()分别对掩膜、进行处理，返回一个有序的点集（仅保存轮廓的拐点信息）集合，每一个点集即是一个轮廓；利用最小外接矩形函数minAreaRect()分别对每个区域所找到的轮廓进行包围，保存最小外接矩形对角线交点的坐标作为该葡萄干轮廓重心的坐标；分别比较上、下区域掩膜所保存的每个葡萄干轮廓重心的坐标值并保留其最大值，则坐标最大的葡萄干轮廓即为最靠近图像右侧边缘处的第一个完整葡萄干轮廓；创建2个尺寸大小和掩膜、一样的全零图像，利用轮廓绘制函数drawContours()将此轮廓绘制在全零图像的相应位置上，为保留此轮廓的颜色信息方便后续的去背景处理，颜色填充值为255，得到仅保留最靠近图像右侧边缘处的完整葡萄干轮廓的上、下区域掩膜，分别命名为掩膜、（图7b、7d）。

图7 多通道识别掩膜的建立

2.4 识别阈值的确定

2.4.1 颜色模型的选择

若想将葡萄干的颜色特征值表示出来，需要利用颜色空间模型对彩色加以说明。RGB颜色模型是面向硬件的一种模型，其基于三原色红、黄、蓝而构成[24]。但RGB模型不是直观的颜色模型，颜色之间的视觉差异不能采用该颜色空间中2个颜色点之间的距离来表示[25]。HSV空间模型是根据颜色的直观特性创建的一种颜色空间，也称六角锥体模型，、、分别表示颜色的色调、饱和度、亮度，相比于RGB模型更符合人眼对事物的感知特性，消除了、、分量间的相关性[26-28]。所以本文在HSV颜色空间模型下描述葡萄干的颜色特征。

首先在原RGB图像建立上、下ROI区域，其方法与建立掩膜、相同，且尺寸一致。然后将上、下ROI区域分别从RGB模型转化为HSV模型，其转换公式如下：

式中、、表示HSV空间下各分量值，、、表示三原色各分量值。颜色空间转换完成后如图8所示。

图8 HSV空间下相对应的ROI区域

2.4.2 HSV分量均值的提取与分析

利用OpenCV中的各通道均值函数mean()和掩膜、（图7b、7d）作为模板对上、下ROI区域（图8a、8b）进行操作，得到HSV空间下的三通道均值[29-31]。其中掩膜、为mean()的第二个参数，起屏蔽作用，对上、下ROI区域除最靠近图像右侧边缘的第一个完整葡萄干轮廓外的其他轮廓进行屏蔽。假设最靠近图像右侧边缘的第一个完整葡萄干轮廓区域内总像素数为，第个分量的第个像素为x，各通道均值计算公式如下：

为方便观察并统计，在原图像上将所识别的葡萄干利用外接矩形函数rectangle()进行框定并且把获得的、、分量均值分别输出打印在图像上，如图9所示。

注：方框上部数值由上到下分别为、、通道均值。

Note: The upper value of the box is the mean value of H, s and V channels from top to bottom.

图9 获取、、三通道均值

Fig.9 Gets mean value of,andchannels

分别选取绿、黄、褐色葡萄干各40粒，通过葡萄干投放机构依次投放在2条输送通道上经过图像识别区域（图1b），对每个葡萄干统计5帧图像的、、分量值，分别以每个分量的5组数据平均值作为该葡萄干相应通道的最终像素值，每种颜色的葡萄干得到40组数值，共120组数值。利用MATLAB对获得的数据绘制三维离散点图，如图10所示。由所统计的数据和图10可知，对于绿色、黄色和褐色的葡萄干，分量值数据重合度较高，不适合作为葡萄干色选的阈值设定；绿色和黄色葡萄干的分量值重合度较高，但绿色葡萄干的分量值大都在23以上，黄色葡萄干的分量值大都在23以下，所以以=23作为分选绿、黄葡萄干的阈值；褐色葡萄干的分量值与绿、黄葡萄干均有较大部分的重合度，但分量值大都在80以下，绿、黄葡萄干的分量值大都在80以上，所以以=80可作为分选褐色葡萄干和绿、黄葡萄干的阈值。

图10 绿色、黄色和褐色葡萄干的H、S、V分量三维分布图

通过上述分析阈值原则设定为：当≥23且≥80时，识别葡萄干颜色为绿色；当＜23且≥80时，识别葡萄干颜色为黄色；否则，识别葡萄干颜色为褐色。

3 葡萄干色泽识别算法验证试验和结果分析

3.1 试验方法

为了验证该葡萄干色泽识别算法的正确率，随机选取绿、黄、褐色葡萄干各150粒，利用所搭建的葡萄干表面色泽识别系统（图1）对每种颜色葡萄干分3次进行试验，共进行9次试验，得到每一种颜色葡萄干的正确识别个数、识别正确率和每识别100粒葡萄干所花费的时间，将试验数据与人工分选结果进行对比统计，结果如表1。试验前首先完成摄像头的初始化操作和LED灯管的光照强度和角度的调整，启动步进电机，完成葡萄干投放、同步带输送、CCD工业相机拍摄、计算机图像处理等步骤，对每一个葡萄干进行实时色泽识别，同时得到葡萄干的颜色信息和坐标信息。

表1 试验结果统计

3.2 结果与分析

由表1可知，绿色葡萄干的识别正确率为89.33%，黄色葡萄干的识别正确率为92.00%，褐色葡萄干的识别正确率为96.67%，在双通道作业模式下，其识别效率为21 s/百粒；识别正确率低于人工100%的识别正确率，但识别效率高于110 s/百粒葡萄干的单人处理效率，但人工识别有其固有的缺陷，成本高、作业效率低、主观判断差别大，不可能长时间保持着较高的识别正确率，虽本文方法的识别正确率低于人工识别正确率，但也可达到无核葡萄干各个等级的分级正确率要求[16]，且双通道下识别效率远高于人工识别效率，通过增加输送通道数量，可使分选效率更高。已有研究方法对各色葡萄干的识别正确率在93%以上，基于人工神经网络和VPMCD的识别正确率甚至达到100%[7-15]。由于褐色葡萄干颜色较深，表面亮度较低，相比于黄、绿葡萄干，褐色葡萄干色泽识别度最为明显，而对于黄色、绿色葡萄干而言，颜色均较浅，两者的表面亮度相差较小，需通过色调之间的差异进行区分，故相比于已有的研究方法，本文色泽识别方法对褐色葡萄干的识别正确率较高，对黄、绿色葡萄干识别正确率较低，但现有实现方法的特征提取过程需要花费时间制作色泽特征数据集，并建立分级模型，根据经验和试验结果选取特征参数。特征参数选取不恰当会大大影响分类的正确率且分类算法可移植性低，需要为不同种类葡萄干的分级选取不同的色泽特征参数建立分级模型，增加了研发的成本和周期[7]，并且均为静态识别。本文省去制作数据集并训练特征模型的步骤，算法简单、参数修改方便，仅需修改识别阈值就可以实现不同种类葡萄干在不同硬件条件下的动态色泽识别，方便算法移植。市场上现有的葡萄干分级设备出于分类速率的考量，大多只能实现2级分类，利用葡萄干灰度化后其表面的亮度差异来完成分级，但黄、绿色葡萄干灰度化后表面亮度值相差较小，使得黄、绿色葡萄干无法达到较好的分级效果，通过试验可知，与之相比，本文方法对于区分黄、绿色葡萄干有较好的效果，并且可以同时区分开3种不同颜色的葡萄干。

在进行验证试验过程中绿色葡萄干被识别为褐色葡萄干的情况较多，分析可知，主要原因是由于所选的个别葡萄干本身的形态特征所决定，被错误识别的绿色葡萄干个头均比较小，其表面主色调为黄绿色，颜色较深，且个别葡萄干表面还有小范围褐斑，葡萄干两端尤其是原果梗部位本身就是深颜色，葡萄干在运动姿态下，果梗部位能被摄像头清晰拍到，故在识别过程中易被错误识别为褐色葡萄干；其次是由于硬件系统的试验环境因素，图像处理区域中间部分光线较亮，可达到7 000 lux以上，但图像处理区域两侧边缘处光照强度明显低于中间区域，光照强度为6 500 lux左右，使得葡萄干表面亮度变暗，即分量值降低，从而错误识别为褐色葡萄干。

4 结论

本文基于OpenCV开源函数库，利用计算机视觉技术对葡萄干的色泽识别算法进行了研究，得到的主要结论如下：

1）对获取的葡萄干图像进行预处理，利用分量法和颜色直方图选取通道图像并以灰度值55作为阈值进行全局阈值分割。

2）提出了一种边缘不完整葡萄干轮廓的滤除方法；通过建立上、下ROI区域和比较图像中所有的葡萄干轮廓的中心坐标，制作了仅保留每一帧图像最靠近图像右侧边缘处完整葡萄干轮廓的多通道掩膜，从而实现对多个葡萄干同时进行识别。

3）对各色葡萄干共120粒进行了、、通道均值的提取，通过MATLAB绘图分析得到色调通道为23和亮度通道为80的识别阈值，并对各色葡萄干各150粒进行了试验验证，得到绿、黄、褐色葡萄干的识别正确率分别为89.33%、92.00%和96.67%，识别效率为21 s/百粒。本文方法对实现葡萄干的色泽识别具有可行性，可为葡萄干的商业化分级提供算法参考。

[1]谢辉，张雯，伍新宇，等. 新疆葡萄干生产研究现状及展望[J]. 北方园艺，2015(21)：182－184.

Xie Hui, Zhang Wen, Wu Xinyu, et al. Present situation and prospect of Xinjiang raisin production[J]. Northern Horticulture, 2015(21): 182－184. (in Chinese with English abstract)

[2]热孜娅·阿布力孜. 新疆葡萄产业发展及相关问题之研究[J]. 农村经济与科技，2018，29(4)：166－168.

Rezia·abrizi. Research on the development of grape industry and related problems in Xinjiang[J]. Rural Economy and Science and Technology, 2018, 29(4): 166－168. (in Chinese with English abstract)

[3]亓桂梅，李旋，赵艳侠，等. 2017年世界葡萄干生产及流通概况[J]. 中外葡萄与葡萄酒，2018(2)：60－65.

Qi Guimei, Li Xuan, Zhao Yanxia, et al. Production and circulation of world raisins in 2017[J]. Sino-Overseas Grapevine & Wine, 2018(2): 60－65. (in Chinese with English abstract)

[4]朱文慧，车凤斌，郑素慧，等. 不同贮藏温度对无核白葡萄干贮期颜色变化的影响[J]. 新疆农业科学，2015，52(12)：2208－2214.

Zhu Wenhui, Che Fengbin, Zheng Suhui, et al. The effect of different temperatures storage on color changes of thompson seedless raisin[J]. Xinjiang Agricultural Sciences, 2015, 52(12): 2208－2214. (in Chinese with English abstract)

[5]郑素慧，车凤斌，朱文慧，等. 水分含量对无核白葡萄干贮期品质及生理变化的影响[J]. 新疆农业科学，2015，52(10)：1808－1813.

Zheng Suhui, Che Fengbin, Zhu Wenhui, et al. Effect of different moisture contents on the quality and physiological changes of seedless raisins during storage[J]. Xinjiang Agricultural Sciences, 2015, 52(10): 1808－1813. (in Chinese with English abstract)

[6]党转转. 新疆葡萄干市场竞争力及市场潜力研究[D]. 乌鲁木齐：新疆农业大学，2016.

Dang Zhuanzhuan. Market Competitiveness and Market Potential of Raisin in Xinjiang[D]. Urumqi: Xinjiang Agricultural University, 2016. (in Chinese with English abstract)

[7]刘星星，徐丽明，袁全春，等. 葡萄干自动分级技术现状与发展趋势[J]. 农业装备与车辆工程，2018，56(11)：11－15.

Liu Xingxing, Xu Liming, Yuan Quanchun, et al. Status and outlook of raisin auto-classification technology[J]. Agricultural Equipment & Vehicle Engineering, 2018, 56(11): 11－15. (in Chinese with English abstract)

[8]Angadi S A, Hireoudar N. A cost effective algorithm for grading raisins using image processing[J]. International Journal of Recent Trends in Engineering & Research, 2016, 2(7) : 20－27.

[9]Okamura N K, Delwiche M J, Thompson J F. Raisin grading by machine vision[J]. Transactions of the ASAE, 1993, 36(2): 485－492.

[10]Mollazade K, Omid M, Arefi A. Comparing data mining classifiers for grading raisins based on visual features[J]. Computers and Electronics in Agriculture, 2012, 84: 124－131.

[11]Yu Xinjie, Liu Kangsheng, Wu Di, et a1. Raisin quality classification using least squares support vector machine (LSSVM) based on combined color and texture features[J]. Food and Bioprocess Technology, 2012, 5(5): 1552－1563.

[12]刘小英，张健，杨蜀秦，等. 基于人工神经网络与VPMCD的葡萄干等级检测方法研究[J]. 现代电子技术，2016，39(12)：18－21. Liu Xiaoying, Zhang Jian, Yang Shuqin, et a1. Research on raisin grade detection method based on artificialneural network and VPMCD[J]. Modern Electronic Technology, 2016, 39(12): 18－21. (in Chinese with English abstract)

[13]刘小英，秦振涛，杨蜀秦，等. 基于稀疏表示的葡萄干品质分级[J]. 江苏农业科学，2016，44(8)：421－423.

Liu Xiaoying, Qin Zhentao, Yang Shuqin, et a1. Quality grading of raisin based on sparse representation[J]. Jiangsu Agricultural Sciences, 2016, 44(8): 421－423. (in Chinese with English abstract)

[14]雪合拉提·木塔力甫，李俊伟，郭俊先，等. 无核白葡萄干机器视觉色泽分级研究[J]. 农机化研究，2015(5)：24－28. Xuehelati·mutalifu, Li Junwei, Guo Junxian, et al.Prediction of the weight of wuhebai grape by machine vision techniques[J]. Journal of Agricultural Mechanization Research, 2015(5): 24－28. (in Chinese with English abstract)

[15]唐晶磊，景旭，何东健，等. 基于BP神经网络的葡萄干分级技术的研究[J]. 农机化研究，2007(11)：51－53.

Tang Jinglei, Jing Xu, He Dongjian, et al.Research of classification of raisin based on BP networks[J]. Journal of Agricultural Mechanization Research, 2007(11): 51－53. (in Chinese with English abstract)

[16]NYT/705-2003，无核葡萄干分级标准[S]. 北京：中国标准出版社，2004.

[17]刘保安. 基于MATLAB的车牌图像预处理应用[J]. 电脑迷，2019(2)：11，13.

Liu Baoan. Application of license plate image preprocessing based on MATLAB[J]. Computer Addict, 2019(2): 11, 13. (in Chinese with English abstract)

[18]顾梅花，苏彬彬，王苗苗，等. 彩色图像灰度化算法综述[J]. 计算机应用研究，2019，36(5)：1286－1292.

Gu Meihua, Su Binbin, Wang Miaomiao, et al. Survey on decolorization methods[J]. Application Research of Computers, 2019, 36(5): 1286－1292. (in Chinese with English abstract)

[19]汤朋文，陶华敏，肖山竹，等. 几种常用图像分割算法自适应性的分析比较[J]. 数字技术与应用，2016(5)：140，143.

Tang Pengwen, Tao Huamin, Xiao Shanzhu, et al.Analysis and comparison of self adaptability of several commonly used image segmentation algorithms[J]. Digital Technology and Application, 2016(5): 140, 143. (in Chinese with English abstract)

[20]何晓军，徐爱功，李玉，等. 利用HSI空间相似性的彩色形态学图像处理方法[J]. 计算机科学，2019，46(4)：285－292.

He Xiaojun, Xu aigong, Li Yu, et al. Color morphology image processing method using similarity in HSI space[J]. Computer Science, 2019, 46(4): 285－292. (in Chinese with English abstract)

[21]周军，郭俊先，张静，等. 基于机器视觉的核桃仁动态分级研究[J]. 新疆农业科学，2018，55(5)：901－911.

Zhou Jun, Guo Junxian, Zhang Jing, et al. Study on dynamic grading method of walnut kernel based on machine vision[J]. Xinjiang Agricultural Sciences, 2018, 55(5): 901－911. (in Chinese with English abstract)

[22]蔡建，周军，史建新，等. 基于机器视觉的核桃仁分级方法[J]. 江苏农业科学，2018，46(5)：158－161.

Cai Jian, Zhou Jun, Shi Jianxin, et al. Walnut kernel grading method based on machine vision[J]. Jiangsu Agricultural Sciences, 2018, 46(5): 158－161. (in Chinese with English abstract)

[23]蔡建. 基于机器视觉技术的核桃仁颜色与完整度分级研究[D]. 乌鲁木齐：新疆农业大学，2017.

Cai Jian. Research on Walnut Color and Integrity Classification Based on Machine Vision Technology[D]. Urumqi: Xinjiang Agricultural University, 2017. (in Chinese with English abstract)

[24]高达睿. 基于颜色和形状特征的茶叶分选研究[D]. 合肥：中国科学技术大学，2016.

Gao Darui. Study on Tea Sorting Based on Color and Shape Characteristics[D]. Hefei: University of Science and Technology of China, 2016. (in Chinese with English abstract)

[25]温芝元，曹乐平. 最优RGB线性组合颜色模型目标检测方法[J]. 计算机工程与应用，2015(18)：218－223.

Wen Zhiyuan, Cao Leping. Optimal linear combination of RGB color model target detection method[J]. Computer Engineering and Applications, 2015(18): 218－223. (in Chinese with English abstract)

[26]侯宾，张文志，戴源成，等. 基于OpenCV的目标物体颜色及轮廓的识别方法[J]. 现代电子技术，2014(24)：76－79. Hou Bin, Zhang Wenzhi, Dai Yuancheng, et al. Method of objects’ color and contour recognition based on OpenCV[J]. Modern Electronics Technique, 2014(24): 76－79. (in Chinese with English abstract)

[27]邓明俐. 散烟特征提取与自动分级方法研究[D]. 洛阳：河南科技大学，2015.

Deng Mingli. Study on Feature Extraction and Automatic Classification of Smoke[D]. Luoyang: Henan University of Science and Technology, 2015. (in Chinese with English abstract)

[28]李俊峰. 基于RGB色彩空间自然场景统计的无参考图像质量评价[J]. 自动化学报，2015(9)：1601－1615.

Li Junfeng. Quality evaluation of unreferenced image based on RGB color space natural scene statistics[J]. Acta Automatica Sinica, 2015(9): 1601－1615. (in Chinese with English abstract)

[29]马建华. 枸杞机器视觉分级分选机的研制[D]. 银川：宁夏大学，2017.

Ma Jianhua. Development of Machine Vision Grading Machine for Lycium Barbarum[D]. Yinchuan: Ningxia University, 2017. (in Chinese with English abstract)

[30]王红雨，尹午荣，汪梁，等. 基于HSV颜色空间的快速边缘提取算法[J]. 上海交通大学学报，2019，53(7)：765－772.

Wang Hongyu, Yin Wurong, Wang Liang, et al. Fast edge extraction algorithm based on HSV color space[J]. Journal of Shanghai Jiaotong University, 2019, 53(7): 765－772. (in Chinese with English abstract)

[31]于桓. 基于机器视觉的番茄颜色分级检测研究[J]. 机电技术，2015(4)：75－77.

Yu Huan. Research on tomato color grading detection based on machine vision[J]. Electromechanical Technology, 2015(4): 75－77. (in Chinese with English abstract)

Real time color recognition of moving raisin based on OpenCV

Liu Xingxing, Wang Shuoshuo, Xu Liming※, Yuan Quanchun, Ma Shuai, Yu Changchang, Niu Cong, Chen Chen, Yuan Xunteng, Zeng Jian

(,100083,)

In order to realize the automatic colour and lustre recognition of “seedless white” raisins in Turpan, Xinjiang,in this paper, OpenCV open source function library was used as an image processing tool, a multi-channel moving raisin color and lustre real-time recognition algorithm was proposed. In order to ensure the accuracy of raisin colour and lustre feature extraction, it is necessary to preprocess every image acquired in real time. In this paper, component method was used to obtain the gray scale image of each image, the gray histogram of RGB image components was obtained by OpenCV open source function library, and finally the-channel gray scale image was selected for threshold segmentation through observation. Through the-channel gray histogram, 55 was selected as the segmentation threshold, and the image after threshold segmentation was obtained, i.e. binary image. Through morphological operation, the binary image was processed by etching first and then expanding, and the smooth and burr free binary image of raisin was obtained. A method to remove the incomplete raisin outline at the two sides of each binary image was proposed. The complete color information of raisin was obtained by the image boundary expansion, overflow filling and image clipping of binary image.The pper and lower area mask were established, and each frame image was processed separately by the mask, the image segmentation was realized, and the raisins on the two conveyor belts was recognized at the same time, and the recognition processing efficiency was improved.The rightmost contour of upper and lower region was found by traversing every raisin contour in the image, and only the rightmost raisin was recognized in the process of processing each frame of the image (the synchronized conveyor belt was transported from left to right), so as to simplify the data processing.In HSV space, the mean value of each channel was extracted from the first raisin on the rightmost of the two synchronized conveyor belt, and 40 raisins of green, yellow and brown were tested for value taking. Statistical data were analyzed and plotted with MATLAB, the results were that the threshold value ofcomponent was 23, and that ofcomponent was 80, which were used to identify and sort the raisins of three colors.150 raisins of each color were selected were selected for the validation test, and each color was divided into three groups, 50 raisins in each group,9 groups of tests were conducted.The results showed that the average recognition accuracy of green raisins was 89.33%, that of yellow raisins was 92.00%, and that of brown raisins was 96.67%, the recognition efficiency was 21 s/100 raisins, the method was simple and effective.The recognition efficiency of this method was higher than 110 s / 100 raisins of manual sorting, but the recognition accuracy was lower than 100% of manual sorting. Compared with the existing research methods, the recognition accuracy of this method for brown raisins was higher, but the recognition accuracy for yellow and green raisins was lower. The current raisin grading equipment in the market can hardly distinguish the yellow and green raisins, the paper provides a better method to distinguish the yellow and green raisins. The raisin colour and lustre recognition algorithm based on OpenCV open source function library was feasible and accurate, the coordinate information, colour and lustre information of the identified raisins were obtained, which provided the algorithm basis for the construction of the subsequent sorting actuator and control system, and provides the reference for the commercialization of raisin colour and lustre selection.

agriculture products; image processing; OpenCV; color space; raisin; color recognition

刘星星，王烁烁，徐丽明，袁全春，马帅，于畅畅，牛丛，陈晨，袁训腾，曾鉴. 基于OpenCV的动态葡萄干色泽实时识别[J]. 农业工程学报，2019，35(23)：177－184.doi：10.11975/j.issn.1002-6819.2019.23.022 http://www.tcsae.org

Liu Xingxing, Wang Shuoshuo, Xu Liming, Yuan Quanchun, Ma Shuai, Yu Changchang, Niu Cong, Chen Chen, Yuan Xunteng, Zeng Jian. Real time color recognition of moving raisin based on OpenCV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 177－184. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.022 http://www.tcsae.org

2019-08-06

2019-11-18

现代农业产业技术体系建设专项资金资助（CARS-29）

刘星星，副教授，主要从事图像处理技术研究。Email：liuxingxing56285@163.com

徐丽明，教授，博士生导师，主要从事生物生产自动化技术与装备研究。Email：xlmoffice@126.com

10.11975/j.issn.1002-6819.2019.23.022

TP312; S24

1002-6819(2019)-23-0177-08