脐橙分选包装表面损伤识别算法设计研究

,

(1.重庆工商大学机械工程学院,重庆 400067； 2.重庆工商大学图书馆,重庆 400020)

脐橙分选包装表面损伤识别算法设计研究

杨祖彬1,曾莉红2

(1.重庆工商大学机械工程学院,重庆 400067； 2.重庆工商大学图书馆,重庆 400020)

研究提出了一种改进的计算机视觉识别技术与图像融合算法,并建立脐橙表面损伤识别系统,检测中从图像采集卡获得数字化的图像数据后,经过图像二值化、边缘检测和灰度拉伸处理,再对图像的行灰度均值变化曲线进行分析,加权滤波后提取特征图像,以提高脐橙分选包装的精度和速度。通过实验测试表明：边缘特征检测方法对于模糊图像的处理能力较强,算法设计中的损伤定位加快了系统的处理速度,其检测速度达到了10.5个/s,具有精度高、通用性和稳定性好等特点。

分选包装,损伤识别,边缘检测,灰度拉伸算法

脐橙色泽鲜艳、营养丰富,是世界各国竞相栽培的良种果品,目前在我国江西赣南地区(占80%以上),四川、重庆奉节、湖北、广东等都有大面积的种植,年产脐橙近100万t[1]。脐橙的外观特征是评价其品质的重要指标之一,对于脐橙的形状、颜色和质量的判别是脐橙在分选包装检测中不可缺少的项目。其中,脐橙的表面缺陷程度是脐橙品质最直接的反映,国家标准GB/T12947.91对水果表面缺陷数量和面积大小已有严格的规定。目前,在脐橙的分选包装过程中,对其表面缺陷的快速识别一直是品质检测中的难题。在国内,脐橙损伤的判别一般采用人工外观检查和比较分析,存在精度不高、视觉容易疲劳、速度缓慢、缺乏客观性等缺点,给脐橙的销售和出口带来了许多问题[2-3]。关于水果表面检测有许多研究成果,如REHKUGLER等人[4]提出了基于苹果图像灰度的缺陷检测方法,在此方法中采用的黑白二色摄像头进行图像采集。刘禾,汪懋华等人[5]提出了图像分割的方法对苹果进行检测识别研究。在后来进一步的研究中,LEEMANS[6]等用3CDD相机及贝叶斯判别分析理论检测苹果表面缺陷与损伤,通过分析和评估颜色概率分布来确定是正常苹果还是带缺陷的苹果。LEEMANS和DESTAIN[7]应用二次判别分析理论分类检测方法,但其效果不佳。最近,Lopez-Garcia[8]等基于无监督多元图像分析方法和主成分分析理论,设计了一种柑橘类水果缺陷检测算法,结果显示水果缺陷的检测精度为91.5%。伴随着计算机芯片处理速度的不断提高,利用视频采集系统的高分辨率和计算机模拟人类视觉的特点,在图像分析与识别中采用计算机视觉技术已有很多的研究成果,如基于计算机视觉技术的玉米籽粒形态分类[9]、稻种图像的特征识别[10]等。在此,以重庆奉节脐橙为例,提出了一种改进的计算机视觉识别技术与图像融合算法,建立一个脐橙损伤的识别系统。重点研究从图像采集卡获得数字化的图像数据之后,对数字化图像进行识别与处理,以此来判断脐橙表面有无损伤,即对脐橙表面的损伤图像进行处理与识别研究,以提高脐橙分选包装的精度和速度。

1 材料与方法

1.1材料与仪器

实验材料以重庆市奉节脐橙为研究材料,随机抽取480个脐橙进行实验,将其分成3组,第一、二组均为120个,这两组脐橙中每组有轻微损伤的脐橙36个,无任何损伤脐橙84个；第三组脐橙240个,其中有轻微损伤的脐橙72个,无任何损伤脐橙168个。第一组采取传统方法进行损伤识别,第二、三组采取改进算法(本文设计的方法)进行损伤识别。

根据实验要求,自行构建基于机器视觉技术的脐橙损伤检测系统,该系统的主要设备有果品实验箱、计算机、摄像头、图像采集等部件。图像采集系统的摄像头来自德国Baseler公司,其型号是SCA1390-17FC、镜头的型号是M1214-MP,采集卡型号是METEOR2-1394。检测系统如图1所示。实验环境为AMD Athlon(tm)II X2,CPU 2.8GHz,2G内存,实验源代码采用C语言编写,并在Visual C++6.0编译环境进行仿真。

图1 脐橙检测系统图

1.2脐橙表面缺陷的分类和损伤大小界定

脐橙损伤从表面缺陷分类主要有溃疡果、蓟马果、炭疽病果、裂伤果、药伤果、日灼果、风伤果、虫伤果、异色条纹果、腐烂果和介壳虫果等11种[1]。不同类型损伤的图像在亮度变化上存在着较大的区别,李江波等[1]提出了脐橙表面亮度不均变化的照度-反射模型和单阈值缺陷分割算法。此亮度变化模型算法能将正常水果的表面标注为高亮区域,表面有缺陷标注为低灰度区域。基于此算法及单阈值分割理论能对上述11种脐橙表面缺陷进行分割。表面缺陷中介壳虫果、蓟马果和虫伤果是由虫害所致,其损伤约为2～3mm。溃疡是由病菌感染在脐橙表面形成圆形的病斑,病斑深度一般大于1mm[11]。药伤果的表面缺陷通常在果脐周围,其损伤面积较大,缺陷区域为脐橙表皮的14.3%[12]。以上缺陷在此称为脐橙表面轻微损伤,对于表面损伤超过脐橙表面2/3的称为重度损伤或腐烂(坏果),腐烂(坏果)可以通过人眼识别进行初筛选。

Blasco等[13]对柑橘的缺陷分类时,通过比较5种颜色空间的研究,对不同缺陷的识别中确定了HIS颜色空间(HIS Color Model)算法的高效性和准确性。实验中对缺陷的近红外(Near-infrared)、紫外(Ultraviolet)和荧光(Fluorescence)图像对比分析。发现紫外图像能较好地识别梗部损伤,近红外图像有利于识别真菌感染的缺陷和黑褐煤病缺陷,荧光图像能有效地对蓟马、疤痕和腐烂进行准确地识别。两年后,Blasco等[14]基于多视觉系统及缺陷形态学特征对柑橘类水果表面11种缺陷类型进行了检测识别。

1.3检测算法设计

首先将脐橙置于检测系统平台上,平台为传送带,当传送带经过光照检测箱时,由CCD摄像头捕获到脐橙的原始图像。所采集的原始图像经图像采集卡在显示器上以数字信号方式显示。获取的脐橙原始图像,经过中值滤波消噪处理、图像二值化和区域标记后,得到检测脐橙总数量,记为T1。对脐橙损伤检测并统计,数量计为T2。最后计算损伤率(T2/T1)并输出损伤检测结果。

图2(a)是完好无损伤脐橙与有损伤脐橙(图2(c))的原始采集图像。完好无损伤脐橙经系统成像后形成如图2(b)的检测图,有损伤脐橙经系统成像后形成如图2(d)的检测图,与图2(b)所不同的是图2(d)中脐橙成像存在不同程度的白色标记区域。根据系统这一成像特征,提出一种有效的算法对脐橙损伤进行识别和判断。

图2 脐橙损伤检测图

2 图像采集与边缘检测

2.1图像采集

脐橙的图像采集在带环形发光二极管光源、背景为白色的实验箱内进行,光源选取深圳宝光照明有限公司Led 20W环形光源,其型号为FLM223-20W,光量度为1600～1800lm,色温为2800～9000K,显色性为60～90Ra。脐橙图像采样时,要调整焦距和待测脐橙的相对位置,这样才能使采集的图像达到理想状态,固定系统的检测参数有利于后续图像的获取和采集,再将获取的图像数据通过系统的图像采集卡传输到计算机进行识别与分析。数据采集前,要先设定好高光谱摄像头的曝光时间参数,确保获取清晰的高光谱图像；另外,还需要设定传动系统装置的速度参数,以避免在数据采集时出现图像尺寸和空间分辨率失真现象。成像系统的线阵探测器在X轴上进行横向扫描,即光学焦面的垂直方向,以获得条状空间中各个像素点在每一波长的图像信息。同时随着脐橙在传送系统的运动(Y轴方向),此时线阵探测器扫出了整个坐标平面,这样图像采集系统就完成了整幅图像数据的采集,获得了一幅高光谱脐橙图像,其图像大小为1280×1024×600。图像采集系统如图3所示。

图3 图像采集系统构成图

2.2脐橙图像的边缘检测

脐橙图像的边缘检测在此研究中采用高斯低通滤波消除噪声和拉普拉斯算子(Laplace Operator)相结合的方法。拉普拉斯算子(Laplace Operator)[14]定义如下：

系统图像处理时,由于数字图像的离散性特点,在图像处理与计算识别过程中,用差分代替微分进行运算,其离散形式和高斯滤波表达式分别如下：

▽2f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)

式(1)

g(x,y) =G(x,y)f(x,y)

式(2)

式(2)中σ为高斯函数的标准差。Laplace算子的特点是可以锐化图像边缘,具有各向同性,但在进行图像处理时加大了噪声。利用脐橙图像二阶导数的零交叉点,这种求边缘的算法却对噪声十分敏感,图像处理过程中要实现在边缘增强之前滤除噪声,为此,将拉高斯函数和普拉斯算子相结合,形成高斯-拉普拉斯算子,其算子如下：

式(3)

在此将高斯滤波和拉普拉斯边缘检测相结合,形成Gauss-Laplace算子(LoG),此方法的特点在于图像先与高斯滤波器做卷积,以进行滤波处理,这样既平滑了图像又降低了图像的噪声,滤除了孤立的噪声点与图像中较小的结构组织,然后利用无方向性的Laplace算子实现系统的边缘检测[16-17]。

经过高斯-拉普拉斯算子滤波处理后的图像进行二值化处理,可以得到闭合、轮廊连通的图像,并且图像中消除了所有的内部点[18-19]。脐橙的边缘检测如图4所示。

图4 脐橙图像的边缘检测

3 脐橙损伤识别算法设计

3.1图像中损伤的定位

脐橙经过系统检测后,要对图像的损伤有无进行识别或判断,并对有损伤脐橙的损伤位置进行准确定位,在此研究中采用RLE算法,RLE(Run Length Encoding)压缩算法是一种无损压缩的方法。其算法特点是利用重复字节和重复的次数来描述以代替重复的字节。此压缩算法简单并且对于通常的压缩非常低效,但是它却非常实用[20-21]。文中用该算法设计损伤查找与定位算法,取得了理想的识别方法。此算法获到了单纯的损伤形状图像信息,其算法的描述如下:

RLE类的定义:

Struct RLE_ELEMENT

{

int iRLE_ID;#RLE类的ID号

int iRow;#RLE类的行号

int iStart_Pos,iEnd_Pos;#RLE类的起始位和结束位

int iNextELE;#指向RLE类中的下一个

};

定义损伤类:

Struct OBJECTS

{

Int ObjID;#损伤的序号

Int StartIndex;#损伤的起始RLE序号

Int TotalPixe;#损伤的像素统计计数

POINT COG;#损伤的重心位置

};

利用此算法可以实现对图像的每行生成一个RLE元素,如果获取的RLE元素有单个像素或者生成的RLE元素超出了纹理尺寸,则此算法将去除系统检测中异常的RLE元素；如果图像在检测中相邻行的两个RLE元素形成了重叠,那么进行图像连接,并自动指向下一个RLE类；若图像中在相同行的相邻的RLE元素间距是在给定值的范围内,此时两个RLE元素进行连接,形成了一个新的RLE元素,也即RLE[i]中iNextindex指向RLE[i+1],系统进行此算法处理后,将图像中所有相连的RLE元素组成了一个脐橙损伤图像整体,从而实现了脐橙图像中的损伤定位。

3.2图像处理

在上述方法中实现了脐橙图像损伤定位,再对完好的与存在不同损伤的脐橙图像采用逐个检测的方法进行对比分析。从原始图像中提取单个脐橙的灰度图像,为了便于系统进行脐橙损伤的识别检测,需对单体脐橙图像进行预处理。在此为了方便描述,假设单个脐橙图像的像素点表示为：m×n,其中m表示单个脐橙图像在高度方向的像素点数,n表示脐橙图像宽度方向的像素点数,x、y分别取小于或等于m和n的正整数,F(x,y)表示图像在像素点(x,y)处的灰度值。为了避免系统成像背景及脐橙的果脐和果梗对损伤识别的影响,在图像处理与识别过程中要突出脐橙的损伤特征,采用灰度拉伸算法对单个脐橙图像进行了预处理。设采用灰度拉伸方法处理后的图像在像素点(x,y)的灰度值为P(x,y),则有：

系统对待检测脐橙图像进行处理后,实验结果表明：当系统检测阀值的下限Smin为78、检测阀值的上限Smax为166时,对脐橙损伤图像特征的增强效果较为理想。图5是图2(c)中损伤脐橙图像利用灰度拉伸算法得到的灰度拉伸图像,与图2(c)中相比,灰度拉伸后可以使单个脐橙图像得到加强,且与图2(c)中的损伤特征相比较,其识别图像特征更为明显,有利于脐橙损伤的检测。

图5 灰度拉伸后的脐橙图像

在得到系统检测的损伤图像后,再计算图像的行灰度均值。在此设Q为图像灰度值P(x,y)在第x行不为零的像素点的个数,Z(x)表示灰度图像第x行灰度值不为零的像素点的灰度均值,则有：

加权处理,设R(x)为对Z(x)进行加权处理后的值,则有：

2≤x≤m-1

图2是运用本文算法对无损伤脐橙和有损伤脐橙图像进行检测后所得到的结果。无损伤脐橙的检测结果的图像为图2(a),其检测成像图为图2(b)；而有损伤脐橙检测结果的图像为图2(c),其检测成像图为图2(d),损伤脐橙图像存在非常明显的白带色区,根据图像中有无白带色区以及白色线条的数量,即可判断脐中是否存在损伤以及损伤的区域。图像加权处理中,当x=1或x=m时,R(x)=Z(x)。图6(a)和图6(b)分别为图2(a)与图2(c)脐橙图像的R(x)值曲线变化。可以从图6中得到以下结论：完好脐橙图像的R(x)曲线比较平滑,图像曲线中无明显的波谷；而有损伤脐橙的R(x)曲线则存在显著的波谷特征。经分析研究表明,该图像特征(曲线变化)为脐橙图像中的损伤所致。

图6 图像灰度行均值变化曲线

4 实验结果与分析

按照传统检测算法和图像识别,对脐橙进行分级检测和损伤区域检测的研究成果较多。如李庆中[11]等的水果实时分级技术研究中,将每个水果采集两幅图像,其损伤缺陷检测的速度达到了5个/s,但检测误差较大,如对于苹果检测,损伤检测的准确率仅为51%。后来研究者在其设计上进行了改进,提出了双金字塔数据形式的盒维数快速计算算法,以人工神经网络(BP)作为模式识别器[22-24],其识别准确率为93%,图像中1个可疑缺陷区的检测判别时间为4～7ms。

表1 脐橙损伤的检测对比分析

该项研究中脐橙样本分为3组,第一、二组120个样本,第三组的检测样本为240个,第一组采取传统方法进行损伤识别,第二、三组采取改进算法(本文设计的方法)进行损伤识别,其结果如表1所示。从表1的检测结果来看,第一组运用传统损伤识别算法,36个轻微损伤的样本脐橙被正确检测出来的只有29个,系统检测正确率为80.50%；而84个完好的样本脐橙只有62个被检测出来,其正确率仅为73.8%。而在该改进算法的实验中,36个轻微损伤的脐橙样本中有35个被正确检测出来,检测正确率为97.2%,错检的主要原因是训练样本数量和范围不够全面。改进的检测算法比传统检测方法对脐橙损伤识别率要高,84个完好脐橙中有82个被检测出来,正确率为97.6%。改进算法对于损伤检测准确率提高了16.7%,完好脐橙的检测准确率提高了23.8%。传统检测算法需用时(16800+7200)ms,系统检测速度为5个/s；改进算法则用时(8000+3429)ms,系统检测速度为10.5个/s；因此与传统算法相比,系统检测准确率明显得到了提高,由于对成像系统进行了改进,同样的检测样本,系统检测速度提高了一倍。

为了避免因训练样本数量带来的问题,在第三组测试中,将训练样本增加一倍(240个),其检测准确率得到了提升,同时也说明了系统检测的稳定性。传统损伤识别算法中实验结果表明：完好脐橙的检测中(第一组),被正确识别的效果不理想,系统误差偏大、检测率较低,这主要是因为在图像采集时,脐橙的形状多样和表面的凸凹不平都会造成在特征波长下的图像失真,该区域的灰度与轻微损伤处灰度非常相似,从而造成了系统误检,该改进算法的检测有效地克服了此项缺陷。

5 结论

利用了计算机视觉技术,对系统获取的脐橙图像进行边缘检测,并对图像进行灰度拉伸处理,提取出图像边缘和损伤图像的表面缺陷的特征参数,提出的边缘特征检测方法对于模糊图像的处理能力较强,不仅系统处理速度快,而且不需要细化处理和序列化处理。该算法实现了脐橙分选包装中对脐橙损伤的检测,检测精度高,并具有良好的通用性,实现了基于计算机视觉和图像处理的脐橙损伤自动检测。由于系统提取图像特征参数不够多,目前还不能实现对脐橙内部特征进行自动检测,要实现对脐橙内部品质的检测,首先要解决从快速运动的脐橙群体中提取有效的图像信息,这是有待进一步研究要解决的关键性问题。

[1]李江波. 脐橙表面缺陷的快速检测方法研究[D].杭州：浙江大学,2012.

[2]苏东林,李高阳,何建新,等.近红外光谱分析技术在我国大宗水果品质无损检测中的应用研究进展[J].食品工业科技,2012(6)：460-464.

[3]王雪莹,罗佳丽,黄明亮,等.热成像技术在食品工业中的研究进展[J].食品工业科技,2013,34(1)：397-400.

[4]Rehkugler G,Throop A. Apple sorting with machine vision[J].Transactons of the ASAE,1985,29(5):1388-1395.

[5]刘禾,汪懋华.苹果自动分级中的图像分割[J].中国农业大学学报,1996,1(6):89-93.

[6]Leemans V,Magein H,Destain M. Defect segmentation,on ‘Jonagold’apples using colour vision and a Bayesian classification method[J]. Computers and Electronics in Agriculture,1999(23):43-53.

[7]Leemans V,Destain M. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering,2004,61(l):83-89.

[8]Lopez-Garcia F,Andreu-Garcia G,Blasco J,etal. Automatic detection of skin defects in citrus using a multivariate image analysis approach[J]. Computers and Electronics in Agriculture,2010,71:189-197.

[9]Liao K,Paulsen M R,Reid J F,etal. Corn kernel breakage classification by machine vision using a neural network classifier[J]. Transactions of the ASAE,1994,36(6):1949-1953.

[10]喻擎苍,严红滨.一种基于图像轮廓线的稻种模糊模式识别方法[J].农业工程学报,2002,18(1):150-153.

[11]Qin J W,Burks T,Ritenour M. Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence[J]. Journal of food Engineering,2009,93:183-191.

[12]李江波,饶秀勤,应义斌,等.基于高光谱成像技术检测脐橙溃疡[J].农业工程学报,2010,26(8):222-228.

[13]Blasco J,Aleixos N. Citrus sorting by identification of the most common defects using multispectral computer vision[J]. Journal of Food Engineering,2007,83:384-393.

[14]Blasco J,Aleixos N,Molto E. Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features[J]. Biosystems Engineering,2009,103:137-145.

[15]何东健,杨青.果实缺陷面积的计算机视觉测定研究[J].农业工程学报,1997,13(4):156-160.

[16](美)桑卡.图像处理、分析与机器视觉(第3版)[M].北京：清华大学出版社,2011：48-56.

[17](英)阿瓜多著.李实英,杨高波译.特征提取与图像处理(第二版)[M].北京：电子工业出版社,2010：77-92.

[18]刘清,林土胜.数学形态学的边缘检测算法研究[J].计算机工程与应用,2008,44(35)：138-141.

[19]杨振亚,王淑仙,王成道.自适应图像边缘检测算法[J].计算机应用,2003,23(5):15-17.

[20]章毓晋,黄翔宇,李睿.自动检测精细印刷品缺陷的初步方案[J].中国体视学与图像分析,2001(6):109-116.

[21]林睿.共焦扫描成像系统中串口通信的C+实现[J].重庆工商大学学报：自然科学版,2011,28(2)：168-171.

[22]李庆中,汪懋华. 基于计算机视觉的水果实时分级技术发展与展望[J]. 农业机械学报,1999,30(6)：1-7.

[23]李庆中,汪懋华. 基于分形特征的水果缺陷快速识别方法[J]. 中国图象图形学报,2000,5(2)：144-148.

[24]籍保平,吴文才.计算机视觉苹果分级系统[J].农业机械学报,2000,31(6):118-121.

Navel orange sorting and packaging surface damage detection algorithm design based on computer vision and image processing

YANGZu-bin1,ZENGLi-hong2

(1.College of Mechanical,Chongqing Technology and Business University,Chongqing 400067,China; 2. Library,Chongqing Technology and Business University,Chongqing 400020,China)

In this research an improved computer vision detection technology and image fusion method had been proposed so as to create a navel orange surface damage detection system,i.e. firstly,digitized data in detection was collected from image collection card to be processed through image binarization,edge detection and grey stretch. Then the change curve of image grey-scale average was analyzed. Finally,feature image was extracted after weighted filtering so as to improve the precision and speed of navel orange sorting and packaging. The experiment showed that edge feature detection had strong ability in blurred image processing,and that damage location in algorithm design had speeded up the system processing with 10.5 oranges per second,which was characterized by high precision,generality and good stability.

sorting and packaging;damage detection;edge detection;gray stretch algorithm

2013-04-19

杨祖彬(1967-)，男，本科，副研究员，主要从事绿色包装、食品包装检测技术方面的研究。

重庆市科委科学技术项目(CSTC2012CX-RKXA00024)；重庆市教委科学研究项目(KJ100710)；重庆市社科规划项目(2012YBCB055)。

TS255

：A

：1002-0306(2014)01-0264-06