基于机器视觉和人工神经网络的库尔勒香梨颜色分级

2010-10-28屈年巍马本学王维新祁想想肖文东

石河子大学学报（自然科学版） 2010年4期

关键词：香梨机器视觉分级

屈年巍,马本学,王维新,祁想想,肖文东

(石河子大学机械电气工程学院,石河子832003)

基于机器视觉和人工神经网络的库尔勒香梨颜色分级

屈年巍,马本学,王维新,祁想想,肖文东

(石河子大学机械电气工程学院,石河子832003)

为实现香梨颜色的自动化分级,建立了机器视觉实验台,将实验台采集到的香梨图像由 RGB格式转化为HSI格式进行描述,并采用 H分量信息对图像进行背景分割,提取香梨表面像素的颜色信息,建立BP网络对图像颜色进行分类,网络输入层有2个节点,隐含层有7个节点,输出层有1个节点,颜色分类结果的准确率为95%。关键词:机器视觉;神经网络;颜色;分级;香梨

Abstract:In order to achieve the automation of fragrant pear color grading,a machine vision experiment platform was established.The RGB images of fragrant pears were acquired from the experiment platform,and then transformed the images of fragrant pears from RGB to HIS.The information of H element was used to separate the fragrant pear from background.The color information of the pixel on the surfaces of fragrant pears was counted.A BP artificial neural networks was established to classify the fragrant pears’color.There are two nodes of chroma in the input layer,seven nodes in the implicit layer and one node in the output layer.The accuracy rate of classification for color is 95%.

Key words:machine vision;neural network;color;grading;Korla fragrant pear

库尔勒香梨是新疆在海内外最负盛名的果品之一,在海外市场上被誉为“中华蜜梨”、“梨中珍品”。目前香梨分级主要是以果实大小作为分级标准。这严重影响了香梨的果品价值。在库尔勒香梨国家标准(GB/T19859-2005)中,颜色也是判断香梨品质的重要指标之一。而且在很多同类水果中,着色好且均匀一致的水果商品价值较高。颜色也在一定程度上代表着水果成熟度,间接反映了水果的糖度、酸度及口感等。因此,香梨按颜色分级也是香梨自动化检测中的一项重要内容。随着计算机技术的迅速发展,计算机及视觉设备价格大幅度下降而速度成倍提高,为计算机视觉技术的广泛应用创造了条件[1]。

机器视觉系统工作的关键环节是图像处理,而要解决此问题必须先将成熟香梨果实的图像从复杂的背景图像中提取出来,即对实际拍摄的彩色图像进行分割。目前常用的图像分割技术有阈值分割法[2-3]、区域生长法[4]、二维直方图边缘检测与边界跟踪法[5]等。

国内已经有学者利用机器视觉对库尔勒香梨果梗及类别进行检测与识别研究[6-7]。冯斌等[8]通过对不同着色等级的水果分析,以各色度在水果表面分布的分形维数为特征对苹果进行了分级。何东健等[9]通过机器视觉自动检测苹果表面着色度,采用合适色相值累计着色面积百分比的方法对苹果进行了分级。本实验在分析库尔勒香梨颜色特征的基础上,运用阈值分割,对基于颜色的香梨自动分级方法进行了研究。

1 材料与方法

1.1 材料

本实验系统分为硬件系统和软件系统。其中硬件系统包括:日本JAI公司的CV-M7+CL相机、可调亮度白色L ED光源、光电传感器、加拿大Matrox公司的SOL6MCL图像采集卡、可调速传送装置、计算机等设备。装置系统如图1所示。

实验采用的软件系统为MATLAB图像处理工具包和神经网络工具包,MIL9.0图像处理及采集软件。

实验材料为采购于石河子市市场上的库尔勒香梨50个,其中最大的188.81 g最小的93.46 g,平均重量115.38 g,香梨横纵径比(果形指数)为0.70至0.95。其中脱萼果14,宿萼果36个。

图1 机器视觉实验台示意Fig.1 Scheme of the machine vision experiment platform

1.2 方法

将香梨横放在传送带上,当香梨运动至光电传感器时,传感器信号被切断,将信号发送至计算机,计算机通过图像采集卡触发相机,对香梨图像进行采集拍摄1幅图像。每个香梨采集2幅图像,分别位于香梨纵轴相反2个表面。

由实验系统采集到的香梨图像为彩色图像,由R、G、B 3种基色组成的合成图像。为了提高处理速度,将 RGB图像转换为 HSI图像,其中 H表示色度(Hue),代表颜色的类型;S表示饱和度(Saturation),代表颜色的纯度;I表示强度(intensity),代表光亮的强度,其中 I分量与图像的彩色信息无关,图像的滤波处理,这样可将图像由原来的三维降至一维,减少了2/3的运算量,从而显著提高运算速度。H值可由式(1)计算。

上式中,R、G、B分别代表红、绿、蓝三原色刺激值。

一幅图像包括目标、背景和噪声[10]。如果一幅图像满足这些条件,其灰度直方图基本上可以看作是分别对目标和背景的2个单峰直方图混合构成的。如果直方图为较明显的双峰,则可以使用取阈值法来对背景较好的进行分割。典型图像双峰直方图模型见文献[11]。

目前,许多模型都采用BP网络(back propagation network)模型及其变化形式。该算法利用误差反向传播算法求解的多层前向神经网络模型。

BP神经网络的设计主要涉及输入层、隐层、输出层各层之间传输函数。由于香梨图像信息中2个主要信息(平均值和方差)已经被测量出来,将其作为香梨表面信息的主要描述特征。因此,输入层神经元数量为2,而为将香梨颜色分为红(0)和绿(1)2种,因此输出层神经元数量为1。为简化起见,将隐层数量设为1,即单隐层。对用于模式识别/分类的BP网络,根据经验,可以参照以下公式进行设计:

式(2)中,n为隐层节点数;ni为输入节点数;n0为输出节点数;a为1～10的常数。

在本实验中,隐层节点数取7,输入层和隐层之间的传输函数采用‘tansig’。隐层和输出层之间的函数采用‘purelin’。训练目标和学习效率均采用系统默认参数。由于主要输入参数大小位于0到1之间,不存在大样本吞吃小样本的情况,因此没有对数据进行归一化处理。

2 结果与分析

根据以上分析,首先将香梨图像由RGB格式转换为 HSI格式[11],其中的 H分量即可获得香梨表面的颜色信息。转换之后的图像如图2所示。

将所得图像进行直方图校正及阈值分割结果见图3。

由图3可知,香梨图像在 H分量为典型双峰直方图,采用较大阈值方差法可有效将背景和香梨分开,令背景区域元素值为0与原图像相乘,可将背景有效去除。分离后的图像如图4所示。

利用MA TLAB软件图像处理工具包统计背景分割后的香梨图像的像素平均值和方差,平均值、方差和颜色的详细信息见表1。

为方便记录,将实际颜色为绿色的香梨标记为1,红色标记为0。

图2 RGB格式转换为HSI格式的香梨图像Fig.2 Image of pear change from RGB format to HSIformat

图3 香梨图像 H分量阈值分割Fig.3 Threshold of H weight

图4 背景分割后香梨图像Fig.4 Image of pear apart from background

表1 香梨图像像素平均值、方差及颜色Tab.1 The means and square of pixels and the color of the pears

续表

将带输入向量和目标向量输入,如图5所示。训练步数取3000步,在第2199步时出现最优训练结果(图6),训练状态和训练回归曲线分别见图7、图8。

将20个测试样本由训练好的网络进行检测,检测的正确率为95%。

图5 训练向量和目标向量Fig.5 Training vector and target vector

图6 最优训练步数Fig.5 Epoch of best training performance

图7 训练状态Fig.7 Training state

图8 训练回归曲线Fig8.Regression curve

3 结论

对采集到的香梨图像进行处理分析,可以得到以下结论:

1)利用水果表面颜色信息数字模型的平均值及方差作为判断香梨颜色的一种方法是可行的。

2)本实验对香梨颜色检测的方法也可用于其它水果的检测。

本次实验研究是在静态条件下对库尔勒香梨颜色进行自动识别,故今后研究拟进行动态检测研究,为实现库尔勒香梨颜色的自动化分级检测奠定基础。

[1]赵茂程,侯文军.我国基于机器视觉的水果自动分级技术及研究进展[J].包装与食品机械,2007(5):5-8.

[2]赵杰文,刘木华,杨国彬.基于 HIS颜色特征的田间成熟番茄识别技术[J].农业机械学报,2004,35(9):122-124,135.

[3]D M Bulanon,T Kataoka,YOta,et al Asegmentation algorithm for the automatic recognition of Fuji Apples atharves[J].Biosystems Engineering,2002,83(4):405-412.

[4]毕凌燕,余英林.基于XYZ空间的区域生长法分割图像[J].计算机工程与应用,2003,39(17):56-57.

[5]张瑞合,姬长英,沈明霞,等.计算机视觉技术在番茄收获中的应用[J].农业机械学报,2001,32(5):50-52,58.

[6]马本学.基于数学形态学的香梨果梗提取方法[J].石河子大学学报:自然科学版,2008,26(5):636-638.

[7]Benxue Ma,Yibin Ying.Fragrant pear sexuality recognition with machine vision[J].Proc of SPIE,2006,6381(11):1-8.

[8]冯斌,汪懋华.基于颜色分形的水果计算机视觉分级技术[J].农业工程学报,2002,18(2):141-144.

[9]何东健,杨青.果实表面颜色计算机视觉分级技术研究[J].农业工程学报,1998,14(3):202-205.

[10]Jiangsheng Gui,Benxue Ma,Xiuqin Rao,et al.Analysis and selection of the methods for fruit image denoise[J].Proc of SPIE,2006,761(17):1-8.

[11]谢凤英,赵丹培.Visual C++数字图像处理[M].北京:电子工业出版社,2008.

[12]Rafael C Gonzalez,Richard E Woods,Steven L Eddins,et al.数字图像处理(MATLAB版)[M].北京:电子工业出版社,2004.

Color Grading of Korla Fragrant Pears Based on Neural Network and Machine Vision

QUNianwei,MA Benxue,WANG Weixin,QI Xiangxiang,XIAO Wendong
(College of Mechanical Electrical Engineering,Shihezi University,Shihezi 832003,China)

TP391.41;S712