基于改进的C-V模型的东北松子外部品质等级检测研究

仇逊超,曹　军

(东北林业大学机电工程学院,黑龙江哈尔滨 150040)



基于改进的C-V模型的东北松子外部品质等级检测研究

仇逊超,曹军*

(东北林业大学机电工程学院,黑龙江哈尔滨 150040)

提出了东北松子外部品质的无损等级划分方法。利用CCD相机获取松子图像,采用改进的C-V模型实现松子轮廓特征的提取;利用数学形态学的方法,提取松子的果长、横径特征参数,并与实际测量值间构建数学模型;根据提取出的特征参数,建立松子外部品质综合等级评定标准。实验结果表明,采用本文方法能够实现同时对多个东北松子外部品质的等级划分,且划分的平均准确率为97.2%。

东北松子,改进的C-V模型,多目标等级划分

我国是松子产量大国,又以东北的红松子最为著名,目前东北红松子已销往多个国家和地区,为我国带来的经济效益十分可观[1]。然而,松子只有经过产后商品化处理,才能创造更大的经济价值,品质分级作为商品化处理的第一个步骤,起到至关重要的作用[2]。

随着计算机技术的不断发展,农副产品的分级技术逐渐向自动化和可视化方向发展。研究人员将人工智能的方法应用到农副产品的等级划分中,通过提取果实大小、缺陷、颜色等数字特征,并对特征参数进行进一步的智能分析,实现了良好的分级结果[3-9]。在坚果类方面,研究人员已实现了基于机器视觉的山核桃等级划分[10],然而目前对于松子的外部品质等级划分仍多采用人工分选或机械振动筛选的方法实现。人工分级不仅需要大量的劳动力,且劳动强度大,分级结果会受到主观经验的影响;振动筛选虽在分级效率方面有所提高,但由于较大的级差,使得分级的精准度不高[11],且在分级过程中会对松子产生一定程度的碰撞磕伤。本研究将偏微分方程的方法应用到松子果实的分级中,利用改进的多水平集C-V模型实现多目标松子轮廓的提取,根据提取到的轮廓信息,进一步获得松子的果长、横径等特征参数,根据特征参数,进而构建出松子外部品质综合等级评定模型。本研究不仅要实现对单个松子的外部品质等级划分,还要实现同时对多个松子的外部品质等级划分,使分级效率有所提升的同时,还为东北松子的外部品质无损等级划分提供新的方法和思路。

1　材料与方法

1.1材料与设备

实验装置的硬件系统如图1所示,由松下WV-CP484/CH高清摄像头,精工SSV02812GNB 2.8～12 mm镜头,嘉恒OK_MC10A-E图像采集卡以及一台thinkpad t430 PC机组成。

图1　图像采集系统Fig.1　Image collection system注：1.CCD相机;2.遮光罩;3.松子果实;4.载物台;5.光源;6.PC。

其中遮光罩内壁表有一层反光热贴膜,载物台背景为浅灰色绒布。设定图像尺寸的标准为516×516。生的东北松子样品由东宁县北域良人贸易有限公司提供。

1.2实验方法

1.2.1相机标定由于CCD相机的镜头是一块光学透镜,因此采集到的投影图像会呈现镜头畸变的现象,多数情况下,透镜的径向畸变起主要作用,并且在相机标定的过程中引入过多的非线性参数会导致解的不稳定[12],因此,本文仅对镜头的径向畸变进行考虑。畸变模型可以通过多项式的形式表达出来,且畸变系数k1对径向畸变起主要作用[13],因此,本文仅考虑前两个畸变系数k1、k2,则径向畸变模型如式1所示。

xd=x·[1+k1(x2+y2)2+k2(x2+y2)4]

yd=y·[1+k1(x2+y2)2+k2(x2+y2)4]K

式(1)

式中(x,y)表示实际图像点(畸变)投影坐标,(xd,yd)表示线性模型的图像点(非畸变)理想坐标,ki表示畸变系数。

本文采用张正友标定法[14]实现对相机参数的标定,从而实现投影图像的径向畸变的修正,图2所示为经过标定后的东北松子果实图像。

图2　东北松子修正图像Fig.2　Modification image of northeastern pine nuts

1.2.2多目标松子轮廓的提取根据松子果实目标与背景间的平均灰度的不同,利用闭合曲线,可以实现图像内部区域和外部区域的划分,使在曲线内部和外部的灰度平均值反应出目标与背景间的灰度平均值的区别,则该闭合曲线就可以看做为松子果实的轮廓[15]。多水平集C-V模型的能量泛函如式2所示[16]。

式(2)

式中ci为松子目标和背景的平均灰度值,n为不同分割区域的个数,m为水平集的个数,H(Φi)为引入的Heaviside函数,xl为各区域的特征函数,u(x,y)为关于图像的嵌入函数。

由于初始化的嵌入函数u0(x,y)是距离函数,在经过少量的迭代后会发生背离,就需要对其再次进行初始化,因此,在多水平集C-V模型的能量泛函中引入一个控制单元,用以提高松子轮廓的提取效率:

式(3)

则改进的多水平集C-V模型为:

En(c1,c2,…cn,Φ1,Φ2,…Φn)

=En(c1,c2,…cn,Φ1,Φ2,…Φn)+P(u)

式(4)

图3a所示为定义的多个水平集的初始圆闭合曲线,图3b所示为采用多水平集C-V模型获得的多个松子果实对象的轮廓,并将轮廓结果叠加到原始灰度图像上,便于观察提取到的松子轮廓信息的准确性。

图3　东北松子轮廓提取图像Fig.3　Contour extraction image of northeastern pine nuts

1.2.3特征参数的提取计算机想要完成对松子果实的外部品质等级划分,就必须实现从采集到的图像中获取所需的特征参数。如图4所示,从形状上看,松子果顶尖、果底宽,呈倒卵状三角形。松子果实上、下果顶间的距离称为“果长”;垂直于果长方向,松子的最大宽度距离称为“横径”,通过松子的果长和横径能够比较全面、准确的表征松子果实的特征。因此,本文采用数学形态学的方法对松子果实的果长、横径等特征进行提取,从而实现松子果实的等级划分。

图4　特征参数描述Fig.4　Description of feature parameters

松子特征参数提取的具体步骤为:

(1)松子果实果长的确定:根据提取出的松子轮廓信息,计算松子轮廓上两点之间的最大距离,进而实现松子果长特征的提取,两点之间的距离计算公式为:

式(5)

式中(x1,y1)、(x2,y2)为松子轮廓上的两点坐标,果长提取结果如图5a所示。

(2)松子果实最大脱蒲横径的确定:以松子果长的一个端点为起点,另一个端点为终点,进行遍历,过这些遍历点作垂直于果长直线的垂线,并对垂线与松子轮廓相交的点的坐标进行求取,根据遍历及交点的坐标计算垂线的长度,则垂线长度的最大值即为松子果实的最大脱蒲横径。横径提取结果如图5b所示。

图5　特征参数的求解Fig.5　Solution of feature parameters

1.2.4算法描述东北松子外部品质无损等级检测的流程图如图6所示,等级检测部分分为轮廓提取、特征提取、等级判定及结果显示,整个系统在Matlab 7.10.0软件上实现。

图6　算法流程图Fig.6　The flow diagram of algorithm

2　结果与分析

采用以上所介绍的方法,进行松子轮廓的提取,并根据提取出的轮廓信息,进一步提取松子的果长、横径特征参数;利用游标卡尺,多次反复测量获取松子的实际果长、横径测量值,建立松子数字特征参数与实际测量值之间的线性关系,用于验证采用本文方法提取到的松子特征参数的可靠性,并为松子的外部品质无损等级划分提供依据。图7所示为松子多目标果长、横径特征参数的提取结果。

图7　多松子目标特征参数的提取Fig.7　Extraction of multiple pine’s feature parameters

需要说明的是,在对多个松子果实进行外部品质等级划分的过程中,计算机的判别顺序是从左向右,从下向上依次给出的,即如图7b所标注的顺序,进行结果的显示。

选取各形态东北松子91粒,用于数学模型的建立,利用实际测量值和机器测量值进行一元线性回归,则松子果长的回归方程为:y=0.1580x+0.4900,松子横径的回归方程为:y=0.1577x+0.1130。图8a所示为松子果长机测值和实测值的对应关系,图8b所示为松子横径机测值和实测值的对应关系。

图8　机测值和实测值的对应关系Fig.8　The correspondences between the values of the machine measurement and that of the measured

将机测值与实测值进行对比,以评价预测值的精准度M,则精准度M的计算公式为:

式(6)

式中Dr为实测值,Df为机测值,则果长和横径的平均机测精准度分别为98.4824%和97.7218%。

需要说明的是,松子外部品质等级划分是一个比较模糊的概念,目前尚无一个明显的界限,为此本文依据消费者的选购规律,结合松子的果长、横径来进行东北松子的等级划分,划分标准如表1所示。

表1　东北松子的外部品质建议分级标准

根据松子的果长、横径对松子的外部品质进行三个等级的划分,即一等品、二等品和等外品,果长和横径在综合等级评定标准中分别占55%和45%的权重,综合等级划分的计算公式为:

W=0.55D果长+0.45D横径K

式(7)

式中W综合等级评分,建议一等品得分大于13.3,二等品得分在10.25～13.3之间;三等品得分小于10.25。

为了验证本文方法等级划分的准确性及可靠性,任意选取2000粒松子并进行标记,采用传统的机械振动筛选,得一等品:543粒,二等品:1272粒,等外品:185粒;采用本文方法进行等级划分,得一等品:527粒,二等品:1295粒,等外品:178粒。分级结果基本一致,准确率分别为:97.1%、98.2%、96.2%,平均准确率为97.2%。分级结果存在差异的原因是,本文分级方法对松子果实的综合特性进行了考虑,而传统的机械振动筛选仅依赖松子的单一方向果径进行划分,本文的分级结果更符合消费者的视觉习惯和心理需求。对单个松子果实进行外部品质等级划分所需要的时间平均为0.78 s,同时对7个松子果实进行外部品质等级划分所需要的时间平均为4.42 s;对一个松子进行单独的外部品质等级划分与将该松子放入其它6个松子中同时进行外部品质等级划分的结果是一样的,由此表明,采用本文方法可以实现同时对多个松子的外部品质等级划分,在保证了分级的准确性的同时,提高了松子等级划分的效率。

3　结论

本文采用改进的C-V模型获取松子果实的轮廓信息,根据提取到的松子果长、横径数字特征,对东北松子的外部品质等级进行无损划分,实验结果表明:采用改进的多水平集C-V模型能够实现同时对多个松子果实目标轮廓的提取;通过对松子形状的分析,结合数学形态学的方法,实现了对松子果长和最大脱蒲横径的数字特征参数的提取,并且对机器测量值和实际测量值进行一元线性回归,分别构建了松子的果长和最大脱蒲横径的数学模型;采用本文方法可以同时实现对多个松子的外部品质等级划分,与对松子进行单独的等级划分相比,在分级效率上有所提高;采用本文提出的东北松子外部品质综合等级评定的建议标准,对东北松子进行等级划分,分级结果的平均准确率在97%以上,分级结果是可靠的,并且更加符合购买者的视觉习惯。

本文的进一步研究方向是,将松子出仁率、脂肪和蛋白质等含量标准融入到等级划分中,以更全面的实现东北松子内部品质和外部品质的检测。

[1]陈宝,南江,王星,等.松子的开发与利用[J].现代农业科学,2010,1(20):160.

[2]张道东.基于机器视觉技术的蜜桔、脐橙外部品质在线检测分级研究[D].杭州：浙江大学,2011.

[3]Sergio C,Nuria A,Enrique M,et al.Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food and Bioprocess Technology,2011,4(5):487-504.

[4]Devrim U,Bernard G,Olivier K,et al.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212.

[5]Muhammad M,Peeyush S.Detecting rottenness caused by Penicillium genus fungi in citrus fruits using machine learning techniques[J].Computers and Electronics in Agriculture,2012,39(1):780-785.

[6]饶秀勤,应义斌.水果按表面颜色分级的方法[J].浙江大学学报(工学版),2009,43(5):869-871.

[7]Yudong Z,Lenan W.Classification of Fruits Using Computer Vision and a Multiclass Support Vector Machine[J].Sensors,2012,12(9):12489-12505.

[8]Krishna K P.A.Kar S N,Jha M A.Machine vision system:a tool for quality inspection of food and agricultural products[J].Food Science and Technology,2012,49(2):123-141.

[9]Lorente D,Aleixos N,Gomez-Sanchis J,et al.Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment[J].Food and Bioprocess Technology,2012,5(4):1121-1142.

[10]刘建军,姚立健,彭樟林.基于机器视觉的山核桃等级检

测技术[J].浙江农业学报,2010,22(6):854-858.

[11]葛亮,陈红,任金海,等.机器视觉在香菇品质分级中的应用[J].中国食用菌,2011,30(1):8-9.

[12]山海涛,郝向阳,马淑宇,等.影像畸变对基本矩阵估计精度的影响分析[J].测绘科学技术学报,2010,27(1):50-53.

[13]马广彬,章文毅,陈甫.图像几何畸变精校正研究[J].计算机工程与应用,2007,43(9):45-48.

[14]Zhang Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]王大凯,侯榆青,彭进业. 图像处理的偏微分方程方法[M].北京:科学出版社,2008:103-105.

[16]Chan T,Vese L. Active contour without edges[J]. IEEE Image Processing,2001,10(2):266-277.

A research of the external quality grading detection for northeastern pine nuts based on improved C-V model

QIU Xun-chao,CAO Jun*

(School of Mechanic and Electronic Engineering,Northeast Forestry University,Harbin 150040,China)

A nondestructive gradation method has been introduced for the external quality of northeastern pine nuts in this paper.Images of pine nuts were got by a CCD camera with improved C-V model to extract contour features.Feature parameters of pine nuts’ length and width were extracted by the method of mathematical morphology,and according to those and the measured values the mathematical model was established,and a comprehensive evaluation standard for the external quality of pine nuts grade was established too.The results were demonstrated that the external quality of multiple northeastern pine nuts could be graded simultaneously by the method in this paper with the accuracy of 97.2%.

northeastern pine nuts;improved C-V model;multiple targets classification

2015-11-16

仇逊超(1986-),女,在读博士研究生,研究方向:农、林业机械化工程研究,E-mail:ldqiuxunchao@126.com。

曹军(1956-),男,博士,教授,研究方向:传感技术与智能测控技术、机电一体化,E-mail:ldcaojun@126.com。

国家自然科学基金(31270757)。

TS255.6

A

1002-0306(2016)11-0289-05

10.13386/j.issn1002-0306.2016.11.051