基于机器视觉的三七主根形状分类方法研究
2022-05-27叶桦杉
叶桦杉,李 翔
(文山学院 人工智能学院,云南 文山 663099)
中药材三七是多种药品的主要成分,目前,三七主根的质量分级主要通过人工分拣的方式进行,人工分级耗时耗力且效率低,分拣结果受分拣人员的水平和主观影响较大[1]。与人工分拣相比,机器视觉技术能够消除人工分拣带来的主观因素和由个体水平差异造成的分拣错误,在农产品品质检测中得到了广泛的应用[2]。在三七质量检测研究上,于佳杨等[3]基于机器视觉技术,使用决定系数来描述三七主根形状,依据决定系数将三七主根分为锥形和瘤形,并分别建立锥形、瘤形三七主根正投影面积与质量的回归模型。李哲等[1]基于机器视觉技术,采用离心率描述三七种苗主根形状,能够将三七种苗分为长苗和短苗。
可见,三七主根形状是使用机器视觉技术对三七进行分拣的重要依据。在于佳杨等[3]学者的研究中,按三七主根表面的光滑程度、质量分布均匀程度和表面凸起数量将三七分为两类:表面光滑,凸起少,质地均匀,称之为锥形三七;表面存在大量瘤形凸起,质地不均匀,称之为瘤形三七。从其研究所得的回归结果来看,机器视觉能否有效运用于不同等级三七主根的自动分拣,主要取决于三七主根形状识别的准确度,即识别锥形和瘤形的准确度。文献[3]将三七主根投影图像外接矩形的长和宽分别作为三七主根图像的长和宽,其比值作为形状决定系数。选取适当阈值,当决定系数大于阈值则判定三七主根形状为锥形,反之则为瘤形。文献[1]利用三七主根投影图像的偏心率判别其形状。上述方法的特征值较为单一,对于常规三七主根形状的识别具有较高的准确率,但用于识别非常规形状的三七主根会有一定的误差。
将三七主根形状分为锥形或瘤形是基于感官指标分类,为直观反映不同方法的形状识别性能,本文将刘大会等学者研究的不同规格、等级商品三七外观形状数据[4]作为区分锥形或瘤形的标准。基于此,本文按照文献[4]中不同规格、等级三七的长度、中部直径、长粗比等数据信息,确定三七本征形状并作为参考依据,将三七主根正投影图像的圆形度、矩形度、和轴长比三个参量同时作为特征值,借助matlab神经网络工具箱,使用特征值构建形状判别函数,实现高效、准确地判别三七主根形状。
1 材料和方法
1.1 实验样本
三七主根样本购于云南省文山市文山三七国际交易中心,共采集样本图像57个,其中标准锥形三七主根样本16个,标准瘤形三七主根样本13个,非常规形状三七主根样本28个。
1.2 图像采集
图像采集系统由硬件系统和软件系统两部分构成,硬件系统由T1S型摄像头(1920*1080像素)、计算机和自制光箱组成,能够提供满足图像采集需求的物理环境。光箱中沿侧棱方向放置4根LED荧光灯管作为光源,箱体内部设有简易柔光罩,可为三七主根图像采集提供均匀、柔和的光场。采集图像时,将三七主根样品正对摄像头置于光箱底部。硬件系统结构如图1所示。软件系统为基于MATLAB 2018a开发的图形用户界面,用于操控摄像头获取三七图像。采集过程保持图像采集系统的物距和焦距恒定。
图1 图像采集硬件系统结构图
2 图像预处理
为消除原始图像中的干扰信息,增强图像信息的可检测性,最大限度突出三七主根的各项参数特征并简化数据量,本文首先使用matlab图像处理工具箱对原始图像进行预处理,原始图像如图2所示。过程如下:(1)采用遗传算法[5]对三七主体进行分割,使三七主根图像与背景相分离;(2)结合开运算、闭运算等形态学操作去除噪点;(3)构建三七主根部分外接矩形区域,以该区域为边界将三七主体图像切割出来;(4)使用edge函数配合Canny算子对切割出的三七主体图像进行边缘提取,便于后续图像分析。图像预处理过程如图3所示。
图2 光箱采集的原始图像
图3 图像预处理过程
3 三七主根形状识别
3.1 特征值提取
三七主根投影图像的特征值主要包括长、宽、面积、圆形度、矩形度以及离心率等。本文以三七主根正投影图像的圆形度、矩形度和轴长比作为特征值参量对三七正投影图像的形状进行区分。
3.1.1 圆形度
圆形度[6]能反映出三七主根图像形状与圆形的相似度,计算公式如下:
P为三七正投影图像边缘轮廓的周长,本文用三七主根正投影图像的边缘像素点个数的总和表示周长;A是三七图像的正投影面积,本文用三七主根正投影图像所有像素点个数的总和表示面积。当图像为圆形时C的值为1,因此,可用C来衡量三七主根投影图像与圆形的相似程度。如图4所示,相似度越高,表明三七主根形状约接近瘤形。
图4 三七主体图像形状与圆形的相似程度
3.1.2 矩形度
矩形度[6]反映了三七主根图像与矩形的相似度,计算公式如下:
A为三七图像的正投影面积,AR是三七主根主体图像的最小外接矩形面积,可用三七主根图像的正外接矩形旋转而使其面积最小时的外接矩形面积表示。正外接矩形和最小外接矩形如图5所示。
图5 正外接矩形和最小外接矩形
R值为矩形度,能够度量三七主根形状与外接矩形的相似程度,其取值范围在0~1之间,R越接近1,表明三七主根形状越接近锥形。
3.1.3 轴长比
令正外接矩形的较长轴作为三七主体图像的高H,较短轴作为三七主体图像的宽W,如图6所示。
图6 主体图像的宽和高
图像轴长比为L=H/W,可以看出:L恒大于1,且L的值越大,则该矩形长轴与短轴的长度差值就越大,表明三七主根形状约接近锥形。
3.2 三七主根形状识别方法
本文在沿用基于形状决定系数(轴长比)的判别和基于离心率的判别两种传统方法的基础上,同时采用圆形度C、矩形度R和轴长比L作为三七主根正投影图像的特征值,融合定性变量数值化[7]的思想,借助matlab神经网络工具箱构建形状判别函数。测量时,将待测三七主根的各项特征值作为形状判别函数的自变量,求出形状判别函数值,将该值作为三七主根形状判别的依据。
3.2.1 定性变量数值化
本文以三七主根正投影图像作为观测对象,其形状属性的属性值为锥形或瘤形。该属性值属于定性变量[7],如若要其参与数值运算,则必须将其属性值与某些特定的数值相关联。本文中使用数字2表示三七主根正投影图像形状为瘤形;使用数字1表示三七主根正投影图像形状为锥形,用于形状判别函数的建立和应用。
3.2.2 形状判别函数
本文通过神经网络的方法,建立以圆形度C、矩形度R、和轴长比L为自变量的三元函数f(C,R,L)作为三七正投影图像形状判别函数,当图像形状为锥形时,函数值为1;当图像形状为瘤形时,函数值为2。
4 性能分析
本文在仿真测试中采用以下硬件环境进行实验:计算机为Lenovo LEGION Y900X,配置InterRCoreTMi7-9750H CPU@2.60GHz,InterRUHD Graphics 630 1GB,16GB内存,Windows11操作系统,基于MATLAB 2018a平台。
4.1 方法验证
为评估本文方法对三七主根形状的识别效果,本文做了大量的对比实验,在此随机选取出44个三七主根正投影图像样本进行数据展示,其中包含12个标准瘤形样本(见图7)、12个标准锥形样本(见图8)、12个非常规形状样本(见图9)。
图7 标准瘤形三七主根样本图片
图8 标准锥形三七主根样本图片
图9 非常规形状三七主根样本图片
本文分别采用:基于离心率的三七主根形状判别法[1]、基于轴长比的三七主根形状判别法[3]以及本文提出方法对样本图像进行形状判别,在下文分别称其为方法一、方法二及本文方法。
使用方法一时,挑选若干个标准锥形三七样本和若干个标准瘤形三七样本,求出轴长比阈值L0,三七主根投影图像的轴长比大于阈值则判定为锥形三七主根,反之为瘤形三七主根。通过所用样本求得决定系数阈值L0=1.4185。
使用方法二时,挑选若干个标准锥形三七主根样本和若干个标准瘤形三七样本求出离心率的阈值e0,三七主根投影图像的离心率大于阈值则判定为锥形三七主根,反之为瘤形三七主根。通过所用样本求得离心率阈值e0=0.7015。
使用本文方法时,轴长比计算方法同方法一。实验结果见表1、表2:
表1 标准瘤形三七主根样本实验结果
表2 标准锥形三七主根样本实验结果
从实验结果来看,对于标准锥形、标准瘤形的三七主根样本,三种方法的判别结果均一致,证明本方法具有一定可行性。为了验证本文方法对于非常规形状三七主根样本的判别效果,随机选出20个非常规形状的三七主根图像来进行测试,样本数据及实验结果见表3。
表3 非常规形状三七主根样本实验结果
4.2 性能评估
4.2.1 判别准确度评估
上述实验数据表明:在判别标准锥形和标准瘤形的三七主根时,本文方法的判别结果与传统方法判别结果一致,说明本文提出方法具有一定的可行性;但在判别非常规形状的三七主根时,本文方法的判别准确率高于方法一和方法二。说明相较于单一特征的三七主根形状判别方法,本文融合多特征进行判别的方法具有更高的准确率。
4.2.2 时间复杂度评估
本文将三种分类方法分别作用于预处理后的图像,用算法运行时间度量各分类方法的运行速率。同等条件下,算法运行时间越短,说明该分类方法的响应速率越高。各分类方法运行时间如表4所示:
表4 各分类方法运行时间对比
由表4可知:相较于单一特征的离心率判别法、轴长比判别法,本文方法将圆形度、矩形度和轴长比进行多特征融合,时间复杂度偏高。故本文方法的运行速率略低于离心率判别法及轴长比判别法。
综上所述,本文方法相较于方法一、方法二,在提高了判别准确率的同时,不可避免地增加了时间复杂程度。在后续研究中,将考虑对本文方法进一步优化,加强多特征并行处理研究,使算法时间复杂度降低,从而提高运行速率。
5 结论
本文将三七主根正投影图像的圆形度、矩形度和轴长比三个特征量进行融合,对三七正投影图像的形状进行区分,相较于单一特征的三七主根形状判别方法,本文方法可以更准确地区分锥形三七主根和瘤形三七主根。但由于样本数量有限,建立的样本图像库还无法涵盖所有三七主根形状结构特征,所以会存在一定的误判率,在日后提升和优化中考虑扩充样本库使训练样本更完整,提高识别准确率。
在基于机器视觉的三七主根分拣分级研究中,往往需要对三七主根形状进行区分。以基于计算机视觉的三七主根质量的分级方法为例[3],锥形三七主根质量预测模型R2为0.9849;瘤形三七主根质量预测模型R2为0.9866。可见,在研究过程中,根据三七形状进行必要的分类讨论,能够提高研究结果的准确性。本文研究的三七主根形状分类方法可以为后续基于机器视觉技术对三七主根进行自动分拣的实现提供支撑条件。