动态图像中烟株茎秆特征的识别与应用

王秀山,李智广*,宫长荣

1.河南农业大学机电工程学院,郑州市农业路63号 450002

2.河南农业大学烟草学院,郑州市农业路63号 450002

动态图像中烟株茎秆特征的识别与应用

王秀山1,李智广*1,宫长荣2

1.河南农业大学机电工程学院,郑州市农业路63号 450002

2.河南农业大学烟草学院,郑州市农业路63号 450002

为准确提取烟株茎秆特征,基于计算机视觉技术提出了一种动态识别烟株茎秆的方法.在图像预处理阶段,构造图像清晰度评价函数,采用迭代法提取清晰图像,利用加权平均法对其进行灰度化预处理;为消减光源强度、重影、地形等因素的影响,对灰度化后的图像进行降噪处理;为突出烟株茎秆特征,对图像进行灰度增强;运用自适应算法对图像进行阈值智能分割,最终提取出烟株茎秆特征.在光源充足、阴影、车辆颠簸3种条件下,分别对100株烟株进行茎秆识别模拟试验.结果表明,光源充足条件下识别率最高,达76%;颠簸状态下识别率最低,为69%;3种试验条件下平均识别率为72.67%.试验验证了在动态图像中获取烟株茎秆特征的可行性,配合仿生采摘执行机构可以完成烟叶的自动化采摘,并可有效控制烟叶的破损率,提高烟叶采摘效率.

烟株茎秆;特征识别;图像提取;灰度化;降噪处理

我国是世界上烟草种植面积最大的国家之一,但在烟叶采摘方法上,大部分地区一直采用手工采摘的传统作业方式.人工采摘存在花费时间长、成本高和劳动强度大等缺点,因此烟叶的机械化与自动化采摘是未来烟叶生产的发展方向之一[1].为此,已有学者做了不同的尝试和探索.2009-2010年河南农业大学开发出第一代和第二代烟草收获机,该机的烟叶采净率可达90%以上[2-5].但由于该设备的执行机构采用的是quot;拍打式quot;刀头结构,采收作业时造成的烟叶破损率较高,达45%～50%,而破损率过高一直是困扰我国烟叶自动化采摘的难题之一.目前,传统的机械机构很难实现烟叶的无损采摘,而机器视觉技术的发展为烟叶的无损仿生采摘提供了技术上的可能[6-8].对此,Day等[9]最早采用图像处理的方法实现了植物生长率的数字化图形表达,开创了数字图像处理技术在农业生产上应用的良好局面.Shimizu等[10]利用机器视觉技术对植物的生长状况进行在线监测,处理后的图像清晰地展现了植物白天的生长率远大于晚上的生长率,首次实现了植物生长率的可视化.Knodo等[11]研制的基于计算机视觉技术的采摘机器人,采摘高架栽培模式下的草莓,准确率可达75%.Silsoe研究院[12]研制的蘑菇采摘机器人,可以实现蘑菇位置的自动测量,采摘成功率可达76%.为此,利用机器视觉技术进行烟株茎秆识别模拟试验,由于大田环境复杂多变,容易受到光源强度、重影、地形等影响,在阈值分割过程中采用自适应的算法对预处理后的灰度图像进行分割,通过准确捕获烟株茎秆特征并利用机械手仿生采摘,以提高烟叶采摘效率,实现烟叶的无损仿生采摘.

1 试验设计

1.1 试验方法

试验选择在国家烟草生理生化基地(河南农业大学)进行.试验所用器材:①DSP试验箱(型号SEED-DTK6437,北京艾睿合众科技有限公司),用于完成对图像采集卡采集到的图像信息进行灰度化、降噪、灰度增强与分割等处理;②与试验箱配套的图像采集卡(型号OK-RGB10,深圳创新峰达科技有限公司),用于采集视频信号;③仿生采摘执行机构一套(自制),用于完成烟叶的仿生采摘.

试验时随机选择一行烟株进行茎秆识别模拟试验,采用人工计数方法,计算出参与茎秆识别试验的总烟株数,最终得出仿生采摘时烟株茎秆的识别率.

1.2 试验过程

为测量不同条件下烟株茎秆的识别率,试验分别在光源充足、阴影、车辆颠簸3种条件下进行.每种条件下各选100株烟株进行茎秆识别模拟试验,统计每株茎秆能否成功识别,计算在每种条件下的识别率,最后得出仿生采摘系统的平均识别率.

1.3 数据处理

采用Excel2007进行数据计算与处理,计算特定条件下的识别率和平均识别率.采用CCStudio v3.3进行程序编辑与编译,即图像的程序化处理.

2 技术实现

2.1 烟株单帧图像的动态获取

我国烟叶收获期大多处于每年的7-9月份,收获期的烟田枝叶繁茂,再加上阳光强烈,图像采集卡采集的动态影像具有较高的对比度.采摘作业时地形地貌及烟株自身相互遮挡的干扰,以及车辆本身的颠簸停顿等,会导致采集的图像出现重影、阴影等现象.

根据上述特点,要求图像采集卡可以实时采集标准视频信号,并且支持外触发信号输入.本试验中选用的图像采集卡可以采集单场、单帧、间隔几帧和连续帧等图像信息,精确到场.因此,采用逐场采集顺序存放图像,处理时以场为单位,以消除图像模糊的影响[13].由于摄像头采集图像的速度为25帧/s,采集系统移动的速度约为5 m/s,所以在拍摄一帧图像的时间区间内,采集系统移动的距离是1.20 m.如果按照图像采集卡固有的频率拍摄,前后两帧图像之间将有大量的冗余信息.为此,利用图像采集卡提供的帧间隔设置函数(OKSet Capture Paramch Board,Capture_INTERVAL,INTERVAL),根据不同的行车速度设置不同的帧间隔,达到减小数据量的目的.帧间隔的计算公式为:

式中:INTERVAL-帧间隔,帧;v-牵引系统的移动速度,m/s.

烟株茎秆识别时,识别率与图像的采集品质、作业环境和行车速度等有密切关系.为了提高识别率,系统处理时需要较高的图像品质,但过高的图像品质对行车速度和作业环境要求苛刻,即需要较低的行车速度和明亮的作业环境.为此,在完成视频图像采集后,图像数据被传输到DSP数据处理系统,利用数据处理系统的图像清晰度评价函数和迭代算法,完成目标图像的提取.DSP系统图像采集流程见图1.随机抽取一帧烟株图像,利用图像清晰度函数判断清晰度是否符合要求,若符合则进行下一步的识别处理.

图1 DSP系统图像采集流程图

2.2 烟株图像的预处理

2.2.1 图像灰度化

得到符合要求的烟株图像后,首先使用加权法进行灰度化,然后使用均值法进行降噪处理,再利用清晰度评价函数对其清晰度进行判断,如果清晰度符合要求则进行灰度增强处理,以突显出烟株茎秆特征;否则,继续进行均值滤波处理.图像预处理流程见图2.

图2 图像预处理流程

由于彩色图像包含信息量较大,且图像处理时的计算量大,当牵引车速度较快时,对系统实时性要求也较高,因此DSP数据处理系统用于提取茎秆目标特征的时间非常短,要求该系统具有高速数据处理能力[14].当DSP硬件系统的技术指标达到峰值时,只能通过软件优化来减少时间.同样条件下,彩色图像的处理时间远大于黑白图像,为此需要将数据处理系统抓取的彩色图像进行灰度化处理,以缩短提取烟茎图像的时间.

描述一幅彩色图像,可以使用的彩色空间坐标系有RGB(Red-Green-Blue),HSV(Hue-Saturation-Value),CMY(Cyan-Magenta-Yellow),HSL(Hue-Saturation-Lightness)等,最常用的是RGB空间坐标系,即红绿蓝3种颜色分量,而人眼对绿色分量敏感度最高,对蓝色分量敏感度最低.因此,在一幅彩色图像灰度化过程中,通常采用加权法进行灰度化,即对不同的分量使用不同的权值.一般情况下,绿色分量的权值最大,蓝色分量的权值最小,可以得到较合理的灰度图像.

式中:F是灰度化后的灰度图像;R、G、B分别是彩色图像的红、绿、蓝分量,灰度系数的取值不同,会影响灰度图像的清晰度[15].

使用加权平均法灰度化后的图像及其灰度直方图见图3.可见,对原图像使用加权法灰度化后,从直方图中看出,图像存在较多的毛刺,即图像噪声,需要进一步对图像进行降噪处理.

图3 使用加权法灰度化后的图像及直方图

2.2.2 图像的降噪处理

用加权法处理彩色图像时,会伴随着产生一定的噪声,且图像本身也含有固有噪声,因此需要对灰度化后的图像进行降噪处理.噪声处理的方法多种多样,对于不同的噪声,处理的方法也不同.常见的图像噪声有高斯噪声、椒盐噪声等,而对应的去除噪声的方法有均值滤波法和中值滤波法等.对于同一种噪声,用不同的方法进行降噪处理,会得到不同的效果.

分别采用中值滤波法和均值滤波法降噪处理后的图像及其灰度直方图见图4和图5.由直方图可以看出,中值滤波法降噪处理后灰度毛刺较多,而均值滤波法降噪处理后灰度分布较均匀.可见,均值滤波法的降噪效果优于中值滤波法,因此本系统中采用均值法降噪.

2.2.3 图像的灰度增强

由于环境、设备等成像条件的影响,部分图像存在对比度低的特点.另外,经过滤波法降噪处理后的图像会变得模糊,不利于对图像中有用部分的分割提取,因此需要进行灰度增强处理.灰度增强是为了增加图像的对比度,使处理后的图像更适合某种特定应用.在图像信息中,研究者感兴趣的是目标特征,而对背景无需关注,为此可以采用灰度变换方法对图像进行灰度增强处理.在图像处理过程中,由于多种因素的影响,图像的品质可能会退化,图像增强就是借助一系列技术改善图像的视觉效果,提高图像的清晰度.

图4 中值滤波法降噪后的图像及直方图

图5 均值滤波法降噪后的图像及直方图

灰度变换方法可以使图像的动态范围加大,图像的对比度扩展,图像更加清晰,特征更加明显.灰度变换常用的有线性灰度变换、分段线性灰度变换、全局直方图均衡化等方法[16].其中,直方图均衡化是一种常用的图像增强方法,传统的直方图均衡化是一种在整个图像直方图基础上的全局阈值法,仅考虑了全局信息而不能提高图像对比度.为纠正全局阈值法的这种不足,又提出了局部阈值法[17-18],在对图像灰度级进行分类的基础上提高图像对比度,并加强区域的均衡性.

灰度映射方法,即设置一个灰度区间,通过编程只保留该区间内的灰度值,将该区间外的灰度值过滤掉.分别采用直方图均衡化法和灰度映射法进行灰度处理后的图像及其直方图,见图6和图7.可见,使用直方图均衡化的方法对图像进行灰度处理后,图像整体的亮度变暗,图像的灰度值较均匀地分布在0～255范围内;使用灰度映射的方法对图像进行灰度处理后,图像的对比度明显增强,由于只保留了感兴趣的灰度范围,因此灰度值为0和255的像素较多,其他部分则均匀分布.为了能够有效地提取烟株茎秆特征,本系统中采用灰度映射的方法对目标图像进行灰度处理.

图6 直方图均衡化灰度处理后图像及直方图

图7 灰度映射法灰度处理后图像及直方图

2.3 烟株茎秆的特征提取

2.3.1 灰度图像分割

图像分割就是把图像中特定的或具有独特性质的区域提取出来的过程.现有的图像分割主要有基于阈值、基于区域、基于边缘以及基于特定理论的方法等.图像分割的准确性在一定程度上影响着目标监测和识别的智能化程度.阈值法分割就是利用图像中所要提取的目标与背景在灰度特性上的差异,选取合适的阈值对图像进行分割,从而将目标从背景中区分出来.由于烟田环境复杂,相同的烟株在不同的时间会出现不同的灰度图像,为了准确地提取出烟株茎秆,采用自适应算法进行灰度分割,即在不同的条件下选择不同的阈值进行图像分割.试验过程中,在阴影、车辆颠簸和光源充足3种条件下对同一烟株进行处理,结果见图8.可见,同一烟株在不同条件下,按照自适应法进行灰度图像分割后得到的结果大致相同,可以进行后续处理.

图8 不同试验条件下的图像分割

2.3.2 特征提取

根据图像的与运算,结合提取图像的大小设定合适的提取窗,与灰度分割后的图像进行与运算,从而达到提取烟株茎秆的目的.如图9所示,经过提取窗的提取,能够得到较清晰的烟株茎秆图像,实现烟株茎秆与周围背景的有效分离,得到烟株茎秆的目标特征.采摘执行机构得到烟株茎秆信息后进行仿生采摘工作.

图9 经过提取窗提取到的烟株茎秆

2.4 试验结果

对100株烟株分别在不同条件下进行试验,结果见表1.可见,光源充足条件下识别率最高,达76%;车辆颠簸状态下识别率最低,为69%;3种试验条件的平均识别率为72.67%.

表1 同一烟株不同条件下识别结果

3 结语

通过对图像采集卡采集到的视频信息进行处理,有效实现了烟株茎秆特征的识别和提取,为下一步烟叶的仿生采摘奠定了基础.基于机器视觉技术的烟叶收获机,在作业过程中采用仿生采摘装置从烟叶叶梗处quot;掰quot;下烟叶,可减少采摘装置与烟叶本身的接触,降低烟叶破损的风险,保证烟叶的完整性,而烟叶的完整性是评价烟叶等级的重要指标之一.可见,以机器视觉技术为基础的烟叶收获机可以克服quot;拍打式quot;刀头结构所造成的烟叶破损率过高的缺点.

本试验中在图像预处理阶段,构造了图像清晰度评价函数,利用迭代法完成了清晰图像帧的提取,采用加权法完成了图像的灰度化预处理.在提取烟株茎秆特征时,为了突出烟株茎秆特征,结合成熟烟叶自身的图像特性和品质,确定了适合烟株图像的降噪处理方法.编写的自适应法灰度化处理程序实现了图像的灰度分割,能够有效解决在阴影或车辆颠簸条件下图像黑暗或模糊的问题,对100株烟株茎秆模拟试验的平均识别率为72.67%.试验中还验证了在动态图像中获取烟株茎秆特征的可行性,配合仿生采摘执行机构完成烟叶的自动化采摘,可以有效控制烟叶的破损率,提高烟叶的机械化采摘水平.

[1] 林选知,殷寿安,张瑞琴,等.现代烟草农业机械化技术体系构建探讨[J].农机化研究,2012(1):249-252.

[2] 李燕,刘国顺,王秀山,等.一种带有烟草传送系统的烟草收获机:中国,201010226296.0[P].2012-01-25.

[3] 李燕,刘军,王秀山,等.一种带有滚筒刀头的烟草收获机:中国,201010227313.2[P].2012-02-01.

[4] 李燕,刘国顺,赵汉雨,等.一种带有棘轮棘爪的烟草收获机:中国,201010252708.8[P].2012-03-14.

[5] 李燕,刘军,王栋,等.一种带有丝杠升降装置的烟草收获机:中国,201010263666.8[P].2014-03-14.

[6] 谢玉宝,林国华,覃勤.高速摄像技术在烟支钢印检测系统中的应用[J].烟草科技,2010(1):20-21.

[7] 董浩,洪深求,周德成,等.醋纤沟槽滤棒特征参数测定方法[J].烟草科技,2010(4):5-8.

[8] 夏营威,冯茜,赵砚棠,等.基于计算机视觉的烟丝宽度测量方法[J].烟草科技,2014(9):10-14.

[9] Day W,HashimotoY.Mathematicaland control applications in agriculture and horticulture[M].New York:Pergamon Press,1991.

[10]Shimizu H,Heins R D.Computer-vision-based system for plant growth analysis[J].Transaction of the ASAE,1995,38(3):959-964.

[11]Knodo N,Ninomiya K,Hayashi S,et al.A new challenge of robot for harvesting strawberry grown on tabletop culture[C]//ASAE AnnualInternational Meeting.USA:ASAE,2005.

[12]Sarig Y.Robotics of fruit harvesting:A state-of-the-art review[J]. Journal of Agricultural Engineering Research,1993,54(4):265-280.

[13]李伟,林家春,毛恩荣.种子动态图像自动分割与标记技术研究[J].农业机械学报,2004,35(2):76-79.

[14]刘洪见,郑丽敏,曾爱平.图像处理技术在提取玉米图像骨架上的应用[J].农业网络信息,2007(1):18-20.

[15]周金和,彭福堂.一种有选择的图像灰度化算法[J].计算机工程,2006,32(20):198-200.

[16]章秀华,杨坤涛.基于最大熵原则和灰度变换的图像增强[J].光电工程,2007,34(2):84-87.

[17]吴成茂.可调直方图均衡化的正则解释及其改进[J].电子学报,2011,39(6):1278-1284.

[18]李锦,王俊平,万国挺,等.一种结合直方图均衡化和MSRCR的图像增强新算法[J].西安电子科技大学学报:自然科学版,2014,41(3):103-109.

责任编辑 曹 娟

Recognition and Application of Tobacco Stalk Features in Dynamic Images

WANG Xiushan1,LI Zhiguang*1,and GONG Changrong2
1.College of Mechanicalamp;Electrical Engineering,Henan Agricultural University,Zhengzhou 450002,China
2.College of Tobacco Science,Henan Agricultural University,Zhengzhou 450002,China

For accurate extraction of tobacco stalk features,a method for dynamic recognition of tobacco stalks was proposed based on computer vision technology.A function of image clarity evaluation was constructed at image preprocessing stage,an iterative method was used to extract distinct images and the images were grayed by weighted average method.For diminishing the influences from light source intensity,ghost,terrain and other factors,the grayed images were denoised,and the gray degree of images was intensified to make the features of tobacco stalks more prominent.Finally,self-adaptive algorithm was used to segment image threshold intelligently,the features of tobacco stalks were extracted.The simulation tests of tobacco stalk recognition were conducted with 100 tobacco plants separately under adequate light irradiation,shade,and bumping vehicle conditions.The results showed that:with average recognition rate of 72.67%under the three conditions,the recognition rate under adequate light irradiation was the highest(76%),while that in a bumping vehicle was the lowest(69%).The experiment verified the feasibility of obtaining the features of tobacco stalks in dynamic images,automatic tobacco leaf harvesting could be implemented by combining with a bionic actuator,it is helpful to lowering leaf damage and improving the efficiency of leaf harvesting.

Tobacco stalk;Feature recognition;Image extraction;Graying;Noise reduction

S572,TS473

A

1002-0861(2015)10-0078-06

10.16135/j.issn1002-0861.20151014

2015-02-09

2015-07-08

国家自然科学基金项目quot;提高高速数控机床热误差补偿精度的关键理论研究quot;(U1204524);河南省教育厅科学技术研究重点项目quot;自走式烟草收获机智能采集系统研究与开发quot;(12B210013);2014年度河南省高等学校骨干教师资助技术项目quot;智能化作物株间除草机关键技术研究与开发quot;(2014GGJS-034).

王秀山(1975-),博士,副教授,主要从事嵌入式系统设计、自走式农业机器人设计.E-mail:towxs@163.com;*

李智广,E-mail:tolizhiguang2010@163.com

王秀山,李智广,宫长荣.动态图像中烟株茎秆特征的识别与应用[J].烟草科技,2015,48(10):78-83.WANG Xiushan,LI Zhiguang,GONG Changrong.Recognition and application of tobacco stalk features in dynamic images[J].Tobacco Scienceamp;Technology,2015,48(10):78-83.