基于图像玉米茎秆位置标记方法的研究

廖思洋,谭 峰

(1.黑龙江八一农垦大学,黑龙江 大庆 163000;2.黑龙江农垦职业学院,哈尔滨 150000)

0 引言

根据国家统计局2022年12月12日发布数据,2022年全国粮食总产量达到68 653万t,其中玉米产量27 720.3万t,占全国粮食总产量比例为40.4%,在小麦、大豆、玉米、水稻等主要粮食作物中,玉米产量最高,稳定玉米生产可以为稳定国家粮食安全做出贡献[1-2]。随着信息技术发展,为提高玉米产量,精准农业被用于玉米的农业生产环节,与传统生产方式相比,精准农业在节约资源的同时,可以利用计算机视觉结合机器学习对玉米秧苗茎秆位置进行标记,有利于生产作业过程中对玉米秧苗的保护,实现高效和安全生产[3-4]。玉米种植过程中存在诸多机械作业,用于播种、除草和施肥[5-6],作业过程中要防止对玉米茎秆造成损伤,通过精准农业对秧苗精准定位保护,可有效提升产量。

计算机视觉是模仿人眼对事物的观察识别,让计算机可以精准获取目标事物的特征数据,结合人工智能理论知识,实现图像识别技术[7]。随着深度学习和机器学习的运用,可进一步提高图像识别的准确度。深度学习可通过手动标记目标特征数据来进行训练模型,在玉米种植过程中,利用深度学习技术可以分割作物与环境背景,但需要建立大量数据集样本、花费时间手动标记特征位置[8-9]。机器学习是研究怎样使用计算机实现人类学习活动,在计算机视觉的基础上,通过选择数据集并建立模型进行训练,提取目标特征数据,通过使用不同的训练数据集对比,改善模型预测的准确性[10-11]。工业领域已经广泛采用基于计算机视觉识别的人工智能图像处理技术,在农作物种植和农产品加工与检测领域也开始应用[12-13]。

综上所述,利用图像处理技术自动化标记目标作物,实现视觉避障和精准作业[14-15],由于玉米秧苗茎秆和叶片交叠较少,以玉米秧苗茎秆为检测对象,通过对茎秆部分的特征提取,获取玉米茎秆的位置信息并进行图像标记,可为保护玉米秧苗的田间作业提供参考。

1 材料与方法

1.1 试验设备和材料

采用CMOS相机对田间玉米秧苗图像进行采集,参考玉米种植过程中除草、施肥等机械作业时间,选择4～6叶期玉米秧苗作为观测对象[16-17]。为保证拍摄图像内包含一株秧苗,拍摄角度约60°,相机高度为高于玉米茎秆底部约60 cm。种植玉米品种为龙高L2,株间距约30 cm,行间距约70 cm。为保证工况接近,在图像采集过程中,垄间搭建满足高度要求的脚架辅助拍摄[18]。为便于验证准确率,通过软件将采集图像尺寸统一处理为720×480(单位:像素),分别识别100株玉米茎秆的特征数据并标记位置信息,从中选取20株标记结果进行效果评估。

1.2 图像处理与识别

对采集到的样本图像进行处理,实现对玉米秧苗的识别。总体流程包括图像预处理、图像二值化、形态学处理构建连通域等,确定最大连通域为玉米秧苗区域。

1.2.1 图像预处理

由于不同植株生长角度不同,自然光照射使部分样本图像局部曝光过大,原始图像会掺杂噪声信息,对图像进行高斯滤波去噪。为简化数据处理过程,利用加权平均值法对彩色图像进行灰度化处理,再通过直方图均衡进一步提高图像对比度[19]。

1.2.2 图像二值化

本文选用最大类间方差法(Otsuthreshold method,OTSU)对图像进行二值化处理,实现玉米秧苗与土地背景的图像分割。

设样本图像的灰度值有k级,且灰度值为i的像素有ni个,则该幅图像像素总个数为N,灰度值是i的概率为pi,对图像进行分割时,选用T作为阈值,可以把图像中的玉米秧苗与背景土地分割开来,其中秧苗区域的灰度值范围在[1,T],背景区域的灰度值在(T,k],则T为阈值的图像灰度均值为

(1)

玉米秧苗区域所占比例为

(2)

玉米秧苗区域灰度平均值为

(3)

土地背景区域所占比例为

(4)

土地背景区域灰度平均值为

(5)

图像灰度平均值为

μ=ω0(T)μ0(T)+ω1(T)μ1(T)

(6)

则图像中玉米秧苗与土地背景两者之间方差为

(7)

则阈值T的取值为

(8)

其中,δ2(T)是玉米秧苗与土地背景的方差函数,T为灰度值从0到最大值遍历时,使δ2(T)取得最大值的阈值。

1.2.3 形态学处理构建连通域

经过预处理和图像分割,仍带有一些难以去除的噪声信息,这些噪声经过二值化处理,最终表现形式有小斑点和线条,所以应用形态学对二值化图像进一步处理,形态学处理算法大体上有四种[20]。

膨胀运算,将目标区域扩大,可以用来对分割后的空洞较大的图像进行填充,表达式如下

(9)

腐蚀运算,图像内收,消除边界点,去除无价值目标点,表达式如下

A⊖B={x|(B)x⊆A}

(10)

开运算,先腐蚀再膨胀的运算,表达式如下

A·B=(A⊖B)⊕B

(11)

闭运算,先膨胀再腐蚀的运算,表达式如下

A·B=(A⊕B)⊖B

(12)

经形态学处理后,对线条和空洞进行有效填充,对玉米秧苗相近目标的区域进行连接,构建连通域,以最大连通域作为玉米秧苗区域。

1.3 玉米茎秆位置标记

经过灰度化、去噪、图像二值化处理和形态学处理后,得到玉米秧苗和土地背景分割明显的图像,该文选用全局投影法对玉米茎秆根部的像素点坐标进行位置标记。假设一个m×n的图像f(x,y),全局投影法是将图像分别在横向和列向进行求和,得到X轴和Y轴的和向量g(x)和g(y),运作原理如图1 所示。

图1 投影法原理图

其中向量g(x)、g(y)可以表示为

(13)

(14)

其中x取值为[1,n],y取值为[1,m]。具体步骤如下:

1)在列向进行投影,用G来表示投影结果,G所包含的数值格式就是这幅图像的横向坐标

(15)

2)对玉米秧苗图像进行列向投影,投影的一组数据从左到右依次进行遍历,找到最大值对应的点,就是玉米茎秆根部的横坐标x1。

3)对步骤2中求得坐标X所对应列的像素点,从上到下一次进行遍历,找到最后数值为最小值的点,这个点对应的就是玉米茎秆根部的纵坐标y1。最后由玉米茎秆根部坐标(x1,y1)实现茎秆位置标记。

2 结果与分析

通过MATLAB编程实现上述玉米秧苗图像处理方法,并对玉米茎秆位置进行标记,抽取20株作为样本进行人工标记,与系统标记结果进行对比。软件环境为MATLAB R2016a。

2.1 图像处理与识别结果

对图像进行加载,进行高斯滤波后可较好剔除曝光噪声的干扰,经灰度化处理利于后续进一步识别处理。灰度化处理结果如图2所示。

图2 灰度化处理结果

应用Otsu算法计算阈值,进行图像二值化处理,经观察,茎秆根部信息进行了完整保留,且茎秆根部图像清晰,最大连通域较为明显。二值化处理结果如图3所示。

对玉米秧苗二值化图像进行形态学处理,发现经过处理的茎秆部分信息更加突出,且背景区域小斑点和小区块等噪声基本完全消除。但玉米茎秆根部与土壤相接部分存在一定的信息损失,经观察确认,茎秆根部靠近土壤部分颜色与土壤接近,在进行二值化处理后背景信息被分割。形态学处理后结果如图4所示。

图4 形态学处理结果

2.2 玉米茎秆位置标记结果

2.2.1 标记结果

田间试验均为晴天,图像采集角度约为60°,列向坐标向量图像位置与实际位置向量相差约30°,已知样本图像尺寸为720×480(单位:像素),可计算系统标记位置与手动标记位置的实际位置误差。随机选取20组样本进行玉米茎秆根部系统标记,与手动标记坐标对比,如表1所示。

表1 位置标记数据对比统计表

对20组数据进行统计分析,得到横向误差平均值为7.55,标准差平均值为1.05%,列向误差平均值10.85,标准差平均值为2.26%,实际误差平均值为12.33。由此可知,通过全局投影法对玉米茎秆根部进行位置标记后,与实际茎秆根部坐标存在较小偏差,可为通过玉米茎秆定位的田间作业提供参考。

2.2.2 误差分析

采用传统图像处理技术对玉米秧苗进行识别,位置标记是由二值化处理后的像素数据进行投影求和,二值化结果的优劣直接影响最终标记坐标准确率,该研究二值化处理后,茎秆根部存在信息缺损,其主要原因在于田间采集图像均为晴天,光照产生的叶片阴影会影响灰度化处理的茎秆图像效果,使得二值化处理时,与土壤颜色接近部分分割去掉,导致图像信息丢失。所以减少光照阴影影响或采取更好的图像分割算法,识别效果会更好。

3 结论

针对田间作业过程中对玉米茎秆位置的需求,提出了一种基于图像处理技术的玉米茎秆位置标记方法。通过对彩色图像进行去噪、灰度化、增强后去除阴影、曝光等噪声信息,再采用二值化处理获取玉米秧苗植株所在区域,利用全局投影法得到玉米茎秆根部的图像坐标,实现茎秆位置标记。试验结果表明,该方法误差较小,可为需要采用玉米茎秆定位的田间作业提供参考。部分误差由于二值化处理后出现图像信息丢失,之后对玉米秧苗区域进行更精确识别定位,效果会更好。