油菜籽粒千粒重图像测定方法
2022-03-16姚业浩李毅念邹玮刘璎瑛何瑞银
姚业浩,李毅念,邹玮,刘璎瑛,何瑞银
(南京农业大学工学院,江苏 南京,210031)
油菜是我国重要的油料作物[1]。油菜考种是育种过程中的重要手段,其中千粒重是考种必不可少的参数[2]。国标中规定的千粒重测定方法是随机数出3 份1000 粒种子,分别测量质量,求其平均值。目前千粒重测定中的籽粒千粒计数和质量测定皆为人工操作,费时费力,不适应当前大规模现代农作物育种的需要。
目前普遍采用微电脑自动数粒仪对水稻、小麦等大籽粒进行定量计数,但计数速度与计数准确度成负相关,且不适应于油菜等小籽粒的计数。应用图像处理技术解决农业领域的问题方面不断得到扩展,主要应用于植物表型构建与分析[3~5]、病虫害检测[6,7]、品种分类[8]、目标检测计数[9~11]和千粒重测定中的籽粒计数[12~17]等方面。高慧敏[12]等利用扫描仪成像技术获取芦笋种子图像,再使用Image-pro plus V6.0 软件自带的计数功能实现对芦笋种子的自动计数,然后用天平称重获取种子质量,计算出芦笋种子的千粒重。王刚[15]研制了一种基于机器视觉的玉米千粒重快速考种仪,该仪器包括自动给料、输送机构、称重机构、图像采集系统,利用图像处理的方法对籽粒计数和天平称重,再换算出千粒重,测定误差为0.14%,但测试系统复杂,投入成本较大,自动化程度低,不利于大规模投入使用。胡细贵[17]利用高精度天平测定单穗水稻的实粒质量,再利用实粒数转化为千粒重,该方法仍要人工对单穗水稻籽粒计数,因此并没有实现自动化。在油菜籽粒计数方面,杨冬平[10]等利用油菜籽类圆形的形状特点,采用改进的Hough 变换方法找到油菜籽粒的圆心,并在两个相邻籽粒中心的连接线上作垂线以达到油菜籽粒分割计数的目的,结果表明该方法计数所得到的籽粒数准确度为98%以上。吴文华[11]采用Lab 颜色空间下的K-means 聚类分割算法实现油菜籽粒前景和背景的分离,再通过标记控制分水岭分割算法以及面积阈值法来解决粘连籽粒的问题,结果表明当油菜籽粒在600粒以内时,计数误差在3%以内。
现阶段千粒重测定方法虽然采用图像方法进行籽粒计数,但仍然存在问题,比如仍然需要人工称量籽粒重,自动化程度低。为解决这一问题,本研究基于图像处理技术,建立籽粒面积与质量之间的相关性模型,对油菜籽粒进行图像识别计数,利用随机函数法从中选取1000 粒油菜籽粒并提取面积,代入籽粒面积与质量之间的相关性模型得到籽粒千粒重。
1 材料及方法
1.1 实验设备
图像采集设备有华为智能手机(荣耀V30,6GB+128GB,像素为3648×2736)、升降台(高度固定)和A4 大小发光板(图1)。称重设备为电子天平(型号:UIP-313,精度0.01g,上海花潮电器有限公司),PC 机(联想G50-80,Window10 操作系统,250G固态硬盘,12GB内存),MATLAB2020。
图1 图像采集设备Fig.1 Image acquisition equipment
1.2 材料
采用3 个不同的甘蓝型油菜品种,分别为沣油737、杨油5 号和苏油1 号,样本均采自江苏省南京市六合区八百桥,待样本自然风干后采用人工脱粒的方式获取油菜籽粒。对籽粒进行分样,3 个品种的建模集样本数分别为151、54、75 份(籽粒数量均在90~2500 粒之间),对样本进行称重和图像采集,此部分样本用于图像方法获取籽粒质量的模型建模和籽粒数验证。每个品种采用国标方法人工测定油菜籽粒千粒重作为真实千粒重用于和图像处理结果进行比较,3 个品种验证集样本数均为30 份(籽粒数量均在2000~4000 粒之间),用图像处理的方法来测定千粒重。
1.3 数据处理方法
以人工测定的千粒重为真实值,图像处理测定千粒重为测量值,使用式(1)计算千粒重测定的平均绝对误差,使用式(2)计算千粒重测定的平均相对误差。使用公式(3)计算两测量结果之间最大相对之差,并与国家标准(GB 5519-08)要求做比较。
式中:E为平均绝对误差;Q为平均相对误差,%;T为最大相对之差,%;m为每个品种样本数;xi为测量值;xj为真实值;pi为单个样本的相对误差;xmax为一组测量数据中的最大值;xmin为一组测量数据中的最小值。
1.4 图像处理方法
1.4.1 图像处理流程 图像处理过程按照图2 所示流程进行。
图2 图像处理算法流程Fig.2 Image processing algorithm flow
1.4.2 图像预处理 图像预处理包括灰度化、二值化、取反、开运算、去除小面积、孔洞填充、去标签。以沣油737 为例进行说明,油菜籽粒的原图如图3A 所示(矩形框表示放大区域,相关图像处理方法的说明以此区域内图像为例),经过预处理后的二值图如图3B所示。
图3 图像预处理效果Fig.3 Effect of preprocessed image
1.4.3 控制标记符的分水岭分割方法 分水岭变换[18]直接用于梯度图像时会产生严重的过分割,为解决这一问题引入了标记符的概念,内部标记符处在每个目标的内部,用来限制允许的分割区域数目。
极限腐蚀:极限腐蚀就是通过不断的迭代腐蚀最终将目标缩减至一个微小的核[9]的过程,传统的极限腐蚀是采用同一个结构元素对目标进行腐蚀处理n 次,达到极限腐蚀的目标。由于油菜籽粒尺寸大小差异显著,极限腐蚀次数n(n=10)较小时,小籽粒之间腐蚀分割完好,而大籽粒之间的粘连会出现欠腐蚀现象,如图4C 所示;极限腐蚀次数n(n=12)较大时,部分小籽粒出现过腐蚀现象而消失,如图4E 所示;即使极限腐蚀次数n 取中间值n=11,仍然出现粘连大籽粒无法腐蚀分开、部分小籽粒腐蚀消失的现象,如图4D所示。因此固定腐蚀次数的极限腐蚀对于油菜籽粒尺寸大小差异显著的图像并不合适。本文提出了一种选择性极限腐蚀的方法(图5)。采用半径为1 的圆盘结构元素进行极限腐蚀,每次腐蚀后都计算每个连通域的面积,提取出面积小于等于s 的连通域,其余连通域继续迭代腐蚀,直到每个连通域面积都小于等于s 为止。该方法选择性地减少了小籽粒的腐蚀次数,避免过腐蚀现象的产生,增加了粘连大籽粒的腐蚀次数,粘连大籽粒得到了充分腐蚀,n 不再局限于一个固定的值,有效弥补了传统极限腐蚀的不足,腐蚀效果如图4F所示。
图4 粘连籽粒在不同极限腐蚀方法下的分割效果(局部)Fig.4 Segmented effect of adhesion rapeseed seeds by using different limit erosion methods(local area)
图5 选择性极限腐蚀算法流程Fig.5 Algorithm flow of selective limit erosion
分水岭分割:采用形态学梯度法来计算油菜籽粒的梯度幅度[19],如图6A 所示。由于噪声及其他局部不规则性未经处理的梯度图像会在分水岭变换后产生多余的分水岭脊线,导致过分割现象,如图6B 所示。为防止过分割现象,把选择性极限腐蚀的方法得到的目标内部的核作为内部标记符来限制允许的区域数目,首先利用内部标记符对原梯度图像施加强制极小值,如图6C 所示,然后对修改后的梯度图像进行分水岭变换得到分水岭脊线,最后将分水岭脊线叠加到原二值图像上完成图像分割,如图6D所示。为了增加分割效果的直观性,根据油菜籽粒形态近圆形的特点,对每个油菜籽粒连通域拟合一个带有颜色的圆以增强分割效果的直观性,符合粘连条件的籽粒拟合红色的圆,其余拟合绿色的圆。粘连条件判断如下:(1)求取分割后籽粒的平均面积S,面积大于等于2S的即为粘连籽粒(两粘连及以上);(2)将面积大于2S 的籽粒去除,对剩下的籽粒拟合最小外接矩形,长宽比大于等于1.5 的为粘连籽粒(两粘连)。识别效果如图6E所示。
图6 分水岭方法分割过程Fig.6 Segmentation process for Watershed segmentation
二次分割:经分水岭一次分割后绝大部分粘连籽粒都被分割开,但仍然有小部分粘连程度高的籽粒未被分割开,由于粘连程度高的籽粒在极限腐蚀时只得到了一个核,所以需对粘连程度高的籽粒重新确定每个籽粒内部的核,再进行分水岭变换。根据粘连条件提取粘连籽粒如图7A 所示,经距离变换,将二值图像改为具有一定灰度值的灰度图像,粘连籽粒的灰度值三维曲面如图7B所示,每个籽粒的内部都存在一个灰度极大值,保留极大值及其周边的像素,得到的新的二值图像就是各籽粒的核,如图7C 所示,再经分水岭变换即可实现二次分割,如图7D所示,整体分割效果如图8所示。
图7 二次分割过程Fig.7 Secondary segmentation process
图8 整体分割效果Fig.8 Overall segmentation effect
1.5 千粒重测试方法
从分割好的籽粒图像中随机选取1000 粒籽粒并计算面积,所选取的1000 粒油菜籽粒效果如图9所示(被绿色圆标记的籽粒即为所选籽粒)。将该1000 粒油菜籽粒的面积代入面积与质量相关性模型中计算得到千粒重。
图9 选取1000粒籽粒效果Fig.9 Image of 1000 seeds selected
2 结果与分析
2.1 相关性模型
通过样本中得到的油菜籽粒面积(像素数量)与籽粒质量数据,建立面积与质量之间的相关性模型,如图10 所示。3 个品种各自和全部品种的样本籽粒面积与籽粒质量线性相关关系式分别为:
图10 籽粒面积与籽粒质量的关系模型Fig.10 Correlation models between seed area and seed mass
y=8×10-6x-0.3182
确定系数(R2)分别为0.9964、0.9941、0.9783,0.9881,籽粒质量与其籽粒面积具有十分显著的线性相关性,说明通过图像法测定油菜籽粒的面积代入相关模型中可以计算籽粒的质量。
2.2 油菜籽粒图像识别计数结果分析
通过图像处理对油菜籽粒进行千粒重测定时,需要对籽粒进行分割计数并从中选取1000粒籽粒,分割计数的精度以及1000 籽粒选取的准确度将直接影响千粒重测定的精度。分别以1000~2000 粒、2001~3000 粒和3001~4000 粒为计数区间,在每个计数区间计数10次,验证本文籽粒计数算法的准确性;以图像处理后再经人工修整后的结果作为真实值,可得到籽粒数识别结果(表1),3 个品种的籽粒分割计数绝对误差和相对误差均随着籽粒数区间的增大而增大,因为籽粒数区间的增大会增加籽粒密度和粘连的比例从而影响籽粒分割的准确度。由表1 计算可得,3 个品种在1000~4000 粒区间内的籽粒计数平均相对误差分别为0.23%、0.25%、0.14%,其中苏油1 号的籽粒计数误差明显小于其余两个品种,因为其籽粒大而饱满,相邻籽粒之间空隙较大,更易分割。与吴文华[11]研究的油菜籽粒600 粒以内,误差3%的方法相比,本方法具有计数区间大、计数准确度高的优点。
表1 油菜籽粒图像识别计数结果Table 1 Identifying and counting results of rapeseed seeds
2.3 千粒籽粒选取结果分析
从分割后的籽粒中根据粘连条件去除粘连籽粒,再从去除粘连后的籽粒中选取1000粒籽粒的结果如表2 所示。由表2 计算可得:在30 次测试中,3个品种随机选取1000 粒油菜籽粒的平均零误差率为71.11%,平均绝对误差为0.40 粒,平均相对误差为0.04%。因此本文提出的从图像中选择1000 粒油菜籽粒的方法具有较高的精度和可行性。
表2 千粒籽粒选取结果Table 2 Selection results of 1000 rapeseed seeds
2.4 千粒重测定结果分析
按照千粒重的测定方法人工测定油菜籽粒千粒重,同时利用图像处理的方法从3 份待测籽粒图像中分别随机选取1000 粒油菜籽粒经相关性模型计算其质量,取平均值为千粒重,测定结果如表3所示。由表3 计算可得:在人工测定千粒重结果中,3个品种在3 次千粒重测定中的2 次结果最大相对之差分别为1.7%、3.5%、2.6%,在图像处理测定千粒重结果中,利用3 个品种各自的籽粒面积与质量相关性模型得到的3 个品种在3 次千粒重测定中的2次结果最大相对之差分别为2.0%、2.0%、2.6%,利用全部品种的籽粒面积与质量相关性模型得到的3个品种在3 次千粒重测定中的2 次结果最大相对之差分别为3.3%、3.4%、4.6%,结果稳定,均符合国家标准要求的允许差。与人工测定结果相比,利用3 个品种各自的籽粒面积与质量相关性模型得到的3 个油菜品种千粒重测定的绝对误差分别为0.06g、0.04g、0.03g,相对误差分别为1.68%、1.13%、0.59%,平均准确度为98.87%。利用全部品种的籽粒面积与质量相关性模型得到的3个油菜品种千粒重测定的绝对误差分别为0.11g、0.11g、0.16g,相对误差分别为3.08%、3.11%、3.16%,平均准确度为96.88%。利用全部品种的籽粒面积与质量相关性模型得到的千粒重结果精度略低于利用3个品种各自的籽粒面积与质量相关性模型得到的千粒重结果,但利用该模型得到的千粒重平均准确度为96.88%,最大相对误差仍不超过3.16%,该模型具有良好的准确度、适用性和通用性,说明本文提出的方法具有较高的准确度和可行性。
表3 千粒重测定结果Table 3 Determination results of mass of 1000 seeds
2.5 算法稳定性结果分析
为检验本文算法的稳定性和计算结果的普遍性和代表性,利用图像处理的方法测定验证集中样本的千粒重(每个品种30份样本),测定结果如图11所示,千粒重数据均匀分布在平均值上下两侧。由图11 计算可得:利用3 个品种各自的籽粒面积与质量相关模型得到的3 个品种在30 次千粒重测定中的2 次结果最大相对之差分别为4.7%、6.1%、6.5%,利用全部品种的籽粒面积与质量相关模型得到的3个品种在30次千粒重测定中的2次结果最大相对之差分别6.4%、7.9%、8.9%,均符合国家标准要求的允许差。利用3个品种各自的籽粒面积与质量相关模型得到的3 个品种在30 次千粒重测定中的千粒重平均值与实际千粒重的相对误差分别为1.96%、0.56%、0.00%,利用全部品种的籽粒面积与质量相关模型得到的3 个品种在30 次千粒重测定中的千粒重平均值与实际千粒重的相对误差分别为3.08%、3.67%、1.38%,表明该算法准确度高。利用3个品种各自的籽粒面积与质量相关模型得到的3 个品种在30 次千粒重测定中的千粒重变异系数分别为1.4%、1.8%、1.3%,利用全部品种的籽粒面积与质量相关模型得到的3 个品种在30 次千粒重测定中的千粒重变异系数分别为1.5%、2.4%、2.4%,表明该算法具有非常好的稳定性,计算所得结果具有普遍性。
图11 稳定性分析Fig.11 Stability analysis
2.6 测量时间分析
人工测定油菜籽粒千粒重与图像处理技术测定千粒重所需时间统计结果见表4,由表4 可知人工测定3 个品种油菜籽粒千粒重的平均时间为1549 s(包括数籽粒、称重、计算平均值),而在已建立籽粒面积与质量相关模型的情况下采用图像处理的方法平均仅需152 s 即可完成油菜籽粒千粒重的测定(包括获取图像、导入电脑、图像处理整个过程,其中每次图像处理约消耗20 s 左右的时间),所以传统人工测定油菜千粒重所需要的时间是本文测定方法所需时间的10.2 倍,因此,运用本方法可以快速的获取油菜籽粒的千粒重信息。
表4 测量时间Table 4 Measurement time
3 讨论与结论
本文通过图像处理技术对测定油菜籽粒千粒重的籽粒数量和籽粒质量直接进行测试,利用图像分割技术将油菜籽粒分成单粒,再利用随机函数从中选取1000粒油菜籽粒,最后利用油菜籽粒面积与质量的相关模型计算选取的1000 粒油菜籽粒的质量,测定3份样本并计算平均值即为千粒重。
在通过本研究已建立油菜籽粒面积与质量相关模型的基础上,对油菜籽粒千粒重进行测定可不使用称重设备,直接采集油菜籽粒图像并经图像处理方法获得测定的千粒重。本方法对籽粒的纯净度要求较高,如果籽粒中含有较多杂质(小石头、角果皮、枝梗等),本方法将不能自动识别并去除杂质,故而影响千粒重测定的准确度。本文采用的样本皆为人工脱粒,几乎不含杂质。由表3计算可得,利用全部品种的籽粒面积与质量相关模型得到的3个油菜品种千粒重测定的平均准确度为96.88%,略低于利用3个品种各自的籽粒面积与质量相关模型得到的千粒重测定的平均准确度98.87%。因此该模型具有通用性强的实际应用价值且依然具有较高的精度。本方法在建立油菜籽粒面积与质量相关模型的基础上,达到了完全自动化的程度,与现阶段相关谷物[13~17]和芦苇等种子千粒重测定方法[12]相比,具有操作更简单、自动化程度更高的优点;与传统千粒重测定方法相比,本方法具有测定时间短、节省人工劳动的优点。