基于图像的玉米叶倾角提取算法与应用研究

包聪聪，张宝林，2，3，牛潘婷，潘丽杰

（1.内蒙古师范大学化学与环境科学学院，内蒙古 呼和浩特 010020；2.内蒙古节水农业工程研究中心，内蒙古呼和浩特 010020；3.内蒙古自治区环境化学重点实验室，内蒙古 呼和浩特 010020）

叶片是植物进行光合和蒸腾作用的主要器官，对植物的生长发育和农作物的产量形成具有重要作用。光能是作物生产的主要驱动因子，作物的光能截获和利用能力决定着农业生态系统的生产潜力。玉米是重要的粮食作物、饲料作物、经济作物和工业原料。研究玉米的冠层特征，对提高玉米的光能利用效率，实现增产增效有着重要意义。

叶倾角（Leaf inclination angle，0～90°）是叶片表面法线方向与天顶角方向的夹角，即叶片与水平方向的夹角。叶倾角是玉米群体冠层重要特征之一，是决定透光和受光姿态的重要指标，为植物冠层能量交换提供结构化的定量信息。叶倾角与叶片的直立程度呈正比，除了用于表征植被冠层结构之外，也常被用来反映植物特征、生命活力以及环境效应。根据叶倾角的大小，可以把玉米分成紧凑型和平展型，紧凑型玉米的叶倾角大于或者接近65°，平展型玉米的叶倾角接近或小于50°[1]。在高密高氮的条件下，紧凑型玉米能够调控叶倾角，物质转化效率较高，从而实现群体增产，而平展型玉米在相同条件下会造成产量损失[2]。作物上层叶片大部分叶倾角为60～90°，顶层叶片叶倾角为90°，底部叶片叶倾角为0°时，冠层光合效率最高[3]。一般情况下，玉米上层叶片叶倾角为60～90°（占比47.3%），中层为30～60°（占比36.6%），下层为0～30°（占比16%）时，受光结构最佳[4]。玉米超高产群体的冠层通常表现为株型紧凑，结构分布合理；植株各层位受光适宜，上层叶片紧凑，透光性强,下层叶片平展，光合有效辐射截获较多，提高了各层叶片的光合速率[5]。过去一个世纪，美国玉米带产量的提高与玉米育种中辐射利用效率的提高密切相关[6]。同一玉米植株不同叶位的叶片，叶倾角随生长进程逐渐减小。增密[2，7]、施氮[8-10]、施磷[11]、覆膜[12]等栽培管理措施，会影响叶倾角，进而影响作物的光能利用和产量。叶倾角随密度增加而增大[2]，在不超过耐密阈值的情况下[13-14]，增加种植密度是提高作物单产的有效方法[15-17]。增密可以在群体水平上提高冠层的太阳辐射捕获量，最大限度地利用光资源，使单位面积产量最大化。直立型叶片的玉米品种较水平叶片品种产量可增加40%[18]。通过基因改造控制叶倾角[19-21]，可消除密植的不利影响。玉米叶倾角变化也是常见的干旱响应机制之一[22]，干旱胁迫发生时，叶倾角会发生明显变化[23]。此外，叶倾角与叶倾角分布（Leaf angle distribution，LAD）和叶面积指数（Leaf area index，LAI）[24]的关系密不可分，是影响光截获量、光合效率的重要参数。

传统的叶倾角测量方式是利用量角器进行测量，费时费力，容易损伤植株。为克服这些问题，目前叶倾角的提取主要使用三维点云数据、深度图像和二维图像。使用激光雷达、三维激光扫描仪和Kinect 等可获得三维点云数据，然后根据图像计算三维信息重构植株，常用聚类法进行茎叶分割，进一步获得叶倾角及其分布密度。雷蕾[25]运用激光雷达获取玉米的三维点云数据，采用定量结构模型计算叶倾角。冯可心[26]把玉米三维点云数据规则化后，计算叶倾角。KENCHANMANE 等[23]搭建高通量图像处理平台测量玉米叶倾角。SOUZA 等[27]利用玉米叶绿素荧光图像进行高通量图像分割和性状提取，获取叶尖和茎的夹角。深度图像一般由深度相机获得，属于三维图像，通过优化骨架法可获得更好的表型参数，宗泽等[28]通过改进骨架化优化叶倾角的提取精度。也有研究[29]采用哈里斯角点（Harris corner）方法识别植株的端点，提取叶倾角，但是该识别方法对于扫描窗口和核大小有依赖性，对于叶片末端的检测效果不理想。近年来，随着计算机性能的提升，图像处理技术日益完善，并被应用于获取各类农作物的信息[30-31]。利用二维图像获取叶倾角的算法，一般通过改进骨架化的方法，以搜索窗口的形式直接提取玉米叶倾角概率密度函数。利用图像处理技术，在快速提取植物表型的同时，可减少对植物的损伤。陈啸等[32]对玉米植株的图像进行处理，得到玉米骨架后，通过搜索半径获得叶倾角。也有学者[33]通过改进单阶段目标检测网络CenterNet提取二维图像中的叶倾角。

目前，叶倾角的获取常利用三维点云数据，但高通量设备成本高昂，难以在大田试验中推广应用。三维点云数据大多为实验室中培育的单株植株表型信息，与自然状态下的玉米植株存在差异。基于二维图像的提取方法包括骨架化的改进和目标检测的应用，其中深度学习方法所需样本量大，不易获得。鉴于此，借鉴深度图像的处理技术，利用二维图像提取叶倾角，提出了一种使用Freeman链码识别茎叶连接点、实现玉米叶倾角提取的非接触测量方法，可减少植物损伤，实现不同气候、地力、栽培条件下的叶倾角的快速诊断，为合理密植，提高光能利用率，实现增产增效提供依据。

1 材料和方法

1.1 数据采集

在不同地区（内蒙古兴安盟科尔沁右翼中旗、呼和浩特市、通辽市扎鲁特旗、锡林郭勒盟西乌珠穆沁旗）对玉米植株进行拍照，并使用圆形量角器测量叶倾角。测量时，在量角器的圆心处系一根细线，线的另一端使用重物进行固定，当量角器的0～180°线与测量叶片水平时，记录细线指示的角度。每个地区选取10株玉米，记录完全展开叶片的叶倾角。同时，使用手机相机对大田玉米植株拍照。拍照时，在植株正前方平视植株进行拍照，避免俯视和仰视对叶倾角造成影响，对手机型号无特殊要求，这样可以增加数据集的多样性，增强算法的泛化能力。为降低后续计算量，统一将图像大小设置为500×500（图1）。玉米成熟期，在呼和浩特市周边地区采样时，依据Landsat 8 遥感影像提取成熟期玉米的归一化植被指数（Normalized difference vegetation index，NDVI），在NDVI 的最大值（0.80）和最小值（0.60）处进行采样，测量叶倾角。利用量角器实地测量，共采集叶倾角数据583个。

图1 玉米植株样本Fig.1 Maize sampling images

1.2 研究方法

硬件环境为Intel（R）Core（TM）i7-10510U CPU @2.30 GHz，8.0 GB 内存。软件开发环境为Win10 家庭版，使用语言为Python 3.8.0 和开源计算机视觉库OpenCV2。研究技术路线如图2所示。

图2 研究路线Fig.2 Research route

1.2.1 图像预处理 在图像采集过程中会受到各种因素的干扰，如拍照设备、光照不均产生的图像噪声等[34-35]。图像噪声会降低叶倾角识别算法效率，为提升图像质量，精简图像信息，减少数据处理量，提高处理速度，需要对图像进行预处理。

首先对玉米图像进行平均值法灰度化，然后采用阈值法进行二值化，删除小面积的连通区域，保证图片的最大连通，之后将植株图像与背景进行分割，采用Freeman[36]链码识别玉米植株的叶尖和茎叶连接点，获取叶倾角。图像处理的伪代码如表1所示，预处理流程如图3所示。

表1 图像预处理伪代码Tab.1 Pseudo codes of image pre-processing

图3 图像预处理流程Fig.3 Image preprocessing

1.2.1.1 图像灰度化 灰度化处理可缩短对图像处理时间[37]，减少与夜间图像的差异，提高图像处理速度[38]，有利于图像分割和识别[35]。常用方法包括加权平均值法、最大值法、平均值法。采用平均值法对玉米植株图像进行灰度化处理（图3）。

1.2.1.2 图像增强 采集图像时由于光照不均，导致植株各部分明暗程度不一样，图像增强可以在一定程度上消除因拍摄角度不同产生的亮度差异[39]。本研究采用直方图均衡化对图像进行增强（图3），直方图均衡化对过亮区域和过暗区域有很好的处理效果[40]。经直方图均衡化处理后，图像更加清晰明朗，有利于CNN 特征提取[41]，可增强复杂光照下的图像对比度[42]，增加光线偏暗和偏强的图像对比度，有利用分离背景[43]。

1.2.1.3 图像滤波 图像经直方图均衡化后，增强了对比度，但也增大了噪声[44]。中值滤波用一个预设的像素邻域中的灰度中值来代替原本像素值，可以消除孤立噪声点[45-46]（图3）。在直方图均衡化后，采用非线性中值滤波可去除图像中的噪声[41]，可解决小麦图像边角区域模糊的问题[47]，消除害虫图像中的孤立噪声点，保护图像边缘[48]。

1.2.1.4 图像二值化 基于阈值、边缘和区域都可以对图像进行二值化。常用的阈值分割法包括全局阈值法和自适应阈值法。孟笑天[31]比较了双峰法、最大熵阈值法、迭代法和Otsu 法对玉米苗带图像的分割效果，最终用Otsu 算法进行二值化。朱超冉等[49]采用最大熵阈值分割、迭代法阈值法、Otsu算法分割杂草图像，发现Otsu 算法对杂草的分割效果更好。刘东等[50]使用Otsu 算法较好地分割了农田区域。张卫正等[51]使用Otsu 算法分离了玉米图像的前景与背景，提取了完整的玉米植株。本研究中，将玉米植株图像经过平均值法处理后，使用Otsu 阈值法进行二值化（图3）。Otsu 阈值法[52]是日本学者Otsu在1979年提出的一种高效算法，又称最大类间方差法，可以在灰度图中自动选择阈值进行分割，是最小二乘法意义下的最优分割。

1.2.1.5 图像形态学处理 图像经过Otsu算法分割后常常存在噪声[50-53]，需要借助形态学操作去除图像噪点，包括开运算、闭运算、腐蚀、膨胀等。邓子青等[54]采用形态学操作填充和平滑火龙果图像边缘，进行图像分割；郭齐成等[55]使用开运算去除背景噪点；马立新等[56]使用开运算去除噪声，分割秧苗茎部图像，方便后续秧苗计数。本研究采用3*3 的结构元素对图像进行闭运算，使用OpenCV2 中cv2.morphologyEx函数实现闭运算，填充孔洞（图3）。

1.2.1.6 图像连通域操作 不属于玉米植株的区域会对后续的骨架化产生影响，需要判定完整的玉米植株，剔除噪点。二值图像标记连通区域的方法包括4 邻接和8 邻接。常选择满足8 邻接的区域判断连通区域[57-58]。刘东等[50]采用删除较小连通区域的方法，将像素小于75 的区域看作是噪点。张卫正等[51]将玉米植株看作是最大连通区域，通过填充最大连通区域，删除其他连通区域，消除噪声和背景干扰。孟余耀[59]只保留最大联通域的二值图像，填充其他连通域为背景，分割玉米与杂草。马立新等[56]统计秧苗茎部图像和非秧苗茎部图像连通域的面积和性状，进而剔除非目标物。本研究采用OpenCV2 库中的contour 函数对图像中的小连通区域进行删除，设定小联通区域面积为1 000，删除小连通区域后，对最大连通区域进行填充，保证了植株的完整性，剔除了不属于玉米植株的部分（图3）。

1.2.1.7 图像骨架化 常用方法包括形态学细化方法、基于距离变换方法、拓扑细化法等。陈啸等[32]采用Zhang-Suen 快速并行细化算法[60]提取玉米植株骨架，汪涛等[61]通过形态学细化提取树叶叶片骨架，乔桂新等[62]采用球B 样条法识别植物骨架结构。本研究使用skimage 库中morphology.skeletonize_3d 函数来提取骨架（图3）。

1.2.2 叶倾角计算

1.2.2.1 识别茎叶连接点及叶尖点 遍历输入图像的每一个像素，对其周围8 个点的灰度值进行加和计算，归一化，大于4 的为茎叶连接点，等于2 的为叶尖点。本研究识别玉米植株图像的叶尖和茎叶连接点如图4所示，蓝色点为茎叶连接点，红色点为叶尖。

图4 叶尖和茎叶连接点的标记Fig.4 Labels of leaf apex and stem leaf joint

1.2.2.2 计算叶倾角 1961 年HERBERT 等[36]提出了Freeman 链码。链码通过连接规定长度和方向的直线段来表示边界，表示基于线段的4 连通或8 连通。按顺时针或者逆时针方向编码，由这种方向形成的边界码称为Freeman 链码（图5）。处理数字图像时，顺时针方向跟踪边界，为连接每对像素的线段分配一个方向，则生成链码。Freeman 链码可跟踪图像边缘[63-64]，康宇[65]在测量叶片周长时采用Freeman 链码跟踪轮廓，根据得到的链码序列计算叶片周长。

图5 4方向和8方向Freeman链码Fig.5 4-way and 8-way Freeman codes

目前，研究者[28-32]主要关注如何更好地提取植株骨架，以获得准确的叶倾角数据。本研究提出直接以搜索端点和茎叶连接点的方式，实现叶片分割。计算叶倾角步骤如下：首先使用Freeman 链码，以叶尖点为起始点，茎叶连接点为终点，顺时针进行编码，跟踪叶片，生成单个叶片编码序列表；其次根据叶片序列拟合曲线，以茎叶连接点做该曲线的切线，得到切线与曲线的交点；最后对茎叶连接点与叶尖点做直线，计算直线与过茎叶连接点的垂线之间的角度，即为叶倾角（图6）。

图6 叶倾角的识别与计算Fig.6 Leaf inclination angles identification and calculation

1.3 算法验证

叶倾角样本总量共1 166 个数据，其中实测叶倾角数据583 个，算法提取的叶倾角数据583 个。对输入的玉米图像，根据本研究提出的算法计算完全展开叶片的叶倾角，与实地测量值对比，采用皮尔森相关系数r衡量实测值与计算值之间的关系，采用均方根误差RMSE（Root mean square error）进行算法评价[66-68]。

式中，ŷi为预测值，xi为实测值，xˉ为实测值的平均数，yˉ为预测值的平均数，n为样本数。相关系数r∈[-1，1]，大于0 表示正相关，小于0 表示负相关，绝对值越大表示线性相关程度越高；RMSE反映了算法提取的叶倾角偏离真实值的程度。

2 结果与分析

2.1 玉米茎叶连接点和叶尖点的识别

分别使用哈里斯角点、Shi-Tomasi 角点和Freeman 链码对玉米的茎叶连接点和叶尖点进行识别。哈里斯角点识别节点的结果如表2 所示，不同的Sobel 算子大小（ksize）和扫描窗口（block size）对于同一图像检测出的角点个数不同。在ksize 相同的情况下，随着block size 的增大，检测出的角点数逐渐增加。在block size 相同的情况下（除block size为7时），ksize 为11时，角点数偏小。哈里斯角点识别方法依赖于ksize 和block size 的设置，不能快速检测出合适的角点作为茎叶连接点和叶尖点，不利于后续的叶倾角计算。

表2 不同block size和ksize的识别角点数Tab.2 Corner recognition by different block sizes and ksizes

Shi-Tomasi角点识别算法是哈里斯角点识别的改进版本，在节点识别中的表现优于哈里斯角点识别。使用Shi-Tomasi 角点识别算法在检测图像中的角点时，需要对于图片的情况进行预设，以便得到合适的结果。在本研究的Shi-Tomasi 角点识别测试中，使用Python 语言中的对应函数cv2.goodFeaturesToTrack（），茎叶连接点和叶尖点共7 个，端点数共8 个（图4）。设置函数中最大检测角点数目为8时，没有准确地识别出所有节点，且将骨刺识别为节点（图7）。

图7 Shi-Tomasi角点识别Fig.7 Shi-Tomasi corner recognition

以上2 种方法均不能对节点进行有效识别，本研究提出使用Freeman 链码对节点进行识别，直接使用8 邻域判定是否为叶尖点，进一步寻找茎叶连接点，标记单个叶片。采用Freeman 链码对骨架化后的玉米植株识别茎叶连接点，达到了理想的识别效果。从表3 可以看出，实际叶尖点为380 个，正确检出359 个，对于叶尖点的识别率为94.47%；实际茎叶连接点为380 个，正确检出357 个，茎叶连接点的识别率为93.94%。采用Freeman 链码识别茎叶连接点和叶尖点，一定程度上避免了骨架化后，在计算叶倾角时，将部分骨刺点误认为叶片，错误计算叶倾角；同时，也避免将相对较短的叶片误认为骨刺，导致叶片叶倾角丢失，避免对骨架化效果的过度依赖。

表3 Freeman链码识别率Tab.3 Freeman codes recognition rate

2.2 基于节点识别的玉米叶倾角算法评价

玉米植株叶倾角真实值与计算值的关系如图8所示，实际测量值与程序计算值存在显著正相关，相关系数（r）=0.94**（α=0.01）。通过线性回归，利用基于节点识别的玉米叶片叶倾角预测真实叶倾角，决定系数（R2）=0.89，RMSE=2.31°。因此，与实测数据相比，依据所提供算法识别的玉米叶倾角误差较小。

图8 玉米叶倾角实测值与计算值的关系Fig.8 Relationship between measured and extracted leaf inclination angles

2.3 不同NDVI玉米叶倾角的变化

2.3.1 不同NDVI 玉米叶倾角的差异 在玉米成熟期，基于Landsat 8 遥感影像，分析呼和浩特市不同NDVI 处的玉米叶片叶倾角的变化。NDVI 是反映农作物长势和营养状态的重要参数之一，在不同NDVI 区域，叶倾角的大小不同。研究表明，玉米成熟期NDVI 为0.60、0.63、0.80 处，全株平均叶倾角分别为62.4°、63.7°、67.9°，平均值约为64.6°，属于紧凑型玉米。NDVI0.60处叶倾角主要集中在65.0°～70.0°（图9a），NDVI0.63叶倾角主要集中在65.0°～70.0°（图9b），NDVI0.80处叶倾角主要集中在65.0°～75.0°（图9c）。NDVI0.80处的全株平均叶倾角大于NDVI0.60处和NDVI0.63处的全株平均叶倾角。

图9 不同NDVI玉米田的叶倾角分布Fig.9 Leaf inclination angle distribution of maize in different NDVI fields

2.3.2 不同NDVI 玉米穗三叶叶倾角的差异 玉米穗位叶对籽粒产量有重要贡献。随着NDVI 的逐渐增大，穗叶、穗上叶、穗下叶的叶倾角度数在逐渐增大，不同NDVI处的玉米叶倾角均表现为穗叶＞穗下叶＞穗上叶（图10）。

图10 玉米穗三叶叶倾角的变化Fig.10 Leaf inclination angle change of ear leaf and surrounding leaves

2.3.3 玉米不同叶位叶倾角的差异 以穗叶为分界，把玉米植株叶片分为上层、中层和下层叶。随着NDVI 值的增大，不同层位叶的叶倾角呈现出逐渐增加的趋势，不同NDVI 处各层位叶叶倾角均表现为上层叶＞中层叶＞下层叶，从上到下，叶倾角呈降低趋势（图11）。NDVI 为0.60 时，上层叶平均叶倾角为64.0°、中层叶平均叶倾角为63.0°、下层叶平均叶倾角为59.0°；NDVI为0.63时，上层叶平均叶倾角为65.0°、中层叶平均叶倾角为64.0°、下层叶平均叶倾角为62.0°；NDVI为0.80时，上层叶平均叶倾角为69.0°、中层叶平均叶倾角为68.0°、下层叶平均叶倾角为67.0°。玉米上层叶叶倾角大部分为60.0°～90.0°时，属于理想叶群。从下层叶片到上层叶片，玉米植株叶倾角总体上呈现增长趋势，这主要是因为紧凑型玉米上层、中层叶片叶倾角大，叶片上冲，更直立，有助于透光，保持下层叶良好的光照条件，增强群体光合作用能力，提高群体透光率，在密植条件下，能够提高群体光能利用率。下层叶片叶倾角小，叶片趋于平展，能够截获更多光照，减少漏射到地表的光能。

图11 不同叶位叶倾角的变化Fig.11 Leaf inclination angle change at different leaf layers

3 结论与讨论

基于本研究算法提取的叶倾角与实测值相关系数r=0.94，利用玉米叶片叶倾角提取值预测真实叶倾角时，线性方程的决定系数R2=0.89，RMSE=2.31°，与其他研究相比，本算法提取的叶倾角偏离实测值的误差更小。例如，李英伦[66]基于DeepSeg3-DMaize 方法分割提取玉米叶倾角，R2和RMSE值分别为0.94 和4.18°，在测定的表型参数中，叶倾角的实测值与提取结果相关性最高。苏伟等[67]利用地基激光雷达数据提取玉米抽雄期叶倾角，提取值与实测值关系的决定系数R2为0.94，RMSE为8.96°。温维亮等[68]利用FastScan 三维数字化仪室内采集的三维数据提取叶倾角时，RMSE为3.41°。造成这种差异的原因可能是数据类型不同，三维点云数据可以将原始几何信息完整保留在三维空间内，而RGB 图像属于二维图像，不能获取完整的几何信息，二维图像中的遮挡问题会影响分割和骨架化效果。

本研究中，图像拍摄条件不固定，自然因素（风力、光照等）和人为因素（如拍照角度等）会影响叶倾角的提取效果。对图像进行形态学操作，导致骨架细化线发生偏移，也是影响叶倾角提取效果的原因，需要进一步对影响叶倾角提取算法的主要因素进行分析，以提高叶倾角的识别精度。本研究针对哈里斯角点对叶片末端点不敏感的问题，采用Freeman 链码自动识别玉米骨架的端点和茎叶连接点，对于节点的识别率达到90%以上。在后续研究中，可以在植物图像处理时，应用Freeman 链码识别端点。基于Freeman 链码的端点识别算法可以应用于监控玉米各个生育时期的叶倾角变化，实现叶倾角的快速无接触测量，降低植物损伤，为合理利用光能、提高光能利用率提供依据。研究结果将有助于除玉米外的大田作物的表型获取，还可以在此基础上，进一步计算叶片曲率、茎角、叶片凸包面积、叶片长度等[69]，探究基因型与表型性状的关系。

不同NDVI 处玉米植株不同叶位叶倾角变化规律一致。而随着NDVI 值的增加，玉米叶倾角明显增大，这可能与品种不同有关；另外，不同地块或地区的自然条件、土壤肥力、栽培措施等不同，都会影响叶倾角，也会导致不同NDVI 地区叶倾角表现不同。王俊秀[5]研究发现，在超高产栽培条件下，大穗型良玉38 与小穗型品种京单28 的叶倾角表现相同，同时与本研究不同NDVI 处的穗位叶倾角变化规律相同，都表现为穗叶＞穗下叶＞穗上叶。在本研究中，不同层位叶倾角规律与孟繁美[7]研究的紧凑型玉米郑单958的叶倾角规律相同。不同地区地力条件也可能影响叶倾角，导致不同NDVI 地区叶倾角表现出差异。

由于本研究的重点在于探讨基于图像处理技术的玉米叶倾角的算法，试验规模较小。在后续研究中，应该开展多点试验，整合无人机遥感和卫星遥感，探索NDVI 与玉米叶倾角的关系及其影响因素。此外，基于算法的应用可以快速提取叶倾角，通过作物在不同地区的表现为育种提供作物表型信息，为生产中调整种植结构、种植密度等措施，挖掘气候生产潜力，提高热量资源利用率提供科学依据。

叶倾角作为玉米群体冠层结构的重要特征，快速获取叶倾角信息，有助于指导玉米育种和高产栽培，保障国家粮食安全。传统的叶倾角测量方法可能损伤叶片，高通量设备成本高昂，且难以应用于大田生产。本研究提出了一种基于图像处理技术，使用Freeman 链码识别茎叶连接点和叶尖点，提取叶倾角的新方法。茎叶连接点和叶尖点的识别率分别为93.94%和94.47%，提取的叶倾角与实际测量值高度一致，相关系数r=0.94。玉米植株叶片叶倾角表现为随着叶位的降低而降低，不同层位叶倾角随着NDVI的增大而增大，不同NDVI处的玉米叶倾角均表现为穗叶＞穗下叶＞穗上叶。在后续研究中，可通过算法的应用快速提取叶倾角，为生产提供表型信息，并整合遥感技术，探索更多表型提取算法与应用，为农业措施调整、资源生产潜力挖掘提供科学依据。