基于无人机航拍图像的大田玉米冠层结构建模

朱冰琳 李 敏 刘扶桑 贾奥博 毛 秀 郭 焱

(中国农业大学土地科学与技术学院， 北京 100193)

0 引言

高效选育高产的作物新品种是解决世界粮食安全问题的重要途径[1]。影响现代育种的关键因素之一是能否快速、精确地对大量育种品系进行全面的表型评价，从中筛选出具有期望表型的品系[2-3]。目前，基因标记辅助选择、基因组编辑[1]、高通量基因测序等技术已得到广泛应用，利用这些技术可以高效地挖掘调控作物重要性状的基因信息[4]。然而，作物表型的研究技术和方法却无法与高通量基因测序技术的发展相匹配[5-6]。

近年来兴起的高通量获取作物表型的方法或“表型组学”，被认为可以显著提高植物表型信息的获取效率[7]。目前开发的表型平台大多应用于温室等特定环境中[8-10]。田间表型平台也逐渐开发出来，但往往体积庞大、价格昂贵[11]，且存在较大的应用局限。如星载表型平台较难应用于面积较小的育种实验小区，不适合于高频率的动态监测[7,12]；机载平台的花费较大，需要较多的人员维护，且在低空获取高分辨率图像时对冠层的扰动较大[13]；地面表型平台能够同时获取多光谱、高光谱及热红外等图像信息，但通常为特定株高范围的作物设计，其行走受限于田间地面状态，灵活性和便携性较差[7]。

目前，基于RGB相机获取植株多视角图像序列后，利用运动恢复结构 (Structure from motion, SFM)算法可重建植株三维结构。该方法已在温室中广泛应用，如监测温室内小麦、茄子、黄瓜、辣椒等生长过程[14-15]，对大田玉米也有初步的尝试[16]，但重建范围较小。无人机(Unmanned arial vehicle, UAV)平台搭载RGB相机，以数十米或更高的飞行高度获取冠层图像序列，可以实现大田尺度的冠层点云重建[17]，并可进一步计算株高[18]、植被指数(Normalized difference vegetation index, NDVI)[19-20]、叶面积指数(Leaf area index, LAI)[21]、植被覆盖度[17]等群体冠层参数。然而，实施精准农业需要有作物冠层结构精确信息的支持[22]，基于理想株型选育作物新品种[23]也需要精确的冠层结构信息[24]。随着无人机的微型化发展，其对冠层的扰动变小，可以通过超低空飞行获取更清晰的冠层图像，使快速获取高精度的冠层结构信息成为可能。

通过点云数据网格化可建立三维网格的冠层结构模型。文献[25]利用Geomagic Studio软件实现了苹果树叶片的网格重建；文献[26]对黄瓜、西瓜、甜瓜等植株的叶片利用Delaunay三角剖分的方法生成初始网格曲面，再对网格曲面进行优化处理，实现了冠层结构建模；文献[27]采用改进的Crust方法实现了树干的网格重建。这些研究大多在温室内进行，且叶片形态较为简单，受遮挡较少；在室外选择的研究对象(如树干)，其形态也不易受到风的影响，重建效果较好。目前，基于点云数据对大田作物群体冠层结构建模的研究较少。

本文利用超微小型无人机超低空航拍获取大田不同生育期植株个体及群体的多视角图像序列，基于伪极点-Crust算法构建其冠层结构模型，并基于大田实测数据对重建冠层结构模型的精度进行评估，以期为高效、高精度构建大田作物冠层结构模型、获取特定的作物表型参数提供新途径。

1 材料与方法

1.1 实验区概况

玉米大田实验于2019年在中国农业大学吉林梨树实验站(43°16′N，124°26′E)进行。供试品种为先玉335，种植株距为20 cm，行距为50 cm。共3个小区，小区长、宽为24、9 m(图1a)。种前施加基肥，用量为纯N 80 kg/hm2、P2O5120 kg/hm2、K2O 100 kg/hm2，采用铧式犁和旋耕机将肥料旋进土壤耕层中。在玉米第6叶及第11叶展开时追施40 kg/hm2纯N。大田出苗日为5月19日。

1.2 冠层航拍及田间测量

出苗后43 d(苗期)，选取一个先玉335小区的玉米群体为目标，随机选择相邻的4个条带，并从中选取18棵植株(图1b)，分别对每株上、中、下部位各叶片用标签纸标记。为确定几何换算系数，在目标群体中心的地面上放置边长为40 cm、哑光材质的正方形校正板。在多云且风速小的天气条件下，采用搭载哈苏相机的Mavic 2 Pro型(大疆创新科技有限公司，中国)超微小型无人机对目标群体进行航拍。航拍时采用圆周型航线飞行2圈，飞行高度及半径均设置为5 m。相机镜头与水平面的夹角为45°，飞行速度为0.8 km/h，相邻图像的拍摄间隔为2 s，图像重叠度为80%。每次航拍获取160～180幅图像(表1)。在出苗后112 d(成熟期)进行了同样方式的航拍，由于此时植株中下部相互遮蔽严重，因而选取一株、一行内相邻2、3、4株玉米为航拍目标(图1b)，航拍前去除目标植株周边的植株，并标记叶片、放置校正板。每次航拍后，立即测量目标植株标记叶片的叶长、叶最大宽及株高(植株基部与其最高点间的垂直距离)。

表1 无人机平台、飞行参数及图像信息Tab.1 UAV platform, flight parameters and image information

1.3 数据预处理

使用Metashape Professional (Agisoft, RU)软件对航拍获取的多角度图像序列(图2a)进行冠层点云重建。获得点云后(图2b、2c)，手动将选定的目标植株分割出来，利用支持向量机(Support vector machine, SVM)分类器根据颜色信息进行点云分类(图2d)，删除后得到仅包含植被颜色信息的点云(图2e)。在成熟期时，由于地面有部分与植被颜色相近的落叶，采用随机抽样最大似然估计算法(Maximum likelihood estimation sample consensus, MLESAC)[28]对地面落叶点云进行平面拟合(图2f)，去除后得到植株点云(图2g)。

由于点云数据来源于大田航拍图像，因而不可避免地带有噪声点。为消除噪声点对冠层结构构建的干扰，本文采用基于空间单元格搜索k-近邻点的方法剔除噪声点。设P={p1,p2, …，pn}是重建冠层上所有点的集合，P中与pi欧氏距离最小的k个点称为pi的k-近邻，记为N(pi)。该算法的核心思想是对点云数据的最大包围盒进行一定步长(本文设定为0.1 m)的空间划分(图2h)，通过计算一个点p所在的子包围盒及其在空间上相邻的26个子包围盒(图2i)中所有点的欧氏距离，由小到大进行排序，选取前k个距离，即为该点与k个近邻点间欧氏距离的集合。通过k-近邻的欧氏距离平均值D(pi)来衡量此点的局部邻域关系，根据点集P的整体邻域关系确定距离阈值。如果D(pi)在设定阈值的范围外，则认为是噪声点[25](图2j)，删除后得到最终的植株点云(图2k)。

1.4 冠层结构模型构建

Crust算法为基于点云重建三维网格结构的经典算法之一。采用该算法时，先对点云中所有点进行一次三维Delaunay剖分，得到样本点集的Voronoi顶点集。在此基础上计算各点的正负极点，将得到的极点集与已有点云点集的并集再次进行三维Delaunay剖分[29], 采用传统Crust算法计算量很大，效率较低。为了提高剖分的效率，本文在构建冠层结构模型时，在去噪后的点云中添加少量的伪极点，利用伪极点代替正负极点构建原始点集，从而较大程度地减少剖分的计算量，将其称之为伪极点-Crust算法[27]。

执行伪极点-Crust算法时，首先确定样本点云的最大包围盒，并以包围盒X、Y、Z方向上距离最大值的M倍(本文将M设置为0.2)作为步长向外拓展得到更大的四面体包络面[27]。分别在包络面上对各边N等分处(本文N取4)均匀插值形成6N2个(即96个)伪极点集合(图3a，以1行4株玉米点云群体伪极点的建立为例)。然后对伪极点与已有点云点集的并集进行三维Delaunay剖分，得到初始四面体集合To。该集合中存在较多非冠层结构的三角面片，需通过以下步骤进行筛选。

(1)冠层结构四面体的筛选遍历集合To，判断各四面体的顶点中是否含有伪极点。

如果包含伪极点，则将其标记为“非冠层结构”。然后，获取To中所有的三角面片并剔除重复的三角面片得到集合T′o。遍历T′o，判断每个三角面片与To中各初始四面体的映射关系，标记不在集合边界的所有三角面片。为评估非边界三角面片所在的2个相邻四面体间的相似度，采用了由这2个相邻四面体各自外接球半径ri1、ri2之间夹角θ的余弦值表征的交集因子F(Intersection factor) (图3b)

(1)

其中

F(i)∈[-1,1] (i=1, 2, …,j)

式中j——所有非边界三角面片所在的四面体的个数

ci1、ci2——2个相邻四面体外接球的球心坐标

设置F的阈值Ft为0.95，F大于Ft表明θ小，即2个外接球重合的部分很大(图3b)；F小于-Ft表明θ大，即2个外接球重合的部分很小(图3b)。遍历具有相同非边界三角面片的相邻四面体，通过标记为“非冠层结构”属性的四面体及F与Ft的大小关系判断另一个四面体的属性。如果遍历一次后未能标记所有四面体的属性，则将阈值逐步降低，直至每个四面体的属性标记完毕。将属性为“非冠层结构”的四面体剔除，得到属于冠层结构的四面体集合Tp。

(2)冠层三角面片的提取

从得到的冠层四面体集合Tp中取出所有三角面片，计算各三角面片3个顶点Z坐标之和，以其和最大的三角面片为起始面片，确定其法向量的方向，然后计算其邻接三角面片的法向量，将法向量变化最小的三角面片作为其相邻的三角面片，直至遍历所有三角面片。

由上述筛选过程得到的三角面片集构建初始冠层结构模型(图3c)。由于在大田环境下获取的点云密度不均一，利用该方法构建的初始冠层结构模型中存在大量的边长畸长的异常面片(图3c)。为此，计算了所构建模型中所有三角面片最大边的长度，统计确定边长的阈值后，剔除最大边长度大于阈值的三角面片(图3d)。为消除所得到的器官曲面不光滑问题，将面片的顶点沿其法向量方向根据平均曲率进行移动平滑[30]，得到最终的冠层结构模型(图3e)。

1.5 基于表型数据的模型精度评估

根据校正板点云的计算边长及实际边长确定长度换算系数后，基于所构建模型计算目标植株的株高；利用Geomagic Studio (Geomagic，美国)手动提取标记叶片，计算其叶长及最大叶宽；对组成叶片的每个小三角面片面积进行累加，获得标记叶片的叶面积。基于大田标记叶的叶长和叶最大宽的测量值计算参比叶面积为

Am=αLmWm

(2)

式中Lm——标记叶的叶长

Wm——最大叶宽

α——经验系数，取0.75

通过比较实际测量的株高、叶长、叶最大宽、参比叶面积与由冠层结构模型得到的计算值，以决定系数(R2)、均方根误差(Root mean square error，RMSE)、相对均方根误差(Root mean square relative error，rRMSE)、平均误差(Mean error，ME)来评价基于UAV航拍图像重建的冠层结构模型的精度。

2 结果与分析

2.1 冠层点云重建、分类及去噪

在大田完成一个目标冠层的航拍需要约5 min。利用Metashape Professional软件对各图像序列处理后，得到目标群体的冠层点云(图4a、4d，成熟期以1行4株群体为例，下同)。经SVM分类器对点云分类并基于MLESAC算法对地面落叶点云进行平面拟合后，去除非植被点云，得到目标群体的植被点云(图4b、4e)。对所得到的植被点云采用空间单元格搜索k-近邻点的方法确定噪声点。去噪后，不同生育期的冠层点云均能很好地保留冠层信息(图4c、4f)。

2.2 冠层结构模型构建

基于伪极点-Crust法进行了冠层结构模型的初步构建，所得到的冠层模型植株间及叶片间存在大量异常面片(图5a、 5d，黑色矩形框内为指定区域放大后的叶片形态)。通过对每个三角面片最大边长进行筛选，剔除异常面片，得到相对精确的冠层结构模型(图5b、5e)。最后对冠层表面进行平滑处理，获得最终的冠层结构模型(图5c、 5f)。冠层面片颜色由构成每个三角面片顶点的颜色插值得到。

2.3 冠层结构模型精度评估

为评估基于无人机航拍图像重建的冠层结构模型的精度，比较了株高、叶长、叶最大宽、叶面积的模型计算值与大田实测值(图6，图中n为样本数)。结果表明，苗期冠层结构模型的计算株高、叶长、叶最大宽、叶面积与大田实测值的R2均在0.90以上；RMSE、rRMSE和ME的值均很小(表2)；成熟期重建的冠层结构模型的株高、叶长、叶最大宽计算值与大田实测值间的R2均在0.90以上；RMSE、rRMSE和ME的值均很小(表2)；计算叶面积与参比叶面积的一致性稍差，相应评估参数R2、RMSE、rRMSE、ME分别为0.76、87.7 cm2、0.187、-27.1 cm2(表2)。

表2 冠层结构模型精度评价参数Tab.2 Parameters for evaluating accuracy of canopy structure models

3 讨论

农田冠层辐射利用效率是影响作物产量的重要因素。将冠层结构模型与冠层光分布模型、光合模型相耦合，可实现作物新株型的精确评估及大田栽培模式的优化，从而有利于作物高产。进行此研究的前提是获取精确的大田冠层结构信息。采用立体视角或多视角图像方法[15,31]、三维数字化方法[32]等虽然可以较精确地获取大田作物冠层结构信息，但多费时、费力，通常只能获取较小群体的结构信息，使得所构建的冠层结构模型不具有很好的代表性。故迫切需要开发高通量、高精度获取大田作物冠层结构的方法。

采用无人机平台获取大田作物信息，具有高通量的优势。由于以往所采用的无人机在超低空飞行时，会明显扰动冠层，从而难以获得高精度的航拍图像序列。本研究采用超微小型无人机，其携带的RGB相机分辨率高，且在距冠层数米高度处获取冠层图像时对冠层的扰动较小。获取半径为5 m的圆形区域内数百株植株的冠层图像仅需数分钟，且操作简单，采用该方法可无损、快速地获取苗期玉米群体图像。在生长中后期，植株间的遮蔽逐渐加大，使得无法获得植株中下部的结构信息。为此，在航拍前去除了目标植株周围的植株。结果表明，以单株或一行多株为目标进行航拍，均可获取相对完整的冠层结构，器官尺度参数的提取精度较高。本研究采用的伪极点-Crust算法，通过添加少量的伪极点代替传统Crust算法中原始点云对应的正负极点，可大幅度减少极点的数量。以1行4株玉米为例，原有的正负极点数为1 392 490个，采用伪极点-Crust算法后降为96个，计算效率较高。实现5 m×5 m范围内的苗期植株群体结构模型的构建仅需10 min左右，对于成熟期4株玉米小群体的模型构建仅需1 min左右。未来可以在生育中后期探索更大目标群体的航拍方法，以提高获取作物生长中后期冠层结构信息的效率。该方法还可应用于植株叶片相互遮蔽不是很严重的其他作物，如高粱、生长中前期的大豆等，以及部分果树、蔬菜等，对这些作物的应用还需要系统地评估。

在玉米生长的中后期，叶片相互遮蔽严重，使得叶片间的噪声点较多，采用搜索k-近邻方法去除噪声点的效果不够理想。需要进一步优化去噪算法，以减少噪声点对构建精确冠层结构模型的干扰。目前所构建的冠层模型，还存在因点云缺失导致所构建的叶片形态不完整的问题，需要采用算法予以改进。基于构建的精确冠层结构模型，可进一步计算叶片角度[33]并进行大田冠层空间光分布的模拟分析，为评估不同作物株型、筛选高产作物品种提供支撑。

4 结束语

采用超微小型无人机平台获取了大田玉米冠层前期和后期的航拍图像，实现了冠层点云的快速重建。基于SVM分类器提取了目标冠层的三维点云，并实现了冠层噪声点的去除。采用伪极点-Crust算法初步构建了冠层结构模型，通过剔除异常的三角面片并进行移动平滑，得到了精度较高的玉米冠层结构模型。基于所构建模型提取的株高、叶长、最大叶宽及叶面积与大田测量值有较好的一致性。本研究所采用的图像获取方法、点云预处理流程及冠层结构建模的算法效率较高，并可提取较精确的表型参数，为高效、精确获取大田作物冠层结构信息提供了新的途径。