基于图像处理的苗期谷子地上部表型连续定量监测

梁 靓，李富忠，张吴平，王思雨，肖奕同，侯晨连

（山西农业大学 软件学院，山西 太谷 030801）

谷子（Setaria italica）为禾本科狗尾草属作物，属于小杂粮中的典型作物，具有耐旱、耐瘠薄、抗逆性强等特点，是山西农业供给侧改革、调整种植产业结构和大力发展的优势特色小杂粮[1]。山西谷子资源的苗色、穗型、粒色类型丰富，涵盖了中国谷子资源的基本类型；山西谷子种质资源遗传多样性大，类型多，资源丰富，为谷子种质创新和分子生物学研究积累了丰富的物质基础[2]。因此，对谷子进行精细管理，监测其生长动态具有重要意义。

目前，谷子的表型监测多以传统人工监测方式为主。人工监测的劳动强度高，费时费力，而且不能实时动态地监测作物表型的变化，同时由于人的主观性影响也会带来较大偏差[3]，大大限制了大规模遗传育种筛选的效率。快速无损测量作物性状的方法一直是作物精确化育种领域所研究的热点[4]。近年来，图像技术逐渐被应用于农作物的生长监测中。与传统方式相比，图像处理技术极大地提高了农业生产的效率和产量。吴文华[5]以油菜为研究对象，基于油菜的二维图像，通过图像采集与算法处理，对油菜生长过程中的冠层结构参数、株型参数、油菜籽千粒质量等参数进行研究，同时基于卷积神经网络对油菜主根进行了分割。尹英杰等[6]获取图像时采用单目视觉系统，提取玉米骨架图像，计算得到叶倾角、叶向值等叶片形态特征。从单角度测量作物表型信息虽然简单便捷[7]，但存在遮挡、获得表型数据不准确等问题，因此，试验中多考虑采取使植物旋转从而获取不同角度信息的方式，经过算法处理提取相关的表型参数[8-9]。张慧春等[10]采用相机运动、植株固定的方式，从不同角度拍摄拟南芥的不同图像，得出拟南芥三维点云。通过点云计算出拟南芥的叶片长宽、叶面积及叶夹角、主茎长度等参数并进行建模。宗泽等[11]采用TOF深度相机拍摄得到玉米的深度图像，并对玉米图像进行骨架提取并提取特征点，结合空间几何数学计算出玉米的株高、茎粗及叶倾角等。张德荣[12]利用二维图像对作物籽粒进行计数、对叶面积和叶长叶宽测量，同时提出了嵌入式系统开发模式，为便携式农业仪器的开发提供了参考。方伟等[13]将小麦放置于旋转平台上拍摄图像，通过可见光成像体素重构的方法对植物形态进行三维重建。通过三维重建检测植株株型，并结合三维模型处理的方法提取了株型相关的若干参数，为计算小麦株型参数提供了基础。本研究在室内环境下，将苗期谷子置于旋转平台拍摄照片，然后通过轮廓提取及骨架提取等算法得出谷子地上部的表型数据。与三维重建不同的是，基于图像的三维重建技术一般分为3个步骤：稀疏重建、稠密重建和表面重建[14]。重建过程较为复杂，且拍摄过程易受环境光影响，会出现遮挡空洞等问题，对提取表型参数会形成较大影响。

综上所述，越来越多的研究致力于通过最方便的方法获得作物表型参数。在本研究中将苗期谷子放置在旋转平台上拍摄图像，利用算法得到单株谷子的多角度二值图像，通过算法对图像进行处理，从而分割谷子叶片。通过轮廓提取和骨架提取等算法相结合，求得谷子株高、叶片长度、叶片最大宽度、节长及茎粗，最后将算法计算结果与真实值进行对比分析，以实现自动提取苗期谷子地上部多个表型参数并测量的目的。

1 材料和方法

1.1 图像采集及实测

试验选取大田生长良好的幼苗期谷子（6叶期至10叶期），完整移栽到花盆内，使谷子保持正常生长状态。将相机放置在固定位置，花盆放置在旋转平台上，保持固定高度，同时保持花盆与相机固定距离。拍摄背景统一为黑色。在与谷子同一水平上放置边长为2 cm的正方形标定物。设定花盆初始位置为0°，平台匀速转动360°，使花盆转回到初始位置。为了使每株谷子拍得更全面，花盆转动过程中每隔10°拍摄一幅图像，即最后每株谷子共拍摄36幅图像。

拍摄结束后，对谷子的株高、叶片长度、叶片最大宽度、节长及茎粗进行实体测量。株高：用卷尺测量每株谷子地上部从底端测量到顶端直立叶尖的最大距离。叶片长度：用卷尺测量拉直后的叶片底部至叶尖的距离。叶片最大宽度：用卷尺测量展开后的叶片最大宽度位置的距离。叶面积：通过像素法对叶片的二值图像进行分析，求得每个叶片的真实叶面积。节长：用数显卡尺测量连续2个茎节之间的距离。茎粗：用数显卡尺测量每一个茎节最宽位置的直径，求取每株谷子节宽的平均值记作茎粗。

1.2 图像处理

对获得每个植株的图像进行处理，首先分别分割出标定物以及谷子，使用色彩分割算法获得谷子的二值图（图1）。

对获得的谷子二值图进行形态学处理。形态学处理包括腐蚀、膨胀等算法[15-17]，运用形态学处理算法，可进一步提高图像质量。由于顶端叶片和两侧叶片方向不同，为了更好地提取顶端叶片的区域，创建2个椭圆形结构基元g1、g2。g1为（1，101）的结构基元，g2为（13，201），让y方向更大一些，x方向比较小一些，这样更符合顶端叶片的竖长的特征，保证不会对叶片造成形状、尺寸上的改变。根据2个结构基元先进行腐蚀，消除边缘的叶片区域，然后进行膨胀，填充空洞；接着对完成腐蚀膨胀的区域，进行“与”操作，得到最终的顶端叶片区域，如图2所示。

1.3 参数提取

在谷子二值图的基础上，提取谷子地上部整体轮廓[18-19]，即将图像目标的内部点消除。所谓内部点，需要根据当前像素点[20]的邻域来进行判断。假设P（x,y）为目标像素，目标像素为0，背景像素为255，那么P（x，y）=0且目标像素的8个邻域像素均为0，满足这样条件的点为内部点，删除内部点即可得到谷子图像轮廓，如图3所示。得到谷子整体轮廓后，获取谷子轮廓的最小外接矩形，计算矩形的高度，通过单位换算从而求得谷子株高，如图4所示。

构建谷子每个叶片的外接矩形像素集并且筛选出轮廓内所有像素点。在叶片区域中，遍历每个像素点。随机搜索1%像素提高内切圆半径下限，循环搜索剩余像素对应内切圆半径。利用二分法计算像素点的内切圆，寻找区域最大半径，计算每个区域的叶片最宽的地方，即为叶片最大宽度，如图5所示。

在图像处理的时候，需要对谷子图像进行细化，提取出谷子图像的骨架信息，进行更加有效的分析。图像细化（Image Thinning）一般指二值图像的骨架化（Image Skeletonization）的一种操作运算。所谓的细化就是经过一层层的剥离，从原来的图中去掉一些点，但仍要保持原来的形状，直到得到图像的骨架。本研究中采用Zhang并行快速细化算法[21]，该算法每一次的迭代步骤是对符合特定条件的目标像素进行腐蚀，效果就是目标变得越来越细。通过不断的迭代，直到在上一次腐蚀后的目标在本轮操作中，没有新的像素点被腐蚀，算法结束。通过算法细化图像，得到了整株谷子的骨架，如图6所示。

这就相当于突出谷子的主要结构和形状信息，去除了多余信息，根据这些保留的信息可以实现图像上特征点的检测，如端点和交叉点[22]。骨架的端点和交叉点的查找要以构成植株骨架的坐标点为中心，查找该中心的八邻域。当该点的领域有3个值不为0，则该点为交叉点；当该点的领域只有1个值不为0，则为端点。最终查找并标记骨架的端点和交叉点，结果如图7所示。

在细化的基础上，通过计算叶片骨架化后像素点的个数，来计算叶片长度。由于骨架可以看作一个图形的中轴线，所以，由谷子的骨架图可知，谷子叶片的长度约等于叶片骨架化后的交叉点到端点的线段长度，谷子茎节的长度约等于每个交叉点之间的线段长度。

其中，f代表叶片提取骨架后的图像，l代表像素点的个数，即像素单位长度。

在计算茎粗的时候，首先可以计算2个节点之间的横向宽度。如图8所示，图中的红色所示是节点的位置，求得2个节点之间的中间点位置（蓝点），过该点沿与区域垂直的方向，寻找边界上相邻像素灰度不一样的2个点，即图中的1和2，计算得到点1和点2之间的距离就是节宽。最后对1株谷子求得的所有节宽求平均值，记作谷子的茎粗。

2 结果与分析

2.1 图像处理结果及分析

图像分析结果图9所示。

通过算法分析每株谷子的36幅序列图像，每个角度都能识别到谷子叶片数、株高、叶片长度，叶片最大宽度、节长以及茎粗。由于每幅图像角度不同，每个叶片的表型数据都不能通过同一幅图像得出最准确的值，需要通过分析所有图像选取每个叶片的长度最大值作为叶片长度，宽度最大值作为叶片最大宽度，每个茎节长度的最大值作为谷子的节长，对每株谷子所有茎节的宽度最大值求取平均值作为谷子的茎粗。通过算法分析结果（图9），以1株谷子的36幅序列图像处理结果为例。

与基于图像的三维重建技术相比，本研究提到的方法可以通过1株谷子的多角度图像可以较准确地提取到植株表型参数，即使其中一些角度的图像会出现遮挡、反光、不清晰的问题，也可以在其他图像中分析出需要的参数，通过本研究算法分析，得到的结果也将更为精确。

2.2 谷子株高提取及分析

为了验证算法的有效性，用卷尺测量从谷子地上部最底端到顶端直立叶尖的距离作为株高，将算法计算的谷子株高结果与人工手动测量的结果进行对比，对比结果如表1所示。表中主要列出了10株谷子株高算法测量值和人工测量值以及两者之间的相对误差。

表1 10株谷子株高算法测量值与真实值对比结果Tab.1 Compar ison between algorithmic measurement and tr ue value of plant height in 10 plants of millet

通过表1可知，株高的算法测量值与真实值的平均相对误差为3.52%。将2组值进行拟合，拟合结果如图10所示，可以得到回归方程为y=1.007 1x+0.845 3。通过检验，F=396.943 8，P＜0.01，说明方程具有统计学意义。决定系数R²达到0.980 3，算法测量值与真实值接近，证明该算法可以较准确的测量出谷子株高的真实值。

2.3 谷子叶片长度和叶片最大宽度提取及分析

用卷尺测量叶片铺平拉直后的叶片底部至叶尖的长度作为叶片长度，测量叶片完全展开后最宽位置的长度作为叶片最大宽度。将算法计算的叶片长度和叶片最大宽度与人工手动测量的结果进行对比，对比结果如表2、3所示。2个表中分别列出了35组谷子叶片长度、叶片最大宽度的算法测量值和真实值以及二者之间的相对误差。

从表2、3可以看出，叶片长度的算法测量值与真实值的平均相对误差为7.01%，叶片最大宽度的算法测量值和真实值的平均误差为5.30%，考虑原因是叶片自然状态下无法完全伸展以及会互相遮挡，所以，拍照时会产生一定误差。将2组值分别进行拟合，拟合结果如图11、12所示，可以得到叶片长度的回归方程为z=0.969t+0.258 3（P＜0.01），决定系数R²达到0.97。叶片最大宽度的回归方程为w=0.955 9k+0.081 7（P＜0.01），决定系数R²为0.97，证明该算法可以较准确的测量出谷子叶片长度和叶片最大宽度的真实值。

表2 叶片长度算法测量值与真实值对比结果Tab.2 Comparison between algorithmic measurement and true value of leaf length

表3 叶片最大宽度算法测量值与真实值对比结果Tab.3 Comparison between algorithmic measurement and true value of the maximum leaf width

以同一试验田同一品种的谷子为研究对象，取样测得叶片长度和叶片最大宽度，通过像素法计算出这些谷子每个叶片的面积[23]，求得叶面积系数为0.567 4。本研究中算法以此叶面积系数代入算法求得叶面积，用算法计算得到的叶面积和像素法求得的真实叶面积的结果进行对比，将2组值进行拟合，拟合结果如图13所示。结果可以得到叶面积的回归方程m=1.067 5n+0.504 4（P＜0.01），决定系数R²为0.934 1，证明此叶面积系数得出的叶面积较为准确，且证明了该算法可以比较准确的测量出谷子叶面积的真实值。

2.4 谷子节长和茎粗提取及分析

用数显卡尺测量连续2个茎节之间的长度作为节长，计算每个茎节最宽位置的直径长度的平均值作为茎粗。将算法计算的节长和茎粗与人工手动测量的结果进行对比，节长对比结果如表4所示，表中主要列出了28组谷子节长的算法测量值和人工测量值以及两者之间的相对误差；茎粗的对比结果如表4所示，表中主要列出了10组谷子茎粗的算法测量值和人工测量值以及两者之间的相对误差。

由表4、5可知，节长的算法测量值与真实值的平均相对误差为7.91%，茎粗的算法测量值和真实值的平均误差为7.07%。考虑原因是每张照片拍摄角度不同，谷子叶片会对茎秆产生一定的遮挡，且谷子苗期的茎秆比较细小，所以，算法测量时会产生一定误差。将2组值分别进行拟合，拟合结果如图14、15所示，可以得到节长的回归方程为q=0.968 8p-0.002 2（P＜0.01），决 定 系 数R²达 到0.952 5。茎粗的回归方程为s=0.685 1v+0.176 1（P＜0.01），决定系数R²为0.914 8，证明该算法可以较准确的测量出谷子节长和茎粗的真实值。

表4 节长算法测量值与真实值对比结果Tab.4 Comparison between algorithmic measurement and true value of node length

表5 茎粗算法测量值与真实值对比结果Tab.5 Comparison between algorithmic measurement and true value of stem diameter

3 结论与讨论

本研究以苗期谷子为研究对象，通过算法对苗期谷子的地上部表型特征指标进行自动分析，求得谷子的株高、叶片长度、叶片最大宽度、节长、茎粗。此方法求得的株高与真实值的平均相对误差为3.52%，叶片长度与真实值的平均相对误差为7.01%，叶片最大宽度与真实值的平均相对误差为5.30%，节长与真实值的平均相对误差为7.91%，茎粗与真实值的平均相对误差为7.07%。表明本研究中的算法对于测量谷子的实际株高、叶片长度、叶片最大宽度、节长及茎粗均有较好的效果。

本研究提出了基于骨架提取算法和轮廓提取算法相结合的作物表型特征提取方法，能够有效地获取苗期谷子地上部的轮廓图像和骨架图像，从而进一步通过分析谷子的轮廓图像和骨架图像实现苗期谷子地上部表型特征参数的无损测量，实现连续定量检测。在大田环境下，多种自然因素对使用本研究方法的曲线拟合影响较大，比如谷子的叶片折叠、断裂以及孕穗期的谷穗影响等，在后续的研究中仍需要进一步提高其准确性。

本研究中基于轮廓提取和骨架提取算法相结合的作物表型特征提取方法，对于生长状态良好的苗期谷子的地上部表型无损测量具有良好的效果。在接下来的工作中，将会继续研究谷子其他生长时期表型参数的测量方法，如拔节期、孕穗期等，并且将对谷子整个生育期的表型参数进行完整评判。