基于农学参数的玉米叶片表观建模与可视化方法
2017-11-01郭新宇温维亮王传宇肖伯祥
苗 腾,郭新宇,温维亮,王传宇,肖伯祥
基于农学参数的玉米叶片表观建模与可视化方法
苗 腾1,2,3,4,郭新宇1,3,4※,温维亮1,3,4,王传宇1,3,4,肖伯祥1,3,4
(1. 北京农业信息技术研究中心,北京 100097;2. 沈阳农业大学信息与电气工程学院,沈阳 110866; 3. 国家农业信息化工程技术研究中心,北京 100097;4. 数字植物北京市重点实验室,北京 100097)
为提高农业题材三维数字媒体内容制作效率,提出基于SPAD(soil and plant analyzer development)和生育期农学参数的作物叶片表观建模与可视化方法,并以玉米为例进行实际验证。将玉米叶片分成叶肉、一级叶脉、二级叶脉3种结构,首先获取主要生育期下各结构表观材质(包括漫反射强度、透射强度、高光反射强度、粗糙度4种参数)及SPAD数据;之后构建各类表观材质参数与SPAD及生育期之间的定量化模型;再对玉米叶片纹理样式进行抽象,构建参数化的玉米纹理结构几何表达,并基于定量化模型为纹理结构分配表观参数;最后整合实时光照计算框架,对大田光环境下玉米表观进行可视化模拟。该文方法搭建了农业知识与三维可视化效果间的桥梁,使用户可以通过调整农学参数实现对作物叶片表观的快速、准确设计与制作,为农业题材的三维数字资源开发提供技术工具。
三维;可视化;作物;叶片表观;表观模拟;数字植物
0 引 言
随着农业信息化及虚拟现实技术的不断发展,三维虚拟动画逐渐成为农业知识科普和技术培训的重要手段。作物是农业题材三维虚拟动画中最重要的载体,而对作物表观的设计和重现则是重中之重。农业行业的背景特点使得对于作物表观设计的评价标准不再单单局限于视觉效果是否漂亮,同时对农业现象等专业背景知识表达的准确性也有非常高的要求。
植物器官多属半透明材质,近十多年,围绕半透明材质可视化的研究取得了长足进步,尤其是在表观模拟[1-5]、测量[6-8]、复杂光环境下的实时编辑[9-10]等方面研究成果颇丰。在虚拟植物及计算机领域,部分学者专门围绕植物表观材质建模与可视化模拟开展了具有针对性的研究工作,从表观模型参数的类型角度区分,可将当前方法简单地分为基于物理模型和基于生理模型两类。基于物理模型的方法通过抽象叶片结构,简化叶片与光的作用方式,并构建物理模型来进行表观颜色的模拟[11-17],这类方法在数字娱乐领域得到了较好的应用,可以从视觉上获得较真实的模拟结果,但其并不考虑作物内在生理功能以及外在生长环境对表观光学特性的影响,因此较难与农业相关知识进行结合。基于生理模型的方法[18-23]多构建植物表观材质与内在色素含量或外部环境之间的关系模型实现叶片表观的模拟,该类方法与农业研究的需求更加紧密,但在表观可视化效果、模型效率等方面表现较差,因此很难应用于实际虚拟动画的制作。
从当前三维虚拟动画设计行业的实际情况看,现有的表观编辑技术或软件工具多采用基于物理模型的方法,提供给设计人员的材质编辑接口多为计算机图形学技术的专业参数,动画设计者可利用它们编辑出漂亮的作物外观可视化结果,但由于对作物本身生物学特性并不了解,常导致可视化结果与作物实际表观不符;农学、植物学等生命科学类专业人员虽然了解相关知识,能够明确告知设计者画面是否符合特定知识要求,但是并不清楚表观设计参数与相关知识的具体关系,对设计者帮助有限,经常会出现动画设计者与生命科学类专业人员交流不畅,作品反复修改的现象,最终导致农业题材三维动画的制作效率非常低。
针对上述问题,本文以玉米叶片为例,以SPAD(soiland plant analyzer development)和生育期2个常用农学概念作为模型参数,提出基于农学参数的作物表观建模与可视化方法。大量研究表明作物叶片表观会随色素含量以及时间发生较显著变化,因此本文以SPAD和生育期为参数构建玉米叶片的表观模型,搭建农业知识与可视化效果间的桥梁,实现作物表观的快速、准确设计与制作,为农业题材的三维虚拟动画研发提供技术工具。
1 数据采集
夏玉米叶片表观数据获取试验于2015年5-10月份在北京市农林科学院试验田进行。试验品种选为郑单958,种植密度设为60 000株/hm2,施氮量按200 kg/hm2设置,其中60%用于基肥,40%在拔节期追肥施入。分别在拔节期、大喇叭口期、开花期、灌浆期、成熟期以及衰老时期开展数据采集工作。每个时期选择长势均匀的植株5株,自上部第一片完全展开叶至底部最后一片完全展开叶进行数据测量,为了使被测叶片区域尽量平展,通过打孔器在叶片上打出10个圆片作为样本,利用2.1.1节介绍的方法采集不同光照条件下的叶片颜色图像,利用美国SPECTRUM公司生产的SPAD-502 型手持式叶绿素仪测量每个圆片的SPAD值。
2 玉米叶片表观建模与可视化方法
2.1 玉米叶片表观材质模型
作物叶片表观反映其与光的作用方式。如图1所示,叶片作为半透明物质,入射光射到表面点之后,部分光线会直接在点处反射形成光泽反射(未进入叶片内部,在叶片表面即被反射出的光线);剩余部分则折射进入叶片内部,在组织之间形成多次散射和吸收,一部分在点周围区域以漫反射离开叶片,其余部分则在叶片另一侧以透射形式射出。
注:L为入射光线; P为叶片上一点。
利用双向反射分布函数(bidirectional reflectance distribution function,BRDF)及双向透射分布函数(bidirectional transmittance distribution function,BTDF)表示作物叶片对光的反射及透射作用。研究表明,叶片的回射现象可忽略不计,透射以漫反射特征为主,因此叶片表观材质可利用如下数学形式进行表示
植物叶片主要由叶肉和各级叶脉构成,它们的BRDF/BTDF参数不同,导致表观特征具有明显的差异性,因此叶片表观可视化需对各种结构均进行建模。本文主要考虑玉米叶片的叶肉、主叶脉、二级叶脉3类结构,后文中出现的叶片表观参数均为3种结构表观参数的总称。
2.1.1 表观材质参数测量
利用线形光源反射系统获取不同光源方向下玉米叶片的表观图像,并采用文[25]的方法拟合玉米叶片的漫反射强度、高光反射强度和粗糙度参数。为了测量玉米叶片的透射强度,在线形光源反射系统的基础上搭建了基于背光源的叶片透射图像采集模块(如图2)。该模块由相机和背光板组成,其中背光板从叶片底部打光,相机获取背光环境下的叶片表观图像。选用樱木LED动漫A4拷贝台作为背光光源,该设备能够发出均匀的漫反射白光,且可调整光源亮度。相机在获取图像前需进行内参以及响应曲线的标定[25]。在暗室内获取透射图像,首先打开背光板,利用相机获取背光板图像1;之后将叶片样本摆放在背光板上,并拍照获得图像2。假设2图像中叶片样本表面一点像素的RGB(Red,Green,Blue)向量为2,图像坐标为(,);1图像(,)坐标像素的RGB向量为1,则叶片该点的透射强度为2/1.
图2 叶片透射图像采集系统结构图
得到上述表观参数之后,以SPAD和生育期为参数构建表观模型计算叶片漫反射、高光反射以及透射特性,并结合光照计算对作物叶片表观进行可视化。
2.1.2 农学参数标准化
将生育期转换成数值参数用于建模,拔节期、大喇叭口期、开花期、灌浆期、成熟期以及衰老期6个生育期分别用实数1.0、2.0、3.0、4.0、5.0、6.0表示,其他生育期参数根据这些值进行估算,生育期参数用符号进行表示。将玉米叶片SPAD值除以70,将其转化为[0.0,1.0]区间的实数(在实际SPAD测量中,发现玉米叶片SPAD均在70以下),SPAD参数用符号表示。
2.1.3 叶肉表观参数模型
采用Matlab工具箱中的曲面拟合(surface fitting)模块对叶肉表观进行数学建模。以SPAD参数、生育期参数作为自变量,以叶肉漫反射强度为因变量将数据导入至Matlab中,采用多个数学模型(如表1,其中字母~为待拟合的模型参数)对数据进行拟合并进行对比,表2列出了分别以漫反射强度的红绿蓝3个分量(D,D,D)作为因变量的各数学模型对比情况,表中数值为Matlab曲面拟合工具箱在95%置信区间下的计算结果,拟合方法采用基于双平方权(bisquare weights)的鲁棒最小二乘算法,以减少异常值对回归结果带来的影响。
表1 不同数学模型
注:~为数学模型待拟合系数,为SPAD参数,为生育期参数;
Note:~are the coefficients to be fitted,is the SPAD parameter,is the growth period parameter.
表2 不同模型下漫反射强度参数D拟合结果
注:为漫反射强度参数,DDD为的红绿蓝分量。下同。
Note:is the diffuse intensity parameter. DDDare the Red, Green, Blue channelsofSame as below.
本文依据决定系数2、均方根误差RMSE选择数学模型。从表1中可以看出,利用SPAD参数和生育期参数的二元多项式模型在R、RMSE上的表现要明显强于仅采用的一元多项式模型,说明生育期对叶肉漫反射率的影响不能忽略,同时在二元模型中,参数指数的增大也会带来更好的拟合结果。最终确定漫反射模型公式如下:
式中D,D,D分别为漫反射强度的红绿蓝分量,为SPAD参数,为生育期参数。决定系数分别为0.913 7、0.851 1、0.614 6,RMSE为0.015 49、0.012 8、0.015 33。
与漫反射数据相比,透射数据中存在少量与总体数据有巨大差异的数据,为彻底排除这些数据对拟合的影响,采用基于最小绝对残差(least absolute residuals)的鲁棒最小二乘算法对曲面进行拟合,利用该方法构建模型时得到的绝对系数2均较大,因此我们在选择模型时更加侧重考虑RMSE的大小。从表3中可以看到,幂指数数学模型(编号8)与二元一次多项式(编号4)对(T,T,T)的拟合结果优于其他数学形式,同时两者在RMSE的表现上相差不大,但根据次表面散射传输物理过程可知,叶肉透射强度与厚度和组织结构的传输系数呈负指数关系[17],因此为了模型更加符合物理特性,选择幂指数形式作为透射模型:
式中T,T,T分别为透射强度的红绿蓝分量。决定系数分别为0.997 5、0.991 3、0.990 7,RMSE为0.006 4、0.009 6、0.020 7。
表3 不同数学模型下透射强度参数T拟合结果
注:为漫反射强度参数,TTT为的红绿蓝分量。下同。
Note:is the diffuse intensity parameter. TTTare the Red, Green, Blue channels of. Same as below.
2.1.4 二级叶脉表观参数模型
我们曾尝试拟合出SPAD与漫反射和透射强度的回归公式作为表观模型,但实际可视化效果较差,模拟出的叶脉漫反射及透射表观会出现虚假的视觉效果(回归模型得到的一些颜色特征并不能在真实叶片中产生)。从图3a、3b中可以看出,漫反射和透射数据在不同的SPAD参数区间存在较强的差异性,因此本文通过SPAD参数对漫反射及透射进行分段,并采用区间内的平均向量作为二级叶脉的漫反射及透射强度参数。为简化分类工作,采用单通道亮度值(本文用RGB三通道的平均值作为亮度值)代替RGB三通道进行分析,用符号i和i分别表示漫反射强度和透射强度的亮度值,图3c为SPAD参数与两者的关系图。从图中可以看出,以SPAD参数为基准,漫反射亮度在[0, 0.38]和(0.38, 1.0)2个区间差异明显,透射亮度在[0, 0.57]、(0.57, 0.8)、(0.8, 1.0) 3个区间内有较大差异。
a. 二级叶脉漫反射强度及SPAD数据
a. Diffuse intensity and SPAD data
b. 二级叶脉透射及SPAD数据
b. Transparency reflectance and SPAD data
c. 二级叶脉漫反射亮度、透射亮度及SPAD数据
c. Diffuse intensity, transparency intensity and SPAD data
注:为漫反射强度和透射强度三通道的平均值
Note:are the average values ofchannels of diffuse and transparency intensity vectors
图3 二级叶脉漫反射、透射与SPAD数据图
Fig.3 Diffuse reflectance of secondary vein, transparency of secondary vein and SPAD data
综上考虑,以SPAD参数为基准可将漫反射及透射参数划分为4个区域,并以每个区域内的平均向量作为表观参数:
所测数据发现ρ、与和无相关性。同样采用平均值作为模型参数,ρ=(0.11,0.11,0.11),=0.24,得到二级叶脉高光反射项(ρ,)三个分量r,g,b为
2.1.5 一级叶脉表观参数模型
2.2 叶片表观纹理建模
叶片表面表观具有空间差异性,从而形成纹理特征。本文采用二维图像表示玉米叶片纹理几何结构,并整合节2表观模型构造玉米叶片表观纹理。
2.2.1玉米纹理结构
将玉米叶片纹理划分为叶肉、主叶脉(一级叶脉)和二级叶脉3种结构(如图4a),各结构的划分及排列方式是对实际玉米叶片纹理图案的几何抽象及简化。各结构单元将二维图像划分为多个区域,其中主叶脉形成单个连通区域,二级叶脉以及叶肉均形成多个区域且两者区域彼此相邻。为生成表观纹理,需计算出各结构区域在图像中所包含的像素信息(即连通区域)。
首先计算主叶脉在图像中所占区域。设二维图像宽为,高为,坐标原点(0,0)为图像左上角点。将一级叶脉抽象为五边形,顶点用符号1~5表示,该五边形可拆分为一个等腰梯形和一个等腰三角形,详细几何结构信息如图4b所示,顶点1~5的坐标可由如下公式计算得到
获得多边形顶点之后,遍历图像中所有像素,判断每个点是否在多边形内部,在内部的像素即属于一级叶脉的区域。判断点是否在多边形内部是非常经典的图形学问题,本文采用交叉点数判别法进行判断。
注:1表示叶肉,2表示一级叶脉3表示二级叶脉;1~5为主叶脉结构几何特征点;C和Z为叶肉和二级叶脉结构几何特征点;d为CC1之间的距离,为叶肉单元宽度。
Note:1indicates mesophyll,2 indicates main vein,3indicates secondary vein;1~5are the geometric feature points of main vein;CandZare geometric feature points of mesophyll and secondary vein;dis the distance between CandC1;is the mesophyll unit width;
图4 玉米纹理几何结构
Fig.4 Geometry structure of maize leaf texture
之后计算二级叶脉在图像中所占区域。由于二级叶脉以图像中心线左右对称,因此仅以右侧二级叶脉为例进行介绍。二级叶脉被抽象为四边形结构,其包含一条中心线用以表示二级叶脉维管束突起的部分,中心线两边的区域表示维管束与叶肉细胞相邻的部分,二级叶脉的几何结构图如图4c(注意,图中C和C1之间的实际距离为d,但是在图中比0、1间的距离大,这是为了更加清晰的标注出各结构的几何信息,在图中并没有严格按照实际比例进行构图)。图4c中1为一级叶脉多边形顶点1,6坐标为(0.5,),7坐标为(,),在线段BB上以d为间隔选取个点,用C表示(0≤≤1),本文取12,C坐标为(0.5,(+1) d),Z~Z5个点的坐标分别为
获得1~5顶点之后,遍历图像中所有像素,判断每个点是否在多边形1234之中,在内部的像素即属于二级叶脉的区域。除此之外,还需对二级叶脉区域进一步分类,线段CZ5上的像素属于二级叶脉区域维管束突起部分,其余像素属于维管束与叶肉细胞相邻的部分。
上述二级叶脉由16线段的采样点构造而成,此外,有部分二级叶脉区域需在67线段上采样生成。在67上以d为间隔选取个点,用C表示(0≤≤1),C坐标为(0.5+(+1)d,),则Z~Z5个点的坐标为
在多边形6798内部的图像像素为二级叶脉的区域,其中在线段CZ10的点为维管束突起区域。
由于每个叶肉区域均在两个二级叶脉区域之间,因此可直接采用二级叶脉结构的顶点计算叶肉区域。以C二级叶脉和C1二级叶脉之间的叶肉区域为例,该叶肉区域的四边形顶点即为23(输入C二级叶脉)和1112(属于C1二级叶脉)。获得顶点之后,对于区域像素的计算同一级叶脉的方法。
按照如上方法计算得到的结构区域会出现重叠现象,即有部分像素分属于不同的结构。这种现象会发生在一级叶脉与二级叶脉、一级叶脉与叶肉的邻近区域,本文将这类像素全部归至一级叶脉区域。
2.2.2 玉米表观纹理生成算法
生成玉米叶片纹理结构之后,基于表观模型计算特定SPAD以及生育期参数(由用户给出)下叶肉、一级叶脉、二级叶脉的表观参数,再按照结构类别为每个区域赋予对应的表观参数。上述方式会使同一结构类型的区域具有相同的表观结果,为了增加随机性,本文将所有测量得到的玉米表观数据分成12个表观数据集合(叶肉、二级叶脉、一级叶脉各4个表观参数集合,包括漫反射强度集合、透射强度集合、高光强度集合、粗糙度集合),当通过模型计算得到表观参数之后,基于最近邻方法在对应集合中找到10个与计算结果最相近的表观参数,每个结构区域的任一表观参数从11个参数中随机选择,最终得到的表观纹理在相同结构区域内像素的表观参数一致,不同区域像素的表观参数具有轻微差别。
上述方法可以获得表观较均匀(即整个玉米叶片表面所有点的参数和都为相同值)的叶片纹理,但叶片纹理在特定状态会存在较大的表观空间差异性,如在成熟期之前一段时间会出现黄绿和深绿相间装填的表观,在衰老期的一段时间内也会出现黄绿相间的状态,为了模拟这些复杂的纹理样式,本文采用在均匀表观纹理基础上辅助人工交互的方式对这类现象进行编辑。由于3.1方法已经明确了纹理图像上每个像素所属的结构区域,因此当用户想对某些区域进行表观编辑时,只需用鼠标选择待编辑区域中的任意像素,即可索引到该结构区域的所有像素,最后为该区域像素设定不同的参数,即可为该结构区域赋予与其他区域不同的表观颜色。通过多次操作即可得到样式复杂的玉米表观纹理图像。
本文生成的纹理可映射至由样条曲面生成的玉米叶片模型上。设三维模型的样条曲面参数轴分别为([0,1])、([0,1]),二维纹理图像参数轴表示为([0,1])、([0,1]),纹理映射计算只需将与,与分别等值一一对应即可。因此,对于叶片模型上一点,若其曲面参数为=’、=’,则该点的纹理坐标为=’、=’。
2.3 可视化渲染
式中f和 f分别为表观材质的BRDF 和BTDF;N为点的法向量;(,L)表示叶片表面点是否在L方向上被其他物体遮挡,(,L)=0表示被完全遮挡,形成阴影,本文采用文[26]的方法计算(,L)。
天空散射光每条光线的光强相对直射光强度较弱,本文忽略其对叶片透射的影响,仅考虑反射,利用辐射度传输公式计算叶片点在天空散射光下的辐射度e由下式计算
将公式(6)与(7)的结果相加,即可获得最终的玉米叶片可视化结果。用户可通过调整SPAD参数以及生育期参数获得不同状态下大田玉米叶片的模拟结果。
3 结果与分析
3.1 算法可视化结果
算法在配置为3.0 GHZ CPU、DDR8G内存的PC机上进行了测试,表观模拟方法在渲染3 000个顶点的模型时,速度达到140帧/s,可进行流畅的三维实时交互浏览。本文方法可根据用户输入的SPAD以及生育期参数获得符合实际的表观纹理,图5为不同SPAD和生育期参数下的表观纹理(从左至右分别为漫反射纹理、透射纹理、高光纹理、粗糙度纹理),由于本文方法构建的各结构高光反射模型在不同生育期保持恒定,因此图5中不同参数下的高光纹理和粗糙度纹理是相同的,但漫反射和投射纹理具有差异。图6为不同参数下的玉米叶片表观可视化模拟结果,从图中可以看出,随着SPAD的增大,叶片表观颜色的色调会逐渐从黄色向深绿色变化,这是由于叶片中叶绿素含量下降导致的;而随着生育期参数的变大,叶片透射总体亮度变暗,这主要是叶片厚度逐步增大的结果。图7为采用交互方法生成的较复杂的表观纹理,由于高光和粗糙度纹理不会随着参数改变,因此通过交互编辑得到的上述2张纹理与图5相同,7b和7c为编辑得到的具有空间差异性的表观纹理,2张图中偏黄色的区域即为人工编辑区域,其内部像素被赋予了更小的S参数。图8为利用图7b和7c纹理生成的可视化效果,图8a模拟了衰老期出现的黄绿相间表观状态,图8b模拟了成熟期之前一段时间出现的黄绿和深绿相间装填的表观状态。
a.=0.37;=1.0 b.=0.77;=5.0 c.=0.01;=6.0
注:图中每组纹理从左至右分别为漫反射、透射、高光强度及粗糙度纹理
Note:Each appearance texture group from left to right in the figure are diffuse texture, transparency texture, specular texture and roughness texture.
图5 不同参数下生成的玉米表观纹理
Fig.5 Appearance texture of maize leaf with different model parameters .
a. S=0.26; G=1.0b. S=0.6; G=2.0c. S=0.73; G=4.0 d. S=0.9; G=4.0e. S=0.9; G=5.0f. S=0.01; G=6.0
3.2 表观模型分析
对比叶肉、一级叶脉、二级叶脉三类结构的漫反射、透射、高光反射和粗糙度4个表观材质模型,发现以下2个现象。
a. 黄绿相间表观纹理 a. Appearance textures for yellow and green leafb. 黄绿与深绿相间表观纹理 b. Appearance textures for yellow-green and dark green
a. 图7a纹理的可视化效果 a. Simulation results with textures of figure 7ab. 图7b纹理的可视化效果 b. Simulation results with textures of figure 7b
1)漫反射、透射表观受SPAD和生育期参数影响最大,而高光反射和粗糙度参数一直较稳定。我们认为这是由于漫反射和透射是一种由光在叶片内部传输过程的次表面散射造成的光学特性,因此叶片内部生理组分和结构的变化(如色素含量的增减、细胞组织的增大)对两者影响巨大,而生育期参数和SPAD参数均与生理组分结构密切相关,因此会更大程度影响漫反射和透射,这同时也是3种结构中SPAD参数和生育期参数对叶肉表观影响相比于叶脉结构更大的原因。高光反射和粗糙度是光与表皮区域及绒毛结构作用的结果,与叶片内部生理组分不发生直接接触,因此受SPAD参数影响小。但从理论上说随着玉米生育期的变化,表皮细胞均会增大,这样一定程度上会影响光的折射和反射特性,从而带来高光和粗糙度的改变,但是本文数据并未在时间尺度上检测到变化,导致该现象的原因可能是本文采用的表观测量设备和方法对高光反射强度拟合的精度不够;或者由于试验时的离体、打孔操作一定程度上破坏了表皮、绒毛在活体状态下的特性,从而导致在进行表观参数测量时高光反射和粗糙度参数结果的不准确。
2)叶肉的漫反射模型和透射模型在不同通道上的拟合结果存在差异,从2、RMSE两项指标对比,红色通道的拟合结果最优,绿色通道相比红色通道稍差,蓝色通道的拟合结果最差,且与前两者差距明显。之所以出现这种情况,我们认为是由于SPAD参数和生育期参数与叶绿素、类胡萝卜素的含量关系密切,而两种色素对光的吸收主要集中在绿、红波段,而对偏蓝波段的吸收较小,从而导致以和作为参数构建的模型对漫反射和透射的蓝色通道解释能力相对较弱,但由于两个模型在蓝色通道的数值都不大,因此对最终可视化效果的影响不大,因此可以接受。
3.3 与已有算法比较
现有面向数字农业的叶色可视化方法也常以SPAD作为参数进行建模,但是在表观数据、表观模型精细度等方面均有差异。文[29]和文[30]分别构建了玉米和黄瓜叶片的基于SPAD的叶色RGB可视化模型,但是均采用单张数字图像的RGB向量作为叶色,忽略了叶片的高光特性和透射特性;同时,这些方法也未考虑不同叶片结构单元的表观差异性,因此本文模型的可视化模拟结果相比上述方法更加精细。同时,本文模型也考虑了生育期对表观模型的影响,尤其在透射特性方面,生育期导致的叶片厚度增加是不可忽略的因素,而上述2种模型均未涉及。
4 结 论
本文提出一种基于农学参数的玉米叶片表观建模与可视化方法。利用实测数据构建了基于SPAD及生育期的玉米叶片表观参数化模型,模型显示叶肉漫反射与SPAD和生育期呈二次关系,叶肉透射与SPAD和生育期呈负指数关系,且红色通道的拟合结果最优,绿色通道相比红色通道稍差,蓝色通道的拟合结果最差;二级叶脉漫反射和透射可利用SPAD进行分类;主叶脉漫反射和透射在整个生育期内变化不大;叶肉、主叶脉和二级叶脉的高光反射参数和粗糙度参数在整个生育期内变化不大。提出了参数化的玉米叶片纹理结构计算方法,并结合表观模型对玉米叶片的纹理样式进行建模;开发实时的叶色可视化框架,采用直射光结合天空散射光模拟作物大田光环境,对玉米表观模型进行真实感渲染。本文方法搭建农业知识与可视化效果间的桥梁,实现作物表观的快速、准确设计与制作,为农业题材的三维虚拟动画研发提供技术工具。
[1] Jensen H W, Marschner S R, Levoy M, et al. A practical model for subsurface light transport[C]//Proceedings of the 28th annual Conference on Computer Graphics and Interactive Techniques, ACM, 2001: 511-518.
[2] Deon E, Irving G. A quantized-diffusion model for rendering translucent materials[J]. ACM Transactions on Graphics. 2011, 30(4): 56.
[3] Sadeghi I, Bisker O, Deken J D, et al. A practical microcylinder appearance model for cloth rendering[J]. Acm Transactions on Graphics. 2013, 32(2): 1-12.
[4] Fu Y, Zheng N. M-Face: An appearance-based photorealistic model for multiple facial attributes rendering[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(7): 830-842.
[5] Ward K, Bertails F, Kim T Y, et al. A survey on hair modeling: styling, simulation, and rendering[J]. IEEE Transactions on Visualization & Computer Graphics, 2007, 13(2): 213-234.
[6] Hawkins T, Einarsson P, Debevec P. Acquisition of time-varying participating media[J]. ACM Transactions on Graphics, 2005, 24(3): 812–815.
[7] Weyrich T, Peers P, Matusik W, et al. Fabricating microgeometry for custom surface reflectance[J]. ACM Transactions on Graphics, 2009, 28(3), 32.
[8] Wenger A, Gardner A, Tchou C, et al. Performance relighting and reflectance transformation with time-multiplexed illumination[J]. Acm Transactions on Graphics, 2005, 24(3): 756-764.
[9] Xu K, Gao Y, Li Y, et al. Real-time homogenous translucent material editing[J]. Computer Graphics Forum, 2007, 26(3): 545-552.
[10] Song Y, Tong X, Pellaccint F, et al. Subedit: A representation for editing measured heterogeneous subsurface scattering[J]. ACM Transactions on Graphics. 2009, 28(3): 341-352.
[11] Dong Y, Wang J, Pellaccint F, et al. Fabricating spatially-varying subsurface scattering[J]. ACM Transactions on Graphics, 2010, 29(4): 1-10.
[12] Hanrahan P, Krueger W. Reflection from layered surfaces due to subsurface scattering[C]// Proceedings of SIGGRAPH 1993, New York, USA, 1993.
[13] Jensen H W, Buhler J. A rapid hierarchical rendering technique for translucent materials[J]. ACM Transactions on Graphics, 2002, 21(3): 576-581.
[14] Franzke O, Deussen O. Rendering plant leaves faithfully[C]// Proceedings of SIGGRAPH 2003, New York, USA, 2003.
[15] Donner C, Jensen H W. Light diffusion in multi-layered translucent materials[J]. ACM Transactions on Graphics, 2005, 24(3): 1032-1039.
[16] Habel R, Kusternig A, Wimmer M. Physically based real-time translucency for leaves[J]. Proceedings Eurographics Symposium on Rendering, Eurographics Association, 2007: 253-263.
[17] Wang L, Wang W, Dorsey J, et al. Real-time rendering of plant leaves[J]. Acm Transactions on Graphics, 2005, 24(3): 712-719.
[18] 苗腾,郭新宇,温维亮,等. 基于图像的作物病害状态表观三维模拟方法[J]. 农业工程学报,2016,32(7):181-186. Miao Teng, Guo Xinyu, Wen Weiliang, et al. Three dimensional visual simulation method of crop disease state based on image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(7): 181-186. (in Chinese with English abstract)
[19] Baranoski G V G, Rokne J G C. An algorithmic reflectance and transmittance model for plant tissue[J]. Computer Graphics Forum, 1997, 16(3): 141-150.
[20] Baranoski G V G, Rokne J G. Efficiently simulating scattering of light by leaves[J]. The Visual Computer, 2001, 17(8): 491-505.
[21] Braitmaier M, Diepstraten J, Ertl T. Real-time rendering of, seasonal influenced trees[C]//Proceedings of Theory and Practice of Computer Graphics, 2004: 152-159.
[22] Zhou N, Dong W, Mei X. Realistic simulation of seasonal variant maples[M]//Proceedings of PMA '06. Beijing China: IEEE Computer Society Press, 2006: 295-301.
[23] Miao T, Zhao C J, Guo X Y, et al. A framework for plant leaf modeling and shading[J]. Mathematical and Computer Modelling. 2013, 58(3/4): 457-906
[24] Gardner A, Tchou C, Hawkins T, et al. Linear light source reflectometry[J]. ACM Transactions on Graphics, 2003, 22(3): 749-758.
[25] 苗腾,郭新宇,赵春江,等. 基于变化光源方向多图像的植物叶片表观三维模拟[J]. 农业工程学报,2016,32(9):150-156. Miao Teng, Guo Xinyu, Zhao Chunjiang, et al. Three dismensional appearance simulation of plant leaves based on multiple images with light source change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(9): 150-156. (in Chinese with English abstract)
[26] Zhang F, Sun H Q, Xu L L, et al. Hardware-accelerated parallel-split shadow maps[J]. International Journal of Image and Graphics, 2008.8(2): 223-241
[27] Sean O. Accurate atmospheric scattering[M]. GPU Gems 2. Addison-Wesley Professional Press, 2005.
[28] McGuire, Morgan. Ambient occlusion volumes[C] //Proceedings of High Performance Graphics, 2010.
[29] 王举才,席磊,赵晓莉,等. 基于模糊综合评判的可视化叶色模型数据标准化[J]. 农业工程学报,2011,27(11):151-159 Wang Jucai, Xi Lei, Zhao Xiaoli, et al. Data normalization of leaf color based on fuzzy comprehensive evaluation for visualization model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(11): 151-159. (in Chinese with English abstract)
[30] 陆声链,汪丽萍,何火娇,等. 基于相对叶绿素含量的黄瓜叶色仿真[J]. 农业机械学报,2014,45(3):250-254. Lu Shenglian, Wang Liing, He Huojiao, et al. Visual simulation of cucumber leaf color based on the relative content of chlorophyll[J]. Transactions of The Chinese Society of Agricultural Machinery, 2014, 45(3): 250-254. (in Chinese with English abstract)
苗 腾,郭新宇,温维亮,王传宇,肖伯祥. 基于农学参数的玉米叶片表观建模与可视化方法[J]. 农业工程学报,2017,33(19):187-195. doi:10.11975/j.issn.1002-6819.2017.19.024 http://www.tcsae.org
Miao Teng, Guo Xinyu, Wen Weiliang, Wang Chuanyu, Xiao Boxiang. Appearance modeling and visualization of maize leaf with agronomic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 187-195. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2017.19.024 http://www.tcsae.org
Appearance modeling and visualization of maize leaf with agronomic parameters
Miao Teng1,2,3,4, Guo Xinyu1,3,4※, Wen Weiliang1,3,4, Wang Chuanyu1,3,4, Xiao Boxiang1,3,4
(1.100097,; 2.110866,; 3.100097,; 4.100097,)
In this paper, we presents a method for modeling and visualization of crop leaves based on agronomic parameters in order to improve the production efficiency of three dimensional digital media for agricultural subjects. The field experiments were conducted in the experiment farm of Beijing Academy of Agricultural and Forestry Sciences, Beijing City. During maize growth periods of jointing stage, horn mouth stage, florescence stage, grouting stage, maturation period and senility period, SPAD values of maize leaves were obtained by using SPAD-502 and four appearance parameters were collected by an apparent image acquisition system using linear light source. The four appearance parameters were diffuse reflectance, transparency, specular reflectance and roughness. In order to finely model the maize leaf appearance, leaf surface was divided into three structures including mesophyll, main vein and secondary vein. With the data, we analyzed the relationship between SPAD, growth period parameters and various kinds of appearance parameters of the three structures, respectively. We applied a variety of mathematical models to fit the data to describe the potential relationship between SPAD, growth period and diffuse, transparency appearance of mesophyll. Based onRand RMSE, we selected quadratic function for diffuse reflectance and negative exponential function for transparency. The coefficients of determination for the RGB channels of final diffuse model of mesophyll were 0.913 7, 0.851 1, and 0.614 6, respectively, and their corresponding values of RMSE were 0.0154 9, 0.012 8, and 0.015 33. The coefficients of determination for the transparency model were 0.997 5, 0.991 3, and 0.990 7, respectively, and their corresponding values of RMSE were 0.006 4, 0.009 6, and 0.020 7. Data showed diffuse reflection and transparency of secondary vein could be classified into four sections by SPAD values and there was little difference between each class of appearance values. We used mean values of each section as diffuse and transparency parameters. The diffuse reflection and transparency of main vein has little change in whole growth periods. As such, we used mean values as unique and invariant apparent feature in diffuse and transmission reflection. We found that specular reflectance and roughness parameters of the three structures were not related to SPAD and growth period, therefore, mean values of these two appearance parameters obtained from all samples were used as a glossy appearance. Based on the above analysis, a series of quantitative appearance models for three structures were established respectively with SPAD and growth period as input parameters, and appearance material parameters as output. The spatial-varying appearance of leaf surface formed specific texture patterns. We abstracted the texture pattern and constructed a parameterized structure method to generate a structure texture image for synthesis of the geometric features of mesophyll, main vein and secondary vein structures. Each pixel of structure texture image represented a structure category of the point at this position, and we used the appearance models of each structure to assign appearance parameters for each pixel. Finally, four appearance textures were generated for simulating the appearance patterns of the leaf surface including diffuse texture, transparency texture, specular texture and roughness texture. A real-time rendering framework was developed to simulate the subtle interaction between plant leaves and light. In order to achieve a WYSIWYG display result, we simplified the light computing by decomposing light environment into a directional light source (sun) and some environment light sources (sky). A complete realistic effect was finally developed by combing the appearance model and illumination computation using a deferred lighting rendering framework which can simulate real-time shadows, ambient occlusion, and dynamic radiance from sun and sky. The experimental results demonstrated that the proposed approach was capable of generating different appearance of crop leaves by controlling the agronomic parameters and achieving a visually satisfactory display result. Our method showed diffuse reflectance and transmittance were the most affected by the parameters of SPAD and growth stage, while the specular reflection and roughness parameters were always stable. There were differences in the fitting results of diffuse and transparency model of mesophyll in RGB channels, while simulation result indicated there was little impact on the final visualization effect. Our method has a great potential to become an effective visualization tool for agricultural application, such as crop model, agricultural education system, and digital media for agricultural subjects.
three dimensional; visualization; crops; leaf appearance; appearance modeling; digital plant
10.11975/j.issn.1002-6819.2017.19.024
TP391.4
A
1002-6819(2017)-19-0187-09
2017-05-04
2017-07-10
北京市自然科学基金(4162028);国家自然科学基金(31501217);北京市农林科学院博士后基金项目;北京市科技计划项目(D151100004215004)
苗 腾,博士后,讲师,主要从事数字植物技术研究。沈阳 沈阳农业大学信息与电气工程学院 110866。Email:caumiao@126.com
※通信作者:郭新宇,研究员,主要从事数字植物理论技术体系研究。北京 北京农业信息技术研究中心,100097。Email:guoxy@nercita.org.cn