基于OSC的土壤全氮近红外光谱测定
2013-09-06邢艳秋李俊明
杨 超,邢艳秋,李俊明
(东北林业大学森林作业与环境研究中心,哈尔滨 150040)
土壤氮素是植物生长所必须的营养元素,直接影响着植物的生产发育,是土壤肥力的重要指标之一。传统的土壤全氮含量测定由于耗时、低效、成本高并且时效性差等缺点,难以满足当前大区域快速监测的需求。而近红外光谱分析技术的出现和发展,被证明可以在土壤全氮含量实时快速测定方面具有巨大潜力[1-2]。于飞建[3]等采用一阶导数结合偏最小二乘法估测土壤全氮含量,模型精度达到0.88。张娟娟[4]等研究了我国不同地区主要类型土壤全氮含量与近红外光谱之间的关系,结果表明,采用Norris滤波平滑后的一阶导数光谱建立估算模型能有效估算土壤全氮含量。黄明祥[5]等对不同滤波器去噪效果进行定量评价,通过对比发现小波去噪既能达到曲线平滑又能较好地保证波段特征。以上研究表明,采用近红外光谱技术估测土壤全氮含量是可行的,但是上述研究在进行光谱预处理的时候,并没有考虑到浓度对光谱的影响,在滤澡过程中同时会损失部分与待测品质相关的光谱信息[6]。而正交信号校正 (Orthogonal Signal Correc-tion,OSC)方法在进行光谱与处理时,却能很好地消除光谱矩阵中一些与待测品质无关的噪声信号,从而达到提高预测模型的需求。
本研究以松嫩平原不同类型土壤全氮含量为研究对象,采用近红外光谱技术,结合正交信号校正预处理方法,对土壤全氮进行估测,从而为提高近红外光谱反演土壤全氮含量精度提供方法支持。
1 材料与方法
1.1 试验材料
本研究试验区为松嫩平原齐齐哈尔和绥化地区,共采集盐碱地、农田以及林地样本228个,采样深度0~20 cm。土壤样品经过风干、研磨后,分别过20目和100目筛,20目筛样品进行光谱分析,100目筛样品采用半微量凯氏定氮法进行土壤全氮含量测定。
1.2 光谱测定
本研究使用美国ASD公司生产的FieldSpec3系列野外便携式地物波谱仪进行光谱测定。光谱范围为350~2 500 nm,在350 nm到1 050 nm处采样间隔是1.4 nm,1 000 nm到2 500 nm区间采样间隔为2 nm,重采样间隔1 nm。测定光谱时,光源使用钨灯,钨灯与法线成15度角照射土壤样本,光学纤维探头以距样品表面10 cm高处垂直于样品进行光谱采集。采集时,尽量使土壤样本表面平整,并旋转样本,共采集10次,求其平均值。每采集3个样本光谱,进行反射白板校正1次。
1.3 光谱预处理方法
在采集近红外光谱信息的过程中,除了样品本身的光谱性质的影响外,导致近红外光谱基线漂移和光谱不重复的因素中往往还包含一些与待测样品性质无关的因素。为尽可能获得准确的光谱信息,在进行光谱分析前,对原始光谱进行预处理分析,消除与样品本身信息无关的噪声非常必要。本研究拟采用平滑、多元散射校正 (MSC)以及OSC方法对原始光谱进行预处理。其中平滑可以很好的降低随机噪声,而MSC可以有效的消除由于样本表面不均匀等引起的散射影响。基于正交投影的政教信号校正由S.Wold1998年作为一种光谱过滤方法提出[7]。该方法的基本思想是滤除原始光谱矩阵X中与待测品质Y不相关的部分信号。以上数据分析均在Unscrambler V9.5和matlab7.0中实现。
OSC具体算法如下:
(1)将原始光谱矩阵X与浓度矩阵Y进行标准化。
(2)对于Y正交的主成分t赋值。
(3)计算tnew=(1 -Y(Y′Y) -1Y′)t,特征向量ω=X-tnew。
(4)根据新计算得到的X、ω计算正交主成分t,t=Xω。
(5)检验收敛性,如果‖t-told‖/‖t‖<10-6,收敛转到 (6),否则返回 (3)。
(6)计算载荷向量,p′=t′X/(t tnew)。
(7)从X中减去与Y正交的部分,E=X-t p′。
(8)将E作为新的X,计算新的与X正交的主成分,直到合适为止,通常只需两个正交主成分便可达到良好的精度。
(9)将经过正交信号校正的光谱矩阵X作为新矩阵,建立模型。
(10)未知样品的预测,同样要经过正交信号校正,利用最后得到的残差向量e,根据校正模型即可对未知样品进行预测。
1.4 建模与评价
本研究采用偏最小二乘法建立土壤全氮含量反演模型,利用交叉验证和外部验证相结合对模型进行评价,评价指标为决定系数R2和均方根误差RMSEV。其中,228个样本中随机抽取150个样本作为校正集,用于反演模型建立和交叉验证;其余78个样本作为外部验证集对反演模型进行评价。模型的建立与评价研究在matlab7.0中实现。
2 结果与分析
2.1 数据库的建立
表1为不同类型土壤样本全氮含量统计值。由表1可以看出,土壤全氮含量在农田、林地及盐碱地中有较大差异,变化幅度较大,有利于模型的建立。其中林地土壤含氮量最好,农田次之,盐碱地土壤全氮含量最低。图1为不同类型土壤样本光谱数据,可以看出,所有样本在1 900 nm处均有一个大的水分吸收峰,样本反射率大小顺序依次为盐碱地>农田>林地,这主要因为林地土壤含有丰富的腐殖质颜色较深,吸光度较大,从而反射率较低,而盐碱地土壤颜色较浅反射率高。同时,在1 000 nm处产生一个小的阶跃,主要是由于光谱仪器自身350~1 000 nm段所使用的探测器与1 000~2 500 nm段使用的探测器类型不同造成的。
表1 土壤全氮测定结果Tab.1 Measurements of the soil total nitrogen g·kg-1
图1 不同类型土壤样本光谱Fig.1 Original near infrared spectra of the different types of soil
2.2 预处理方法的比较
为了比较不同预处理方法的建模效果,本研究对原始光谱分别采用平滑、平滑+MSC、平滑+MSC+OSC等方法进行建模前降噪处理,结合偏最小二乘法进行建模。结果见表2。其中以采用平滑+MSC+OSC方法对原始光谱进行预处理,主因子个数为4时,建模精度最高,决定系数R2为0.990 1,均方根误差为0.297 5;直接采用原始光谱进行建模,效果不理想,决定系数R2为0.672 0,均方根误差为0.421 5。说明OSC可以有效的去除与浓度阵无关的光谱信息,提高了预测模型的精度。因此,可以看出选择合适的预处理方法对提高土壤全氮近红外光谱预测模型的精度非常必要,平滑+MSC+OSC预处理方法可以满足预测模型的要求。
表2 不同光谱预处理方法的PLS模型内部交叉验证结果Tab.2 Internal cross-validation results of different pretreatment methods
2.3 OSC因子比较分析
表3为不同OSC因子个数结合PLS建模结果。可以看出,原始光谱建立的PLS模型交叉验证决定系数为0.672 0,均方根误差为0.421 5,外部验证决定系数为0.712 6,均方根误差为0.398 2,建立PLS模型时主因子个数为13,不仅模型比较复杂精度较低,并且模型不是很稳定。当OSC因子个数为6时建立的PLS模型,模型主因子个数为4,模型精练,内部交叉验证决定系数和均方根误差分别为0.990 1和0.297 5,外部验证决定系数和均方根误差分别为0.926 1和0.283 6,模型精度很高,并具有很高的稳定性。对原始光谱进行OSC校正时,随着OSC因子个数的增加,预测模型的精度有所提高。
表3 不同OSC因子个数建模结果Tab.3 Modeling results for different number of OSC factors
2.4 模型的建立与验证
偏最小二乘法PLS是进行光谱多元定量校正时最常用的一种方法,在建模过程中集中了典型相关分析、主成分分析和线性回归分析的工作特点[8-10]。本研究采用偏最小二乘法建立土壤全氮近红外光谱预测模型。图2(a)和图2(b)分别为预测模型内部交叉验证和外部验证结果,采用平滑+MSC+OSC方法对光谱进行预处理,OSC因子个数和PLS主因子个数分别为6和4,相关系数R2较大分别为0.990 1和0.926 1,说明光谱阵与浓度阵相关性强,均方根误差较小分别为0.297 5和0.283 6。这表明通过结合OSC和PLS法建立土壤全氮近红外光谱预测模型预测精度较高,稳定性强。
图2 模型交叉验证结果Fig.2 Model validation results
3 结论与讨论
土壤的反射光谱包含了极其丰富的土壤信息,是土壤性状的综合体现,常用的预处理方法都有一定的局限性,可能导致土壤反射光谱信息冗余或者缺失。本研究采集了松嫩平原不同类型土壤样本,采用OSC法对土壤近红外光谱进行预处理,结合偏最小二乘法建立了土壤全氮含量的估测模型,利用交叉验证和外部验证相结合的方法对模型进行评价分析。结果显示,不同的预处理方法对建模结果影响较大,其中采用平滑+MSC+OSC对光谱进行预处理,建模结果最优,内部交叉验证决定系数和均方根误差分别为0.990 1和0.297 5,外部验证决定系数和均方根误差分别为0.926 1和0.283 6。总体看来,OSC可以很好的去除光谱阵中与浓度阵无关的噪声信号,并且随着OSC因子个数的增加,PLS模型的精度有所提高,当OSC因子和PLS主因子个数分别为6和4时,模型精度最高,稳定性最强。因此,不同预处理方法近红外估测模型的建立影响较大,采用正交信号校正结合偏最小二乘方法建立土壤全氮近红外光谱预测模型时可行的,可以简化PLS模型,并且精度稳定性较高。
【参 考 文 献】
[1]Bendor E,Banin A.Near-infrared analysis as a rapid method to simultaneously evaluate several soil properties[J].Soil Science Society of America Journal,1995,59:364-372.
[2]徐永明,蔺启忠,黄秀华,等.利用可见光/近红外反射光谱估算土壤总氮含量的实验研究[J].地理与地理信息科学,2005,21(1):19-22.
[3]于飞健,闵顺耕,巨晓棠,等.近红外光谱法分析土壤中的有机质和氮素[J].分析实验室,2002,1(3):49 -51.
[4]张娟娟,田永超,姚 霞,等.基于高光谱的土壤全氮含量测定[J].自然资源学报,2011,26(5):881 -890.
[5]黄明祥,王 珂.土壤高光谱噪声过滤评价研究[J].光谱学与光谱分析,2009,29(3):722 -755.
[6]赵杰文,张海东,刘木华.简化苹果糖度预测模型的近红外光谱预处理方法[J].光学学报,2006,26(1):136 -140.
[7]Wold S,Antti H,Lindgren F,et al.Orthogonal signal correction of near-infrared spectra[J].Chemometrics and Intelligent Laboratory Systems,1998,44(1-2):175-185.
[8]王惠文.偏最小二乘回归方法及其应用[M].北京:国防工业出版社,1999.
[9]高祥斌.森林土壤化学性质与土壤酶活性典型相关分析[J].林业科技,2007,17(1):11 -13.
[10]周桂香,张文元,胡冬南,等.土壤有机碳影响因素及测定方法探讨[J].江西林业科技,2011,21(6):31 -34.