基于XRF和Vis-NIR光谱数据融合的土壤镉含量定量分析法
2020-11-09王清亚李福生江晓宇邬书良谢涛锋黄温钢
王清亚,李福生*,江晓宇,邬书良,谢涛锋,黄温钢
(1.东华理工大学 核技术应用教育部工程研究中心,江西 南昌 330013;2.东华理工大学 核资源与环境国家重点实验室,江西 南昌 330013)
随着工业进程的加快,镉(Cd)的大量利用造成了严重的环境污染,全世界每年约向环境中释放40万吨的Cd,其中59%直接进入土壤[1]。土壤中Cd含量的传统检测方法存在效率低、成本高、易造成环境污染等问题,无法满足较大尺度区域的土壤镉含量的调查需求[2]。近二十年来,近端土壤传感技术,如X射线荧光光谱(X-ray fluorescence spectroscopy,XRF)[3]和可见光-近红外(Visible and near-infrared spectra,Vis-NIR)光谱分析技术[4],因可以实现土壤中重金属含量的无损、高效和无污染快速测定[5],引起了研究人员的关注。
但不同类型的土壤基质差异大,元素种类繁多,基质效应明显[6],单一采用XRF和Vis-NIR时准确度[3,7]难以满足国标对Cd含量测定的要求[8]。多源数据融合可以将多个信息源或传感器获得的同一个目标的不同信息融合到一起,利用计算机技术对这些信息进行分析、支配和使用,做出决策,往往较单一信息更具准确性[9]。目前多源数据融合已经广泛应用于光谱分析领域。武中臣等[10]采用两种数据融合(等权融合和累加融合)对硅酸盐、硫酸盐、碳酸盐等4种矿物进行分类研究,发现融合后的预测结果均好于单一检测方法。O’rourke等[11]将可见-近红外与中红外光谱等权融合后,测试了爱尔兰国家土壤数据库中的样品,结果显示,相比单一检测技术,多传感器的等权融合技术提高了检测土壤多项指标的准确性。Stenberg等[12]将Vis-NIR和XRF光谱等权融合,分别获得了土壤有机质(SOM)矿物、水分、pH值、铜、铅含量等重要土壤属性。史舟等[5]通过数据外积融合测定了土壤中铬的含量,相比单一数据预测模型,融合后的模型预测精度(ρc=0.88,RMSEP=6.8,RPD=2.30)更佳。综合以上技术在土壤相关参数定量检测方面的研究可知,基于数据融合测定土壤Cd含量是可行的,但目前相关研究较少。
本研究以鄱阳湖南矶山为研究区,进行野外土壤采样、室内理化分析、光谱采集与处理等工作,并基于XRF和Vis-NIR研究了不同数据融合算法对土壤Cd含量预测模型稳定性和精度的影响,探索基于两种光谱数据融合的Cd含量的预测方法,以为该区域的重金属污染调查提供参考。
1 实验部分
1.1 研究区域与样品取样
研究的区域位于江西鄱阳湖西南岸(116°10′24″~116°23′50″E,28°52′21″~29°06′46″N),共采集371个样品,土壤类型覆盖潮土、水稻土、黄棕壤,采用十字法取样,采样深度为0~20 cm,采样时剔除侵入体,混匀后用四分法收集土样。经风干、研磨,过2 mm孔径筛后,将每份样品分成3份,分别用于室内理化分析和XRF、Vis-NIR光谱采集。
1.2 实验室内化学分析
按照《石墨炉原子吸收分光光度法GB/T 17141-1997》进行样品消解和分析,用HCl-HNO3-HF-HClO4(四酸)破坏矿物晶格,以石墨炉原子吸收分光光度计测定试剂中的Cd[13]。约20%的土壤被分析两次,用以评估方法的重复性。设置95%的置信区间,剔除超出置信区间的样品,最终保留356个样品进行后续研究。选用K-S(Kennard-Stone)算法[14]计算各个样品的欧式距离,选用60%的样本用于建模,40%的样品用于预测和验证(表1)。
表1 土壤样品镉含量统计特征Table 1 Statistical characteristics of soil Cd content
1.3 Vis-NIR光谱与XRF光谱测量
采用美国ASD公司的便携式FieldSpec3高光谱分辨率地物波谱仪测定土壤样品的Vis-NIR光谱,其波段值为350~2 500 nm,采样间隔为1.4 nm(350~1 000 nm)和2 nm(1 000~2 500 nm),重采样间隔为1 nm。将样品放置在培养基中(直径10 cm,高度1 cm),随机扫描10次,取信噪比最佳的3次测定结果进行平均,作为样品光谱。
XRF测量采用泰克松德公司的TS-XH4000-G分析仪,选用土壤模式,每次测试90 s,同一个样品测试3次。每测30个样品校正1次,最终取3次测试结果的平均作为该样品的光谱。TS-XH4000-G分析仪对Cd的检出限为2 mg·kg-1。测试结束后,对测试结果进行分析,在371个样品中只有14个样品的Cd含量高于仪器检出限。大部分样品的Cd含量低于检出限。文中仪器对Cd含量的分析结果不作为建立模型的考虑范围。
1.4 数据分析及评价指标
最小二乘支持向量机(Least squares support vector machine,LS-SVM)是基于支持向量机(SVM)的一种改进算法,通过构造损失函数将原SVM中算法的二次寻优变为求解线性方程,其求解速度较快,在光谱分析领域中得到了广泛应用[15]。LS-SVM方法共有4种核函数(线性核、多项式核、径向基函数核、高斯核)可供选择,径向基函数核(Radial basis function,RBF)非常适用于光谱分析中的非线性问题处理[16],因此本文使用RBF函数来实现LS-SVM建模。
模型预测精度以决定系数(Determination coefficients,R2)、校正均方根误差(Root mean squared error of calibration,RMSEC)、预测均方根误差(Root mean square error of prediction,RMSEP)、相对分析误差(Relative percent deviation,RPD)4个参数衡量。R2反映模型建立和验证的稳定性,RMSEC和RMSEP用来检验模型的预报能力[17],RPD是样本标准差与RMSEP的比值,用以判断模型的预测能力,RPD<1.4时,模型无法对样品进行预测;1.4≤RPD<2.0时,认为模型效果一般,可用来对样品进行粗略评估;RPD≥2.0时,模型具有极好的预测能力[18]。
图1 不同Cd含量土壤的原始XRF光谱(A)和Vis-NIR光谱(B)Fig.1 Theoriginal XRF spectra (A) and Vis-NIR spectra(B) of soil with different Cd contents
2 结果与讨论
2.1 土壤样品的XRF光谱与Vis-NIR光谱特征
选取土壤样品中Cd含量最大值、中间值、最小值(Cd含量分别为1.50、0.76、0.21 mg·kg-1)所对应的3条原始光谱曲线进行分析(图1)。
根据莫塞莱定律,土壤中Cd产生的K系和L系特征射线的能量是唯一的。图1A中23.17 keV处为Cd的Kα特征射线,其能量计数与Cd含量呈正相关。但Cd的L系特征射线(3.13 keV)处于传感器探测范围的边缘,灵敏度较差,不可作为定量模型的输入量,故许多定量仪器只将Cd的Kα特征射线计数作为输入量。而复杂的原级X射线与土壤样品的作用过程和元素间特征射线的相互影响(例如Pb的23.82 keV Kβ和Cd的23.17 keV Kα射线相互影响)导致目标元素的照射量率与含量之间不再是单纯的正比关系,这也可从图1A中的特征射线计数看出来。而广泛用于土壤重金属(如Pb、Cu、Zn、Cr等)检测的XRF仪器利用元素特征射线与元素含量之间的正相关关系进行定量分析,从而导致对Cd类亚mg·kg-1级含量的重金属的检测效果不佳。
不同Cd含量土壤样品的Vis-NIR光谱(图1B)具有以下特征:(1)光谱形态大致相同,近似平行,均呈上凸趋势,总体单调递增;(2)在可见光波段的反射率小于近红外波段,不同光谱间的差别也较小;(3)3条光谱曲线的差异主要在近红外波段,出现特征吸收峰的位置大致相同,吸收深度和吸收面积有差别;(4)在400~600 nm区间斜率较大,和土壤中铁的含量有关;(5)在1 400、1 900、2 200 nm处存在明显的水分吸收谷,1 400 nm附近为羟基(OH—)谱带,1 900 nm附近为H2O谱带,2 200 nm附近为羟基伸缩振动与Al—OH和Mg—OH弯曲振动的合谱带[19]。
2.2 光谱处理与变换
为消除噪音和低能射线的影响,首先在光谱中截取数据较为丰富的一段:Vis-NIR反射光谱截取450~2 450 nm段(2 000个通道),并将反射光谱转换成吸收光谱;XRF光谱选取0.405~42.105 keV段(2 000通道)。随后,对两种光谱进行基线校正、Sacitzky-Golay(S-G)平滑[20](窗口大小为15,2阶多项式)以及标准矢量归一化(SNV)[21]处理。最后,对处理后的Vis-NIR和XRF光谱重新采样(保留200个通道,分辨率分别为10 nm,0.20 keV),Vis-NIR光谱的数值范围为-3.42~4.29,XRF光谱的数值范围为-1.16~2.37,解决了数据融合中量纲不一致的问题。
2.3 数据融合
Moros等[22]提出了3种数据融合算法:累加融合(Coadditionfusion,CF)、等权融合(Equal rights fusion,ERF)、外积融合(Outer product fusion,OPF)。累加融合是将XRF和Vis-NIR光谱相关通道上的数据按照一定权重进行加和,得到的新矩阵的行数等于样品数量,列数不变。本研究中将对XRF和Vis-NIR光谱进行加权(XRF∶Vis-NIR=3∶1)累加融合得到的定量模型记为CF-LSSVM;等权融合是将XRF和Vis-NIR光谱数据首尾相连,得到的新矩阵行数为样品数量,列数为两个光谱数据的列数之和,定量模型记为ERF-LSSVM;外积融合则通过求取XRF和Vis-NIR光谱数据的克罗内克积(Kronecker product)[23]进行融合:如果A是m×n矩阵,B是p×q矩阵,则求取的克罗内克积为mp×nq的分块矩阵[24],见公式(2)。应用克罗内克积的形式可以有效增强不同物理量光谱的共同演化性能[23,25-27]。
(2)
如图2所示,外积融合的具体方法是:第m个被测样品可以得到一组具有r个变量的XRF光谱(1×r)和c个变量的Vis-NIR光谱(1×c),分别记为rm、cm(公式3),将2个矩阵进行相乘求取克罗克内积,得到c×r矩阵(公式4),该矩阵为第m个样品的外积融合光谱。将得到的矩阵按照1行的形式展开(Unfold)得到(1×r·c)矩阵,以此矩阵作为建立模型的输入量,定量模型记为OPF-LSSVM。
图2 外积融合算法示意图Fig.2 Process of data fusion by OPF
rm=(r1,m,…,ri,m)
cm=(c1,m,…,cj,m)
(3)
(4)
(5)
其中rm、cm分别为第m个样品的XRF光谱和Vis-NIR光谱,Am是该土壤样品的外积融合光谱,ri,m是XRF光谱在i能量处的通道计数,cj,m代表同一个样品在j波长处的吸光度。Ψ为Am矩阵的展开,为1行c×r列矩阵。
以1号土壤样品为例,经XRF光谱、Vis-NIR光谱融合算法后,构建了CF光谱、ERF光谱、OPF光谱,如图3所示。从图中可以看出,CF光谱走势和XRF光谱类似,保留了XRF光谱和Vis-NIR中的一些特征峰;ERF光谱图比CF光谱图含有更多的信息,包括XRF和Vis-NIR光谱中的所有特征峰;OPF光谱图所含数据量最多,达到40 000个变量,其数值的变化也较大。
图3 1号土壤样品的XRF光谱图(A)、Vis-NIR光谱图(B)、累加融合光谱图(C)、等权融合光谱图(D)和外积融合光谱图(E)Fig.3 XRF spectra(A),Vis-NIR spectra(B) and their coaddition fusion spectra(C),equal rights fusion spectra (D) andouter product fusion spectra(E) of No.1 soil sample
2.4 LS-SVM模型
在建立LS-SVM模型时,首先要选择合适的核参数σ2和惩罚系数γ,通过网格搜索法和留一法(Leave-one-out)进行全局寻优。数据处理中γ的搜索范围为1~10 000,σ2的搜索范围为0.01~1 000,确定的最优γ和σ2见表2。
表2 LS-SVM模型中γ和σ2最优值Table 2 The optimal values of γ and σ2 in LS-SVM model
2.4.1 单一光谱预测模型使用XRF和Vis-NIR光谱作为输入变量,建立LS-SVM模型,具体预测效果如图4所示。从图中可以看出,以单一光谱作为输入量的模型中,XRF-LS-SVM模型的R2(0.63)略低于Vis-NIR-LS-SVM模型(R2=0.69),其RMSEP(0.13)则高于Vis-NIR-LS-SVM(RMSEP=0.10),表明Vis-NIR-LS-SVM模型具有很好的稳定性和精度,略优于XRF-LS-SVM的预测效果,但两种模型的预测效果均不理想,RPD介于1.40~2.0之间。
XRF仪器[28]对Cd类亚mg·kg-1级含量的重金属的检测效果不佳,使用XRF全光谱作为模型的输入,虽可以提高痕量元素的检出限[29],但从实验结果看,预测精度和稳定性仍然无法满足实际检测要求。
土壤中的重金属常与土壤有机质、粘土矿物结合,这些物质在Vis-NIR光谱上具有强烈的特征吸收[30],可基于此使用Vis-NIR对土壤中的重金属进行预测。使用Vis-NIR光谱预测土壤Cd含量时,效果略优于XRF光谱预测模型,这与文献研究结果类似[31]。
表3 不同方法预测精度的比较Table 3 Comparison of prediction accuracy of different methods
2.4.2 数据融合预测模型在光谱融合的预测模型中,CF-LS-SVM的RPD=1.24,基本没有预测能力,从1号土壤样品CF光谱图中可以看出(图3C),融合后光谱集合了XRF和Vis-NIR光谱的一些信息,但两个光谱值相加,导致一些光谱信息消失,增强了融合后光谱的非线性。除CF-LS-SVM外,融合后的模型预测效果均优于单一光谱模型,表明数据融合可以为Cd含量预测提供有效方法(表3)。ERF光谱保留了XRF和Vis-NIR的所有光谱信息。ERF-LS-SVM模型的RMSEP=0.09,比两个单一光谱及CF-LS-SVM模型效果更佳,但其RPD=1.92也表明ERF-LS-SVM预测能力一般,仅可对土壤中Cd含量进行粗略预测。OPF-LSSVM在所有模型中效果最好,相比ERF-LS-SVM模型,其RMSEP从0.09降低到0.06,预测精度更高,RPD=2.41则表明该模型具有极好的预测能力。
上述结果说明数据融合相较于单一光谱包含了更多的土壤信息,其中外积融合通过求取两个光谱的克罗克内积,增强了光谱的区域性,尤其是将不同物理量的XRF和Vis-NIR光谱外积融合后,可以充分利用光谱的不同性质和互补信息,更利于土壤参数的预测建模。但在具体运算过程中,外积融合的光谱变量是单一光谱变量的几百倍,建模计算所消耗的时间也相对增加。
3 结 论
本文基于LS-SVM算法对比了XRF和Vis-NIR单一光谱模型及其等权融合模型、累加融合模型、外积融合模型的预测能力,结果显示外积融合模型的预测精度和模型稳定性最佳(R2=0.85,RMSEP=0.06,RPD=2.41),符合土壤调查中对镉含量的预测要求。本研究为土壤重金属含量的调查,尤其是Cd、Hg类亚mg·kg-1级重金属含量的调查提供了借鉴方法,对开发土壤重金属分析仪具有重要意义。