基于紫外可见吸收光谱的水质检测算法研究

林春伟 郭永洪 何金龙

摘要：为实时有效地检测地表水中硝酸根离子和亚硝酸根离子的变化过程，提出一种基于紫外可见吸收光谱的水质检测算法。针对水质光谱数据受到干扰易出现波动误差的问题，采用小波变换对其进行分解以滤除高频噪声，并通过主成分分析对数据特征进行降维以防止模型复杂度较高导致过拟合。水质光谱数据经预处理后采用支持向量机对其进行建模，通过非线性自适应调整变异收缩因子对差分进化算法进行改进，并采用改进差分进化算法对水质预测模型进行参数优化。通过与采用其他常用算法所建模型进行对比分析，实验结果表明：基于该算法所建的硝酸根离子和亚硝酸根离子模型具有更高的预测精度，且其能够以更快的收敛速度使模型达到全局最优。

关键词：水质检测;光谱分析;支持向量机;改进差分进化算法;小波变换;主成分分析

中图分类号：TP391 文献标志码：A 文章编号：1674-5124（2019）05-0079-06

收稿日期：2018-09-06;收到修改稿日期：2018-11-09

基金项目：浙江省自然科学基金（Y14F010075）

作者简介：林春伟（1994-），男，河南鹤壁市人，硕士研究生，专业方向为检测技术。

0 引言

传统水质检测常采用化学法通过人工采集水样进行实验分析，随着物联网技术的快速发展，能够实时有效检测整个水质变化过程的水质在线监测系统已成为该领域的重要发展趋势[1]。化学法虽然分析精度较高，但由于其操作复杂且测量周期长而难以实现水质在线监测。紫外可见吸收光谱法则通过对标准水样的吸收光谱进行分析建模，无需添加化学试剂即可直接测定水样中各组分浓度，具有检测速度快和无二次污染等优点，故该方法广泛应用于水质在线监测系统研究中[2]。

基于紫外可见吸收光谱进行水质检测的关键在于光谱数据的建模与优化。当水样中各组分浓度较低时，根据朗伯比尔定律其浓度与吸光度呈线性关系，此时通常采用多元线性回归[3]或偏最小二乘法[4]对光谱数据进行建模;但当水样中各组分浓度较高时，各吸光粒子距离变小导致其电荷分布相互影响，故水样中各组分浓度与吸光度呈非线性关系，此时通常采用神经网络[5]或支持向量机（SVM）[6]对光谱数据进行建模。在地表水质检测的应用研究中，由于水样中各组分浓度变化范围较大，故通常采用非线性建模算法对光谱数据进行处理。其中，神经网络虽然具有强大的非线性拟合能力，但其存在学习速度慢、易陷入局部最优和调参复杂等问题;而支持向量机基于统计学习理论具有更强的泛化能力，且其需要优化的参数也相对较少，故支持向量机在光谱分析领域具有极为广泛的应用[7]。在模型参数优化方面Huo等[8]和Wang等[9]分别采用遗传算法和粒子群算法优化支持向量机建立水质预测模型，通过实验分析均得出了其相对于BP神经网络具有更高预测精度的结论。而差分进化算法虽然在水质预测模型优化方面应用较少，但Civicioglu等[10]通过标准测试函数对上述3种优化算法进行了对比分析，实验结果表明在收敛速度方面差分进化算法表现更优。

为使水质预测模型具有较高的预测精度和收敛速度，本文采用差分进化算法优化支持向量机对光谱数据进行建模。为防止模型陷入局部最优并进一步提高其收敛速度，通过非线性与自适应调整变异缩放因子相结合的策略对差分进化算法进行改进。由于光谱数据大多带有扰动噪声，且高维特征会增加模型复杂度从而导致过拟合，故本文在对光谱数据进行建模优化之前，分别采用小波变换和主成分分析对其进行去噪和降维以进一步提高模型的预测精度。

1 数据采集与预处理

1.1 数据采集

虽然物质对光的吸收具有选择性，但其吸收光谱是带状光谱而非单一的特征谱线，因此水样中各组分吸收光谱会存在相互重叠和干扰的问题。本文根据《地表水环境质量标准》所述，选取硝酸根离子、亚硝酸根离子和氯离子作为实验对象采集数据，以上3种离子在3类及以上地表水中的浓度检测限值分别为10mg/L、1mg/L、250mg/L0其中，硝酸根离子和亚硝酸根离子是引起水体富营养化的主要离子，而氯离子是地表水中含量最多的离子之一，且上述3种离子的吸光波段均有重叠，故将硝酸根离子和亚硝酸根离子作为检测的目标离子，而氯离子作为检测的干扰离子。

由于钠离子吸收光谱与上述3种离子均不重叠，故以硝酸钠（分析纯）、亚硝酸钠（分析纯）、氯化钠（分析纯）和去离子水作为实验材料。硝酸根离子、亚硝酸根离子和氯离子的浓度梯度分别设置为1mg/L、0.1mg/L、25mg/L，根据此浓度梯度配制以上3种离子的单组分标准液与多组分混合液，使用紫外可见分光光度计（UV2550）对其进行光谱扫描。其中，单组分标准液的吸收光谱主要用于研究各离子吸光特性;根据正交试验设计配制的100种多组分混合液的吸收光譜作为模型训练样本，另配制与训练样本水样中各离子浓度配比不同的30种多组分混合液的吸收光谱作为模型测试样本。当水样中硝酸根离子、亚硝酸根离子和氯离子浓度分别为6mg/L、1mg/L、100mg/L时，以上3种离子单组分标准液和多组分混合液的吸收光谱如图1所示。

1.2 数据预处理

1.2.1 光谱去噪

在使用紫外可见分光光度计进行光谱扫描的过程中会由于机械抖动使数据产生一定误差，且由图1可知，水样中各组分吸光度越大，由于仪器检测范围和精度等原因造成其数据波动程度越剧烈。小波变换是一种时间窗和频率窗均可改变的信号分析方法，其通过小波函数的伸缩和平移变换对信号进行多尺度细化分析，可以聚焦到信号的任意局部特征[11]。为减小实验误差对水质预测模型的影响，本文采用小波变换对光谱数据进行分解以滤除高频噪声。光谱数据经小波变换处理前后对比如图2所示。

1.2.2 特征降维

水样中各组分吸收光谱相互重叠和干扰的情况造成有时无法使用吸收峰波进行建模，且单一谱线无法全面反映吸光物质的特征信息，故通常对全光谱数据提取特征波段进行建模。较高的特征维数会增加模型复杂度导致其过拟合，而主成分分析将数据进行正交变换，通过少数几个主成分尽可能多的保留原始变量信息，不但可以降低数据特征的维数，还可以减少冗余信息对模型的影响yz7。硝酸根离子和亚硝酸根离子的吸光波段均集中在190～250nm，而氯离子的吸光波段则集中在190210nmo对于硝酸根离子，为减小氯离子对其吸光特性的影响，选取216～235nm作为特征波段，对以上20维数据运用主成分分析进行降维，选取前3个主成分作为模型输入变量，其累计解释方差总和为99.9%。对于亚硝酸根离子，由于其在浓度检测范围内吸光度较小，从而导致其在多组分吸收光谱中的特征信息被硝酸根离子完全覆盖，为减小硝酸根离子对其吸光特性的影响，直接选取吸收峰波210nm作为特征波长，并选取220nm和230nm作为补偿波长，以上3个维度即为模型输入变量。

2 算法理论

2.1 支持向量机

支持向量机是一种基于统计学习理论和结构风险最小化原理的监督学习算法，其基本模型是定义在特征空间上间隔最大的线性分类器，当引入核函数将数据非线性映射到高维空间之后，支持向量机也可用于非线性分类[13]。除此之外，支持向量机也可用于解决回归问题，其基本思想都是通过间隔最大化学习得到最优超平面：f（x）=w.x+b。

支持向量机解决回归问题根据模型输出f（x_i）与真实值y_i之间的差别来计算损失，其允许f（x_i）与y_i之间最多有ε的偏差，仅当f（x_i）-y_i>ε时才计算损失，当引入松弛变量ζ⁺，ξ^-后，其优化问题为：

S.t.f（x_i）-y_i≤ε+ξ_i⁺，（1）

f（x_i）-y_i≤ε+ξ_i^-，

ξ_i⁺≥0，i=1，2，…，N

当引入拉格朗日乘子α⁺，α^-后，根据拉格朗日对偶性，原始问题转化为求解α⁺，α^-的凸二次规划问题，其最终优化问题为：

若求解以上问题得到最终解为α⁺=（α₁⁺，α₂⁺，…，α_N⁺），α^-（α₁^-，α₂^-，…，α_N^-），则有：

若通过引入核函数解决非线性问题，则上式可以表示为：

2.2 差分进化算法及改进

差分进化算法（DE）是一种基于群体差异的并行优化算法，该算法与遗传算法（GA）类似，都包括变异、交叉和选择等操作，而粒子群算法（PSO）是通过模仿生物个体间竞争与合作的启发式群体智能来进行优化搜索[14]。差分进化算法通过差分策略实现个体变异，这也是区别于遗传算法的重要标志，该算法具体实现流程如下：

1）种群初始化，在解空间中随机均匀地产生m个个体作为第0代种群，其中每个个体包含n个变量，标记为：

X_i（0）=[x_i，1（0），x_i，2（0），…，x_i，n（0）]，i=1，2，…，m（5）

2）变异，在第k次迭代中，从种群中随机选择3个个体X_j1（k），X_j2（k），X_j3（k），且j1≠j2≠j3≠i，则其变异规则为：

H_i（k）=X_j1（k）+F·（X_j2（k）-X_j3（k）），i=1，2，…，m（6）其中，X_j2（k）-X_j3（k）为差分向量，F为变异缩放因子，用于控制差分向量的影响力。

3）交叉，在[0，1]区间内产生m个随机数，确定交叉概率因子CR，其交叉方法如下：其中，CR∈[0，1]，rand（0，1）是[0，1]区间上服从均匀分布的随机数。

4）选择，根据适应度函数选择V_i（k）或X_i（k）作为X_i（k+1），其选择方法如下：

5）判断算法是否达到终止条件。若是，将最佳个体作为最优解输出;若否，则转至步骤2）进行第k+1次迭代。

差分进化算法通过差分策略实现个体变异，变异收缩因子F主要用于控制差分向量對变异个体的影响力，F值较大时可以通过增加个体间差异提升种群多样性使算法达到全局最优;F值较小时可以增强个体的局部开发能力并加快其收敛速度，故针对差分进化算法的改进一般采取非线性递减变异收缩因子的策略。但该改进策略还存在一定问题，比如当算法前期没有搜索到较优的解，后期减小F值会使算法陷入局部最优;而对于适应度值较高的个体，算法前期较大的F值也会影响其收敛速度。

针对以上问题，本文提出一种基于非线性递减与自适应调整变异收缩因子相结合的改进差分进化算法（IDE）。改进后的差分进化算法在每一次迭代后计算种群本代个体适应度值的平均值，当个体适应度值小于种群平均适应度值时，基础F值通过加上非线性变化因子以增强算法的全局搜索能力;当个体适应度值大于种群平均适应度值时，基础F值通过减去非线性变化因子以增强算法的局部开发能力。改进差分进化算法中F值的具体调整方法如下：其中，T为最大迭代次数，t为当前迭代次数，f_i为种群中第i个个体的适应度值，f为种群平均适应度值，F_max为最大变异收缩因子，F_min为最小变异收缩因子。

改进后的差分进化算法可以根据个体适应度值动态调整变异收缩因子，对于种群中较优个体可以加快其收敛速度，而对于种群中较差个体可以通过扩大搜索范围防止其陷入局部最优。

3 实验与分析

基于紫外可见吸收光谱构建水质预测模型主要使用紫外可见分光光度计采集标准水样的光谱数据，采用小波变换对光谱数据进行分解去噪以减小数据误差的影响，并对水样中各组分进行特征降维以确定模型输入变量，通过以上数据预处理操作之后，构建基于支持向量机的水质预测模型，并使用改进差分进化算法对模型进行参数优化以使其达到最优。水质预测模型架构如图3所示。

若水樣中各组分吸光波段相互重叠，当水样中各组分浓度较高时，多组分吸收光谱中各波长的吸光度即为各组分在该波长的吸光度的非线性叠加，故本文选取高斯核函数作为支持向量机的核函数。由于经过特征降维后硝酸根离子和亚硝酸根离子的输入变量不同，故采用支持向量机对两种目标离子分别进行建模，并采用改进差分进化算法对模型进行参数优化，支持向量机中待优化的参数分别为惩罚系数C与核参数γ。为防止模型过拟合造成预测性能下降，限定惩罚系数C与核参数γ的搜索范围为（0，1000）。设置改进差分进化算法中种群个体数为20，交叉概率CR为0.3，最大变异收缩因子F_max为0.9，最小变异收缩因子F_min为0.1。选取拟合优度R₂作为评估模型好坏的适应度函数。

为测试本文基于IDE-SVM算法所建模型的预测精度与学习速度，设定模型训练的最大迭代次数为100，选取模型训练时间t、模型分别在训练样本和测试样本上的拟合优度R₂与均方根误差RMSE等作为性能指标，并分别与基于DE-SVM、PSO-SVM和GA-SVM算法所建模型在相同种群个体数和迭代次数下的性能指标作对比分析。其中，差分进化算法中交叉概率CR为0.3，变异收缩因子F为0.5;粒子群算法中学习因子w为2，惯性权重c为1;遗传算法中交叉概率PC为0.8，变异概率Pm为0.2。本文测试环境为：Intel i5-6300HQ CPU 2.30GHz，RAM 8 GB，Pycharm5.0.3。硝酸根离子和亚硝酸根离子分别基于4种算法所建模型的最优参数和性能指标对比如表1和表2所示。

硝酸根离子由于在浓度检测范围内吸光度较大，故其在多组分吸收光谱中的特征信息比较明显;而亚硝酸根离子由于其在多组分吸收光谱中的特征信息被硝酸根离子覆盖，故针对其所建模型的预测精度会受到一定影响。由表1和表2可知，针对以上两种目标离子分别基于4种算法所建模型在训练样本上均能取得较高的预测精度，但相比之下基于IDE-SVM算法所建模型的预测精度最高，且其在测试样本上R²值最大、RMSE值最小，故该模型相对于其他3种模型具有更强的泛化能力;而在相同的学习迭代次数下，由于改进差分进化算法相对于原算法只是在变异收缩因子的选取方式上有所不同，故分别基于以上两种算法所建模型的训练运行时间基本一致，但其相对于粒子群算法和遗传算法的模型训练运行时间明显较短。

模型训练运行时间较短只能说明本文所提的改进差分进化算法在每次迭代中的解更新速度较快，而判定优化算法优劣的标准主要是其搜索最优解的收敛速度以及所得解是否是全局最优。为测试本文所采用优化算法的收敛速度，硝酸根离子和亚硝酸根离子分别基于4种算法训练模型的收敛性能对比如图4和图5所示。其中，为方便观察各算法的收敛变化情况，将图中纵轴设置为对数坐标轴，并选取1-R²作为新的适应度值。由图4和图5可知，基于IDE-SVM算法所建模型搜索到最优解所需的迭代次数最少，且其所得解相对于其他3种算法最优，故本文所提改进差分进化算法具有更快的收敛速度且能防止算法陷入局部最优。

4 结束语

本文针对水质在线监测系统能够对水质进行实时有效连续检测的性能要求，提出一种基于紫外可见吸收光谱的水质检测算法。该算法通过小波变换和主成分分析对水质光谱数据进行去噪和降维，采用支持向量机对预处理后的数据进行建模，并采用改进差分进化算法对模型进行参数优化。通过实验对比分析可以得出以下结论：本文基于IDE-SVM算法所建模型具有更高的预测精度，且通过非线性自适应调整变异收缩因子对差分进化算法进行改进能够显著加快其收敛速度并防止算法陷入局部最优。由于本文所建模型在测试样本上的预测精度较高，可能存在训练样本和测试样本的相似度较高造成数据冗余的问题，故解决数据的冗余性问题将成为本文后续工作的重点。

参考文献

[1]ADU-MANU KS，TAPPARELLO C，HEINZELMAN W，etal.Water quality monitoring using wireless sensor networks：current trends and future research directions[J].ACMTransactions on Sensor Networks，2017，13（1）：1-41.

[2]STOREY M V，VAN DER GAAG B，BURNS B P.Advancesin on-line drinking water quality monitoring and early warningsystems[J].Water Research，2011，45（2）：741-747.

[3]JIAO L，DONG D，ZHENG W.Determination of thiophanate-methyl using UV absorption spectra based on multiple linearregression[J].Optik，2014，125（1）：183-185.

[4]SKOU P B，BERG T A，AUNSBJERG S D，et al.Monitoringprocess water quality using near infrared spectroscopy andpartial least squares regression with prediction uncertaintyestimation[J].Applied Spectroscopy，2017，71（3）：410-421.

[5]OZBALCI B，BOYACI IH，TOPCU A，et al.Rapid analysis ofsugars in honey by processing Raman spectrum usingchemometric methods and artificial neural networks[J].FoodChemistry，2013，136（3-4）：1444-1452.

[6]DEVOS O，RUCKEBUSCH C，DURAN]）A，et al.Supportvector machines（SVM）in near infrared（NIR）spectroscopy：Focus on parameters optimization and model interpreta-tion[J].Chemometrics and Intelligent Laboratory Systems，2009，96（1）：27-33.

[7]曾甜玲，温志渝，温中泉，等.基于紫外光谱分析的水质监测技术研究进展[J].光谱学与光谱分析，2013，33（4）：1098-1103.

[8]HUO A D，ZHANG J，QIAO C L，et al.Multispectral remotesensing inversion for city landscape water eutrophicationbased on genetic algorithm-support vector machine[J].WaterQuality Research Journal of Canada，2014，49（3）：285-293.

[9]WANG X，LU J K，XIE D T.A hybrid approach of supportvector machine with particle swarm optimization for waterquality prediction[J].International Conference on ComputerScience and Education，2010，31（7）：1158-1163.

[10]CIVICIOGLU P，BESDOK E.A conceptual comparison of theCuckoo-search，particle swarm optimization，differentialevolution and artificial bee colony algorithms[J].ArtificialIntelligence Review，2013，39（4）：315-346.

[11]汤斌，魏彪，毛本将，等.紫外-可见吸收光谱法水质检测系统的噪声分析与处理研究[J].激光与光电子学进展，2014，51（4）：1-7.

[12]陈扬，张太宁，郭澎，等.基于主成分分析的复杂光谱定量分析方法的研究[J].光学学报，2009，29（5）：1285-1291.

[13]CHANG CC，LIN C J.LIBSVM：A library for support vectormachines[J].ACM Transactions on Intelligent Systems andTechnology，2011，2（3）：1-27.

[14]曹飛凤，许月萍.基于改进差分进化算法的水文模型参数多目标优选研究[J].系统工程理论与实践，2014，34（12）：3268-3273.

（编辑：刘杨）