小波变换在NIR定量模型中的应用

陈 昭林兆洲吴志生乔延江

（1福建中医药大学，福州，350108；2北京中医药大学，北京，100102；3国家中医药管理局中药信息工程重点研究室，北京；100102）

小波变换在NIR定量模型中的应用

陈 昭1，3林兆洲2，3吴志生2，3乔延江2，3

（1福建中医药大学，福州，350108；2北京中医药大学，北京，100102；3国家中医药管理局中药信息工程重点研究室，北京；100102）

本文基于小波变换在近红外（NIR）定量模型中的作用：降噪、消除背景干扰，数据压缩和变量筛选，结合化学计量学在近红外建模中的应用，综述了近10年来小波变换在近红外定量模型中的应用概况。随着近红外分析技术的不断发展和完善，小波变换将会发挥它的优势，为NIR定量模型建立与应用提供支撑。

小波变换；近红外光谱（NIR）；化学计量学；变量筛选；降噪

1 引言

近红外光谱（Near Infrared Spectroscopy，NIR）分析技术是近年来分析化学领域的分析技术之一。随着化学计量学、计算机科学、数学等多学科的发展，人们对近红外分析技术进行着更加深入的研究，而小波变换因其在近红外光谱定量模型中对光谱预处理所起的作用也越来越受到人们的关注。

小波变换的概念最先是由法国的工程师J.Morlet在1974年提出的，并建立了反演公式，但当时未能得到数学家们的认可。直到1986年著名数学家Y.Meyer偶然构造出一个真正的小波基，并与S.Mallat合作建立了构造小波基的统一方法——多尺度分析之后，小波分析才开始蓬勃发展起来。这种小波基函数是一类满足一定条件的函数族，它的发现为后来许多小波基的出现奠定了基础。

近红外光谱数据的预处理对提高其定量模型的稳健性起着非常重要的作用［1］。小波变换用于近红外光谱有效信息的提取，背景干扰的消除，以提高近红外模型的精度和稳健性；小波变换还可以用于数据的压缩，减少数据存储空间。

2 小波变换的简介及其参数

2.1 小波变换简介 小波变换解决了傅立叶变换不能处理的非平稳信号难题。中医关于气虚和阴虚的研究［2］，采用小波分解的方法对患者瞬时的、非平稳声信号进行分析，建立WPT-SampEn-SVM模型，对气虚、阴虚和健康人进行区分。虽然短时傅立叶变换采用窗口函数能对非平稳信号进行分析，但是它的窗口函数是固定的，不能精确获得时频信息。小波变换的窗口不仅可以移动，还可以进行伸缩，实现了多分辨率分析和时间——尺度分析，它能同时提供时域和频域信息。小波变换的实质就是小波函数与信号做内积。下式是信号的小波变换表达式［3］：

其中：a为尺度参数，用于控制伸缩；b为平移参数，用于控制位置；φ（t）为小波母函数。小波分析是用母小波通过移位和缩放后得到的一系列小波表示一个信号。根据尺度和位移的变化，小波变换可以分为：

1）连续小波变换：尺度和位移均作连续变换，它通常是用来将连续时间的函数分解成小波，函数在小波基下展开，意味着将一个时间函数投影到二维的时间-尺度相平面上。

3）二进小波变换：将尺度作二进离散，即a0＝2，b0＝1，则离散后的小波变换可以表示为：

2.2 小波变换中参数设置与检验

2.2.1 小波变换中参数设置 小波变换除了上面说的两个参数外，还有小波系数、分解水平、母函数等。这些参数的选取会直接影响到小波变换对光谱的预处理，进而影响到建模的准确性和稳健性。表1列举了油菜籽［4］、化工中的油页岩含油率的检测［5］、人脸识别［6］、农作物杂草识别［7］、片剂活性成分含量均匀度［8］等研究中运用小波变换时的参数选择。

表1 几种不同参数设定的近红外模型

图1 三层分解

小波系数是对给定信号进行小波变换，将信号表示为一系列不同尺度和不同时移的小波函数的线性组合，其中每一项的系数称为小波系数，它表征了小波基函数与原信号相似程度。分解水平是对信号的多层级分解，如图1.三层分解，可表示为S＝cA1+cD1+cA2+cD2+cA3+cD3。

把分解的系数还原成原始信号的过程叫做小波重构（wavelet reconstruction）或合成，数学上叫做逆离散小波变换（inverse discrete wavelet transform，IDWT）。

图1中，选择不同层级的去噪信号，可以达到不同程度的滤噪目的。近来，基于小波变换的小波系数建立特征空间的分类模型比原始特征的模型具有更高的分类正确率［9］。在建立汽油校正模型时，将小波空间用作模式识别的特征空间，它具有时频全局分析特点，再加之神经网络自学习的特点，小波神经元网络（WNN）相比于多层感知器（MLP），所建的模型更有效、更稳健［10］。

运用小波变换对光谱进行预处理时，对于同一水平的参数设置，采用不同的算法会有不同的建模结果。利用近红外／中红外光谱对柴油、汽油、玉米和小麦建模［11］，小波变换的3个参数（母函数、滤波器长度、分解水平）设置对最小二乘和逐步回归的结果产生影响，而且相比而言，后者对参数的设置敏感度更高。

2.2.2 小波变换中参数检验 在多组分系统研究中，通过相关系数的r检验［12］选择合适的小波系数作为一个组分的变量，这些变量和这个组分的浓度建立PLS模型，通过留一交叉验证法预测组分的个数。烟酸片快速无损定量分析［13］，采用小波变换-人工神经网络联合近红外漫反射光谱法，且与紫外光谱法所得结果做t检验，不存在显著性差异，适合于在线分析。

应用化学计量学算法建立的NIR定量模型时，参数的处理可以利用全局寻优的算法求得最优解或者选取规则，例如：试探法的Stein无偏风险阈值，最大最小准则阈值。总之，参数的设置应有利于建立更准确，更稳健的模型；参数的检验是基于统计方法对光谱数据的一种处理。

3 小波变换在NIR建模中的应用

3.1 小波变换用于降噪 在近红外建模中，小波变换一个重要作用是对原始光谱进行降噪、扣除背景干扰。降噪的原理是白噪声的小波变换系数模值与信号随分解尺度的变化不同，可对若干尺度上的小波系数设置阈值，保留有效信号所对应的小波系数，然后进行重构，则重构后的信号就是基于小波变换的消噪信号。用于消噪的方法有：小波分析模极大值消噪、阈值的小波分析去噪。在小波变换中，阈值处理方法有三种：强制消噪、默认阈值消噪、给定软／硬阈值消噪。而对阈值的选取是消噪过程中的关键。对脉冲信号采用最大似然估计，得到阈值准则，相比于正交小波变换中的软／硬阈值消噪，在均方差较小的情况下信噪比得以提高［14］。

其中，x0是阈值，x是小波变换后的小波系数，S是阈值选取后的小波系数，对选取的系数进行重构，得到去噪后的信号。在线预测新鲜猪肉的pH值［15］，采用离散小波变换对光谱进行去噪，软阈值比硬阈值光谱更平滑。

从信号分析的角度来看，在近红外光谱分析中将导数与小波变换结合可以有效消除光谱噪声，提高光谱分辨率和模型预测精度［16-17］。将光谱微分处理会引入一定的噪音，但是在辛烷值分析中［18］，经过小波去噪处理后信噪比增加，分析精度提高。测定烟草叶中绿原酸［19］时，相比于Savitzyk-Golay平滑和求导方法，连续小波变换有更高预测准确度。

在农业应用中，小波变换滤波技术可快速消除水果近红外光谱信号中的噪声［20］，并且建立的校正模型精度明显提高。除了小波变换降噪作用外，连续小波变换可用于消除烟草样品的仿真光谱和真实光谱中的背景［21］。近红外煤质水分的检测中［22］，采用小波分解重建算法对1300～2400nm光谱区间进行降噪及去基线预处理，对重建光谱进行偏最小二乘建模，显著提高了检测精度。

正交小波变换用于降噪的研究显示：正交小波变换的自适应语音消噪可以提高自适应语音消噪过程的收敛速率［23］。在神经系统诊断方面，非平稳信号眼电图（electrooculogram，EOG）的研究［24］，采用小波分析模拟噪音EOG信号，bior3.3小波降噪效果最好，其信噪比达36.5882dB。时伟等人［25］将小波变换、自适应算法和新拟牛顿算法相结合，得出一种区间离散正交小波变换域新拟牛顿LMS消噪算法，该算法具有较快的收敛速度和较强的消噪能力。

基于Daubechies复小波变换的多级自适应阈值和收缩算法，这种多水平并且独立于任何假设噪音模型的方法在对图像进行去噪处理后，复收缩结果比基于实阈值方法能去掉更多的噪音［26］。

小波变换与其他算法建模凸显出小波变换的优势。谷物四种成分近红外建模采用连续小波变换-支持向量回归模型，相比于偏最小二乘法和支持向量回归有更高的准确度［27］。这是由于经连续小波变换处理后的光谱消除了背景干扰、降低了噪音，提高了SVM模型稳定性。同样对谷物的研究中，将DWT与SVR方法结合，建立的DWT-SVR回归模型，不仅可以对线性数据进行回归，而且也可以对非线性数据进行回归［28］。

对于近红外光谱中信噪比低、噪声非均匀分布的弱信号，周洪成［29］提出奇异值最小二乘误差判定法进行有效奇异值选择，利用子空间重构信号，提取出的信号完整性更好，信噪比更高。

对消噪的效果评价，有研究分析了温室番茄叶绿素含量和响应光谱的变化趋势和相关关系［30］，引人平滑指数（SI）和时移指数（TSI）对小波去噪效果进行量化，从而实现自适应小波变换。引入参数主要是为了对小波变换的尺度进行选取，以获得最佳变换效果。

3.2 小波变换用于光谱数据压缩 由于近红外光谱数据变量之多，需要较大的存储空间，模型预测能力也会受到影响。所以，在不减少有效信息的同时，对光谱数据进行一定程度的压缩是必要的。

测定八种食用植物油及其混合物中α-亚麻酸和亚油酸中，先采用小波变换压缩全谱数据，UVE算法消去无关变量后作为选入变量建立PLS模型［31］，提高了预测效果。中药中的大黄正伪品［32］和复杂植物烟草片［33］的NIR光谱经小波变换压缩后，将光谱变量减少，提高了模型预测能力。Bart M.［34］等人构建内核格拉姆矩阵时，通过小波变换来压缩原始光谱，压缩率高达25%而没有明显影响校准模型的精度。

利用小波变换对光谱进行压缩处理，采用PDS算法消除不同仪器之间压缩数据的差异，最后利用经校正的压缩数据进行分析，实现模型传递［35］。

3.3 小波变换用于光谱变量筛选 小波变换对光谱数据进行变量筛选是从大量的光谱数据中提取有效信息，降低了模型复杂度，减少建模时间。朱大洲等人［36］基于小波变换提取多光程信息，显著缩短建模时间并简化模型。

目前，小波变换在变量筛选中主要基于小波的分解系数和小波包分解树。当然，面对大量的不同信息，我们要采取不同的小波基函数和合适的分解层数。

关于近红外光谱中变量筛选的方法有［37］：模拟退火算法（SA）、遗传算法（GA）、连续投影算法（SPA）等，而且不同算法有不同的应用，很难找到一种算法适合特定类型数据。在生物柴油／柴油混合物中生物柴油的含量研究中［38］，选取了连续投影算法（SPA）对可见近红外和近红外区光谱进行变量筛选。同样，Roman［39］等人对生物柴油燃料中密度、黏度和甲醇的浓度等性质进行建模预测，选用16种变量筛选算法，这些不同算法所建立的PLS回归模型的有效性不同。

大米直链淀粉含量的近红外光谱分析中，选择小波分解低频系数与原光谱数据的列相关系数R较大的波长组合作为建模谱区［40］，校正模型和预测效果都较好。食品检测方面，在分析奶粉中脂肪和蛋白质时，修正后的非信息变量消除法在小波包分解域中进行变量筛选［41］，以预测均方根误差（RMSEP）为评价指标，WPT-MUVE-PLS模型得到最少变量。

4 展望

小波变换因其三个主要作用与其它算法联合建模，经变换后的光谱数据又不会失掉有效信息，提高了模型的稳健性与准确性。小波变换在初始阶段对光谱进行滤噪，筛选变量或数据压缩，再联合各种优秀算法建立近红外光谱定量模型。而且模型的稳健性和准确性也有赖于这些算法对光谱数据的准确计算。对于模型传递问题，基于分段直接标准化算法结合小波变换［42］，在一定程度上可以减少仪器之间光谱的差异，有效提高模型准确度。

小波变换真正运用于实际虽然时间不长，但是其优秀的特点吸引着近红外技术分析的科研工作者。随着研究的不断深入，各种算法将广泛运用于近红外光谱定量建模中。运用化学计量学算法，近红外定量模型建立策略也渐出端倪，这样我们只要通过对光谱数据进行简单预处理并可知道选用何种建模的支路。

［1］田高友，袁洪福，刘慧颖，等.小波变换在近红外光谱分析中的应用进展［J］.光谱学与光谱分析，2003，23（6）：1111-1114.

［2］Jian-Jun Yan，Yi-Qin Wang，Rui Guo et al.Nonlinear Analysis of Auscultation Signals in TCM Using the Combination of Wavelet Packet Transform and Sample Entropy［J］.Evidence-based complementary and alternativemedicine，2012（9）：247012-247020.

［3］卢小泉，陈晶，周喜宾，等.化学计量学方法［M］.北京：科学出版社，2013.

［4］胡风云.小波变换与现代优化算法在近红外建模中的应用［D］.南京：南京林业大学，2009.

［5］李肃义，嵇艳鞠，刘伟宇，等.小波变换与神经网络融合法在油页岩近红外光谱分析中的应用［J］.光谱学与光谱分析，2013，33（4）：968 -971.

［6］Yuqing He，Guangqin Feng，Feihu Liu，et al.Near infrared face recognition based on wavelet transform and 2DPCA［A］.2010 International Conference on IntelligentComputing and Integrated Systems（ICISS）［C］.pages359-362，2010.

［7］朱登胜，潘家志，何勇，等，基于光谱和神经网络模型的作物与杂草识别方法研究［J］.光谱学与光谱分析，2008，28（5）：1102-1106.

［8］Pascal Chalus，Serge Walter，Michel Ulmschneidera et al.Combined wavelet transform-Artificial neural network use in tablet active content determination by near-infrared spectrocopy［J］.Analyticial Chimica Acta，2007，591（2）：219-224.

［9］Jahan B.Ghasemi；Z.Heidari；A.Jabbari，Toward a continuous wavelet transform-based search method for feature selection for classification of spectroscopic data［J］.Chemometrics and Intelligent Laboratory Systems，2013，127：185-194.

［10］Roman M.Balabin，Ravilya Z.Safieva，Ekaterina I.Lomakina et al. Wavelet neural network（WNN）approach for calibration model building based on gasoline near infrared（NIR）spectra［J］.Chemometrics and Intelligent Laboratory System，2008，93（1）：58-62.

［11］Luiz Alberto Pinto，Roberto K.H.Galvao，Mario Cesar U.Araujo et al. Influence of Wavelet Transform Settings on NIR and MIR Spectrometric Analyses of Diesel，Gasoline，Corn and Wheat［J］.Journal of the Brazilian Chemical Society，2011，22（1）：179-186.

［12］Chen-Bo Cai，Qing-Juan Han，Li-Juan Tang etal.Treating NIR data with orthogonal discretewavelet transform：predicting concentrations of amulti-component system through a small-scale calibration set［J］. Talanta，2008，77（2）：822-826.

［13］高鸿彬，相秉仁，李睿，等.小波变换-人工神经网络用于烟酸片的近红外快速、无损定量测定［J］.中国药科大学学报，2006，37（4）：326-329.

［14］张小丽.基于离散小波变换门限消噪法阈值确定的研究［J］.科技信息，2009（24）：433.

［15］Yitao Liao，Yuxia Fan，Fang Cheng.On-line prediction of pH values in fresh pork using visible／near-infrared spectroscopy with wavelet denoising and variable selectionmethods［J］.Journal of Food Engineering，2012，109：668-675.

［16］马毅，汪西原，雍慧.小波变换去噪应用于鲜枣糖度近红外光谱检测的研究［J］.计算机与应用化学，2011，28（03）：303-306.

［17］王学顺，戚大伟，黄安民，等.基于小波变换的木材近红外光谱去噪研究［J］.光谱学与光谱分析，2009，29（8）：2059-2062.

［18］田高友，袁福，褚小立，等.结合小波变换与微分法改善近红外光谱分析精度［J］.光谱学与光谱分析，2005，25（4）：516-520.

［19］Xueguang Shao，Yadong Zhuang.Determination of Chlorogenic acid in plant samples by using near-infrared spectroscopy with wavelet transform preprocessing［J］.Analytical Science，2004，20：451-454.

［20］应义斌，刘燕德，傅霞萍，等.基于小波变换的水果糖度近红外光谱检测研究［J］.光谱学与光谱分析，2006，26（1）：63-66.

［21］Chaoxiong Ma and Xueguang Shao，Continuous wavelet transform app lied to removing the fluctuating background in Near-Infrared spectra［J］.Journal of Chemistry Information and Computer Science，2004，44：907-911.

［22］贾浩，付强，韩婵娟，等.小波分解重建算法提高近红外煤质水分检测精度［J］.光谱学与光谱分析，2012，32（11）：3010-3013.

［23］任济生，任鹏，吉爱国，等.基于正交小波变换的自适应语音消噪改进方法［J］.信息与控制，2007，36（4）：501-505.

［24］Naga Rajesh A，Chandralingam S，Anjaneyulu T，Satyanarayana K.Denoising EOG Signal using Stationary Wavelet Transform［J］.Measurement Science Review，2012，12（2）：46-51.

［25］时伟，杏建军，陈建群，等.区间小波变换域的新拟牛顿LMS自适应消噪［J］.系统工程与电子技术，2011，33（12）：2762-2766，2781.

［26］A Khare，U STiwary，W Pedrycz et al.Multilevel adaptive thresholding and shrinkage technique for denoising using Daubechies comp lex wavelet transform［J］.The Imaging Science Journal，2010，58：340-358.

［27］LIU Jie-fang，GAOPu-mei，HOU Zhen-yu et al.CWT-SVRmodel and its application in NIR analysis of corn［J］，Journal of Dongguan university of technology，2008，15（5）：61-65.

［28］侯振雨，汤长青，姚树文，等.离散小波变换-支持向量回归方法及其在谷物分析中的应用［J］.河南农业科学，2006（8）：40-42.

［29］周洪成.基于奇异值的小波变换微弱信号消噪法［J］.兵工自动化，2013（8）：64-67.

［30］丁永军，李民赞，郑立华，等.基于近红外光谱小波变换的温室番茄叶绿素含量预测［J］.光谱学与光谱分析，2011，31（11）：2936-2939.

［31］Di Wu，Xiaojing Chen，Pinyan Shi，et al.Determination ofα-linolenic acid and linoleic acid in edible oils using near-infrared spectroscopy improved by wavelet transform and uninformative variable elimination［J］. Analytica Chimica Acta，2009，634：166-171.

［32］汤彦丰，侯占忠，王志宝，等.中草药大黄小波变换的近红外光谱的聚类分析［J］.安徽农业科学，2012，30：14726-14727，14747.

［33］Shao，XG；Wang，F；Chen，D；et al.A method for near-infrared spectral calibration of complex plant sampleswith wavelet transform and elimination of uninformative variables［J］.Analytical and Bioanalytical Chemistry，2004，378（5）：1382-1387.

［34］Bart M.Nicolai，Karen I.Theron，Jeroen Lammertyn et al.Kernel PLS regression on wavelet transformed NIR spectra for prediction of sugar content of apple［J］.Chemometrics and Intelligent Laboratory System，2007， 85（2）：243-252.

［35］田高友，褚小立，袁洪福，等.小波变换-分段直接校正法用于近红外光谱模型传递研究［J］.分析化学，2006，34（7）：927-932.

［36］朱大洲，籍保平，史波林，等.基于小波变换的苹果汁多光程近红外光谱信息提取研究［J］.红外与毫米波学报，2009，28（5）：371-375.

［37］Zou Xiaobo，Zhao Jiewen，Malcolm J.W.Povey et al.Variables selection methods in near-infrared spectroscopy［J］.Analytica Chimica Acta，2010，667：14-32.

［38］David Douglas Sousa Fernandes，Adriano A.Gomes，Gean Bezerra da Costa et al.Determination of biodiesel content in biodiesel／diesel blends using NIR and visible spectroscopy with variable selection［J］.Talanta，2011，87：30-34.

［39］Roman M.Balabin，Sergey V.Smirnov.Variable selection in near-infrared spectroscopy：Benchmarking of feature selection methods on biodiesel data［J］.Analytica Chimica Acta，2011，692：63-72.

［40］张巧杰，张军.基于小波变换的大米直链淀粉波长选择方法［J］.农业机械学报，2010，41（2）：138-142.

［41］Xiaojing Chen，DiWu，Yong He，et al.An Integration of Modified Uninformative Variable Elimination and Wavelet Packet Transform for Variable Selection［J］.Spectroscopy，2011，26（4）：42-47.

［42］Ju Xiang Wang，Zhi Na Xing，and Jun Qu.NIR Model Transfer Based on Wavelet Transform Algorithms［J］.Spectroscopy，2013，28（6）：36-41.

（2013-11-18收稿）

W avelet T ransform in the App lication of NIR Quantitative M odel

Chen Zhao1，3，Lin Zhaozhou2，3，Wu Zhisheng2，3，Qiao Yanjiang2，3
（1 Fujian University of Traditional Chinese Medicine，Fuzhou 350108，China；2 Beijing University of Chinese Medicine，Beijing 100102，China；3 Key Laboratory of TCM-information Engineering of State Administration of TCM，Beijing，100102，China）

This article is based on the effects of wavelet transform in the near infrared（NIR）quantitativemodel：denoising，eliminating background interference，data compression and variable selection，with chemometrics being applied in the near infrared model，it reviewed，in the past10 years，thewavelet transform in near infrared quantitativemodel for applications.With NIR technology continuing to evolve and improve，the wavelet transform will take its advantages to supportmodeling and applications.

Wavelet transform；Near infrared Spectroscopy（NIR）；Chemometrics；Variable selection；Denoising

10.3969／j.issn.1673-7202.2013.11.003

国家自然科学基金项目（编号：81303218）；2013省部级中药基础与新药研究重点实验室开放课题资助

乔延江，教授，博士生导师，Tel：010-84738661，E-mail：yjqiao＠263.net

陈昭，硕士在读，主要研究方向为中药信息学，Tel：010-84738650，E-mail：chester1988＠163.com