中红外光谱信号去噪方法研究
2023-09-25赵媛杨萱蔓王星董建娥
赵媛 杨萱蔓 王星 董建娥
摘 要: 红外光谱已成为现代许多领域常用的工具。在中红外光谱信号的分析中,由于其包含噪声及各种外界干扰因素,导致信号分析的准确度降低。为减小误差,依次将滑动平均法、小波分析法、傅里叶变换法、SG平滑滤波器法、处理离群值法与HHT法依次运用到人工构造信号及绒柄牛肝菌中红外光谱的实际信号中去噪,通过比较其信噪比及均方根误差,选出较为优质的方法。实验结果表明,HHT法的信噪比为最大、均方根误差为最小,说明去噪效果最好。
关键词: 红外光谱; 去噪; HHT法; 信噪比; 均方根误差
中图分类号:TN919.4 文献标识码:A 文章编号:1006-8228(2023)09-142-05
Research on denoising method of mid-infrared spectral signal
Zhao Yuan1, Yang Xuanman1, Wang Xing1, Dong Jian'e2
(1. Faculty of Mathematics and Physics Southwest Forestry University, Kunming, Yunnan 650000, China;
2. School of Big Data and Intelligent Engineering Southwest Forestry University)
Abstract: Infrared spectrum has become a common tool in many modern fields. However, in the analysis of mid-infrared spectroscopy signal, the accuracy of signal analysis is reduced due to its inclusion of noise and various external interference factors. In order to reduce the error, the moving average method, wavelet analysis method, Fourier transform method, SG smoothing filter method, outlier processing method and HHT method are applied to the artificial signal and the actual signal of the mid-infrared spectrum of boletus velutipes, and the better method is selected by comparing its signal-to-noise ratio and root-mean-square error. The experimental results show that the HHT method has the largest signal-to-noise ratio and the smallest root-mean-square error, which shows that the denoising effect is the best.
Key words: infrared spectrum; denoising; HHT method; signal-to-noise ratio; root-mean-square error
0 引言
紅外光谱技术是九十年代以来发展最快,最引人注目的技术之一。在实际应用中,红外光谱技术具有灵敏度高,非接触、测量波段宽以及在线多组分实时检测的优点,因而广泛地应用于开放环境下的多组分挥发性污染物的实时在线监测[1]。红外光谱仪所采集到的光谱信号,除了包含自身信息外,在测量中还不可避免地得到来自温度、天气、光照以及仪器自身的噪声信号[2]。这些噪声种类多、来源广且随机性强,给有效光谱信号的提取和高浓度比背景下多种痕量重金属离子浓度的检测带来了极大的困难[3]。
如何降低噪声对信号的影响,国内外众多学者已对此进行了很多研究,总结出多种去噪方法及算法。本文主要针对其中六种去噪方法包括滑动平均法、小波分析法[4]、傅里叶变换法[5]、SG平滑滤波器法、处理离群值法与希尔伯特黄变换法对中红外光谱信号去噪,对比分析得出在这六种方法中最合适的去噪方法。
1 算法介绍
1.1 滑动平均法
滑动平均法(moving average)通常也称为移动平均法、移动平均值滤波法等,它主要是一种时间域思想上的信号光滑方法。算法的一般思路为:将该点附近的采样点做算数平均,然后将其值作为这个点光滑后的值,如图1所示。滑动平均法所用的窗口一般为对称窗口,防止出现相位偏差。窗口一般为奇数[6]。
我们以3点平均(窗口长度为3)为例,原数据为x(n-1)、x(n)、x(n+1),平滑平均后的数据为y:
[y(n)=13×[x(n-1)+x(n)+x(n+1)]] ⑴
1.2 小波分析法
“小波”就是小区域、长度有限、均值为0的波形。其在时域和频域均具有良好的局部化性质,能较好地处理时域和频域分辨率之间的冲突问题,从而有效地从光谱信号中提取有用信息[7]。小波去噪方法包括三个基本的步骤:先对含噪信号进行小波变换将其分解成不同小波系数;再对经变换得到的小波系数通过合适的阈值以去除其中包含的噪声;最后对处理后的小波系数进行小波逆变换,得到去噪后的信号。其流程可以用如图2所示。
该法计算过程简便,运算量较少,并且去噪效果明显。但在实际使用过程中仍存在着一些不足,常用的阈值去噪法中原始信号的恢复效果主要依赖于阈值的选取,如果阈值选取过大,就会消去信号的部分信息;阈值选取过小则会保留过多的噪声。因此在小波去噪法中阈值的选取是十分重要的内容。
1.3 傅里叶变换法
傅立叶变换是一种可逆变换,即它允许原始信号和变换过的信号之间互相转换。传统傅里叶的变换去噪过程简单来说是先将该信号进行傅里叶变换再进行低通滤波,最后再进行傅里叶逆变换。
傅里叶变换中,因为积分是从负无穷到正无穷,所以,积分在所有时间类都是有效的。因此,无论什么时候频率分量发生了改变都会全局性的影响最终积分的结果。所以,傅里叶变换不适合分析非平稳信号。此外傅里叶变换很难将有用信号的高频部分和由噪声引起的高频干扰有效地区分开。综上所述,傅里叶变换更适合于去除具有全局特性的噪声。
1.4 SG平滑滤波器法
SG平滑滤波是一种卷积滑动窗口加权平均算法,在滤除噪声时能够保证信号的形状、宽度不变,使得到的数据波形尽可能逼近原数据波形[8],广泛应用于数据平滑降噪。
设一个以x(i)为中心包含2M+1个数据点的窗口,构造一个p阶多项式q(n)拟合该数组[9],如下:
[qn=m=0Pamnm, -M≤n≤M,p≤2M+1] ⑵
其中,a0,a1,…,am为拟合系数。经过最小二乘拟合得到残差C:
[C=n=-MMqn-xn2=n=-MMm=0Pamnm-xn2] ⑶
当残差C最小时,滤波效果最佳。首先求得C最小时的多项式系数,得到拟合曲线;然后,取数据中心点处的拟合值作为滤波后的值;最后,通过移动窗口得到原数据的拟合点[10]。
首先选取五个点:依次为x[-2],x[-1],x[0],x[1],x[2],根據这五个点,构造一条二次抛物线f(i):
[f(i)=a20+a1∙i+a2∙i2] ⑷
这里i=-2,-1,0,1,2。要寻找最优的a0,a1,a2,使得最小二乘拟合最小。最小二乘拟合的函数E为:
[E=(f(i)-x(i))2]
[=(f(-2)-x(-2))2+(f(][-1)-x(-1))2]
[+(f(0)-x(0))2+(f(1)-][x(1))2+(f(2)-x(2))2] ⑸
最小二乘E最小,即使其导数等于0:
[∂E∂ap=0] ⑹
由此即可求得a0、a1和a2。对于无相位差的滤波,我们希望窗口是对称的。所以用五个点,去估计f(0)的值。因此只需要a0。由于
[f(0)=a0+a1∙0+a2∙0=a0] ⑺
可以得到结果:
[a0→135-3x-2+12x-1+17x0+12x[1]-3x[2]] ⑻
SG平滑滤波器可以在同一曲线上的任意位置选择不同的窗宽,以满足不同平滑滤波的需要。特别是在处理时序数据时,对于不同阶段的序列处理具有明显的优势。
1.5 处理离群值法
处理离群值法的方法有很多种类,本文主要以中位值法为例。其思想一般是将窗口内的数据取中位数作为输出结果,如图3所示。
其主要优点是,一般在数据采样点密集,且比较平滑的情况下,中位数法可以很好地剔除离群值。但它的缺点是不适用于噪声比较大的情况。经过中位值法处理后,极值点一般会丢失,造成数据严重失真。
1.6 HHT(希尔伯特黄变换法)
希尔伯特黄变换变换首先进行EMD(经验模态分解),再进行希尔伯特谱分析,其中经验模态分解(EMD)是将原始信号进行自适应分解,得到一系的固有模态函数(IMF)。EMD分解出一系列的从高频到低频只有一种频率的固有模态函数,然后对这些IMF进行处理,从而得到瞬时频率,最终将特征量绘制成时间-频率的关系曲线,此过程叫做希尔伯特谱分析。
在傅里叶变换的基础上,希尔伯特变换作为一种解析信号的手段,常用来分析信号的幅频特性和相频特性。
连续信号x(t)的希尔伯特变换[x(t)]定义如下:
[x(t)=1π-∞+∞x(τ)t-τdτ=1π-∞+∞x(t-τ)τ=x(t)*1πt] ⑼
滤波信号为[x(t)];滤波器的单位冲击响应[h(t)=1πt],*表示卷积,τ为积分变量,t为响应时间。
参照[jh(t)=j1πt]的傅里叶变换为[sgn(w)],(其中sgn(w)为符号函数)希尔伯特频率的瞬时响应为H(jw):
[Hjw=-jsgnw=-j, w>0j, w<0] ⑽
若记[H(iw)=|H(jw)|ejφw],其中[φ]为幅角,则
[φw=-π2, w>0π2, w<0][11] ⑾
2 实验与分析
2.1 人工构造信号实验
为了比较滑动平均法、小波分析法、傅里叶变换法、平滑滤波器法、处理离群值法与希尔伯特黄变换法这6种方法的去噪效果,将
[y=2×e-(x-22+4)2×abs(cos(x)-1.2)]
[f=y+0.05×randn(size(y))] ⑿
(x为任意实数,y为原信号,f为原信号叠加噪声)作为人工构造仿真信号,如图4所示,其中[0.05×randn(size(y))]为噪声部分。利用上述六种方法去噪,图5给出了经过六种方法去噪后的波形。
将原始曲线与滤波去噪后的曲线进行比较发现,经傅里叶变换法去噪的结果信号失真较明显,其余方法的信号大部分可以传输至收端。为了验证上述算法的有效性 ,引入信噪比作为评价指标。信噪比越大,算法去噪效果越好。输出信噪比的定义如下:
[SNR=10log10n=1N(y(n))2n=1N[y(n)-y(n)]2] ⒀
其中,n为采样点数,N为总采样点数,[y(n)]为含噪信号,[y(n)]为纯净信号。得出如表1所示。
表1表明数据经过傅里叶变换法去噪后的SNR为-33.0103,信噪比为负数,说明噪声功率大于有用信号功率,数据已经严重失真,说明其不适用于非平稳信号,此外,经希尔伯特黄变换法去噪后的SNR为22.7766,大于其他方法的SNR值,说明其去噪效果较好。
2.2 实测信号实验
在对光谱信号去噪实验中,所取的光谱信号为绒柄牛肝菌的中红外光谱,所有中红外光谱实验数据由傅立叶变换中红外光谱仪采集,满足朗伯比尔定律测量原理。
对于取得的数据,依次用滑动平均法、小波分析法、傅里叶变换法、平滑滤波器法、处理离群值法与希尔伯特黄变换法进行去噪。得到如图6所示的去噪结果。
图6中将原始曲线与滤波去噪后的曲线比较,可以发现经傅里叶变换法去噪的结果信号失真仍较明显,其余方法去噪效果较为类似。为了验证上述算法的有效性,我们仍然采用信噪比作为评价指标。
图7所示为通过不同方法进行光谱信号去噪处理后的SNR值对比图,从中可见希尔伯特黄变换法优于其他5种方法。其中滑动平均法,小波分析法,平滑滤波器法去噪效果相似,处理离群值法的信噪比较低,其原因是部分极值的数据被当作离群值删去,造成较大的误差,而傅里叶变换法的信噪比为负值,主要是因为其不适于非平稳信号以及含有高频信号的信号,导致信号严重失真。
为了进一步判断去噪方法的优劣性,引入RMSE(估计信号同原信号的均方根误差)来判断其余的方法。RMSE的计算值越小则表示去噪效果越好。RMSE的定义如下:
[RMSE=1Nn(f(n)-s(n))2] ⒁
其中,n为采样点数,N为总采样点数,[f(n)]为降噪后的信号,[s(n)]为纯净信号。得出如下表2:
由表2数据可知,希尔伯特黄变换的RMSE值为0.0445,相比其余方法的RMSE为最小值,说明此方法去噪效果优于其余方法。该方法适用于红外光谱的去噪。
3 结束语
本文提出了六种适应于中红外光谱的去噪算法。首先利用Matlab对人造信号进行去噪,再由Matlab对用傅立叶变换中红外光谱仪采集的绒柄牛肝菌的中红外光谱数据进行去噪,然后将SNR作为评价指标。实验结果显示,对于中红外光谱信号,经过希尔伯特黄变换法处理后的SNR值依次为22.7766、20.85,其结果优于其他五种方法,用RMSE进一步筛选优质性的去噪方法,结果显示,希尔伯特黄变换的RMSE为0.0445,小于其余方法,因此该方法适用于红外光谱数据的去噪。
参考文献(References):
[1] 洪锋,鲁昌华,刘茹茹,等.基于递推最小二乘和扩展卡尔曼滤波的开放光路红外光谱去噪[J].池州学院学报,2019,33(3):40-43.
[2] 翟哲,李伟凯,李长凯,等.EMD在叶绿素光谱信号去噪中的应用[J].江苏农业科学,2015,43(4):392-396.
[3] 郑国梁,朱红求,李勇刚.改进LMS的光谱信号去噪算法[J].光譜学与光谱分析,2020,40(2):643-649.
[4] 武剑.小波分析的阈值去噪方法研究[J].电子测试,2022(3):84-85.
[5] 刘庆杰,蔺启忠,王钦军,等.基于连续统快速傅里叶变换的红外光谱处理技术[J].光谱学与光谱分析,2009,29(12):3279-3282.
[6] 牟志鹏,蒋陵平,王琳.基于单点激光的螺旋桨叶片型面测量及轮廓处理[J].新型工业化,2022,12(1):186-190.
[7] 章志涛,丁芳,罗宇,等.小波阈值去噪在偏滤器光谱信号处理中的应用[J].量子电子学报,2022,39(3):307-315.
[8] 位秀雷,刘树勇.多级奇异值分解和SG的通信雷达信号降噪方法[J].武汉理工大学学报(交通科学与工程版),2020,44(4):658-662.
[9] Gorry P A. General least-squares smoothing anddifferentiation by the convolution (Savitzky-Golay) method[J]. Analytical Chemistry,1990,62(6):570-573.
[10] 孙波,王新志,陈发源,等.利用SG平滑滤波优化GNSS-R潮位反演[J].南京信息工程大学学报(自然科学版),2022(12):1-16.
[11] 宋重霄.基于HHT和APSO-RBF的电压暂降检测与定位方法研究[D].辽宁:辽宁工程技术大学,2021.