基于自适应加权的多传感器实时数据特征值提取

全恩懋,秦小平,许宏科,孙中洋

(1.重庆水利电力职业技术学院 市政工程学院,重庆 402160;2.长安大学 电子与控制工程学院,西安 710064;3.招商局重庆公路工程检测中心有限公司,重庆 400067)

0 引 言

目前,长期监测系统在交通、环境、水利、土木工程等诸多领域都得到了大量应用和发展。监测系统采用高频率的实时采集方式能获得监测对象的大数据信息,并且同一位置同一指标通常设置有2个以上的传感器,因此,监测数据结果为多传感器实时大数据。为反映监测对象的工作状态,通常需要将监测数据融合为一个代表值,称为数据特征值。该融合过程称为数据特征值的提取。文献[1]提出了多传感器加权数据状态估计的方法,考虑了传感器精度,减小了数据偏差;文献[2]基于线性最小方差最优融合准则,提出了一种加权融合鲁棒增量Kalman滤波算法;文献[3]利用动态贝叶斯原理,建立贝叶斯数学模型,对数据测试段进推理估计,处理数据异常;文献[4]针对水质监测无线传感网络数据的高精度要求,提出了一种基于支持度函数的数据融合算法,通过对各传感器数据进行一致性检测,采用改进的动态时间弯曲距离对支持度函数进行优化,并采用加权算法完成数据融合,实现了错误数据的校正,获得了高质量融合数据;文献[5]采用grubbs准则检验实测数据,基于传感器自身精度的固定方差和传感器测量时的实际方差,提出了一种优化的自适应最优权值分配方法,实现了传感器数据的空间融合;文献[6]采用给定门限进行一致性检验,利用分批估计自适应加权技术实现了多传感器数据融合;文献[7]通过对实测数据的统计分析,提出了传感器工作状态的实际精度近似计算模型,并在此基础上对多传感器数据进行了自适应加权空间融合;文献[8]基于RSSI的无线传感器网络,提出了节点动态选择的数据融合方法;文献[9]利用分布图法剔除异常数据,通过计算各传感器间的置信距离得出传感器支持度,以支持度最高的传感器数据代替剔除数据进行自适应加权,实现了所有时刻的传感器数据空间融合;文献[10]在群集无线传感器网络中提出一种使用网络编码的自适应数据融合分析方法;文献[11]利用四分位离散度对异常值进行剔除,采用分批估计理论实现了单传感器数据的融合,将传感器支持度作为局部期望权重,将自适应权重作为局部方差权重,对二者加权平均得到综合权重,实现了多传感器数据的融合。可见,在众多的数据融合方法中,自适应加权融合理论因不需任何先验知识且融合结果精度较高等优点,得到广泛的研究和应用,其典型的应用场景:传感器作为频率固定数据源,通过现场采集设备、临时存储设备对数据进行收集,并通过现场通讯设备将数据发送至服务器终端,在终端上采用软件实现数据融合[12]。该场景与监测系统工作模式基本一致,故以自适应加权融合算法为基础探索监测数据特征值提取方法。

如前述文献,基于自适应加权的数据融方法已有一定研究成果,但针对长期监测数据,特别是土木工程监测系统,仍有改进的必要。首先,由于监测系统受工作环境、设备耐久性等因素的影响,监测数据不可避免会产生异常值。目前异常值检验方法主要包括grubbs准则检验[5]、门限法[6]、分布图法[9]、引入门限参数的分布图法[9]等。门限方法检验速度最快,但可靠性稍差,特别是门限参数采用主观设置时,缺乏理论依据;grubbs准则检验效果较好,但检验过程需查表,影响了检验速度;分布图法需先对数据序列进行排序且计算参数更多,检验速度较慢。因此,对于监测大数据,特别是长期数据,研究兼顾速度与精度的数据预处理方法,具有重要意义。再者,实际工程中的传感器本身可能存在精度差异,客观上应考虑传感器精度对数据融合结果的影响。针对以上问题,为实现监测数据的特征值提取,本文对传感器数据的预处理及时间维、空间维融合方法开展研究。

1 基于时-空融合的数据特征值提取过程

监测数据特征值提取的实质为传感器数据在时间维和空间维的融合,简称数据的时-空融合。数据特征值提取过程如图1所示。

图1 数据特征值提取过程Fig.1 Data feature extraction process

针对m个传感器时序数据段Di={di1,di2,…,din}(i=1,2,…,m),数据的时-空融合步骤如下。

2 基于3σ-grubbs检验的数据预处理

监测数据因为传感器精度、设备安装连接缺陷、周边环境影响、传输过程干扰等常出现一些数据孤立点,该类数据对正常数据的信息必然产生干扰,导致评估结果失真,特别是数据误差较大时,会导致提取的数据特征严重偏离真实值,甚至完全覆盖实际信息。这类孤立点数据称为异常数据,其带来的误差称为疏失误差。目前常用的异常数据剔除方法主要有莱特准则、3σ准则、分布图法以及grubbs准则等。

由于3σ准则的阈值具有很好的动态性[13],目前较多学者在监测数据处理中都采用3σ准则,其计算过程如下。

若编号为i的传感器某时段时序数据段为Di={di1,di2,…,din}(i=1,2,…,m),则Di的均值和标准差分别为

(1)

(2)

令阈值为

(3)

对超出阈值范围的数据进行剔除,对剩余数据再次计算阈值,迭代剔除异常数据,直到所有数据均满足准则要求。

3σ准则的阈值仅依赖样本数据本身,因此检验速度快,但3σ准则对全局孤立点异常数据较有效,对局部孤立点异常数据缺乏有效的检出率。而grubbs准则能很好地解决该问题,确保消除疏失误差的可靠性[14-15],其计算过程如下。

时序数据段Di={di1,di2,…,din}(i=1,2,…,m)是服从正态分布的数据集,根据顺序统计原理,可计算grubbs统计量的确切分布[16]。并定义

(4)

P[gij≥g0(n,β)]=β

(5)

gij

(6)

grubbs准则保证了异常数据剔除的有效性,但检验过程并非完全依靠样本数据本身,需进行查表,故检验速度较慢。

可见3σ准则精度较低但数据处理速度更快,grubbs准则精度较高但数据处理速度较慢。因此,本文提出3σ-grubbs检验方法:先采用3σ准则对数据进行处理,尽量减少查表次数,再对满足3σ准则的数据采用grubbs准则进行处理,提高检验精度,计算过程如下。

1)3σ准则检验。

步骤2按(2)式计算Di的标准差σi;

步骤3按(3)式计算阈值δi,并对超出阈值范围的数据进行剔除;

2)grubbs准则检验。

步骤3按(4)式计算统计量gij(j=1,2,…,t);

步骤4给定显著水平β,查grubbs检验临界值表得到临界值g0(t,β);

步骤5满足(5)式的数据判定为异常数据,进行剔除;

3 基于分批估计的单传感器数据时间维融合

(7)

按分批估计理论,计算融合后数据序列的方差为

(8)

取p=2时,有

(9)

计算数据序列的最优融合估计值为

(10)

取p=2时,有

(11)

4 基于自适应加权的多传感器特征值空间维融合

(12)

(13)

(14)

可见,传感器数据融合压缩后的分批估计值的方差越大,权重越小。因此,考虑传感器精度的数据融合权重wi的计算式为

(15)

5 实例验证

某悬索桥采用钢箱加劲梁,桥梁健康监测系统在加劲梁跨中截面监测点设置了2个挠度传感器,位于钢箱上下游边缘,上游传感器实际线性精度为0.11%,下游传感器实际线性精度为0.09%,采样周期为10 min。对某采样时段,时长为6.5 h,每个传感器采得40个数据,挠度数据样本如表1所示。

表1 数据样本

现对该时段加劲梁跨中截面监测点挠度数据进行特征值提取,具体计算过程如下。

1)数据预处理。

按(1)式计算均值。

按(2)式计算标准差。

步骤1上游传感器异常数据检验与剔除。

①3σ准则检验。

②grubbs准则检验。

对剩下的39个观测值重新计算均值和标准差

同样,取显著水平β=0.05,查询grubbs数值表,有g0(39,0.05)=2.857,按(4)式得g0(39,0.05)·σ1=2.857×11.135=31.813。经验证,剩下的39个观测值均满足(6)式,即上游数据段剔除第20个数据后为有效数据段。

可见,grubbs准则异常数据剔除效果优于3σ准则。

步骤2下游传感器异常数据检验与剔除。

①3σ准则检验。

对剩下的39个数据重新计算均值和方差

对剩下的38个数据重新计算均值和方差

②grubbs准则检验。

取显著水平β=0.05,查询grubbs数值表,有g0(38,0.05)=2.846。按(4)式得g0(38,0.05)·σ2=2.846×6.292=17.907。

经验证,剩下的38个观测值均满足(6)式,即下游数据段剔除第14、第15个数据后为有效数据段。

经异常数据剔除后,加劲梁跨中截面上下游传感器挠度数据如表2所示。

表2 预处理后数据样本

为验证方法的有效性,对下游数据段直接采用grubbs准则进行检验。

可见,采用本文方法与直接采用grubbs准则检验结果一致,本文方法先采用3σ准则进行检验,减少了查表次数,检验速度更快。

若对表1数据进行算术平均滤波,上游传感器数据方差为155.020,下游传感器数据方差为85.857。对表2数据进行算术平均滤波,上游传感器数据方差为123.998,下游传感器数据方差为39.592。可见,经预处理后,上游传感器数据方差减小了20%,下游传感器数据方差减小了54%,表明数据离散程度降低,准确性得到提高。

2)数据分批估计融合。

将上游传感器有效数据段的39个样本值采用奇偶分组分为2个数据组,第1组20个数据,第2组19个数据,数据分组结果见表3。

表3 上游传感器有效数据段分组结果

将下游传感器有效数据段的38个样本值采用奇偶分组分为2个数据组,第1组19个数据,第2组19个数据,数据分组结果见表4。

表4 下游传感器有效数据段分组结果

根据表3、表4中分组数据的均值和方差,按(11)式计算上下游测点数据的特征估计值,表示为

按(9)式计算融合方差,表示为

可见,采用分批估计方法将时序数据段融合为单个特征估计值,实现了数据在时间维上的融合,对桥梁监测数据的应用具有实际意义,以此为基础将便于开展桥梁评估、分析等后续工作。根据前述结果,上游传感器σ1+明显小于预处理后数据的算术平均滤波方差123.998;下游传感器σ2+明显小于预处理后数据的算术平均滤波方差39.592。可见,与传统的算术平均滤波方法相比,分批估计融合的方差更小,准确性更高。

3)多传感器数据融合。

考虑上、下游传感器实际线性精度,按(15)式计算上下游挠度传感器的最优权值,并按(13)式计算加劲梁跨中截面挠度监测数据融合特征值及方差,结果如表5所示。

表5 多传感器数据融合结果

可见,采用自适应加权融合算法将多个传感器特征估计值融合为监测点融合特征值,实现了数据在空间维上的融合。数据融合总方差明显小于表2数据算术平均滤波总方差81.944,且较各传感器方差更小。因此,与传统的算术平均滤波方法相比,自适应加权融合算法的结果更加准确;且融合过程中均方误差越大,传感器权重越低,实现了融合误差的最小优化;同时,由于考虑了传感器精度,使融合特征值更接近高精度传感器值,可靠性更好。

6 结束语

为解决监测系统实时数据的特征值提取问题,本文对多传感器数据的预处理及融合方法进行了研究。针对监测数据的预处理,提出了3σ-grubbs数据检验方法,兼顾了3σ准则速度快、grubbs准则精度高的特点,很好地消除了数据的疏失误差,实例结果中,数据经预处理后方差减小了20%～54%。在时间维上,采用分批估计原理,将传感器实时数据融合为单个特征值;在空间维上,采用自适应加权融合算法,并提出了考虑传感器精度的算法修正,实现了多传感器特征值的融合。实例结果表明,与传统的算术平均滤波方法相比,分批估计自适应加权融合算法的数据融合方差明显更小,考虑传感器精度后融合结果更接近高精度传感器值,特征值提取结果更加准确、可靠。