基于灵敏感知的异构传感器协作数据清洗机制*

林晓佳，黄榕宁

(1.福州大学 数学与计算机科学学院，福建 福州350116;2.福州师范大学 数学与计算机科学学院，福建 福州350117)

0 引 言

传感器网络在工业、农业、医疗等各个领域应用越来越广泛，数据集成度逐步提高，数据量增长迅速，于是各领域用户对于数据质量［1］，特别是精度、冗余度和数据覆盖等问题非常关注，鉴于传感器网络的计算能力和存储能力受限特点，如何从大数据中清除差错和冗余，提取具有较高一致性、可信度和实时性的数据服务［2］成为用户和科技界所关注的热点问题。影响数据质量的因素很多，包括数据的产生、采集、传输、存储和处理等方面。因此，研究人员根据影响因素设计了一系列相应数据处理与清洗算法。

文献［3］基于数据和应用特点，设计了一种支持融合与交叉的数据清洗算法。文献［4］基于数据集动态变化的副本识别特点研究了结合聚类树增量特性的数据清洗算法。文献［5］以时间为对象基于事件序列，研究了提高射频识别(radio frequency identification，RFID)数据质量的清洗策略。文献［6］研究了支持数据质量评估的交互式可视形态集及其分析系统。

此外，WangBing等人［7］设计了一种允许用户在相同的接口生成高维数据、沉浸式和直接数据生成的数据清洁工具。Zhang Zhaosheng 等人［8］将阈值控制和加权平均法及指数平滑法相结合提出了多阈值控制的修复方法。文献［9］为了解决RFID 和WSNs 数据集成中的冗余度、降低能耗和保障实时性等问题研究了一种五层体系结构。文献［10］将并行处理与并行机群相结合研究了支持协同的大数据可视分析方法。

为了外界参量和内部因素对数据质量的影响和提高数据质量保障能力，本文研究工作包括:1)单节点中，基于各类外界参量和内部因素对数据质量产生的干扰建立了数据质量分析模型和灵敏感知决策方法;2)多节点中，通过建立协作状态概率分析方法给出协同处理下数据质量衰减分析模型;3)将灵敏感知与协同处理相结合提出了一种高能效和高精度的传感器数据清洗算法。

1 基于灵敏感知的数据质量分析

传感器网络覆盖范围内，采集监测值例如:温度结合频域，当在阈值区间内时，数据可靠;否则，主动弃包。设定满足应用需求的温度区间为［Te1，Te2］，频域为［f1，f2］，ni表示第i 次实际温度值，mi表示测量值，数据舍弃判断决策过程如图1 所示。

图1 数据舍弃过程Fig 1 Process of data abandon

其中，m3虽然在频域范围内，但与实际值n3没有交叉，误差较大，质量低，应该被舍弃，灵敏度很差。m2与n1同时满足频域和阈值区间质量高，数据可靠，灵敏度高。对于m1与n1，虽有交叉，但比例较低且测量值并不完全在频域区间内，表明数据出现差错具有不确定性，其灵敏度不同，因此，可以建立感知数据灵敏度的数据质量分析模型，从而决定是否需要舍弃或通过清洗改善数据质量。

基于频域的参量测量值概率分布如公式

其中，函数Dsensor(f)为测量值概率分布函数，即在频域内［f1，f2］评价测量值与实际值。

由于传感器节点内部元器件噪声、外部环境噪声和采集误差等对参量测量概率产生的影响可由式(2)得到

其中，γ=［γ1，γ2，…，γm］T为各类因素对数据质量的干扰因子，nty表示各类影响因素，其向量长度必须与向量γ保持一致，其中定义的因素包括:外源噪声、内部硬件噪声、电路输入噪声、电路输出噪声、测量不确定性、计算误差等。

基于上述定义因素，给出传感器误差概率分布密度一般性计算如式(3)所示

其中，变量记录λ 根据测量值是否在频域内确实是否需要考虑进一步优化分布。

在式(1)～式(3)建立的测量概率统计分析基础上，进一步分析数据质量对传感器内部电路各器件的噪声干扰的灵敏度，电路结构如图2 所示。频率为10 Hz 时噪声分析后各部件输入噪声测量结果如表1 所示。频率对电路输入噪声影响如图3 所示。可以发现，输入噪声随着频率增大逐步增大，40 Hz 下增速较大，此后增速减缓，而输出噪声不受频率影响，在任何频域内均保持定值，结合图1 的数据舍弃过程，因此，不同频域内不同参量对数据质量影响程度不同，即数据质量对各类参量具有灵敏感知。

图2 传感器内部电路Fig 2 Internal circuit of sensor

表1 输入噪声分析Tab 1 Input noise analysis

2 协同处理的传感器数据清洗算法

前文是对于单节点的数据质量干扰因素进行分析，并得出灵敏感知判断策略，然而传感器网络应用是在监测区域布设高密度传感器节点，多跳传输与数据转发也将影响数据质量，因此，基于传感器节点间协同合作进行信号处理以便保证数据质量。

多节点协同处理基于频率的无线链路保持正常概率分布如式(4)所示

图3 不同频率下输入噪声分析Fig 3 Input noise analysis at different frequencies

其中，Fs(f)为链路保持正常概率分布函数，v，φ 分别为中继节点的协作规模和保持协作状态概率，ω 为传感器节点工作角频率。

协同合作信号处理过程中，随着链路状态的变化，转发信号受外界参量等干涉后的强度如式(5)所示

此外，加入协同合作的中继节点规模与链路状态存在如式(6)所示

其中，μ 为中继节点在协作下信号增强系数。

因此，基于单节点下灵敏感知策略的多节点协作处理的数据质量可由式(7)分析

将灵敏感知与协作处理相结合的数据清洗算法架构如图4 所示。其中，单节点上的灵敏感知和协同处理模块结构如图5 所示。多节点应用下数据清洗流程如下所示:

1)单传感器节点灵敏感知分析，根据式(1)～式(3)。

2)依据式(4)选择中继协作节点，并监测节点链路状态。

3)查询协作:在频域内，根据用户需求和灵敏感知分析结果，建立增强数据质量的清洗规则。

4)协同处理:规模为v 的协作处理根据数据质量失真程度进行处理。

5)接收端节点，根据式(7)依据λ 经过数据清洗回复质量，保障传输可靠性。

3 实验结果与性能

图4 数据清洗架构Fig 4 Data cleaning architecture

图5 单节点架构Fig 5 Single-node architecture

实验中，按照图6 所示布设传感器网络架构，为了便于统计测量结果，在网关节点上增设数据存储和查询模块。网络中每个节点架构如图5 所示，为了便于在同一环境和设备上使用基于灵敏感知的数据清洗算法(记为:SDC)和所提的基于灵敏感知和协同处理的清洗算法(记为:SCDC)进行对比分析，在图5 中增加图7 所示的定时计数控制电路，该电路内部产生的噪声干扰与整体噪声相比较小，故可忽略不计。

为了准确验证所提算法性能，实验中分别统计系统能效、数据压缩率和准确度，分析网络规模和频率对以上性能的影响，结果如图8 所示。

图6 实验布设网络架构Fig 6 Experimental layout network architecture

图7 实验切换定时装备电路Fig 7 Experimental switching and timing equipment circuit

从图8(a)发现，SDC 算法能效很低而所提SCDC 算法能效随着频率增大快速增大，这主要得益于协同处理机制，在感知单节点灵敏度的前提下，多中继协同合作明显降低了数据清洗能效。如图8(b)所示，SDC 与所提的SCDC 算法的数据压缩率相差较大，而且随着网络规模的增大，SCDC 算法的压缩率保持快速增大，单节点灵敏感知的SDC算法因受到传输过程的外界参量干扰和节点之间信号干涉使得数据压缩率提升很慢。单节点使用灵敏感知方法进行数据清洗可以提高数据准确率但幅度较小，通过多节点协同合作处理降低传输过程中的数据质量衰减，对失真数据进行清洗，可以显著改善数据质量，使用所提SCDC 算法时数据准确率较高。

图8 清洗算法分析Fig 8 Analysis on cleaning algorithm

4 结束语

为了解决传感器应用中因内部和外界各类干扰导致的数据质量下降问题，从参量和影响因素定义出发，分别对于单节点和多节点进行了深入分析:1)单节点下分析了各类因素对数据质量产生影响的分析模型机灵敏感知策略;2)利用传感器网络的高密度和协同特性建立了协同处理数据质量分析模型;3)将灵敏感知与协同处理相结合建立了适用于传感器和网络应用的数据清洗算法。与单节点灵敏感知数据清洗算法相比，实验从频率和网络规模对能效、压缩率和精度等方面验证了所提算法的可行性和优越性。

［1］ 郭志懋，周傲英.数据质量和数据清洗研究综述［J］.软件学报，2002，13(11):2076－2082.

［2］ Exner A T，Pavlichenko I，Lotsch B V，et al.Low-cost thermo-optic imaging sensors:A detection principle based on tunable onedimensional photonic crystals［J］.ACS Applied Materials＆Interfaces，2013，5(5):1575－1582.

［3］ Chua K J，Chou S K，Yang W M，et al.Achieving better energyefficient air conditioning-A review of technologies and strategies［J］.Applied Energy，2013，104:87－104.

［4］ Wang Bing，Ruchikachorn P，Mueller K.SketchPadN-D:WYDIWYG sculpting and editing in high-dimensional space［J］.IEEE Transactions on Visualization and Computer Graphics，2013，19(12):2060－2069.

［5］ Zhang Zhaosheng，Yang Diange，Zhang Tao，et al.A study on the method for cleaning and repairing the probe vehicle data［J］.IEEE Transactions on Intelligent Transportation Systems，2013，14(1):419－427.

［6］ Wang Li，Xu Lida，Bi Zhuming，et al.Data cleaning for RFID and WSNs integration［J］.IEEE Transactions on Industrial Informatics，2014，10(1):408－418.

［7］ 刘 芳，何 飞.一种基于聚类树的增量式数据清洗算法［J］.华中科技大学学报:自然科学版，2005，33(3):46－48.

［8］ 王 霞，玄丽娟，夏秀峰.基于时序关系的RFID 不确定数据清洗算法［J］.辽宁大学学报:自然科学版，2012，39(2):174－178.

［9］ 滕东兴，曾志荣，杨海燕，等.一种面向关系型数据的可视质量分析方法［J］.软件学报，2013，24(4):810－824.