时序数据并行压缩速率改进技术研究

2018-10-24骆金维曾德生郭雅黄富平

电子设计工程 2018年20期

骆金维，曾德生，郭雅，黄富平

（广东创新科技职业学院信息工程学院，广东东莞523960）

数据压缩技术可以提高数据运行性能，随着数据压缩技术与其他信息技术不断发展，可对时序数据进行无损压缩，并已有并行压缩技术，实现时序数据的高效压缩[1]。时序数据压缩可有效将原有时序数据转换为多种表现形式，用尽可能少的数据对时序数据信号进行表示[2]。相关专家学者对时序数据压缩技术展开深入研究，并取得一定有效成果。已有通过谐波滤波器对时序数据进行压缩的方法。先将原始时序数据信号内稳态分量和暂态分量分离，利用傅里叶变换法对谐波分量参数进行估计，通过参数量化实现压缩。该方法压缩速度快，但稳定性较差[3-5]。传统时序数据并行压缩技术在对大规模时序数据进行压缩的过程中，存在大量原始数据和经过应用程序处理后产生的数据，这些数据经过积累占用大量存储空间，导致压缩速度慢[6]。为解决以上问题，提出混合熵编码时序数据并行压缩速率改进技术研究。实验证明，该技术将时序数据小波分解，有效减小数据占用的存储空间，具有较高的压缩速率。

1 研究背景与目的

上个世纪70年代，由于计算机中的各项硬件设备限制，众人在设计及实现数据库时就考虑了怎样通过有限硬盘空间对时序数据进行高效存储，这是数据压缩的初始阶段。在上个世纪的80年代至90年代中期，是数据压缩的第二个发展阶段，该阶段中随着科学和统计数据的兴起，要用数据库进行存储管理的数据逐渐增多[7-8]，研究旨在将海量动态时序数据进行并行压缩，通过减小数据占用的存储空间，有效提高数据的压缩效率。

2 时序数据预处理

针对传统时序数据并行压缩技术压缩速率慢的问题，在进行时序数据并行压缩之前，先对时序数据进行预处理，即对大量累积的时序数据占用存储空间的问题进行解决。根据双正交滤波器组完成时序数据的小波分解，将时序数据的小波系数进行阈值量化处理，减小大量原始数据和经过应用程序处理后产生的数据占用大量存储空间，从而提高后续时序数据并行压缩的速率。

2.1 时序数据小波分解

小波分解的过程中，数据采样造成的时序数据损失，并不能依靠对采样的控制而弥补。5-3双正交滤波器具有系数简单的特点，其整数变换能够完成时序数据的无损压缩，应用性比较强[9-10]。

2.2 时序数据阈值的选取

根据小波变换对时序数据进行压缩时，对待压缩的时序数据进行小波分解，并设置阈值，只保留模值比设置的阈值大的变换系数，进而达到时序数据快速压缩的目的[11-12]。其中阈值的选取是时序数据并行压缩的核心，这里采用提升法对阈值进行选择，该法在进行阈值选择时，考虑了噪声小波变换系数于小波系数空间传播的特性，可以更好地抑制噪声对时序数据并行压缩产生的影响，提高时序数据并行压缩速率。为了得到比较高的压缩比，选取硬阈值法当作阈值处理的方式。

这里从能量保持角度确定小波分解的层数，且定义了下列能量保持率TC衡量能量的保持程度：

其中，La和Ld分别代表尺度系数于小波系数长度。综上能够得知，随着小波分解的层数不断增加，TC越来越小，由此，假设时序数据在压缩时限制TC取值，则小波分解最大的层数就确定了，也就是假设第l层小波分解之后的TC计算结果大于设定阈值，第l+1层小波分解之后的TC计算结果小于设定阈值，则l就是最大的分解层数，选取上述中最大的分解层数l当作时序数据压缩中小波分解的层数。计算过程中，出于对信号幅值对TC影响的考虑，在小波分解之前对时序数据原始信号s()m做出如下处理：

其中，N代表时序数据原始的信号长度。综上根据小波变换对海量时序数据进行分解后的阈值选取，大幅度缩减时序数据占用存储空间，提高压缩的速度。

根据以上步骤，选用双正交滤波器对时序数据进行小波分解，并对分解后时序数据的小波系数进行与之量化处理，有效抑制噪声干扰的同时对阈值进行选择，处理时序数据的原始信号，完成时序数据的预处理。该过程大幅度减小了占用的存储空间，为时序数据并行高效压缩的实现奠定良好的基础。

3 时序数据并行压缩的实现

经过小波分解之后的时序数据对存储空间占用较小，这就大幅度的提升了压缩效率。采用混合熵编码对时序数据[13-14]进行并行压缩，完成时序数据并行压缩速率的改进。具体压缩过程描述如下；

在小波分解系数中，包含着尺度系数以及小波系数，尺度系数体现了时序数据信号主要特征，在此给予保留，小波系数历经阈值量化之后，形成系数矩阵为一个稀疏矩阵，这个时候根据零行程实现其编码比较有效。行程编码之后的幅值V在实际上保留小波系数，这里将其与尺度系数共同进行字典编码[15-16]，而对于行程L则单独完成字典编码。

综上所述，依据数据压缩背景和技术起源，充分分析时序数据特征，利用双正交滤波器[17]对占用较大存储空间的累积时序数据进行小波分解，量化处理时序数据的小波系数，选取最优阈值，完成时序数据的预处理。引入混合熵编码对时序数据进行并行压缩，完成基于混合熵编码时序数据并行压缩速率改进技术的研究。

4 实验结果与分析

为了验证所研究的基于混合熵编码时序数据并行压缩速率改进技术的有效性和合理性，进行了仿真实验。实验主要对改进技术的压缩速率进行测试。实验平台搭建在MATLAB上，实验数据取自于巨杉数据库，每个测点都以15 s为间隔进行数据采样，等待压缩的数据每帧长度是4135B，且能量的保持率为92%。

实验分别对一下几个指标进行测试，来验证基于混合熵编码时序数据并行压缩技术的压缩速率，分别为：

分别采用传统技术和改进技术对时序数据进行并行压缩，测试两种不同技术的信噪比（dB）；

分别采用传统技术和改进技术对时序数据进行并行压缩，测试两种不同技术的压缩比（%）；

分别采用传统技术和改进技术对时序数据进行并行压缩，测试两种不同技术的压缩时间（s）。

实验评价指标：

为对最终获得的压缩效果进行评估，其中相应衡量指标为：

B.信噪比：

C.压缩比：

其中，Bo与Bc分别代表原始时序数据，和压缩之后的数据占据的字节数量。时序数据处理过程中，常出现噪声干扰，这会对时序数据的压缩速率有较大的影响，即信噪比越小，压缩抗干扰性越好，则压缩速率越高。因此分别采用传统技术和改进技术对时序数据进行并行压缩，测得两种不同技术的信噪比（dB）对比结果如图1所示。

观察图1（a）、图 1（b）可知，图 1（a）为传统压缩技术的信噪比，其信噪比数值较大，且信噪比随压缩数据量的增加变化幅度较大，当压缩数据量达到500万个时，出现最大信噪比为110 dB，平均信噪比约为90 dB；图1（b）为改进压缩技术的信噪比，其信噪比数值较小，且信噪比随压缩数据量的增加保持平稳变化，当压缩数据量达到600万个时，出现最大信噪比为75 dB，平均信噪比约为68 dB。对比改进压缩技术和传统压缩技术的信噪比结果可得，改进系统信噪比的强度相较于传统压缩系统的信噪比强度弱很多，在信噪比数值上，改进压缩技术的信噪比远远小于传统压缩技术的信噪比，充分说明改进压缩技术的噪声抑制效果更好，压缩速率更高，验证了改进压缩技术的有效性。

图1 两种不同数据压缩技术信噪比对比结果

为了进一步对改进压缩技术的合理性和有效性进行验证，需要对改进压缩技术的数据压缩时间和解压时间进行测试，通过与传统压缩技术的压缩时间和解压时间进行对比[18]，完成实验测试。在实验中对数据压缩与解压的部分进行150次迭代，可得到压缩与解压连续进行150次所需要的时间，然后用该时间除150，获得时序数据压缩以及解压的时间。测得两种不同技术的压缩时间（ms）对比结果如表1和表2所示。

表1 传统压缩技术压缩及解压时间

表2 改进压缩技术压缩及解压时间

分析表1和表2可得，在原始数据大小和压缩数据大小均相同的情况下，传统压缩技术的质量码压缩时间为0.57 ms，随机百分量压缩时间为7.6 ms，开关量压缩时间为0.38 ms，总压缩时间为6.7 ms；改进压缩技术的质量码压缩时间为0.17 ms，随机百分量压缩时间为4.3 ms，开关量压缩时间为0.1ms，总压缩时间为3.7 ms。实验结果充分说明，改进压缩技术的压缩时间更短，压缩速率更高。这是因为改进压缩系统采用混合熵编码对时序数据进行压缩，将有损压缩技术和无损压缩技术结合，使得总体数据压缩时间和解压时间较少。验证了改进压缩技术的可行性。

综合以上实验结果可得，所研究的混合熵编码时序数据并行压缩速率改进技术的信噪比低、压缩比高、质量码压缩时间、随机百分比压缩时间、开关量压缩时间以及总压缩时间少，具有较高的压缩效率，技术合理有效，且可行性高。