面向大规模网络的超高密度信息存储系统设计

郭 俊

(泉州信息工程学院 计算机科学系,福建 泉州 362000)



面向大规模网络的超高密度信息存储系统设计

郭 俊

(泉州信息工程学院 计算机科学系,福建 泉州 362000)

大规模集群网络中含有大量云数据信息，进行高密度信息存储时，为了提高数据的存储容量，降低存储开销，提高存储系统的吞吐性能，提出一种基于负载均衡控制的面向大规模网络的超高密度信息存储系统设计方法.进行大规模网络的海量大数据超高密度信息存储结构模型总体设计及数据分布式结构分析，采用负载均衡控制方法进行信息存储空间冗余数据特征压缩及信息存储优化算法设计.通过程序加载实现存储系统软件开发与优化.仿真结果表明，采用该存储系统进行大规模网络海量数据信息存储，存储空间的分布密度较高，存储开销较小，提高了存储系统的吞吐性能.

信息存储；大数据；负载均衡

0 引 言

随着计算机网络信息技术的广泛应用，在大规模集成网络中，利用统一的设备管理系统对海量数据信息进行管理和调度，通过集群应用、网络技术或分布式文件系统进行信息的虚拟化管理和硬件设备检测.云存储是一个以数据存储和管理为核心的云计算系统，通过构建超高密度信息存储系统，利用广域网和互联网来实现云计算和云调度，提高数据的管理能力和数据吞吐性能，研究面向大规模网络的超高密度信息存储系统设计方法，在优化云数据存储性能方面具有重要的应用价值，相关的系统设计和算法研究受到人们的重视．

大规模网络海量大数据管理和存储系统由多链路冗余管理、数据传输和云存储信息配置三大部分组成.传统对海量大规模网络数据信息的云存储系统设计方法主要采用基于粒子群调度的云存储系统设计方法、基于总线传输调度的云存储系统设计方法和基于不规则三角网模型的云存储模型设计方法等[1-4].其中，文献[5]采用能量谱密度函数特征聚类方法进行云存储模型构建，通过能量谱密度函数特征进行提取，结合FCM聚类算法实现云数据的高密度存储和调度，但是该系统在数据调度过程中，传输信道的多模盲均衡特性导致能量谱密度特征分布不均匀，出现系统开销过大和云存储节点分布不均等问题；文献[6]提出一种基于客户端/服务器(C/S)负载均衡调度的大规模网络海量大数据系统云存储优化模型，采用支持向量机算法对大规模网络中海量大数据进行冗余删除，降低存储开销，但是该算法计算复杂度较高，在冗余数据删除过程中，算法收敛性差，因此，建立一种基于负载均衡控制面向大规模网络的超高密度信息存储模型，进行面向大规模网络的超高密度信息存储模型的算法设计和数据处理，进行信息存储系统的软件设计，最后通过仿真实验进行性能验证.

图 1 大规模网络的海量大数据超高密 度信息存储的节点分布示意图Fig.1 Sketch map of the node distribution of massive data super high density information storage in large scale network

1 信息存储构架及数据处理

1.1 结构模型及数据分布式结构分析

为了降低存储开销，提高超高信息存储容量和吞吐量，需要分析云计算环境下的大规模网络中海量大数据存储机制，建立数据结构特征模型.在云存储环境下，大规模网络中海量大数据存储采用VPP 4.X系列I/O接口软件存储结构总线模型，实现各种大规模集成网络中高密度数据存储VISA资源的管理、控制和分配[7-15].大规模网络的海量大数据超高密度信息存储的节点分布示意图如图1所示．

假设V=[v1， v2，….，vn]表示数据存储的任务调度向量,大规模网络中数据存储的最顶层的测试程序集的边(u，v)∈E，进行大规模网络中数据超高密度存储结构分析，根据资源调度模型和数据存储概念格相似度特征，得到网络数据存储分布的二元语义分布规则[16-17]为

(1) 将大规模网络中海量大数据队列当作一个Chunk进行分块，若海量大数据存储空间结构中各分向量量化系数k

(2) 若海量大数据存储空间结构的各分向量量化系数k=l，若ak=al，则超高密度信息数据信息的特征值(sk，ak)=(sl，al)； 若akal，则超高密度信息数据信息的特征值(sk，ak)<(sl，al)．

根据不同的测试应用环境，构建信息存储系统的多用户规则调度集模型，针对云存储系统中的不同用户偏好，构建适应度函数为

(1)

其中：wt+wc+wq+ws=1；t代表信息存储系统中进行数据采集的时间(time)；c代表满足用户存储开销的代价(cost)；q代表信息存储的质量(quality)，采用自适应特征分解方法进行信息存储的规则集属性分类，分类目标函数为

(2)

其中：t0和tg分别表示各个存储子集间调度信息传输时长和存储开销；T0和Tg分别表示传输阈值和规则集的规模.通过上述模型构建，进行大规模网络中信息数据分布式结构分析，对于每个云存储节点子集Si(i=1，2，…，L)，实现信息存储密度最大化需满足的信息特征调度条件为

(3)

其中：i表层次结构树状节点个数；Sink表示存储结构的根节点．

1.2 冗余数据特征压缩及信息存储优化模型构建

为了提高存储系统的均衡性，需要进行冗余数据特征压缩处理.本文采用一种基于负载均衡控制的面向大规模网络的超高密度信息存储模型设计方法.假设大规模网络中海量大数据在云存储空间内负载均衡响应函数为

(4)

其中:ai表示大规模网络的超高密度信息存储的发散幅值；δ为负载均衡控制响应函数；TS为海量数据的分布存储的带宽.根据数据的时间散布特性，得到大规模网络海量大数据多普勒频率散布输出为

(5)

其中，y0表示冗余数据的特征压缩维数.采用频率散布(频率标准差)B作为特征压缩的代价系数，则

(6)

其中：Ex为大规模网络数据的初始能量幅值；v为信息传递函数;X(v)为大规模网络的超高密度信息存储节点的负载.通过负载均衡控制，得到大规模网络的海量冗余数据特征压缩处理后输出特征子集为

(7)

其中:m为随机概率分布维;N为数据采样个数.对大规模网络的海量大数据进行时频耦合控制，采用多源进程节点管理方法进行数据存储的自适应校验：

(8)

其中，f(t)表示大规模网络超高密度信息存储器的校验块存储节点管理模型，包括n个输入负载均衡的控制参量和m个负载均衡输出参量.假设数据信息流为x(t)，采用子集校验对数据进行特征约束和波束校验，得到超高密度信息存储分布空间结构为

(9)

其中，ψa，b为冗余数据分布族.由ψ(t)对数据进行平滑处理，通过尺度伸缩降低存储冗余，定义大规模网络中海量大数据四阶累积量切片为

(10)

图 2 面向大规模网络的超高密度 信息存储实现流程Fig.2 Realization process of super high density information storage for large scale network

图 3 超高密度信息存储系统核心模块Fig.3 Ultra high density information storage system core module

2 系统软件开发与实现

进行信息存储系统的软件开发设计，面向大规模网络的超高密度信息存储系统包括通信库、协议库、核心控制库和资源库.信息存储系统结构的核心模块如图3所示．

系统的软件开发在嵌入式Linux环境下进行，由一个调度器及其他组件组成，组件由下到上可分为硬件抽象组件、综合硬件组件和高层软件组件.采用嵌入式网关，以ARM920T为核心，配置PCR(串口控制引脚寄存器)的FSXM=1，telosB节点模块通信接口和485网络相连，UART1和UART2是TTL接口，采用三个通用异步进行传输，采用DIP封装，可以直接通过烧写器烧写，运行make命令，开始编译嵌入式Linux环境下的数据处理模块，根据控制指令决定Linux内核源码目录的kernel，进行数据编译，编译过程如下：

在编译器中下载arm920t-eabi.tgz，使用根文件系统filesystem配置脚本，在init.d目录下生成一个rootfs.yaffs文件，代码为tar xvzf arm920t-eabi.tgz

输入根文件系统fliesystem，建立YAFFS根文件系统，进行信息存储空间特征压缩，函数为arm-linux-gcc-v，调用函数GPCTR_Set_Application配置上层的Makefile文件，使用循环缓冲区进行存储空间寻址，运行命令：

#gedit .Bashrc unsigned long Signal_Source

用WFM_DB_Transfer函数编辑Bashrc文件，触发数据存储与管理arch/arm/boot根目录；

选择退出，并选“Yes”保存.

在上述程序加载和数据编译的基础上，进行存储系统的初始化程序设计.面向大规模网络的超高密度信息存储系统初始化程序包括内核初始化和时钟初始化，为了提高内部存储器的吞吐量，设定系统时钟和内核时钟，设置PLL_DIV寄存器进行时钟唤醒，PLL_LOCKCNT寄存器锁定周期设为768个机器周期，配置串口寄存器用于决定多少个串口发送时钟后，产生帧同步脉冲实现大规模网络数据的高密度信息存储.最后，对大规模网络数据的高密度信息存储系统的CAN相关寄存器和RAM进行初始化，实现CAN_CLOCK寄存器配置.图4为大规模网络数据的高密度信息存储系统的初始化和配置流程.

图 4 大规模网络数据的高密度信息存储系统的初始化和配置流程Fig.4 Initialization and configuration process of high density information storage system for large scale network data

图5 大规模网络中原始数据采样Fig.5 Raw data sampling in large scale networks

3 仿真实验

为了测试本文设计的大规模网络数据的高密度信息存储系统的性能，进行仿真实验.网络信息存储系统的仿真实验建立在TinyOS软件和数据处理仿真平台上，通过PPI接口的DMA功能来实现大规模网络数据的存储信息数据采样，数据宽度XFR_TYPE设为11，信息存储系统的内部触发采用非ITU_R656模式，读取PPI数据，通过DMA方式完成采样缓冲区的配置.参数设定时，数据采样的频率范围为14～42kHz，冗余数据干扰SNR=-10 dB,传输时间延迟为1.3ms，采样带宽为10dB.首先进行大规模网络中存储信息的时间序列分析和采集，结果如图5所示．

以上述采样的大数据为研究对象，采用本文方法进行存储优化，通过冗余数据的特征降维和数据结构优化处理，降低存储空间和冗余，得到处理前后的数据特征分布归一化投影值，如图6所示．从图6可见，采用本文方法进行存储系统的优化设计，通过对冗余数据降维处理，结合改进的系统软件设计进行程序加载和数据分析，降低信息存储的冗余开销，实现超高密度信息存储，提高信息存储系统的吞吐性能和抗干扰能力．

4 结束语

面向大规模集群网络进行超高密度信息存储系统优化设计，提高数据的存储容量，提出基于负载均衡控制的面向大规模网络的超高密度信息存储模型系统设计方法.首先进行大规模网络的海量大数据超高密度信息存储结构模型分析及数据分布式结构特征提取，进行冗余数据特征压缩及信息存储优化模型构建，实现存储算法改进，在此基础上进行系统的软件开发设计.结果表明，采用本文方法进行大规模网络信息存储，存储密度较高，容量较大，提高了数据存储系统的吞吐性能．

(a) 处理前 (b) 处理后图 6 大规模网络信息数据在存储系统的空间分布特征Fig.6 Spatial distribution characteristics of large scale network information data in storage system

[1] 陈海燕，刘威，李莉. 相对相位噪声对相干光通信系统性能影响[J]. 激光技术，2016，40(1):94-98．

CHEN Haiyan，LIU Wei，LI Li. Effect of relative phase noise on performance of coherent optical communication systems[J]. Laser Technology，2016，40(1):94-98．

[2] 王翔文，李志华. 基于小波变换和神经网络的雷达滤波器故障诊断[J]. 电子设计工程，2016，24(8):112-136．

WANG Xiangwen，LI Zhihua. Fault diagnosis of radar filter based on wavelet transform and neural network[J]. Electronic Design Engineering，2016，24(8):112-136．

[3] LEE W，BANG H，LEEGHIM H. Cooperative localization between small UAVs using a combination of heterogeneous sensors[J]. Aerospace Science and Technology，2013，27(1):105-111．

[4] 刘俊，刘瑜，何友，等. 杂波环境下基于全邻模糊聚类的联合概率数据互联算法[J]. 电子与信息学报，2016，38(6):1438-1445．

LIU Jun，LIU Yu，HE You，et al. Joint probabilistic data association algorithm based on all-neighbor fuzzy clustering in clutter[J]. Journal of Electronics & Information Technology，2016，38(6):1438-1445．

[5] BAE S H，YOON K J. Robust online multiobject tracking with data association and track management[J]. IEEE Transactions on Image Processing，2014，23(7):2820-2833．

[6] JIANG X，HARISHAN K，THAMARASA R，et al. Integrated track initialization and maintenance in heavy clutter using probabilistic data association[J]. Signal Processing，2014，9(4):241-250．

[7] 王跃飞，于炯，鲁亮. 面向内存云的数据块索引方法[J]. 计算机应用，2016，36(5):1222-1227．

WANG Yuefei，YU Jiong，LU Liang. Strategy for object index based on RAMCloud[J]. Journal of Computer Applications，2016，36(5):1222-1227．

[8] 曹玖新，陈高君，吴江林，等. 基于多维特征分析的社交网络意见领袖挖掘[J]. 电子学报，2016，44(4): 898-905．

CAO Jiuxin，CHEN Gaojun，WU Jianglin，et al. Multi-feature based opinion leader mining in social networks[J]. Chinese Journal of Electronics，2016，44(4):898-905．

[9] GOMADAM K，CADAMBE V R，JAFAR S A. A distributed numerical approach to interference alignment and applications to wireless interference networks[J]. IEEE Transactions on Information Theory，2011，57(6):3309-3322．

[10] PATCHARAMANEEPAKRON P，ARMOUR S，DOUFEXI A. Coordinated beamforming schemes based on modified signal to leakage plus-noise ratio precoding designs[J]. IET Communications，2015，9(4):558-567．

[11] KALEVA J，TOLLI A，JUNTTI M. Weighted sum rate maximization for interfering broadcast channel via successive convex approximation[C]//IEEE Global Communications Conference， Anaheim，2012，12(10):3838-3843．

[12] LIU H，DING Z G，FAN P Z，et al. Precoding design for interference suppression in multi-cell multi-user networks[J]. IET Communications，2014，8(9):1534-1540．

[13] RATHEESH M，DAVID M J. System-level performance of interference alignment[J]. IEEE Transactions on Wireless Communications，2015，14(2):1060-1070．

[14] 刘经南，方媛，郭迟，等. 位置大数据的分析处理研究进展[J]. 武汉大学学报:信息科学版，2014，39(4):379-385．

LIU J N，FANG Y，GUO C，et al. Advances in big data analysis and processing location[J]. Geomatics and Information Science of Wuhan University，2014，39(4):379-385．

[15] 吴鸿华，穆勇，屈忠锋，等. 基于面板数据的接近性和相似性关联度模型[J]. 控制与决策，2016，31(3):555-558．

WU Honghua，MU Yong，QU Zhongfeng，et al. Similarity and nearness relational degree based on panel data[J]. Control and Decision，2016，31(3):555-558．

[16] 阎芳，李元章，张全新，等 基于对象的OpenXML复合文件去重方法研究[J]. 计算机研究与发展，2015，52(7):1546-1557．

YAN Fang，LI Yuanzhang，ZHANG Quanxin，et al. Object-based data de-duplication method for open XML compound Files[J]. Journal of Computer Research and Development，2015，52(7):1546-1557．

[17] 吴涛，陈黎飞，郭躬德. 优化子空间的高维聚类算法[J]. 计算机应用，2014，34(8):2279-2284．

WU Tao，CHEN Lifei，GUO Gongde. High-dimensional data clustering algorithm with subspace optimization[J]. Journal th range-only measurements in two-dimensional scenarios[J]. Sensors，2013，13(8):10674-10710．

编辑、校对：师 琅

Design of super high density information storage system for large scale network

GUO Jun

(School of Computer Science,Quanzhou Institute of Information Engineering， Quanzhou 362000，Fujian,China)

Large-scale cluster network contains a large number of cloud data information，when storing high density information,in order to improve the storage capacity of data,reduce the storage costs,improve the throughput performance of the storage system, a kind of based on load balancing control for super high density information storage system design method of large scale network is put forward. Large-scale network mass big data super high density information storage structure model of the overall design and analysis of data distributed structure， load balancing control method is adopted to improve the information storage characteristics of redundant data compression algorithm design and information storage optimization. Based on the algorithm design， loaded by the program to realize the storage system software development and optimization. The simulation results show that using the mass data storage system for large-scale network information storage，the storage distribution density is higher， smaller the storage overhead is smaller， improving the throughput performance of the storage system， shows a good application value．

information storage; big data; load balance

1674-649X(2016)04-0471-06

10.13338/j.issn.1674-649x.2016.04.011

2016-01-23

郭俊(1986—)，女，福建省泉州市人，泉州信息工程学院讲师，研究方向为计算机开发.E-mail:15980322638@139.com

郭俊.面向大规模网络的超高密度信息存储系统设计[J].西安工程大学学报，2016，30(4)：471-476.

GUOJun.Designofsuperhighdensityinformationstoragesystemforlargescalenetwork[J].JournalofXi′anPolytechnicUniversity,2016，30(4)：471-476.

TP

A