智能信息处理技术在网络计算中的应用
2017-09-04李天峰
李天峰
摘 要: 为了提高网络大数据计算的速度和收敛性,针对当前仿生群算法容易出现局部收敛的问题,提出一种基于优化粒子群智能信息处理的网络大数据计算方法。采用特征尺度标识方法进行网络计算数据集规范化处理,结合粒子群算法进行网络计算的大数据聚类分析,根据粒子速度和位置更新迭代公式确定初始聚类中心,通过混沌差分扰动进行个体寻优,降低群体适应度方差,使得计算程序满足收敛法则,提高网络计算的效率。仿真结果表明,采用该方法进行网络大数据的智能计算能得到最优适应度值,收敛性和处理速度都具有优势。
关键词: 智能信息处理; 粒子群; 网络计算; 大数据
中图分类号: TN711?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)15?0041?03
Abstract: In order to improve the speed and convergence of the network big data calculation, and solve the problem that the bionic swarm algorithm is prone to appear the local convergence, a network big data computing method based on optimized particle swarm intelligent information processing is put forward. The characteristic scale identification method is used to perform the dataset standardization processing of network computing, and combined with the particle swarm algorithm to conduct the big data clustering analysis of network computing. According to the update iterative formula of the particle velocity and position, the initial clustering center is determined. The individual is optimized by means of chaotic difference disturbance to reduce the fitness variance of population, which makes that the calculation program can meet the convergence rule, and the efficiency of network computing improved. The simulation results show that the method can obtain the optimal fitness value, fast convergence and processing speed while performing the intelligent computing of the network big data.
Keywords: intelligent information processing; particle swarm; network computing; big data
0 引 言
在网络计算中需要进行大数据处理,结合云计算技术进行网格化分布式计算,满足日益增長的大数据信息规模处理效率的要求[1]。智能群体仿生计算方法是一种较好的网络大数据处理方法,其中的典型代表就是粒子群算法,粒子群算法是模仿生物信息学的无监督学习方法[2],粒子群算法在大数据聚类和数据库访问等领域得到了广泛的应用,采用粒子群智能信息处理技术进行网络大数据计算,能提高计算效率,降低计算开销,相关的算法研究受到人们的重视。在采用粒子群智能算法进行网络信息处理和大数据计算中,核心问题是算法的收敛性和计算开销的问题,针对当前的粒子群算法容易陷入局部收敛且计算开销较大的问题,本文提出一种优化粒子群智能信息处理的网络大数据计算方法。
1 网络计算的数据集规范化处理
为了实现对网络大数据计算的优化,首先需要对网络大数据进行规范化处理,在网络信息空间中,利用粒子群全局寻优进行大数据采样,给定个数据点的样本集,采用特征抽取方法得到大数据特征空间分布的个聚类中心,将孤立点移出数据,对余下样本点根据样本间的相异度进行特征分类,得到类数据的样本集合,数据在相关区域中的信息流模型描述为采用惯量权重控制方法进行数据集的规范化处理[3],确定处于高密度区域的数据点,在海量大数据序列中计算样本集中余下各点与领域内的数据点的欧式距离,得到邻近数据点的自相关协方差为:
大数据信息流的聚类中心与其距离最小的邻域所在的类按照粒子在维空间中的位置划分,采用特征尺度标识方法生成一个高斯时间序列,通过特征尺度标识得到网络计算的数据集规范化处理计算的迭代式为:
又因为以原始数据的秩进行空间重排,有:
通过Sigma检验得到后,对线性相关的原始数据进行Lyapunove指数求导,生成相应替代数据,由此实现对整个网络数据集的规范化处理。
2 网络计算的大数据聚类分析
2.1 粒子群个体的适应度计算
在采用特征尺度标识方法进行网络计算数据集规范化处理的基础上,结合粒子群算法进行网络计算的大数据聚类分析[4],首先需要计算粒子群个体的适应度,通过交叉和变异的操作到大数据并行计算特征空间向量 tangent正交基,采用正交化的SVD运算得到粒子群个体分布的规范正交基为:
在大数据挖掘的过程中,数据信息流的最大Lyapunove指数谱通过自适应泛函通向局部收敛,有: (5)
对全部自回归移动平均 (ARMA,Auto?Regressive Moving Average)模型进行粒子群的收敛性控制[5],得到粒子群个体的聚类中心收敛于:
先设定好密度参数(MP和ε),对原始数据的排列顺序进行重置,计算粒子当前的速度,得到数据集个数据点之间的自相关向量为:
对于任意的数据点和采用个体最优位置寻优[6],得到网络并行计算的相轨迹矩阵为:
为了简化,把式(8)改写成矩阵形式为:
式中:为维的数据拟合向量;为维的并行计算输出矩阵;为维的自适应权重;为维的测量误差向量。采取非线性权值递减方法[7],进行粒子群个体的适应度计算为:
其中,寻优粒子群个体之间的欧式距离为:
通过对粒子群个体的适应度计算,避免了粒子在并行计算中陷入局部收敛。
2.2 网络计算的数据聚类中心求解
根据粒子速度和位置更新迭代公式确定初始聚类中心,粒子速度和位置迭代公式为:
式中:是当前粒子的速度;是当前粒子的位置。
为避免粒子陷入局部最优,用所有粒子适应度进行自适应训练,训练过程可描述为:
式中为最大的迭代次数,由此计算网络数据并行计算的聚类中心为:
2.3 粒子群智能信息处理优化算法實现
在数据集中选择个实例,通过混沌差分扰动进行个体寻优,得到粒子群智能信息处理的优化目标函数为:
设定初值采用QR分解与,得到:
由此可见,采用粒子自适应寻优使得整个网络大数据计算程序满足收敛法则,降低群体适应度方差,粒子群整体适应度方差为:
式中为粒子的个数,数据点的位置和速度可以由粒子速度和位置的整体编码得到,由此实现了网络大数据计算的粒子群算法优化及智能信息处理。
3 实验结果与分析
对网络大数据并行计算的仿真实验建立在Matlab仿真软件基础上,粒子数种群规模为,网络并行计算的网格空间维度设置为40,种群进化的迭代次数为100,惯性权重0.4,学习因子,,对网络大数据规范化处理的训练函数选择Sphere函数、Rastrigrin函数,分别为:
根据上述仿真参数设定,进行网络大数据并行计算处理,大数据规模为258 Gb,实验数据样本集的维数和类型设定见表1。
以上述实验数据为测试样本集,进行粒子群优化计算。图1给出了采用本文方法和传统的蚁群算法和神经网络算法进行并行计算的收敛曲线和迭代步数仿真结果。表2给出了不同算法的各项计算参量指标对比。分析得知,采用本文方法进行网络大数据计算的收敛性较好,能快速收敛到全局最优适应度值,计算耗时较小,满足实时性处理要求。
4 结 语
本文提出基于优化粒子群智能信息处理的网络大数据计算方法。采用特征尺度标识方法进行网络计算数据集规范化处理,结合粒子群算法进行网络计算的大数据聚类分析,根据粒子速度和位置更新迭代公式确定初始聚类中心,通过混沌差分扰动进行个体寻优,降低群体适应度方差,使得计算程序满足收敛法则,提高网络计算的效率。该方法进行网络大数据的智能计算能在较短的迭代步数下得到最优适应度值,收敛性和处理速度以及寻优精度方面优于传统方法,具有较好的应用价值。
参考文献
[1] 黄楠.海量信息存储中数据库性能优化方法[J].科技通报,2013,29(3):162?164.
[2] 夏平平,吕太之,贾岩峰.免疫粒子群优化算法及性能分析[J].贵州大学学报(自然科学版),2011,28(5):104?107.
[3] 刘杨,田学峰,詹志辉.粒子群优化算法惯量权重控制方法的研究[J].南京大学学报(自然科学版),2011,47(4):364?371.
[4] 邢淑凝,刘方爱,赵晓晖.基于聚类划分的高效用模式并行挖掘算法[J].计算机应用,2016,36(8):2202?2206.
[5] SONG W, LIU Y, LI J. Mining high utility itemsets by dynamically pruning the tree structure [J]. Applied intelligence, 2014, 40(1): 29?43.
[6] HIE B E, HSIAO H F, TSENG V S. Efficient algorithms for discovering high utility user behavior patterns in mobile commerce environments [J]. Knowledge and information systems, 2013, 37(2): 363?387.
[7] 包永红.云计算技术下数据挖掘平台设计及技术[J].现代电子技术,2016,39(16):61?63.
[8] PIRES E J S, MACHADO J A T, OLIVERIA P B D M, et al. Particle swarm optimization with fractional?order velocity [J].
Nonlinear dynamics, 2010, 61(1/2): 295?301.