经济数据的智能化处理及应用研究
2018-01-08邵正泽
邵正泽
摘 要 文章针对日常经济数据的特点,结合人工神经网络对大数据的处理能力,研究了数据的智能化处理技术。以农村快递业务数据分析为例,预测得到农村经济发展的程度,从而验证了分析方法的有效性。最后对智能化数据处理技术存在的问题进行了探讨与对策分析。
关键词 数据;智能化处理;经济;人工神经网络
中图分类号 TP3 文献标识码 A 文章编号 1674-6708(2018)225-0136-02
随着社会的不断进步,诸多行业都引入了计算机技术和互联网技术。与之而来的,便是大量的数据。在许多行业的运行中,数据起着至关重要的作用。高效率地处理数据是行业发展的需要,也是社会进步的标志。然而,随着数据量与日俱增,传统的智能数据处理方式逐渐显现出了不足之处,如无法处理非线性信息,抽象信息等。而人工神经网络正是基于上述问题发展而来的智能信息数据处理技术,该技术可以有效满足人们在生产生活中对数据处理的需求,并已在诸多领域得到应用。
经济数据的分析,正在对行政管理和经济政策的制定起着重要作用。通過分析一个地区的经济水平,有关部门可以评估当地经济的发展形势,并依据分析结果进行决策。传统的经济学统计方法,因为其算法及思路的局限性,难以对经济形势做出较为准确的分析。本文利用人工神经网络利于处理不完整的、模糊的、不确定的、无规律的数据的优势,通过对人工神经网络结构及其算法进行深入分析,并将某农村的快递量与当地的经济状况建立联系,通过人工神经网络的智能处理,得到的结果为有关部门提供决策依据。
1 数据智能化处理技术
1.1 概况
在当今时代,随着数据量的不断扩大,传统的智能数据分析法越来越难以满足人们对数据处理的需求。但一些经典的方法依然可以沿用:首先是决策树。它基于信息论基础,输出的数据易于为人理解,但其面对复杂的数据时有所欠缺。其次是相关规则,它通常用于解决庞大数据量的分析,人们常用它来削减搜索空间。第三种是遗传算法。它利用生物学上的相关理念进行问题搜索,运用生物进化等理念构造适应函数,并引入选择、复制、交配和突变等情形以达到优化数据的目的。第四种是粗糙集。它可以将未知的、不准确的数据用已知的、准确的数据来模糊刻画,从而达到分析数据的目的。最后是人工神经网络,是通过借助大量处理器构造成类似人脑的神经网络,实现对数据的处理目的。
本文正式基于对人工神经网络的研究与应用现状,通过结合人工神经网络在大数据处理中的优势,探讨其在经济数据处理中的应用,下面将对人工神经网络数据处理技术进行深入分析总结。
1.2 基于人工神经网络的数据处理技术
人工神经网络最早于1943年由心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出。人工神经网络技术是基于现代神经科学的研究成果,通过各单元的信息交流,模拟大脑神经突触的方式进行数据处理。作为当今智能数据处理的主要技术之一,已经在信息科学、心理学、认知科学、医学等理论学科以及控制、交通、气象监测等实践领域被广泛应用。其建构基础是类似于人脑中的神经元处理单元,在不同领域的应用中,处理单元可以表示为不同的对象,例如某个特定的数据、字母、概念、或者一些有意义的抽象模式。处理单元通常可以分为3类:输入单元、隐含单元和输出单元,一般结构如图1所示。输入单元负责向人工神经网络输入数据,输出单元负责向操作者传送处理后的数据,真正的数据处理由隐含单元实现。各个单元之间的连接强度可以通过连接权值反应,操作者增加或减少某条通路上的权值便可以达到优化神经网络的数据处理目的,其中图2是一个典型节点处理模型。
人工神经网络采用了与传统数据处理方法完全不同的思路,克服了传统的基于逻辑符号的人工智能处理系统在处理非线性信息,非直接化信息方面的不足,具有自适应、自学习等特点,也具有联想存储及高效寻找优化解的能力。
2 经济数据处理案例分析
2.1 案例背景介绍
近年来,随着电商业务的不断蓬勃发展,生活在农村的百姓也逐渐习惯网上购物,农村地区快递与物流业持续繁荣,互联网经济在农村整体经济的占比持续提升。
判断一个村的经济发展情况需要对一系列经济指标进行综合判断,但这种方法耗时耗力且需要一定的统计周期,并不利于管理者快速决策。快递与物流业务数据虽然只是农村经济发展各项指标中的很小一部分,但通过数据挖掘建模,可以在大概率上预测成功农村发展的水平,为高效管理决策做支持。
2.2 数据分析模型
2.2.1 数据来源
由于乡村经济发展和快递物流数据难以完全获得,且本文只是为了证明通过数据挖掘技术可以高效预测农村经济发展水平,即挖掘技术在经济决策中的可行性,因此分析模型共模拟了村庄的快递、物流和经济发展水平信息,如图3所示。
图3为对1 000个农村数据的散点图展示,横轴为快递业务量(件/月),纵轴为物流业务量(吨/月),大的散点代表经济发达的村庄,小的散点代表经济欠发达的村庄,从图中可以大致看出,快递业务和物流业务越发达的地区,农村经济发展越好
2.2.2 数据处理
运用统计软件来进行数据读取,剔除异常值后,进行数据建模。随机选取70%的数据定义为训练集,30%为测试集。用训练集来做BP神经网络模型,再用测试集进行效果验证,通过调整参数,选取混淆矩阵中预测准确率最高的模型,最终选取的参数为:隐藏节点数为3,权值的衰减参数为0.05,迭代次数为10 000次。
2.3 处理结果分析
训练集、测试集的混淆矩阵如图4所示。训练集中分类准确率为81%,测试集中分类的准确率为77%,表明如果已知农村快递量和物流量,我们有77%的把握预测对该农村经济发展的程度。
3 智能数据处理技术存在的問题及对策
3.1 存在问题分析
对于数据本身而言,在某些行业运用智能数据处理技术处理数据往往会遇到非常大的困难。许多行业的数据积累在数据标准规范上缺乏预先定义可广泛适用的描述,在数据的分类上也会有不完全的现象,甚至出现分类出错的问题,使智能处理数据技术远不能达到其预期作用。
对于本文所提到的人工神经网络而言,因其采用了与传统数据处理方法完全不同的思路,克服了传统的基于逻辑符号的人工智能处理系统在处理非线性信息和非直接化信息方面的不足,人们更希望将它用于处理回归估计型的问题。目前在国内,人工神经网络回归型结构研究还很少。在建立人工神经网络时,人们更加注重的是规则对于计算机的可理解性,这会牺牲一定的预测结果保真性。在不断录入数据的同时,需要对整个人工神经网络进行不断训练,从而使预测结果尽可能准确,这个过程会耗费大量的人力物力。
3.2 相关解决措施
在提高数据质量上,需要人们在某些数据质量欠佳的行业整合异构数据源,如在多个数据源拥有者之间建立具有一致性的协议,并提供相应的接口;加强数据质量监督,系统地记录并跟踪数据质量,如增加对数据的溯源、处理历史、演化及更新等方面的标准研究;促进数据的开放共享,建立一些大数据公共资源库,通过多方的数据处理而得到平均结果,从而提高人工神经网络预测的准确度。
在完善人工神经网络上,需要相关机构在回归估计问题领域对人工神经网络进行研究,提出解决方案,提高人工神经网络的普适性;在输入人工神经网络处理规则时,人们需要在保真性与可理解性之间寻找平衡点,使人工神经网络在可以理解并计算的同时提供最大限度准确的结果;在处理不断录入的数据时,如果人工神经网络可以具备增量学习能力,其便可以不断完善自身,不必再耗费人力物力完善。
4 结论
通过本文实例研究,发现利用人工神经网络模型,可以通过少量的局部经济指标参数预测全局经济指标,相比传统统计方法,人工神经网络模型预测速度更快,且计算精度并未降低,较传统的统计学分析方法消耗的人力物力更少。因此,相比传统统计方法,采用人工神经网络模型处理经济数据、辅助经济决策,是更为科学合理的选择。
参考文献
[1]朱大奇,史慧.人工神经网络原理及应用[M].北京:科学出版社,2006.
[2]李骞,郭慧玲. 经济预测与分析的智能数据挖掘[J].煤炭技术,2011,30(10):223-225.
[3]徐坤.OLAP在宏观经济智能决策支持系统中的研究与应用[D].南昌:南昌大学,2012.
[4]徐绪松,吴健谋,胡则成.金融数据分析智能信息处理技术[J].科技进步与对策,2000,17(6):95-96.
[5]毕春杰.数据挖掘技术在经济统计中的应用探究[J].经济视野,2013(19).