数据挖掘技术在各个领域上应用的研讨刘策
2019-06-11刘喆
刘喆
本文首先对数据挖掘的现状以及发展方向作出了整体的概括,接下来对数据挖掘在电力系统,医学领域,商业领域以及军事领域上分别进行了阐述。
数据挖掘的现状及发展方向:
在现阶段,基于数据挖掘的算法已经被学术界所接受,并在实际中得到了大量的应用。从本质上讲,数据挖掘实际上就是从海量的数据(结构化与非结构化)上挖掘到的实现不为人知的、隐含在数据中的潜在的信息。挖掘出来的信息具有很大的价值,可能是用户具有用户感兴趣的、可理解、可使用的、可以为我们带来收益的,对科学研究具有巨大导向的。数据挖掘过程的流程主要有数据准备(数据的提取,数据的转换,数据的加工,数据的预处理),数据挖掘,解释与评估。数据挖掘将数据中的各种特征下的信息直观的呈现出来。
数据挖掘的功能及存在的问题:
数据挖掘的功能大体分为两个部分,第一部分是通过分析海量数据在不同属性不同维度下表现出的对象特征,对象的特征以及对象间的相关性来划分不同类别进行事物的描述,对内在的关系进行分析及总结。第二部分为关联是某种事物与另一种事物很有可能同时发生,或者一种事物发生后另外一种事物很可能会连带着发生。对数据中蕴含的规律进行分析及把握并预测未来的发展动态针对未来的发展趋势,采取相应的措施。并对极少数的,特殊的对象进行重点分析,挖掘出内在的关系,提取出有价值的信息。
1 数据挖掘在电力系统中的应用
数据挖掘运用到电力系统中主要有以下几个方面的任务:
从电力系统的运行调动方面,调度运行部门是电力系统稳健,高效运行的重点保障。它对系统中反馈而来的信息进行分析及处理,在这个步骤下,数据挖掘起着重要的推动作用,利用数据挖掘分析出来的内在规律做出相应的决策。在保障系统稳健安全运行的前提下,考虑各种经济问题的同时例如对电价如何进行合理的制定等。
在决策支持和控制方面,在电力系统发生故障时,调度员可以通过保护装置的动作信息判断出具体的故障原因以及具体的故障位置。为避免大量的经济损失要求在极端时间内解决问题。然而面对系统中的海量数据,传统的靠专家的经验已经无法适应今天的情况,面对海量的数据,数据挖掘方法能去除无关的属性,获得复杂数据下的规律,并对故障特征进行提取,帮助调度员判断电力系统的状态以及选择处理故障问题的方法。
在电力系统的不良数据辨识方面,现在这一阶段对电力系统数据的可靠性要求越来越高。
对于不良数据辨识就是想找出由于种种原因产生的少量不良数据,从而避免不良数据对系统的软件环境性能产生影响。然而在辨识不良数据的过程中,传统方法很可能造成误检或漏检,然而通过数据挖掘中的神经网络,聚类以及关联规则等算法就能更加快速而且准确的达到对不良数据辨识的目的。
在电力系统的建模方面,整个电力系统的实时性决策是以电力系统模型为基础,因为电力系统的高复杂度,采用传统的动力学模型进行具体应用非常困难,而数据挖掘技术不受对象模型的复杂度控制,对其数据进行分析,总结出电力系统数据模式的内在规律。
2 数据挖掘在医学领域上的应用
在很早以前,数据挖掘技术就被应用到医学领域上,并因此形成了“专家系统”。专家系统的功能为对医学领域上的专家的个人经验与她们自身的知识积累利用数据挖掘技术进行计算机语言方面的描述,从而实现对医学领域方面问题的处理。随着时间的发展,从不同疾病的类型出发,利用从不同疾病患者中收集到的病历信息,将其转化为数据挖掘技术所需要的数据集,通过分析数据中隐藏着的潜在信息来对实现对体检人员相应病情的风险评估,进行相应的提醒。
3 在商业领域的应用
数据挖掘在商业以及金融上的应用较为明显,甚至渗透于商业以及金融领域的方方面面。从商业上讲,通过收集顾客对各种商品的购买情况的数据来构成有分析价值的数据库。利用关联规则分析算法来对数据库中数据进行挖掘,并对顾客的购买习惯进行总结。挖掘出一系列的购买规律,从而调整商品在商店的擺放以及商业广告中商品的搭配等,从而达到最大的获利。并且在电子商务上,数据挖掘可以使商家更加了解客户的需求,为客户提供更加个性化的服务,从而保留个数增加商品的销售额。从金融上讲,对股市中的数据的变化趋势进行总结,再用关联规则,卷积神经网络等方法对股市中接下来的运行趋势进行预测。从而对针对股市的涨幅等情况来调整利率,从而避免经济损失,达到盈利的目的。
4 在军事领域上的应用
由于大数据时代的来临,决策的思维和方法产生了变革。传统战争下的决策缺少数据的支持,并且数据的准确性很难达到保障,一般靠经验在战争中进行决策。然而现阶段的战争下,可以利用海量与战争相关的数据,这就要求指挥者有全新的数据思维,并结合统计学家与数据挖掘研究人员,找出数据中隐含的信息,不受旧思想的束缚,达到最大的作战效益。例如,可以用深度学习的方法结果卫星对敌方地理位置达到精准的还原,通过计算机高速的计算能力使指挥者更快做出决策,也可以分析敌方以往的作战数据,对其作战规律进行总结,并对其下一步的行动做出较为精准的预测,并且对于自己大量的作战资源与战士们的人员通过数据挖掘的方法进行合理的分配,最终达到作战能力的最大化。
(作者单位:东北大学秦皇岛分校)