APP下载

基于Agent技术的数据挖掘系统

2009-02-11

新媒体研究 2009年1期
关键词:异质子系统分布式

邓 悦

[摘要]针对已有的数据挖掘系统缺乏智能性,分析基于Agent的数据挖掘技术的优势,提出基于Agent的智能数据挖掘系统。把Agent本身的特点自然地引入到数据挖掘中,使整个挖掘过程具有智能性。

[关键词]Agent 数据挖掘

中图分类号:TP3 文献标识码:A 文章编号:1671-7597(2009)01101062-01

一、引言

近几年来,信息在社会发展中的关键地位得到越来越多的关注。而在复杂的网络中蕴涵着巨大潜在价值的知识,为使人们获取信息,一种从大量数据中自动获取显式知识的技术 数据挖掘技术日渐发展,并在很多领域得到了广泛应用。

二、基于Agent的数据挖掘的优势

WWW的规模越来越大,其增长并无组织秩序,使得数据趋向于分布在不同地域的、异构异质的数据库和Web网页中。要从不同地域、不同结构的数据库中挖掘出有用信息(知识),如果只是简单地把异构异质的数据库进行集中挖掘是不妥当的,因为这种集中式的数据挖掘要求所有被挖掘的数据必须存放在一个单一的、集中的数据仓库中。因此,即使是在数据分布式存储的情况下,也要求把这些数据收集到一个集中的地方。这导致网络无法负载大量的数据,而使网络的响应时间延长,数据的私有性和安全性被破坏。Agent是由分布式人工智能发展而来的一种新型计算机模型,具有独立的智能性,在构造分布式系统方面具有独特的,较常规的数据挖掘过程无法比拟的优势。考虑到数据的安全性、私有性及自治性,如果将Agent(特别是移动多Agent)和分布式数据挖掘结合起来,则解决了一些常规数据挖掘的局限。

(一)Agent具有智能性和代理能力。智能性是指Agent对所接触的对象能用推理、学习以及其他技术进行分析和解释的能力;代理能力是Agent能感知外界发生的消息,并根据自己所具有的知识自动地做出反应的能力。

(二)对网络的依赖性小。移动Agent可以根据需要,动态地迁移到数据源处执行而不是将数据移往主机,没有了传统数据挖掘中数据的移动与复制,避免了大量原始数据在网络中的流动,节约了网络带宽,减少了对网络的信赖性,同时也降低了数据一致性维护的代价。

(三)具有与环境的交互能力。移动Agent能自动地监测、感知环境。环境发生变化时能自动地做出反应,并与外部环境交换信息或知识。如主动地通知用户谁能够提供其所需的信息,或主动地通知信息提供者谁目前需要其能提供的信息,也就是说可实现“信息找人”的功能,改变一贯地“人找信息”的局面。

(四)具有异步自主执行的能力。移动Agent被创建之后,被派遣到网络上,独立于其创建进程,异步自主地完成所肩负的任务。移动Agent到达目的地工作时可以与网络断开,完成任务之后再与网络相连。

(五)对异构平台的适应性。由于数据的剧增,数据源趋向于分布在不同的计算环境,不同的硬件和软件环境中,这也就造成了数据的异质平台环境。移动Agent独立特定的主机和传输协议,只信赖于它们的执行环境,不为平台的异质所影响。

(六)并行处理能力。在数据库分布式的环境下,可以对异地独立的数据进行并行挖掘,通过多Agent之间的协商与合作进行并行处理,这样不仅可以提高数据挖掘的效率,而且可以增强知识发现系统的灵活性。

三、基于Agent的数据挖掘系统的构建

(一)系统构建中Agent技术应用原理。多Agent系统是由多个Agent组成的集合,在多Agent系统中,Agent之间以及与环境之间,通过通信、协商和协作来共同完成常规数据挖掘不能解决的问题。在分布式的数据源中进行知识的抽取,可以将整个分散的抽取对象看作是一个分布式的系统。而分布式系统的特点是待解决的问题分解为一些子任务,并为每一个子系统设计一个问题求解的任务执行子系统。 通过交互作用策略,把系统设计集成为一个统一的整体,每一个子系统并不是在环境中单独存在,而是要与其他子系统在同一环境下协同工作,协同的手段是互相通信。由于在从分布式的数据库(源)中发现知识需要建立一个由多个信息发现子系统构成的协作系统,各子系统之间协同工作。结合多Agent技术的特点,该技术用于数据挖掘系统中,能够解决传统数据挖掘过程的不足,能较完美地从异构、异质、异地数据库(源)进行知识抽取。

(二)基于Agent的数据挖掘系统。基于Agent技术的智能数据挖掘系统模型,其总体逻辑结构如图1所示。

1.数据预处理Agent的功能是完成任务确定、模型设计、数据分析及数据抽取、数据处理、数据变换。数据处理部分一般包括消除无用数据、推导缺值数据、消除重复记录等清洗操作;数据变换过程一般包括特征选择过程和与具体实现有关的数据格式变换过程。

2.人机界面Agent的功能是发挥人的智能Agent的作用,人为地参与数据挖掘过程,高速和加速数据挖掘的,而且强调人机之间的双向友好交互,不只是人告诉机器去做什么,还要求机器与人通信,告诉人它知道了什么,帮助人去更好地决策。当数据挖掘Agent发现了新的知识时,人机界面Agent就会以可视化或自然语言的方式通知人,这不仅要有概念来支持,而且还要有丰富的语法和语义来支持。

3.数据挖掘Agent。数据挖掘Agent的功能是完成数据模式的识别,即发现新的模式或规则。挖掘Agent使用各种挖掘方法分析数据库中的数据,来为决策Agent提供决策所需的信息。

4.决策Agent。决策Agent利用挖掘 Agent获得的各种信息进行评价和验证,进而对证实的结论和模式进行应用。

基于Agent的智能数据挖掘系统,利用Agent实现信息的收集、预处理、查询,知识的自动提取、挖掘等功能,使整个挖掘过程具有知识性、智能性。

参考文献:

[1]范明、孟小峰等译,数据挖掘概念与技术[M].北京:机械工业出版社,2001.

[2]祝玉华、甑彤,基于Agent的分布式空间数据挖掘研究[J].微电子学与计算机,2005.22(6).

[3]王长缨、陈文伟,多Agent的分布协同强化学习算法SE-MACOL及其应用[J].广西师范大学学报:自然科学版,2006.24(4).

作者简介:

邓悦,女,河北遵化人,辽工大职业技术学院,讲师。

猜你喜欢

异质子系统分布式
基于异质分组的信息技术差异化教学
居民分布式储能系统对电网削峰填谷效果分析
晋能科技半导体尖端技术喜获突破
碳排放对绿色全要素生产率的影响与地区异质效应
基于Paxos的分布式一致性算法的实现与优化
基于CuO/ZnO异质结纳米花的薄膜型丙酮传感器研究
网络空间供应链中入侵检测及防御子系统的投资机制研究
网络空间供应链中入侵检测及防御子系统的投资机制研究
团队与知识管理的关系研究
浅谈中职学校新型模块化机房建设