数据仓库在开发电子元器件进销存管理系统中的应用
2017-03-06张紫佼程美玲
张紫佼 程美玲
摘要:该文在指出了进销存管理系统中传统数据库的不足,将数据仓库技术引入,叙述了应用于决策支持系统中的数据仓库模型和多维分析OLAP工具,以物流贸易企业的进销存管理业务为设计背景,介绍了数据仓库技术在开发电子元器件进销存管理系统中的应用。
关键词:决策支持;进销存系统;数据仓库;OLAP
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)30-0001-03
1概述
进销存管理在企业管理中一直占有重要地位,随着近年来经济的发展,企业管理的数据量越来越庞大,为了更好的处理企业商贸流通中的各类数据量,很有必要组建一个具有强大功能的数据管理系统和辅助决策支持系统[1],在此基础上构建起一套完整的进销存管理系统。
传统的进销存系统构建与单一数据库系统之上[2-3],在大数据时代暴露出很多不足,由于其通常是直接建立在业务处理层次上的,决策支持系统和管理信息系统共同存储于同一个数据库系统中,因此不能同时满足分析处理层和事务处理层的需求,难以适应不同用户对不同数据综合程度的要求;而且其对数据的加工和分析提炼功能不强,只能进行一些简单的管理和处理操作,从而导致进销存管理系统处于半手工半自动化状态,利用率不高,无法给企业管理者提供可靠的决策信息支持。
企业为了面临瞬息万变的经济环境,很需要一个可以处理巨大数据量的决策支持系统,该系统不仅具有传统系统的查询和维护功能,更需要具有对巨大的数据量进行ETL(抽取、转化、加载)操作,对数据实现加工和分析功能,得到数据更深层次的信息,更好的支持决策支持,为决策者提供多方位、准确的决策信息[4]。
数据仓库技术促使了新决策支持系统的出现,其在进销存管理系统中的应用也成为构建决策支持系统的趋势。把数据仓库技术应用于企业的进销存管理系统中解决了传统数据库中存在的问题,使得企业在运营过程中实现了“整合数据,从数据中找知识,运用数据知识、用数据说话”。综上所述,本文利用数据仓库技术设计并实现一个电子元器件进销存管理系统。
2主要相关技术
2.1 数据仓库技术介绍
为了使企业常年积累的各方面统计信息和历史数据能够被更有效的使用和管理,并且能更好地为决策者服务[5],就提出了数据仓库的概念。在《建立数据仓库》一书中,数据仓库之父w.H.Inmon阐述了数据仓库的具体定义,即数据仓库技术是集成的、面向主题的、不可更新的、随时间变化的数据集合,对经营管理中的决策制定过程提供支持[6]。它把不同组织方式、不同介质的数据集合转换成统一的分析型数据,为来自不同数据源的数据提供了统一的数据视图[7]。数据仓库是一种可以统一查询多个分布式异构数据库的技術,它将大量无规律的、散乱的数据聚集在一起,经过抽取、转化、加载等处理过程,除了基本的查询和处理功能之外,最重要的是对数据进行整合、归类、分析并可以根据需求将数据以多维视图的形式存储在数据仓库中,从而提供多元化的企业分析,这种数据的处理及存储顺序可以大大增强决策者和进销存系统之间的互动性。
数据仓库的关键特征:1)面向主题:数据仓库是面向在数据模型中已定义好的企业的主要主体领域,比如采购、产品等。重点关注数据建模与分析并不是决策者的事务处理和日常操作;除去无用数据,提供简明视图。2)随时间而变化:数据仓库是从历史的角度提供信息,其每个关键结构中都包含时间元素,其时间元素的范围比传统数据库中的时间范围长很多。3)数据集成:一个数据仓库的构造是来自多个异种数据源;因此当不同来源的数据移到数据仓库时都要经过数据清理和数据集成。4)数据不易丢失:数据仓库不需要对操作型环境中的数据进行更新,也不需要传统数据库中的并发控制、事务处理和恢复等机制,它只需要数据的初始转载和数据访问。
从上面章节可以了解到数据仓库是一个多维度的数据集,因此使用最广泛的数据仓库模型也是多维度数据模型,具体分为星型模式、雪花模式和事实星座模式三种。星型模式:事实表处于中心位置,维表围绕在中心事实表,事实表中有大量没有冗余的数据。事实表中存放商业事实,包括维和量度两类属性列。每一维对应一个维表,通常用于分组,排序和对量度进行概括。事实表和维表之间联系通过主键或外键联系。将星型模式进行变种便是雪花模型:把其中某些维表进行规范化,将数据进一步分解到附加表中,从而形成类似于雪花形状的模式图形。事实星座是一种多个事实表共享维表的模型。
数据仓库并不是传统数据库的替代品,而是在传统数据库基础上,继承了传统数据库的功能,对其进行重新组织和扩展,使得功能更加强大。
2.2 OLAP技术介绍
联机分析处理(OLAP)系统是数据仓库系统最主要的应用。根据OLAP委员会的定义:对于从原始数据中转化出来的、能真正被用户所理解的、并真实反映企业维特性的信息,OLAP可以让管理人员、执行人员或分析人员能够从多种角度来对进行快速、一致、交互的存取,从而可以使用户对数据更深入了解,它的技术核心是“维”这个概念[8]。
OLAP的基本特征:1)快速性:系统对用户的分析要求响应速度应该为秒级;2)可分析性:OLAP可以对与应用有关的任何逻辑分析和统计分析进行分析处理;3)信息性:不论数据量的大小和数据存储的存储位置,OLAP系统具有及时获得信息并且管理大容量信息的功能[9];4)多维性:系统提供对数据的多维视图,其中包括对多重层次维和层次维的支持,这是OLAP的关键属性。
OLAP分析把数据进行多维组织后,再进行切块、切片、钻取、旋转和聚合等操作,来对数据进行剖析,从而能够从多个侧面、多维度来查看数据,同时对多种数据的综合度进行分析,最后来总结出这些数据背后隐藏的规律。
3系统设计和实现
3.1 电子元器件进销存系统结构设计
该系统由三模块组成:数据管理模块、辅助决策模块和业务处理模块。其中数据管理模块管理整个系统的数据,主要实现对不同的数据源到数据仓库进行转移,对数据仓库中业务规则和数据结构进行管理;辅助决策模块由联机分析工具和数据挖掘工具等组成,对数据进行统计分析预测从而实现对决策的支持;业务处理模块的后台是多个异构的分布式数据库,前台的业务应用系统是用来完成业务的处理,并把原始的数据提供给辅助决策模块[10] ,它是整个进销存管理系统的数据入口。
本文中开发的是电子元器件进销存管理系统,应用于经营单片机等硬件的中小型企业。其模块除了用户管理、系统设置外,主要模块为:针对电子元器件的入库管理、出库管理和库存管理。运用数据仓库技术后,该系统的结构设计如图1。
在数据仓库中,把原始数据进行多维化处理从而形成了一种多维数据模型。之后能够从多层次、多角度用多维分析的方法对数据进行统计分析。
简要介绍下事实、粒度和维的定义。事实是要分析的目标数据;粒度是对维进行划分时的单位明细程度;维是事实的属性和对事实进行考察分析的角度。本文中的电子元器件进销存管理系统的事实包括:本季度入库采购量、本季度出库采购量、累计入库采购量、累计出库采购量、累计出库采购额、累计入库成本、去年同期采购量、预计采购量等等;维包括:时间、电子元器件商品、入库采购地点、出库采购地点、客户、供应商等;粒度:比如时间的粒度是年、季度、月、周、日。为了更加直观化,本文用超立方结构来表示三者的关系:XYZ的每个坐标轴是一维,粒度就是坐标轴的单位,事实就是坐标轴空间中的某一个点[11]。如图2显示的坐标轴空间中的每一点就表示“某种电子元器件商品在某一时间对某个供应商的采购量”。从而达到从不同的层次(粒度)、不同的角度(维)来观察分析数据(事实)来分析数据。
下面以电子元器件的入库管理为例来说明数据仓库系统的概念模型设计。
1) 概念模型设计
对入库数据仓库所需的数据进行建立,其中主要包括:入库订单数据、电子元器件商品数据、供应商数据等。
确定系统的主题和内容:也就是“维”,入库管理模块维有三个:电子元器件商品、供应商和采购员。电子元器件商品主要对电子元器件商品分类和采购情况进行描述;供应商主要对供应商的分类以及供应商合同的管理进行描述;采购员主要对采购员对商品的采购情况和采购地区的分布情况进行描述。
电子元器件商品的属性(粒度):
电子元器件商品固有信息数据(商品ID、商品名称、商品类别等)
电子元器件商品库存信息数据(商品ID、仓库ID、库存量等)
电子元器件商品采购信息数据(商品ID、供应商ID、采购日期、采购数量等)
供应商的属性(粒度):
供应商固有信息数据(供应商ID、供应商名称、地址ID、电话等)
供应商合同信息数据(供应商ID、合同ID、数量、起始日期、终止同期、价格等)
供应商供货信息数据(供应商ID、商品ID、数量、单价、日期等)
采购员的属性(粒度):
采购员固有信息数据(采购员ID、采购员名称、采购商品等)
2) 逻辑模型设计
根据上述的概念模型,下一步能得到星型的逻辑模型,如图3所示。星型模型显示的是一种多维分析的结构。星型模型的中心是分析的目标,对应上述的事实表;访问的角度在四周对应维表;每一维又可划分不同的粒度。
3) 决策支持
多维数据模型使管理人员能够通过动态、丰富的多维分析和查詢来了解企业的各方面运营情况,进而探索出业务活动的规律。1)市场分析:运用了数据仓库技术的进销存管理系统,能够利用OLAP数据分析工具从而更加深入仔细地对系统数据进行研究,分析出客户的购买行为、商品组合和其它重要的战略性信息[12]。着重分析采购量较大的商品,从而保证在正确的时间和地点有正确的库存,减少成本来增加利润。2)趋势预测:运用数据仓库技术对电子元器件的商品种类、库存、出入库信息进行分析,以及时确定需要补充的商品,从中还可以分析客户购买商品的趋势;并对某些电子元器件商品进行价格调整。系统需要对大量产品采购的相关数据进行检索,在此检索结果的基础上进行统计分析,进而完成预测出商品采购量的任务。3)参照分析:利用OLAP对系统数据的分析,能够实现对商品分组布局、购买推荐和商品参照分析的强大功能[13]。比如从购买电子元器件的记录中挖掘信息,来发现购买某一种电子元器件商品的客户还可能会购买其它哪些电子元器件商品,分析该客户的购买习惯。从购买记录中提炼出最佳的电子元器件商品的分组布局,来帮助决策者选择供应商的商品。
基于数据仓库的进销存管理系统具有强大的数据挖掘功能,还具有许多功能:比如对促销活动有效性分析、对客户忠诚度分析和对供应商信用度分析等。
3.2 系统界面实现
基于以上对系统的分析和数据仓库技术的研究,对电子元器件进销存管理系统进行开发实现。本文的进销存管理系统是针对单片机类的中小型企业,该企业从供应商处采购电子电子元器件,根据客户的不同要求经过写入代码等加工流程后,向客户进行采购。因此需要对电子电子元器件的采购情况、采购情况和库存情况等进行统计分析。主要的模块:主页面、入库操作和出库操作设计如下:
4 总结
本文结合中小型硬件企业中的进销存管理业务,指出了运用传统数据库技术的进销存管理系统的不足,从而提出了将数据仓库和OLAP技术应用于进销存管理系统,进而设计和实现了电子元器件进销存管理系统,该系统是在以数据仓库技术为核心的环境下构建的。基于数据仓库以及多维模型分析工具的系统,不仅具有基础的对电子电子元器件库存快速查询和电子元器件入库操作和出库操作的准确处理,而且具有强大的数据综合分析能力,实现数据多维化、灵活化、自动化;进而帮助企业快速正确的做出电子元器件的采购和采购决策,提高企业的竞争力。鉴于数据仓库和多维化处理技术具有如此多优势,其在企业中必将有广阔的应用前景。
参考文献
[1] 高洪源.决策支持系统(DSS)理论、方法、案例[M].北京:清华大学出版社,1996.
[2] 王培仁.企业进销存管理系统研究与开发[D].南开大学学软件学院,2011.
[3] 张智.邓志宏.李建奇基于B/S模式的进销存系统的设计[J].科技创新导报,2010(23).
[4] 张素萍.浅谈基于数据仓库的决策支持系统[J].计算机应用研究,1999(5).
[5] Bischiff J.Alexande T.数据仓库技术[M].北京:电子工业出版社,1998.
[6] W H Inmon.建立数据仓库[M].北京:机械工业出版社,2000.
[7] 巧云.基于数据仓库的决策支持系统研究[J].情报探索,2005(1).
[8] 赵博,叶晓俊.OLAP性能测试方法研究与实现[J].计算机研究与发展,2011,48(10):1951-1959.
[9] 贾志华,张亚寒,魏祥.OLAP在企业中的多维数据分析研究[J].计算机与网络,2008,34(11):36-37.
[10] 李薇,李宛洲.基于数据仓库技术的进销存系统的设计与实现[J].计算机工程与应用,2001,37(10):95-95.
[11] 冀振燕.UML系统分析设计与应用案例[M].北京:人民邮电出版社,2003.
[12] 李延佳.数据挖掘技术的研究与实现[D].北京邮电大学,2008.