集装箱码头数据仓库的设计

林志灿

(闽南理工学院 实践教学中心，福建 石狮 362700)

1 绪论

1.1 课题背景

泉州太平洋集装箱码头有限公司所经营的石湖港区为国家一类口岸，主营集装箱业务，兼营以荒料石为主的散杂货业务(含保税仓储业务).截至当前，国内外诸多知名集装箱公司已在石湖港区开辟了20多条集装箱航线，航线辐射国内各主要港口.石湖港区已然发展成泉州港内贸集装箱枢纽港和东南亚地区最大的石材交易市场.[1]

目前，该公司的数据分析利用独立的业务数据进行提取分析，无法灵活的实现综合性数据关联分析.若需对作业成本、收入情况、作业量及效率进行分析，就要建立一个适合综合分析、便于扩展、符合该公司业务情况的统一数据模型.

基于以上因素，提出泉州太平洋集装箱码头数据仓库项目[2]，本文主要研究在数据仓库建设的初期，设计生产操作数据的数据仓库.

1.2 主要研究内容

首先，分析泉州太平洋集装箱码头业务需求，码头生产操作系统(TOS)中数据的逻辑关系、吞吐量相关的数据来源，选择数据建模工具建立吞吐量的逻辑模型.

其次，根据泉州太平洋集装箱码头业务系统的特点，尝试以MS SQLSERVER2008作为目标数据库存储平台完成物理设计.

2 业务整理与项目规划

2.1 业务状况介绍

船舶公司与码头是关系最为密切的对象之一.降低运行成本、提高效率是公司亟待解决的问题，操作部将投入大量精力进行降低成本与提高效率的研发，期望通过数据仓库的建立为后期的生产研发做准备.

2.2 报表数据的需求

在公司内部生产研发、对外部单位提供数据，报表是最直观和便捷的展示.所以各部门提出了各自的报表需求，抽取部分如表1.

表1 报表分类举例

2.3 架构设计

优秀的架构可以更好的实现业务需求，能提供更优越的服务性能，架构也决定了项目的灵活性与开发成本.[3]数据仓库的主要工作是从不同的数据源中抽取数据，通过清洗、校对，再导入到数据仓库，最终以不同形式展示给用户.

微软公司的Microsoft SQL Server 2008为数据仓库的建立提供了一个快捷、完整的解决方案，其中为用户提供了可构建典型与创新的分析应用程序所需的各种工具、功能和特性.

SQL Server 2008的RDBMS一般为中小企业数据仓库的首选存储平台，它可以以链接数据库的方式访问其他数据源.

SQL Server 2008 Reporting Service(SSRS)包含的报表设计器提供了一个可视SSAS(SQL Server 2008 Analysis Services)多维数据集查询设计器[4]，减少了手动编写多维数据查询的需求，便于快速创建报表.

SSAS除了提供存储和查询OLAP多维数据集数据的机制，它还提供了OLAP多维数据集供开发人员进行开发和管理.

当源数据经过抽取、转换并装载到数据仓库后,就可以通过多种方式来呈现数据仓库中的数据.SSAS可以为数据仓库建立一系列的多维数据集(CUBE),多维数据集包含一组通常由数据仓库的子集构成的、并组织和汇总到由一组维度和度量值定义的多维结构中的数据.微软公司的商务智能解决方案符合该公司项目的需求，数据仓库项目架构如图1所示.

图1 数据仓库项目架构图

3 数据存储结构设计

3.1 数据定义的统一

统一数据即对元数据进行管理，元数据数据库应用和信息处理中用于定义、关联和管理数据.元数据在数据仓库的设计、开发和运作阶段至关重要，尤其在数据获取、转换和存取方面[5].

只有统一了对数据的定义，才能对企业内的不同应用系统进行集成.建立中央数据库存储元数据，若业务发生变更，只需修改元数据，公司内部各应用系统间的交互便可通过中央数据库进行统一转换.然而，此方案需投入大量的精力和人员，与前述所提的减少成本相悖而驰.当前期望是，统一各系统间的数据定义，形成电子文档进行存档，供公司内部进行查阅.

3.2 数据源结构描述

本项目其中一个目标是对码头生产操作系统(TOS)主要数据表结构进行整理，形成电子文档，供内部IT人员参考，在业务岗位或相关单位有临时数据要提取时，能快速准确的提供.鉴于公司IT部有员工对数据库的主要结构比较了解，对TOS系统也比较熟悉，在他们的帮助下，形成了比较完整的生产系统主要表结构信息.具体的表结在此不再详细描述，形成的文档格式如图2所示.

图2 表结构范例

其中有16张表与吞吐量有关，此处仅给出表名以供数据仓库存储时对应，具体如表2所示.

表2 源系统吞吐量相关表结构

通过将表结构信息整理出来，从源数据中抽取哪些数据就一目了然，应经过何种转换存储到数据仓库中.

3.3 企业数据标准化

不同部门间统计数据的方式存在迥异，例如吞吐量，可按自然日(24∶00截止)统计，也可按18点截止统计(操作部)；吞吐量既可包含辅助作业量也可不包含辅助作业量.所以，很有必要进行数据标准化工作，这也是数据仓库建立的前期工作之一.

在吞吐量数据建立之前，首先要明确以下基础数据的定义.

自然箱量：单位UNIT，1条作业指令即对应1个集装箱装船操作，也即为1UNIT.

标准箱量：单位TEU，根据作业指令对应的集装箱尺寸折算为标准TEU，折算规则为：1个20英尺的集装箱统计为1TEU，1个40英尺的集装箱统计为2TEU，1个45英尺的集装箱统计为2.25TEU.

吞吐量统计时间截点：按照船舶的实际离泊时间来统计，时间点是18∶00，月度数据的统计时间是上月最后一天的18∶00(不含18∶00)到当月最后一天的18∶00(含18∶00)；

货物皮重：在统计时间范围内的船期的装船作业箱皮重+卸船作业箱皮重.

货物净重：在统计时间范围内的装船作业货重+卸船作业货重.

倒箱：在装船作业指令中，箱子的进港类型为倒箱(R)的指令，即为了装某个箱子到船上或从船上卸某个箱子时，需要移动其他集装箱而进行的操作.

装销子箱：是指在装船作业时，桥吊作业的装销子箱数量.装销子箱作业1次对应桥吊吊具操作1次,装1个销子箱一次即计为1UNIT.折算标准将销子箱作业自然量折算为标准箱量的规则为1UNIT销子箱折算为1UNIT20英尺普通集装箱，即折算为1TEU；折算重量为2 300 kg.

卸销子箱：是指在卸船作业时，桥吊作业的卸销子箱数量.卸销子箱作业1次对应桥吊吊具操作1次,卸1个销子箱一次即计为1UNIT.折算标准将销子箱作业自然量折算为标准箱量的规则为1UNIT销子箱折算为1UNIT20英尺普通集装箱，即折算为1TEU；折算重量为2 300 kg.

开舱盖板：指在装卸船作业时，桥吊作业的开舱盖板数量；1块舱盖板开1次即计为1UNIT；折算标准将舱盖板作业自然量折算为标准箱规则为：1UNIT舱盖板折算为1UNIT 40英尺普通集装箱，即折算为2 TEU；折算重量为4 000 kg.

关舱盖板：指在装卸船作业时，桥吊作业的关舱盖板数量；1块舱盖板关1次即计为1 UNIT；折算标准将舱盖板作业自然量折算为标准箱规则为1 UNIT舱盖板折算为1 UNIT 40英尺普通集装箱，即折算为2 TEU；折算重量为4 000 kg.

集装箱吞吐量：在统计时间范围内船期的装船集装箱作业量+卸船集装箱作业量.

辅助作业吞吐量：在统计时间范围内的船期，进行倒箱+装销子箱+卸销子箱+开舱盖板+关舱盖板的作业量.

明确有关吞吐量的各种基础数据的定义后，就能对各业务部门提供一致的度量值以供分析，不必再为不同部门专门定制不同的统计规则或单位，有利于各部门沟通.

3.4 数据仓库数据结构

数据仓库建立的目标之一是从原系统中抓取数据存储到数据仓库中.项目采用SQL Server 2008作为数据仓库数据的存储平台，在数据仓库中建立了对应源数据中的16张表结构.

3.4.1 数据仓库表结构

16张表的数据经过了加工和整理，除了对历史数据进行修正，更重要的是，在新的表结构中增加了冗余字段，为的是更方便的从数据仓库中提取所需数据.新的表结构如图2，显然，16张表之间没有外键关联，但多于100行记录的表都有主键.鉴于数据装载的速度，我们取消了外键，数据仓库中的数据来源于事务型的TOS系统，存储到数据仓库中的数据只提供查询和分析，并不会存在事务型数据库中的数据不完整.

3.4.2 目标数据与源数据的对应关系

在图3中的16张表对应源数据中的16张数据表，但是在数据仓库中存储的表结构中包含了更多的冗余信息，方便后期对数据的查询，减少表关联，同时也剔除了一些无用的字段，为数据表“瘦身”.

图3 数据仓库表结构

4 结语

本文通过对泉州太平洋集装箱码头业务的整理和分析，按照业务实际需求建立起数据仓库数据结构，为项目的实施打下坚实的基础，并规范的把这些整理出来的元数据信息归档保存.数据仓库的建立是一个漫长的过程，本文仅仅涉及到吞吐量数据库的设计，期望以该设计为后期费收、成本、效率等主题的建立提供方法依据.论文中还有一些未介绍的工作，如ETL过程、多维数据集设计等，这些都是数据仓库建立过程中的重要步骤，也是后期需要深入研究的工作.

[参 考 文 献]

[1] 泉州太平洋集装箱码头主页http:∥www.shport.com/company.html.，2017-06-12

[2] PAULRAJ P.数据仓库基础[M].段云峰,李剑威,韩洁,等译.北京.电子工业出版社，2004:43-56.

[3] 张曙明.论数据仓库的数据架构设计[J].信息通信技术,2009(6):11-15.

[4] LYNN L,KEVIN S，DAVIDE M,et al.SQL SERVER2008商业智能完美解决方案[M].张猛，杨岳，朗亚妹,等译.北京:人民邮电出版社,2010:10-28.

[5] RALPH K.数据仓库生命周期工具箱[M].2版.唐富年，孙媛媛译.北京:清华大学出版社，2009:94-99.

[6] 池太崴.数据仓库结构设计与实施-建造信息系统的金字塔[M].2版.北京:电子工业出版社,2009:34-43.