中小银行建设数据仓库平台的探讨

邱成良　鲍佳儿

伴随信息技术发展，中小银行（含农村信用社及其改制的银行）信息化水平不断提高，经过近年业务品类和规模的迅速扩展，积累了大量经营历史数据。随着银行市场竞争日趋激烈和利率市场化的预期来临，规模扩张的粗放式管理模式已经不适应其当前发展，中小银行亟须利用信息科技挖掘内在规律，变粗放式管理向精细化、信息化管理模式转变。因此，中小管理信息化的需求变得极为迫切。数据仓库及商业智能技术给银行管理信息化提供了成熟的技术支撑平台，目前，国内规模实力较大银行都已建设了各自的数据仓库，体现出其优越性，极大提升市场竞争能力和经营管理效率。

参照规模较大银行经验，结合中小银行的特点，建立轻量级的数据仓库，借助数据仓库与商业智能技术从这些业务数据中提取有效的、潜在的数据信息，对中小银行来说已是迫在眉睫。在该数据仓库平台基础之上，采用多维分析技术，构建存款分析、贷款分析、中间业务、会计分析、客户分析等业务分析主题域，陆续实施客户关系管理系统、经济资本管理、绩效考核等管理型应用，对中小银行经营决策和管理提供强大的数据支撑以及提高其市场竞争力和风险防范能力都有重要意义。

一、数据仓库平台设计原则

一是良好的业务适应性及可扩展性：在各业务系统源数据模型不出现重大变化的前提下，系统从设计上采用模块化和组件化，松耦合实现，要求具有良好的业务适应性及可扩展性，业务模型采用参数化定制，方便用户在未来业务新增或变更的时候进行维护。适应中小银行发展的思路和科技规划，至少应满足未来5年的业务及技术需求；

二是跨平台性和开放性：平台宜采用JAVA开发与实现，通过采用统一的标准化规范，可扩展的系统架构，开源框架（例如SPRING MVC），保证系统可在异构的平台系统及数据库之间方便移植；

三是稳定性和鲁棒性：整体平台应运行稳定，有很强的防错、抗错能力，具备故障恢复能力和鲁棒性，保证日常事务连续稳定运行。实时的决策支持能力，保证使用人员的日常事务处理不需要技术人员频繁支持。

四是先进性和成熟性：平台宜采用先进的技术，符合当前的技术发展方向；成熟的产品可尽量减少平台的实施和运行风险，保障平台高效稳定运行。

五是安全性和保密性：平台宜采用统一化界面设计，通过统一的界面和内部的权限控制，防止越权操作，保障操作的合法性；充分考虑在网络、操作系统、数据库、应用等方面的安全性。

二、数据仓库平台设计

中小银行数据仓库不宜过分复杂，层次不宜过多，设计上课程分为数据源层、ETL服务层、支撑组件层和功能实现层。

一是数据源层：该层次包含中小银行营业中产生的各类元数据，主要包含会计核心数据、信贷业务数据、国际业务数据、卡中心数据、支付平台数据、资金业务数据、网上银行数据、手机银行数据、中间业务数据以及各类管理系统的数据。

二是ETL服务层：提供数据获取、清洗、转换及加载过程。在ETL过程中，进行数据源模板格式校验、数据完整性校验、数据合法性校验、数据正确性校验以及数据清洗与加载。

三是支撑组件层：支撑组件主要指数据仓库DW以及数据集市DM过程中用到的工具和组件，主要包含数据抽、取加、清洗工具IBM DATASTAGE，报表开发工具BUSINESS OBJECTS、COGNOS组件以及前台界面快速开发平台等。

四是功能实现层：该层主要实现系统功能模块，应至少包含：工作台、系统运行参数、用户管理、元数据管理、目录管理、用户组管理、机构管理、数据维护、角色管理、应用平台业务功能、数据分析实现授权、数据挖掘与展现、商业智能报表设计与管理等。其中，元数据管理是指对数据标准字典、数据说明等信息进行维护与管理；系统运行参数是指对对业务人员权限、功能模块定义、机构管理、报表管理、信息主题维护等与系统总控参数的定义与维护；报表设计与管理指定义报表、生成报表、发布报表的过程。

三、数据仓库存储设计

一是元数据（META DATA）。元数据是存储和处理接口文件的区域，接口文件区在操作系统（如UNIX、AIX）下按照特定的目录结构组织起来。用操作系统的指令集和工具来管理。对每个目录按照其特定的用途设置不同用户的访问权限。元数据的处理主要是SHELL调用DB2的LOAD文件命令，附加一些自己开发的特定程序来实现。

二是数据初始入库ODS层。该层数据具有面向主题、集成的、可变的数据集，是当前的或是接近当前的数据，它介于元始数据文件和数据仓库之间的一种数据存储技术，与原来面向应用的分散的、杂乱无章元数据相比，ODS层增加了ETL时间戳等标记，存放当日或当月的数据，且数据结构接近数据源业务系统。该层可以在业务系统和数据仓库之间形成一个隔离缓冲层，转移一部分业务细节数据的查询功能。

三是数据仓库DW层。该层主要目的是支持把元数据文件装载到数据库，并对其进行验证和处理，然后把数据按照统一规则命名。验证的方法主要是将新转载的数据与ODS内已有的数据进行查找和比较。该层数据是最完整的，并且保存期限最长，中小银行管理系统应用数据时，可以在这一层直接卸载成标准文件落地供给管理系统使用。

四是汇总数据层。汇总数据区是为了方便查询及防病后续多维数据的更新，创建的常用的汇总表，以提高性能和降低后续检索工作的复杂性。汇总应最少包含贷款余额累积数和日均计算、存款余额累积数和日均计算、资金业务余额累积数和日均计算、中间业务余额累积数和日均计算等。汇总数据层应尽量在多个数据集市的计算中共享，这样方可大幅度的提高整个数据仓库查询的性能。

四、数据仓库平台建设目标

一是统一客户信息。目前中小银行系统众多，彼此间缺少关联，造成客户信息紊乱，针对客户信息的查询问题、困难很多。数据仓库通过设定一定规则，统一客户信息，便于以后开展客户管理系统以及精准营销管理系统的开发建设。

二是提高数据质量。系统建设会促进各个业务系统的发展，特别是数据质量的提升。通过统一数据清洗，为中小银行相关应用系统提供干净、一致、全面的数据。

三是多维度智能分析。通过数据仓库挖掘技术可以按照客户存款、贷款、中间业务进行多维度分析，更加全面、系统和综合的分析数据。

四是为专题应用供数。平台搭建后，可以方便为管理建立数据集市，进而可以开发引入经济资本管理、产品定价、资产负债管理、盈利性分析、成本分摊、内部资金转移定价、风险管理等，提升中小银行的管理水平。