宁波银行“海王星”大数据平台

案例亮点

“海王星”系统是宁波银行围绕大数据平台，结合数据仓库实施方法论，通过模型设计创新、配套工具开发、管理精细化等一系列措施，并结合企业级数据管理与治理，落地大数据平台数据仓库的整体解决方案。

1.海量批处理和高速流处理，集成了Hadoop、Kafka、Storm、Spark、Impala等计算框架和HDFS、HBase、Kudu等数据存储服务，有效的做到海量批处理和高速流处理。

2.便捷的开发平台，支持标准化SQL，极大提高了开发效率，同时为传统数据开发人员转换平台提供了平滑过渡。

3.一站式投产运维平台，萃取了我们在数据类项目上的理念和经验，形成一套标准化的项目管理规范和流程，涵盖开发、配置、投产、运维等规环节，为用户提供可视化操作。

4.统一高效的调度平台，将业务链条中的各个环节和相互之间的关系，映射成原子单位的任务，对任务的调度与执行进行综合性管理。

5.系统化的数据质量管理平台，基于PDCA思想，通过四大阶段关注质量问题形成过程及质量结果的持续改进，形成闭环流程，对数据质量进行动态性管理。

6.大数据平台模型设计方法论，根据Hadoop技术特定，建立大数据技术下模型设计方法论、标准化的数据处理算法、自动化工具等，构建高品质的大数据仓库模型。

案例背景

随着大数据及互联网金融时代的来临，银行的数据管理应用已从主要为经营管理分析服务逐渐拓展到营销管理、风险管理、客户管理等领域。银行内外数据从量级到类型逐步丰富，对传统数据仓库的处理能力与架构提出了诸多的挑战。传统商业银行数据仓库解决方案面临的挑戰主要表现为：

1.架构封闭，难以完全实现自主掌控，无法满足监管要求；

2.成本高昂，随着利率市场化的推进，IT成本控制压力逐步增加；

3.性能压力，随着业务发展、数据增长，对性能的需求也在同步增长；

4.应用瓶颈，大数据时代需要满足多元的数据应用，诸如实时流处理、全文搜索等，这是传统数据仓库解决方案所无法提供的；

5.持续运营，由于平台的高度封闭性，在后续的运营维护上，存在对国外厂商的高度依赖。