Hadoop构建的银行海量数据存储系统研究

李德有+赵立波+解晨光

摘要：针对目前国内银行的OLAP（Online Analytical Processing）技术滞后于海量数据处理需求的情况，研究了海量数据存储、处理的关键技术，设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统，介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现，通过实验验证，系统能够实现数据的高可靠性与数据的高可用性目标，既能满足业务数据实时处理的需求，也能满足海量数据统计分析的需求。endprint