大数据环境下的存储挑战

文 /Kim Wang(王丛)

亚马逊推出的Prince Check软件，让消费者可以在零售店通过智能手机扫描产品编码，实时比价，在最近距离和传统零售商争夺客户销售额。Google每分钟可以支持来自世界各地的70万次查询。其强大的查询引擎和IT架构支撑，使得Google手机一上市就获得较好成绩。大数据让零售无需店面，在最大限度降低投资同时，加快现金流周转效率。大数据使各行各业商家提高获取优质客户资源和提升利润空间的同时，也使竞争进入“一兵一卒”用户争夺战之中。

大数据时代，企业数据量和数据种类出现飞速增长。大数据时代，全球应用数量从几年前的以十万为单位计算，到了以百万为单位计算。10年前，IT从业人员只是以百万计算，数据生成来源也比较单一，但现在,IT服务使用者已经上升到十几亿的消费者，数据生成来源更为丰富，是名副其实的大数据时代。同时，IT资源的配置和管理要满足高度虚拟化或集群IT架构的需求。企业应用部署效率、业务稳定服务性能，以及动态有效满足OLTP和OLAP性能要求，直接决定着企业核心竞争力。企业要求存储更灵活、更动态、性能更稳定，以支撑大量用户对各种IT服务交付的能力。此外，大数据时代还需要集中、统一和自动化管理的功能。

中桥2013年7月完成的中国大数据市场调查结果显示了，中国市场针对大数据的需求所面临的典型的存储挑战，就此我们看看此次EMC在米兰发布的技术是如何解决这些大数据存储挑战的。

(1).业务关键型性能：就“存储是否能满足目前业务关键应用性能”的调查结果显示，接受调查人员(总计455名受访者)中28.1%表示在未来12个月考虑部署新型存储。36.5%用户在未来12-24个月考虑部署新存储。大数据时代，应用使用者的快速增加，对存储并行处理能力提出了更高要求。此外，生产应用虚拟化产生大量随机读取，这就对传统IOPs和时间延迟提出了挑战。

EMC米兰发布的MCx技术让用户可以通过多核并行处理方式，经济地提高大数据时代存储对并行处理能力的需求。相对于通过增加控制器和磁盘形式提高存储IOPs，这种多核动态优化技术更为经济，且不会增加管理强度和开支。此外，MCx结合灵活闪存技术，可以满足大数据环境下不同应用对IOPs或MBPs的性能需求，并降低时间延迟。

(2)存储利用率：大数据时代数据量快速增加。如何通过存储容量优化，降低存储容量和网络资源需求，降低数据保护过程对生产环境的性能影响，是控制大数据存储新增开支的关键。

EMC的VNX产品支持压缩和重复数据删除，不仅降低存储容量需求。同时，也降低数据传输过程中对网络资源的需求。

(3)容量优化系统性能：为了提高存储资源利用率和业务连续性，存储厂商近年纷纷推出各种企业级功能。为了降低存储管理强度，中端以上存储具有多种工作负载性能监控、动态资源配置和自动化端对端管理功能。然而，传统存储控制器处理能力有限，启动这些企业级功能需要消耗存储控制器资源。用户往往要在存储资源优化和生产性能之间做取舍。

EMC米兰发布的MCx通过多核并行处理，让控制器具有更强大的处理能力，保证启用企业级功能不影响业务性能，实现优化和高性能并举。此外，通过控制信息和数据通道分流，彻底解决了控制信息和数据流资源争用导致的性能问题。保证大数据时代，在不同业务发展阶段下应用性能稳定性的需求。

(4)在大数据时代如何利用各种已有存储资源，为大数据时代的业务发展提供高可扩展和业务连续性是关键。传统存储下，不同厂商的存储之间无法实现快照、复制、备份和恢复，由此带来数据保护的大量开支。同时，带来存储资源浪费。

EMC的ViPR多种标准 API，可部署在ViPR支持的任何文件存储系统上，这种支持多种平台的战略和开放的可扩展性能够充分为大数据环境的跨平台、资源灵活性和开源平台提供IT支撑。用户不仅可以在ViPR框架下支持第三方存储设备，同时可以支撑开源技术。让用户可以利用服务器存储、直连存储、第三方网络存储，甚至是标配磁盘技术，满足大数据演进过程的存储需求。

大数据环境对系统性能要求非常苛刻，要满足应用OLTP和大数据分析OLAP，以及业务关键型应用的低延迟需求，传统地通过增加控制器和硬盘这一解决方式不仅带来高昂的采购、运维成本和占地空间成本，而且还会导致资源的闲置，从而进一步降低了企业的IT总拥有成本。EMC的MCx多核优化并行处理技术，让用户能更为经济有效地满足大数据对于IOPs的需求。灵活的闪存技术选择让用户满足业务关键应用和高虚拟机密度，以及桌面虚拟化对高IOPs和低延迟的需求。同时从战略维度来看，EMC软件定义存储ViPR，对异构平台和第三方技术的整合能力和对开源平台的支撑，不仅实现资源配置和管理效率，同时通过管理和数据的分离，让企业可以逐步从部署管理存储设备向根据SLA需求动态提供存储服务，实现自动化提高集中统一管理的目的。