中国市场大数据对存储的需求

文/王丛

中国市场大数据对存储的需求

文/王丛

中桥国际调研咨询近日为戴尔完成的大数据对存储需求的调研报告简要介绍了中国大数据技术和市场的趋势，并结合5个典型大数据应用场景，浅析了存储，特别是戴尔流动数据架构，如何满足企业在大数据通过IT创造价值的过程中的需求。

大数据创造业务价值

有效利用大数据，不仅可以实时监控各种潜在风险，提高生产效率，更重要的是为企业提供诸多洞见，提升投资回报和竞争优势，而且有助于企业从多维度判断全球市场潜在商机，实现跳跃式快速发展。大数据通过IT创造价值主要分为三个阶段，第一个阶段是批量分析，数据主要来自企业内部结构化数据；第二个阶段是实时分析，数据分析类型逐步从结构化演进到包括非结构化和半结构化数据；第三个阶段则是全方位事实分析，不仅有来自企业内部的数据，同时会纳入来自第三方的竞争数据，以非结构化数据为主。

中国市场大数据分析现状

对于大数据分析在中国市场发展的现状，中桥分析师表示，中国市场90%以上的用户处于大数据分析第一阶段，而且用户大数据分析主要围绕企业内部的结构化数据，如数据库或事务性数据，较少企业将日志、感应数据、社群数据纳入大数据分析。不过这一趋势将会发生变化，因为半结构化和非结构化数据在中国大数据分析的占比在未来24个月将会快速增长。

图1 大数据分析IT投资趋势

图2 大数据存储挑战

大数据分析市场趋势

虽然中国用户尚处于大数据分析的第一阶段，但中国企业已经意识到其重要性。那么在数据分析解决方案部署上，中桥分析师表示，在未来12个月40.9%的企业级用户考虑部署新的数据分析解决方案；而对于45.0%中小企业来说，未来12-24个月将成为大数据分析新方案的强增长点。

大数据存储的挑战

那么，在大数据创造价值的过程中，中国用户又面临哪些存储挑战？分析师表示，受访企业和机构在进行数据分析时面临的存储难题依次为：存储容量不能满足需求（50.1%）、资源配置复杂（44.4%）、采购和运营成本高（40.2%）、不能满足并行处理能力需求（39.3%）、非结构化数据的大数据分析（33.2%）、存储硬件利用率低下（20.9%）。

这表明在大数据时代，在数据量飞速增长的情况下，企业的存储容量面临的压力最大，而应用的多元化和IT的分层管理，带来了系统IT资源配置和管理的复杂；要满足如此海量数据和多种应用的需求，企业的存储采购和运营成本也居高不下；而多个应用的同时运行，则对系统的并行处理能力提出了更高要求；非结构化数据的大数据分析则进一步反映了企业数据类型的多样性和复杂性。因此，为了满足大数据时代的IT需求，企业需要大容量、高性能、保证数据生命周期高性价比的存储来满足大数据存储、数据保护和业务连续性需求。

戴尔流动数据特色

针对上述大数据时代中国用户普遍遇到的存储挑战，以及用户对于新型存储的需求，分析师认为，戴尔流动数据架构可以简单快捷地实现存储容量和性能的升级扩展；横向扩展可以跨不同节点扩展，保证了在容量扩展时性能不会衰减，以及容量和性能的独立升级线性扩展；同时跨不同节点实现了无断代技术升级，避免了叉车式断代升级带来的管理难度和对业务连续性的影响，确保了存储生命周期的高可扩展性。此外，戴尔通过一个“智能”（数据块级智能）和三个“自动化”（数据分类自动化、映射自动化、迁移自动化）、流动数据的分层结合、不同RAID级别和存储层，满足不同工作负载对高可用、高性能和容量的需求，以最微粒化的维度提高大数据分析过程中的资源利用率。戴尔流动数据架构还结合一系列的存储容量优化技术（自动精简、数据压缩和重复数据删除），大大加少了资源浪费。其集群、闪存技术（SLC和MLC）和固态盘分层技术的结合，有效提高了IOPS，降低了时间延迟，实现了大数据对OLTP和OLAP的高要求，以及存储容量可扩展和资源优化的目的。

应用场景分析

1．SQL应用

英国某卫生行业云计算提供商对于客户各种需求的满足，加大了对数据存储容量和性能、大数据分析频率和速度的要求。该提供商结合Microsoft SQL Server 2012 Enterprise软件和商业智能工具，通过混合云平台，为各种医疗机构和医生提供用户可选择的商业智能分析服务。大数据分析过程中，存储主要面临的挑战是扩展和存储利用率以及近实时分析性能。

戴尔流动数据架构的横向扩展特性，以及引入闪存带来的高性能和分层技术可以帮助医疗机构在实现存储资源优化的同时，满足大数据分析的性能需求。

2．SAP HANA应用

美国某电信供应商面临的问题是，如何将不同来源的海量数据进行大数据近实时分析，通过多种渠道为2100万用户提供所需服务。2012年，该公司部署了SAP HANA，对多种维度的数据进行大数据近实时和实时分析。快速部署SAP HANA，以及SAP HANA分析平台对存储容量、存储性能、数据高可用性，以及数据保护的需求对传统存储带来挑战。

戴尔不仅提供了SAP HANA认证整体解决方案，其闪存优化大幅度提高了一层存储的性能，并且流动数据架构的细粒度分层都保证了最大限度降低了SAP HANA部署、调优和管理所需的资源。

3．Hadoop应用

SecureWorks作为信息安全服务商，帮助从政府到企业的各种用户通过Web应用、网络、日志等扫描及全天候安全监控，提高信息安全性。随着客户量的增加，数据量快速攀升，如何保证存储高可扩展性、数据高可用性，以及存储动态资源配置能力，是选择存储的关键。

戴尔 Crowbar结合ClouderaHadoop方案，简化了Hadoop的方案整合，提高了存储性能，优化了存储资源利用率，降低了业务风险。为从IT架构管理，向IT服务交付提供了标准化、规范化、自动化的IT管理平台。

4．Oracle应用

纽约某教育信息交换中心支持64所不同的高等教育机构，为用户提供多种应用；同时，为24所高教机构管理140个Oracle数据库、50多种Oracle应用，对各种数据进行批量分析。随着数据库容量和课件的非结构化文件存储容量快速攀升，如何提高存储资源利用率、对结构化和非结构化存储的集中统一管理，并确保课件所需要的容量和吞吐量，以及课件的在线响应速度是他们面临的挑战。

戴尔流动数据架构结合数据块级智能和虚拟页技术让用户制定灵活的RAID级别和存储层，以及数据存储的盘道位置，通过各种资源整合效应，确保业务关键型工作负载性和高可用性需求。同时，横向扩展保证容量扩展过程的性能满足课件所需要吞吐量，保证课件在所有时段的响应速度。

5．VDI应用

某保险公司有450个保险代理、50万用户，部署了1300个虚拟终端。随着虚拟终端数量以及应用的增多，启动风暴导致每天上班时启动时间在15-30分钟。如何保证启动风暴所需要的IOPs，同时控制桌面虚拟化存储成本，满足存储容量需求，是该保险用户提高桌面虚拟化投资回报的最大挑战。

戴尔12代服务器通过GPU技术，提高了对于桌面虚拟化图形文件的处理能力，大大降低保险行业处理高清影像文件对终端显卡的开支；同时，通过C系列和VRTX，为保险行业用户提供整体IT架构解决方案，降低桌面虚拟化部署周期和管理难度。而戴尔流动数据架构同时保证了虚拟化性能，保证了生产效率。

中桥观点

大数据正在改变着各行各业的产业格局和价值链分配。中国用户已经普遍意识到大数据分析的巨大价值，并计划在未来24个月部署新的数据分析解决方案和存储，提高大数据创造价值的能力和效率。在这个过程中，传统存储难以满足大数据对性能等多方面需求。戴尔流动数据架构将能够很好地应对大数据分析所面临的存储难题，为企业实现IT创造价值起到关键作用。