大数据技术环境渐趋成熟

大数据技术环境渐趋成熟

普元信息技术股份有限公司大数据产品总经理 王轩

“现在，国内IT服务商的技术和产品已经有了很大的提升，技术上越来越成熟，在价格上相比国外产品也更具竞争力。”

大数据虽然是一个新概念，但数据一直都存在。事实上，对数据进行分析、挖掘，为企业的运营、业务提供决策支撑，是很多企业一直所希望的，但在传统的IT环境下，企业对数据进行分析挖掘的成本太高，这使得很多企业只能望数据而兴叹。不过，经过近几年的发展，如今大数据分析的IT环境已经日趋成熟，这也为大数据应用的落地和普及提供了基础的支撑条件。

Hadoop落地传统行业

自2006年诞生以来,Hadoop就被视为是支撑大数据存储的最佳技术之一。不过，在Hadoop诞生之初，其技术架构和生态环境等方面都存在着一定的问题，例如技术人员比较缺乏、系统存在安全性和稳定性问题等，使得很多企业对此心存疑虑。

但经过几年的发展，无论是Hadoop技术架构还是生态环境都已趋于完善。首先，各大厂商争相拥抱Hadoop,并推出了Hadoop的发行版和商业版，这使得Hadoop的稳定性和安全性得到了很好的改善。另外，很多软硬件厂商也在通过向自己的产品中加入Hadoop元素，或通过Hadoop一体机实现Hadoop商业化过程，提升Hadoop相关产品的易用性。

其次，Hadoop的行业应用案例逐步增加。在Hadoop诞生初期，更多是被互联网企业所采用。但最近两年，随着Hadoop生态环境的完善，已经有越来越多的传统行业用户开始采用Hadoop。这些成功的传统行业应用，也给其他行业用户带来了很好的借鉴和足够的信心。

公有云开始普及

大数据对计算能力的高要求，使很多用户“望而生畏”。事实上，即便是随着Hadoop的成熟，但对于绝大多数中小企业而言，成本依然很高。

另外，大数据对于计算能力的扩展性要求也非常高，企业即便是自建数据中心，也很难满足大数据对于系统性能的要求。

不过过去一年公有云的迅猛发展，使得这一难题有望得到解决。事实上，目前已经有很多用户开始采用公有云来实现大数据的分析和挖掘。

“公有云的普及将会有力地推动大数据在国内用户中的落地。”傅志华说道。

数据集成技术逐渐成熟

除了硬件基础架构层面的完善，数据集成和治理技术的发展也为大数据应用的落地提供了有力的支撑。

大数据应用的核心是数据，但对于很多企业而言，过去很长时间，一直困扰他们的问题是，数据的质量存在很大的问题，这也使得大数据的应用效果打了很大的折扣。“现在大数据环境也好，传统数据环境也好，大家面临很严重的问题在哪儿？我们做了很多数据分析和挖掘，这种分析挖掘到底对不对？靠什么来衡量？有的企业是基于数据分析做出了一些营销的趋势性结论，但如果你的数据本身是错的，分析出来的结论未必有用。”普元信息技术股份有限公司大数据产品总经理王轩表示，保证数据质量是大数据为企业带来价值的先决条件。

不过，在以往，并没有太好的技术和产品，能够对大数据进行很好地治理：国外产品价格比较高，而国内的产品则在功能和效果上不甚理想。

“现在，国内IT服务商的技术和产品已经有了很大的提升，技术上越来越成熟，在价格上相比国外产品也更具竞争力。”王轩说。