大数据不止于Hadoop，更需要安全可靠

本刊记者 | 张鹏

大数据不止于Hadoop，更需要安全可靠

本刊记者 | 张鹏

在电信行业，大数据分析和挖掘似乎更为特殊，运营商具备天然的大数据分析基础，但如何保证用户数据的隐私性却是近些年阻碍其发展的关键所在。

2015年，国内大数据市场继续保持高速的发展态势，其中以Hadoop为代表的一系列开源软件服务商更是成为了产业链中的核心角色；来自国家政府层面的推动力量不容小觑，在年初“互联网+”的产业大战略带动下，政府层面随即又出台了《促进大数据发展行动纲要》，为各地政府部门的数据建设和民生服务项目指引了方向。

可以说，2015年的国内大数据产业正渐入佳境：一方面以Hadoop为代表的开源技术将原本束手无策的结构化和非结构化数据统一起来进行数据分析、建模和挖掘，并且基于该平台之上的一系列更具深度智能分析的技术和工具也在不断发展演进；另一方面，在政府、市场、客户的多重影响下，企业对于大数据分析平台的接受度也在不断提升，并不仅限于研究和规划层面，落脚点更多地放在了如何利用大数据分析工具提升企业生产力的角度。

然而，快速迭代的产业背后也存在着隐患，在最新发布的“2015年中国大数据技术和产业发展报告”中，“安全”成为了关键词。

Hadoop为大数据“代言”，“安全”成关键词

事实上，相对于传统的数据模式，大数据更容易成为网络攻击的目标，在如今网络泛在化和数字化生活普及的当下，大数据分析和存储已经进入了黑客们主要的“攻击名册”。因此，在企业逐渐采纳并实践大数据分析的过程中，如何构建一个开源、稳定、高性能和安全可靠的大数据管理平台成为了CIO们的首要事项。

作为全球H a d o o p技术的核心供应商，Cloudera对于国内市场需求的转变体会得更加深刻。Cloudera全球副总裁、大中国区总经理凌琦告诉《通信世界》记者：大约在前两年，国内大数据正值市场导入期，很多企业都会选择免费版Hadoop数据平台进行尝试，并在不断实践和运行中增进自身对于数据分析的理解力和挖掘能力；但伴随企业对于大数据分析能力的逐渐提升，企业IT部门对于Hadoop平台也有了更深层次的需求，尤其是，开源化Hadoop数据平台需要具备可管可控以及高安全性。

据统计，在大数据Hadoop市场中，目前80%企业用户采用的Hadoop免费版本都来自于Cloudera的发行版本。据悉，当初创建Cloudera的几位联合创始人正是最初在搭建Hadoop生态系统中的几位顶级代码贡献者。

大数据分析步入纵深，市场需求升级

越来越多的企业客户开始意识到，大数据不仅需要Hadoop，更需要安全可靠。

某电信行业技术工程师告诉记者，在大数据分析的实验室阶段，由于涉及人员较少、使用功能简单，因此Hadoop免费发行版就完全可以支撑，但随着大数据分析能力逐渐进入生产系统，企业需要汇聚多业务平台上的海量不间断数据，且在该平台上进行数据调取和分析的人员数量也逐渐加大，由此也就产生了安全隐患。“我们需要对于数据平台上所有人员在数据抓取和分析的权限进行细分，并对越权抓取数据的行为进行告警和实时拦截，更重要的是，所有数据的使用和调取情况都需要被准确地记录下来。”

而在电信行业，大数据分析和挖掘能力似乎更为特殊，由于运营商几乎把持全国80%以上的管道资源，由此产生的用户数据和网络记录每天都要以亿计算，可以说是具备了天然的大数据分析基础，但如何保证用户数据的隐私性却是近些年阻碍其发展的关键所在。

对此，凌琦也表示，目前国内的政策法规在数据隐私保护方面并不明确，运营商确实需要在数据挖掘方面对于用户的隐私和个人信息格外注意，不过这在技术上并非不能实现，目前大数据市场中已经具备了较为成熟的数据清洗和数据脱敏的应用工具，能够将用户的隐私完全“藏”起来，完全满足电信行业的数据分析需求。

以大数据增强市场竞争力，BT率先试水

不仅如此，在国外电信运营市场中，已经有了很多通过大数据分析能力提升业务能力，保持自身可持续盈利能力的成功案例。而这对于正处于探索期的国内电信行业而言，无疑具备参考价值。

BT（英国电信）就是其中的佼佼者，作为世界上规模最大的电信运营商之一，BT的年均收入高达180亿英镑（大约300亿美元），用户规模包含了1800万个人消费者和300万企业用户。

对于BT目前的发展情况，与开发新市场、扩大用户规模相比，搭建可持续且可盈利的增长模式、进一步扩展和深化客户关系显然更为重要，按照BT首席数据架构师Philip Radely的说法:我们需要知道客户是谁，他们已经有了什么服务，运行效果如何，以及他们是如何与网络连接的。“我们需要打破业务后台数据仓库中的‘孤岛’，实现所有数据资产的高质量和完整度，由此洞见潜在的市场商机。”Philip Radely如是说。

最终，BT选择了Cloudera企业数据平台（EDH），通过9个月的努力基于Hadoop集群成功搭建了一个全新的关系型数据库，由此具备了对于用户数据的360度全视角分析能力。现如今，BT的EDH数据平台已经能够在1900多个运营系统中任意地抓取数据并进行分析。而BT的数据处理速率也由此提升了15倍，BT基于业务的数据分析可以直接采用当天数据，而不是昨天的。

网络安全：“互联网+”时代安全形势更加严峻

2015年，企业和用户对打击网络有害信息和不法行为的呼声更加强烈，维护网络安全迫在眉睫、刻不容缓。这是因为，在外环境方面，针对政府、企业、个人的安全事件，甚至是国家之间的安全事件层出不穷；在内环境方面，数据泄露等安全事件增多，企业或者个人在这些事件中遭受巨大经济损失或是隐私被公开。在这两方面原因驱使下，2015年国家和企业愿意投入更多资源到网络安全防护工作中，这进一步提升了中国网络安全产业力量。

安全事件呈多发态势

纵观2015年，互联网正在深刻改变着人们的生产、生活方式，人们在网上交流、交往、交易，话在网上说，钱在网上花，事在网上办，已经成为一种习惯、一种常态。

但同时，网络安全问题也相伴而生，网络攻击、网络恐怖等安全事件时有发生，侵犯个人隐私、窃取个人信息、诈骗网民钱财等违法犯罪行为依然猖獗，网上黄赌毒、网络谣言等屡见不鲜，已经成为影响国家公共安全的突出问题。

今年5月，携程和淘宝相继发生大面积网络瘫痪问题，被网友调侃为“‘互联网+’还是抵挡不住传统产业的一铲子”；今年6月，境外黑客有组织地攻击中国政府网站；之前，铁路总公司的售票官网12306曾发生大规模用户信息泄露……

越来越多的事实已经证明，“互联网+”时代，首先需要加上的就是安全砝码。除了企业安全外，可以看到，近几年通讯信息诈骗、恶意软件、“伪基站”等侵害消费者权益、危害网络信息安全的不法行为呈多发态势。

防护手段更加智能、开放

在此背景下，厂商提供的安全防护技术也在升级。从技术层面看，互联网安全形势已经发生重大变化，传统单一企业级防护产品无法抵御新兴威胁，目前产业链参与者正打破行业壁垒、优势互补，针对企业用户内外网容易遇到的各类问题，提供一套完整的管控安全解决方案。

可以看到，在2015年腾讯安全、绿盟科技、山石网科、360等，借助云计算和大数据技术，为消费者和企业提供更加智能的安全系统，从被动防护到主动防护。

而移动互联网、大数据和云计算飞速发展，一方面对网络信息安全提出的更大挑战，另一方面也扩大了信息安全市场。可以看到，国内三大运营商不再甘心只开展自身网络防护，也将目光投入到不断增长的信息安全市场中。如中国电信推出的DDoS防护系统“云堤”，中国联通推出移动办公等领域的联通安全方案。