一种安全性的海量数据处理平台设计与实现*

张德阳，王晶

(1 北京邮电大学网络与交换技术国家重点实验室，北京 100876； 2 东信北邮信息技术有限公司，北京 100191)

一种安全性的海量数据处理平台设计与实现*

张德阳1，2，王晶1，2

(1 北京邮电大学网络与交换技术国家重点实验室，北京 100876； 2 东信北邮信息技术有限公司，北京 100191)

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式，以MapReduce、Spark和Storm等作为底层数据处理方式，向用户提供了统一的接口，同时使用Kerberous进行权限控制，保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。

Hadoop；分布式系统；海量数据；Kerberous；数据处理平台

1 引言

目前，解决海量数据处理主要有两种方法：一种是传统的超级计算机处理方式，例如中国著名的天河贰号，美国的泰坦等超级计算机；另一种是构建于相对低廉的计算机集群之上的云计算平台，例如Google的GFS，中国阿里的阿里云以及Apache基金会所开发的Hadoop等。对于大多数公司和政府机构来说，更愿意付出一定的资金以获得海量数据资源的安全性和保密性，即采用Hadoop开源云计算框架开发私有云平台。Hadoop可在廉价的集群之上实现具有高可靠性、高扩展性和高容错性等特点的云计算平台。此外，由于Hadoop是依赖于开源社区的，研发和升级等的成本非常低。但Hadoop在实际的使用中也存在着很多缺点。首先，Hadoop的开源给我们带来便利的同时，也因为Hadoop commons贡献者各不相同而带来难以管理的困扰。另一方面，Hadoop的权限管理也存在着极大的缺陷，对局域网内部的人员来说，数据的权限划分很不清晰。

本文介绍了一种基于Hadoop的分布式海量数据处理平台的设计方案。首先阐述了数据处理平台基本功能的构建方案，包括分布式存储与分布式计算的实现；然后介绍了系统的安全性保证措施，使用Kerberous和代理用户访问的方式解决鉴权问题；最后对该系统进行了相关测试。

2 平台总体设计

数据处理平台系统架构如图1所示。分布式海量数据处理平台基于Hadoop构建，可以充分利用Hadoop系统低成本高效率的优点，同时针对Hadoop权限控制方面的不足，在用户与数据层之间添加了一层数据处理平台。平台对底层可做到数据的统一管理，计算资源的统一分配，对上可以实现统一的用户操作接口，方便操作的同时保证了数据的安全性。

图1 总体系统架构图

2.1 基本功能

数据处理平台的基本功能包括分布式存储和分布式计算。在该系统中，用户的一切操作都基于项目空间，一个项目空间中包括与该项目有关的各种资源，包括数据，用户代码，用户自定义算法，任务信息，项目空间信息以及其他用户想存储的一切信息等。对这些资源的操作就属于分布式存储功能。

2．1．1 分布式存储

数据处理平台的存储使用了Hadoop底层存储提供的3种方式：HDFS、HBase和Hive。3种存储方式各有其特点，系统会根据用户提交的数据为其推荐存储方式，用户也可以自己指定存储方式。我们的选取规则为：对于一般文件，例如图片、视频、音乐或其他数据结构不明显的数据，将其存储为HDFS文件方式；对于数据表结构清晰，例如从MySql中导入的数据，且用户对数据的随机访问需求不大时，将选择Hive存储方式；对于数据结构清晰且用户有频繁的随机访问需求时，选择HBase存储方式。

海量数据处理平台长，一切操作都是面向项目空间的，所以如何将Hadoop的存储方式映射到项目空间中，是一个重点问题。本文设计的映射规则如表1所示。

表1 文件系统映射规则

映射规则对用户完全透明，用户对不同方式存储的数据进行访问时将使用相同的命令，数据处理平台会根据操作对象的不同自动转化为Hadoop识别的操作命令。例如，用户1 000拥有一个ID为001的项目空间，该空间中有一个名为f1的文件和一个名为f2的文件，在用户看来两个文件完全相同，而实际上文件h1存储方式为Hive表而f2存储方式为HDFS，则在我们的底层存储中，f1数据存储在名为H001U1000这个Hive数据库中名为f1的数据表中，f2文件存储在名为F001U1000这个HDFS路径下的名为f2的HDFS文件中。

2．1．2 分布式计算

分布式计算主要提供任务管理和算法管理两个功能模块。任务管理模块主要负责用户计算任务的管理，既包括用户计算任务的定时执行，循环执行，立即开始，立即关闭等基本操作，也包括任务信息查询，历史查询，汇总统计等信息查询。

算法管理模块主要用于集成基于Hadoop Yarn之上的计算框架，向用户提供统一的接口。数据处理平台原生支持Hadoop的计算框架，包括MapReduce、Spark和Storm等，同时我们也提供我们自己的编程接口。但是与直接在Hadoop上执行任务略有不同。一方面，平台的一切操作都是面向用户空间的，所以用户计算任务的输入路径输出路径都是相对于项目空间来说的，另一方面，因为Hadoop平台上的不同计算框架运行时需要大量的配置信息，这对用户来说也是一种困扰，所以需要我们提供统一的任务执行接口。这就是算法管理模块的主要工作。

2.2 安全性保证

Hadoop自身的权限管理存在一定的安全隐患。Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。在当前版本的Hadoop中，客户端用户身份是通过宿主操作系统给出。对类Unix系统来说，用户名等于`whoami`；对于Windos用户来说，用户名就是Windos当前用户名，HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。

由此可见，Hadoop文件系统目前至少存在两个问题：一是每个文件只有两类权限，owner和group，其中owner还是单用户，无法满足开发需求。例如，对于某个文件，我们有2个用户只需要写权限，另外2个用户只需要读权限，则HDFS就无法满足这个需求了。二是缺少用户认证机制，这意味着我们只要将自己个人电脑的用户名设置为他人的，你就可以获得他人的一切HDFS访问权限。

针对这两个问题，我们提出了Kerberos认证和代理用户访问相配合的安全性保证措施。Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户机，服务器应用程序提供强大的认证服务。代理用户访问则很好的分离了用户操作系统和HDFS。具体措施是，对于每一个分布式处理平台上的文件，创建两个跟用户无关的代理用户，这两个代理用户分别充当owner和group的角色。在用户提出HDFS访问需求时，为其赋予其中一个代理用户的身份，用户持有代理用户的Kerberos凭证来进行数据访问。该过程对用户来说是完全透明的，用户无法知道任何文件的访问权限，也无法得到Kerberos凭证，实现了分布式处理平台的安全性保证。

3 系统测试

我们从运行效率和简便性两方面对本文的海量数据处理平台进行测试。准确性是为了验证该平台能实现基本的功能，且不会因为在用户和底层之间增加了一层而影响到系统的效率。简便性则是对系统的使用进行测试，以保证该系统确实能达到简化用户操作的目的。

实验环境为14台Linux机器搭建的Hadoop2.3.0版本的集群。机器配置均为4G内存，CPU主频3.0 MHz，硬盘空间3TB。

3.1 运行效率

我们选取了几组数据测试集，做了两组测试。一组测试为直接在Hadoop集群上进行数据操作，另一组为在分布式数据处理平台上进行数据操作，进行多组并计算平均值，得到的结果如图2所示。

图2 运行时间测试

由图2中数据可知，在数据量较低时，数据处理平台的效率确实不如纯Hadoop集群，但是差别很小（10 s以内），这个时间主要消耗在数据寻址和代理用户权限分配上，且这个时间不会随着数据量的增大而变化，因此在数据量较大时，两者的运行效率几乎一样。

由于我们的实验条件所限，并没有对更大规模的数据进行测试，但由理论分析可知，影响效率的因素与数据量大小是无关的。由此可以证明，我们的数据处理平台的效率是满足需求的。

3.2 易操作性

数据处理平台为用户提供了统一的Hadoop操作接口，这意味着用户可以用相同的操作命令操作HBase、Hive和HDFS上的数据，大大降低了用户的学习成本，提高了工作效率。下面我们对相关的操作进行统计对比，得到的结果如表2所示。

表2 命令行操作测试

在分布式数据处理平台中，由于将HDFS、Hadoop和Hive进行了统一的封装，方便了用户的使用，在很大程度上解决了Hadoop组件繁多且命令操作方式不统一的缺陷。

4 结束语

目前，海量数据处理成为越来越普遍的需求，但目前的大数据解决方案均存在一定的缺陷。实现了安全性保证。最后的测试证明，本文提出的基于Hadoop的海量数据处理平台既保证了数据处理的高效率，又极大的简化了操作方式，同时提供了完善的安全性保证措施。但由于我们的测试条件有限，无法对P级的数据进行测试，在此仅从理论上证明了其可行性。

[1] T Herawan， N Khan， A． Noraziah， E I． Ismail， M M Deris． Cloud Computing： Analysis of Various Platforms[J]． International Journal of E-Entrepreneurship and Innovation (IJEEI)． 2012(2)．

[2] V Ravi． Cloud Computing Paradigm for Indian Education Sector[J]．International Journal of Cloud Applications and Computing (IJCAC)．2012(2)．

[3] XU Zhiwei， YAN Bo， ZOU Yongqiang． Beyond Hadoop： Recent Directions in Data Computing for Internet Services[J]． International Journal of Cloud Applications and Computing (IJCAC)． 2011(1)．

[4] 邹复民， 蒋新华， 胡惠淳， 朱铨， 庄孝昆． 云计算研究与应用现状综述[J]． 福建工程学院学报， 2013(03)．

[5] 李冰． 云计算环境下动态资源管理关键技术研究[D]． 北京邮电大学， 2012．

[6] 栾亚建， 黄民， 龚高晟， 赵铁柱． Hadoop平台的性能优化研究[J]． 计算机工程， 2010(14)．

[7] 孟小峰， 慈祥． 大数据管理：概念、技术与挑战[J]． 计算机研究与发展， 2013(01)．

[8] 陈康， 郑纬民． 云计算：系统实例与研究现状[J]． 软件学报，2009(05)．

[9] 杨帆， 沈奇威． 分布式系统Hadoop平台的视频转码[J]． 计算机系统应用， 2011(11)．

[10] 朱珠． 基于Hadoop的海量数据处理模型研究和应用[D]． 北京邮电大学，2008．

我国重点参与的云计算国际标准正式发布

近日，由中国等国家成员体推动立项并重点参与的两项云计算国际标准正式发布，这标志着云计算国际标准化工作进入了一个新阶段。

这是国际标准化组织（ISO）、国际电工委员会（IEC）与国际电信联盟（ITU）三大国际标准化组织首次在云计算领域联合制定标准，由ISO/IEC JTC1与ITU-T组成的联合项目组共同研究制定。

这两项云计算国际标准，规范了云计算的基本概念和常用词汇，从使用者角度和功能角度阐述了云计算参考架构，不仅为云服务提供者和开发者搭建了基本的功能参考模型，也为云服务的评估和审计人员提供了相关指南，有助于实现对云计算的统一认识。

联通电信发力：LTE混合组网实验将新增237个城市

之前，电信、联通均宣布第二批TDLTE/LTE FDD混合组网4G实验城市名单，增至24个。如今，电信、联通还要继续发力，即将把实验城市增加237个，加上第一批的16个城市，第二批的24个城市，总计达到277个城市。

科技部高度重视5G发展：863计划相关投入已超3亿元

在日前召开的“2014未来5G信息通信技术国际研讨会”上，科技部副部长曹建林表示，我国政府十分重视5G的发展。科技部已经投入了约三亿元人民币，先期启动了国家863计划第五代移动通信系统重大研发项目，吸引了50多家研发企业、研究所、大学共同参与，也包括爱立信、三星等国际性厂商。

2014新一代宽带无线移动通信发展论坛在京召开

由工业和信息化部电信研究院主办的“2014新一代宽带无线移动通信发展论坛”日前在北京万寿宾馆举办。本次论坛以“4G网络融合与创新发展”为主题，围绕加快实施宽带中国战略、促进TD-LTE和FDD LTE融合发展、推动4G创新和5G的研发等内容，从技术创新、产业政策、网络部署、行业应用和运营管理等角度展开了深入探讨和交流。

工信部通信发展司司长闻库在发言时介绍，LTE融合组网趋势逐渐显现，TD-LTE和FDD的差距大幅度缩小。2014年9月，全球TD-LTE用户达到5700万，中国以外大概有1 400万。除了亚非拉以外，TD-LTE也已进入美国、日本、澳大利亚等发达国家市场。到2014年9月底，全球发布LTE终端2218款，其中TD-LTE终端占比增长非常高，达到了30%。闻库还表示，移动通信产业研发重心正向4G转移。从技术演进及网络投资而言，LTE成为以数据流量为主业务的性价比最高的技术路线，行业中心也正逐渐向4G转移，进而催熟产业链。

工信部总工张峰表示，近年来，我国宽带无线移动通信保持快速的发展态势，核心业务从话音加速向数据更迭，发展模式由用户规模驱动加速向业务创新引领转型，呈现出竞相创新，共同发展的良好局面。目前，LTE用户和网络规模持续扩大，截止到2014年9月，全球LTE商用网络达到324张，用户总数达到3.7亿，亚太地区超过北美成为全球4G用户最多的地区。移动互联网的发展也带来了业务结构不断优化。今年1～9月，三家基础电信企业，话音业务收入同比下降6.7%，而移动数据及互联网业务收入达到1960亿元，同比增长了41.5%，占电信业务收入比重超过22%。它依然是当前电信市场增长最快的业务领域。

中国移动通信研究院副院长黄宇红在论坛上透露，中国移动已经开展了基于2.6 GHz的D频段，F+D频段的载波聚合，以及室内的E频段两个载波的聚合，试验效果均符合预期，速率上已经达到220兆峰值的平均速率。她还表示，载波聚合能有效改善网络质量，提升吞吐量，这使将来网络负载均衡时候会更加平滑。除了网络设备已经开始支持载波聚合外，终端也正逐步支持载波聚合，预计明年市场将有更多的支持载波聚合的终端推出。 (来源移动Labs， 作者：明海)

Google宣布参加第二条海缆系统建设 总长10556 km

Google公司日前宣布同巴西Algar电信、安哥拉Angola Cables和乌拉圭Antel三家运营商合作建设新的连接巴西Santos和Fortaleza到美国佛罗里达Boca Raton的海缆系统。该条海缆的承建商是TE Connectivity。

该海缆总长10556 km，拥有六对光纤，初始系统容量设计64 Tbit/s，预计2016年年底前完成建设。该海缆将为拉美地区带来新的传输流量。

Google此前在今年8月曾经宣布参加FASTER跨太平洋海缆建设。这条海缆是Google加入的第二条海缆系统。

贵州移动推广“大数据旅游云应用”

为加快贵州省旅游信息化建设步伐、促进旅游产业转型升级，贵州省旅游局与中国移动贵州公司于10月28日共同举行“多彩贵州·云上旅游”大数据旅游云应用成果签约会。

根据协议内容，双方将在贵州省旅游官方App、旅游云大数据游客分析系统、景区二维码导览、景区直播、旅游车务通和旅游号簿等旅游信息化方面展开全面深入的合作。各大系统建成后，游客到贵州旅游，吃饭、住宿、出行、游玩、购物、娱乐都不用发愁，这一切在到景区之前就能轻松搞定，游客坐在家里可以通过网络了解到哪家餐馆的饭菜最合口味，如何坐车最方便，哪里购物娱乐最划算，什么时候有旅游节庆活动，提前视频欣赏大美贵州的秀丽风景等等，一切相关旅游资讯都可以通过手机了解。到了景区，游客可以通过手机、掌上电脑等移动终端，轻松实现自助导览定位、自助导游讲解、二维码景区介绍、实时活动查询等等，彻底甩开传统地图，不用导游，畅快地自主游览。通过贵州移动无线网络系统，在景区实现免费离线资源下载，体验到在景区就像在家里WiFi环境下一样方便。游玩过程中，还可以通过手机实现随手拍照互动、网友分享等功能，舒适地享受旅游的快乐。

作为全省通信行业的排头兵，中国移动贵州公司始终致力于以覆盖广、质量高的精品网络促进旅游经济发展。目前，中国移动通信网络已覆盖了全省100%的行政村和96%以上的自然村，并实现了全省4G网络乡乡通，各级别、各类型风景名胜区实现良好覆盖。在精品网络的基础上，贵州移动还积极探索行业信息化、云计算、大数据、移动互联网等新技术在旅游行业的应用推广。

该系列协议的签署，标志着中国移动贵州公司成为贵州省旅游局在推进旅游信息化建设中最重要的合作伙伴。今后，双方将以打造“多彩贵州·云上旅游”为目标，创新服务手段，发挥贵州移动技术资源的优势，充分利用信息化、互联网技术手段，推动现代信息技术在旅游产业中的应用，不断提高旅游公共服务的水平和效率。

我国M2M连接数超过5000万 位居全球首位

日前，在2014新一代宽带无线移动通信发展论坛上，工信部电信研究院通信标准所所长王志勤表示，目前，从M2M主要运营者来看，主要是电信运营商。同时，全球40%的运营商都是在积极部署M2M的业务和应用。

近期，物联网在重点行业越来越聚焦，已经呈现出比较成型的业务发展模式。M2M市场在2010～2014年间，年复合增长率可达35%，亚太地区将是发展最活跃的区域。

截至2013年底，中国已经有接近5 000万的M2M的连接，居全球第一。

中兴中标东南亚集团 将承建柬埔寨4G网

日前，中兴通讯宣布，公司中标东南亚电信集团4G LTE项目。同时，中兴通讯高级副总裁张任军与东南亚电信集团董事长左华政分别代表双方签署了项目备忘录与战略合作协议。

东南亚电信集团是一家综合性通信运营商，业务涵盖移动通信与互联网服务。东南亚电信（柬埔寨）有限公司已获得柬埔寨王国政府颁发的运营牌照，其中包括：移动通信（含4G LTE)、ISP、无线固话、VoIP等，并已启动了4G FDD LTE的全国移动通信网络建设，计划于2015年上半年投入运营。

中国铁塔山东分公司揭牌 三大运营商明年不新建铁塔

10月30日，中国铁塔山东省分公司在济南正式揭牌成立。业内分析认为，铁塔公司的运营将可避免电信基础设施方面的重复建设，为三大运营商节省建设成本进而推动通讯资费降低。此外，明年年底前铁塔公司有望引入民间资本，为民资介入电信行业打开新通道。

中国移动电商交易额突破1 600亿元

截至目前，中国移动已经提前完成2014年电子渠道业务的目标，提前实现了电子渠道在线交易额1 500亿元、终端销售量1 500万台。

据悉，中国移动总部及各省公司重点开展了自有移动商城建设、运营及外部电商加快拓展，天猫旗舰店上线入驻、支付及物流等基础能力提升、互联网充值直连合作、“5.17 4G手机狂欢节”统一营销活动组织等工作。截至10月31日，在线交易额已突破1 620亿元，同比增长182 %；终端销售量已达1 161万部，同比增长88%。(移动通信网讯)

中国电信等8企业发起成立中国企业大数据联盟

11月4日，由中国电信、中国东方航空、中航信、工信部电信研究院、互联网协会互联网金融工作委员会、易车、亚信科技、晶赞科技等8单位发起，45家企业联合组成的中国企业大数据联盟在北京举行成立大会。

中国电信集团公司总经理杨杰在会中表示，大数据在优化商业服务、拉动信息消费、改善社会治理、促进经济转型等方面发挥着越来越积极的作用。中国企业大数据联盟的成立，对推动大数据技术标准和数据安全标准的建立、跨界合作和商业模式创新有着积极的意义。中国电信作为联盟的发起方和倡导者，将坚持“全面聚合、深入挖掘、高效应用”的大数据发展战略，开展全面深层次合作，全力打造数据生态链，推动大数据创新发展。

据了解，中国企业大数据联盟致力于推动跨界大数据标准制定与合作，积极促进大数据技术成果在各行业应用推广，全面提升成员单位大数据应用的整体水平；汇聚各方力量，借鉴世界先进经验，使联盟成为推动大数据技术进步、应用创新的中坚力量，为我国大数据产业健康发展做出贡献。

中国企业大数据联盟将给企业提供了一个多维度数据共享的平台，促进联盟成员加强交流，充分利用已有的数据能力，实现跨行业、多维度的数据互补，在产业规模化、行业阳光化、使用规范化方面，建立起统一的数据标准和数据安全机制，更大程度的挖掘企业大数据使用的能力，促进创新应用推广。

联想完成收购摩托罗拉移动

10月30日，联想集团与谷歌宣布，联想正式完成从谷歌收购摩托罗拉移动。

通过此次收购摩托罗拉品牌、创新的智能手机产品组合如 Moto X、Moto G、Moto E及DROIDTM系列等，以及摩托罗拉的未来产品规划，联想成为全球第三大智能手机厂商。

联想将以全资子公司的形式运营摩托罗拉，其总部将继续设在美国芝加哥。收购完成后，将有近3 500名来自全球的员工加入联想，其中包括在美国的约2800名员工，他们主要负责设计、策划、销售和支持摩托罗拉的优秀产品。联想执行副总裁兼移动业务集团总裁刘军将出任摩托罗拉移动管理委员会主席。摩托罗拉资深高管 Rick Osterloh 将继续担任摩托罗拉总裁及首席运营官。

摩托罗拉凭借成功推出新产品及突破性创新，已在市场上呈现出强劲的发展势头。除了智能手机，Moto 360智能手表也备受消费者关注，确立了摩托罗拉进军新兴移动设备领域的地位。联想预期在4～6个季度内促使摩托罗拉业务取得盈利。谷歌将保留大部分摩托罗拉移动专利组合的所有权，摩托罗拉将获得使用这些丰富专利组合和其他知识产权的许可权。摩托罗拉将持有逾2 000项专利资产、大量专利交叉授权协议以及摩托罗拉移动品牌和商标组合。此次交易的收购总额约为29.1亿美元。

浙江移动全力保障首届世界互联网大会

10月30日下午，“首届世界互联网大会”在国务院新闻办公室新闻发布厅召开了第一次新闻发布会，中央宣传部副部长、国信办主任鲁炜，浙江省省长李强等领导出席会议并就前期会议筹备情况进行介绍。浙江移动利用先进的4G技术为浙江媒体第一时间传回了发布会的现场视频、通稿等信息。

10月30日本次新闻发布会由浙江移动提供实时信息传输保障，在会场有线宽带接入存在一定困难的情况下，浙江移动第一时间为浙江省委宣传部提供了基于4G(TD-LTE)网络的无线回传解决方案和基于中国移动“和彩云”的云存储和云分享解决方案，确保大会视频、新闻通稿等信息能第一时间传回浙江本地，省内近百家媒体可安全、快速地访问“和彩云”平台并下载相关资料。

由国家互联网信息办公室、浙江省人民政府主办的“首届世界互联网大会”，是目前中国举办的规模最大、层次最高的互联网大会。大会将于2014年11月19～21日在桐乡乌镇举行，浙江移动作为本次大会基础通信合作方、信息化应用提供方，将全程支撑保障本次大会顺利运行。为做好该项工作，浙江移动很早就开始了部署，通过增加专项投资、集中优势资源等措施，全力加快网络建设与测试应用准备，力争向世界展示一流的移动通信、无线宽带、有线宽带以及各类信息化服务。

Design and implementation of security mass data processing platform

ZHANG De-yang1,2, WANG Jing1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS, Hive and HBase to realize data storage, uses MapReduce, spark and storm to realize data processing, uses kerberous to realize authority management. It also provides a unif ed operation interface to the user, so that users can handle the mass data simple and eff cient.

Hadoop; distributed system; mass data; kerberous; data processing platform

TN929.5

A

1008-5599（2014）11-0086-04

2014-10-08

国家973计划项目（编号：2013CB329102）；国家自然科学基金资助项目（No． 61471063， 61372120， 61271019， 61101119， 61121001)；长江学者和创新团队发展计划资助（编号：IRT1049）；教育部科学技术研究重点(重大)项目资助（编号：MCM20130310）；北京高等学校青年英才计划项目（编号：YETP0473）。