基于大数据的综合数据处理平台方案设计研究

李为波

摘要：在大数据的发展时代背景下，我国的各行各业都在致力于将人、物、机等三元世界在网络空间中进行交互、融合，以获得互联网上的大数据资源。在大数据资源的潮流趋势之下，文章主要围绕大数据的研究现状、作用意义展开，在此基础上探索综合数据处理平台，并对其平台方案的设计进行研究，以促进我国信息化社会的建设。

关键词：大数据；综合数据处理；平台方案设计；研究

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2017）01-0069-02

随着互联网、物联网以及云计算等IT技术的进一步发展，我国社会的各行各业都迎来了新的发展机遇和挑战。在大数据的时代背景下，探索综合数据处理平台的方案设计研究，不仅能够改变我国的经济发展增长方式，而且还能够让各行各业的发展跟上时代潮流的发展步伐，提升我国产业经济的国际竞争力，促进我国综合国力的进一步提升。

1 大数据的概念及其作用、意义解析

大数据是一个高度抽象、凝练的概括词，各行各业的专家、学者大多都是根据自己的理解来对大数据进行定义，因此，迄今为止，人们对大数据都没有统一、标准的定义，大数据的概念还处于仁者见仁、智者见智的状态。

大数据指的是所涉及的资料规模很大，无法通过目前的主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营者进行决策的资讯，这是维基百科对大数据的定义。可以看出在这概念中，维基百科对大数据的解释主要侧重点是强调大数据资源的规模量大的特点，并说明了大数据的功能作用是撷取、管理、处理以及整理相关的信息资源以供企业使用。从维基百科对大数据的定义来看，大数据所服务的对象主要是企业经营者，但就笔者看来，这一定义无可避免地带有了维基百科本身的局限性。大数据并不仅仅是为企业经营者服务的，任何行业包括我国的基层政府、公、检、法等部门都完全可以使用大数据资源来建立综合数据处理平台，以此对相关的决策、政策进行分析，为促进我国社会的全面发展贡献力量。

在大数据的飞速发展过程中，其展现了自身的独特作用和功能，对大数据进行精细化的研究，不仅有助于捍卫我国的网络空间的数字主权，维护我国的社会稳定，推动社会与经济的可持续化发展。而且大数据在发展的过程中还能够极大的推动国民经济核心的产业信息化升级，突破当前科学、技术的限制，带动诞生出数据服务、数据材料、数据制药等战略性新兴产业。纵使大数据具备了众多的功能和作用，极大地促进了我国经济社会的发展，但大数据给我国经济社会的发展所带来的挑战也是不容忽视的。大数据由于其数据类型、数据结构以及数据内在模式都极其的复杂；数据本身、数据模型以及数据学习的不确定性；数据模式、数据行为以及智慧的涌现性等现状使得人们在对大数据的使用中存在着诸多的挑战。基于大数据的这些功能作用以及面临的挑战特点，对大数据的综合数据处理平台方案进行设计研究具有重要的现实作用。

2 基于大数据的综合数据处理平台的方案设计研究

在大数据的时代背景下，建立综合数据处理平台的首要任务是要明确平台建设的目标。通过运用管理学学科的相关知识对这些目标进行层次的划分，将目标进行细化处理，使其成为一个个可供实践操作的小目标。其次是根据这些目标的需要，结合相关的互联网、物联网技术以及数学分析、建模思想等，构建综合数据处理平台的总体架构，初步搭建综合数据处理平台。最后是对综合数据处理平台的内涵及外延进行填充处理，如对综合数据处理平台进行技术架构、网架架构以及安全架构等等，并采取相关的措施对其进行管理维修，以方便使用。

2.1 基于大数据的综合数据处理平台设计的目标分析

由于大数据本身所具备的特殊性，构建基于大数据的综合数据处理平台，首先需要的是明确构建这一平台的目标。在笔者看来，构建基于大数据的综合数据处理平台的目标主要有以下几方面：一是提供各种类型的数据信息，在大数据概念、内涵中都已经明确了其功能作用，大数据主要是为社会各行各业的发展需要提供多元化、便捷化、高速化的服务。构建基于大数据的综合数据处理平台的目标之一就是收集、分析、整理各种类型的数据资源，并将其分门别类地置于综合数据处理平台上，为广大用户群体提供充足的数据资料，方便其决策使用。二是创建新型的共享数据库，实现综合数据处理平台上数据的共建共享。在当前的社会发展中，各大数据库使用的仍然是点对点的数据共享，这一复杂的网状结构既使得同样的信息和功能重复出现，又使得数据库系统中存在大量的信息和功能冗余，这极大地阻碍了数据库功能作用的发挥。而建立的新型综合数据处理平台，采用的是开放式架构体系，其能够有效地实现各系统之间的耦合，这既能够简化数据库中的网状结构，节省数据库的空间，又能够实时完成新型数据库中数据资源的共建、共享，達到提供信息资源和进行数据服务的目的。

构建综合数据处理平台第三方面的目标是建立制定数据交换使用的标准。俗话说无规矩不成方圆，在构建基于大数据的综合数据处理平台时，需要在其目标制定阶段就推出统一的数据交换标准，以保证后续工作的有序化开展。为了更好地满足社会各界对于综合数据处理平台的各项业务开展的需要，需弥补当前数据库中数据资源标准缺乏的不足，保证同一类型的数据不会存在多个数据源头或者是多个数据格式，更好地实现数据的共享。在进行综合数据处理平台方案的设计时，要预先设置统一的数据访问和数据交换的标准，避免数据的重复建设，实现数据适应业务需要的灵活化发展，满足人们日益增长的数据使用、业务变化需求，促进大数据综合数据处理平台的建设和发展。

在明确了这些平台目标之后，还需要基于大数据的综合数据处理平台，在方案设计研究中一步一步地对这些目标展开进一步的细化，使其成为可操作、实时性强的小目标。并在此基础上构建一个综合数据处理平台方案设计研究的目标体系，为基于大数据的综合数据处理平台的建成做好必要的准备工作，为后续的平台设计、研究、建设做好铺垫。

2.2 基于大数据的综合数据处理平台方案设计的总体构架分析

在大数据的理念、技术支撑之下，可以构建基于服务总线、数据库级共享模块以及应用级模块的综合数据处理平台。在具体的方案设计研究中，分别对这三大模块进行分解、细化，使其成为更小的子系统，然后对各子系统中的各个要素部分进行设计和处理。最后将所有的要素部分进行糅合，以此建立数据信息交互的综合数据处理分析平台。其中，基于大数据的综合数据处理平台方案设计中的服务总线的主要功能是完成信息的路由、转发、服务、注册等，并且服务总线同时与其他同级平台进行连接，以达到数据信息资源共享的目标。服务总线模块的方案设计是整个综合数据处理平台的主体部分，如果将其比作生物人的话，服务总线就相当于人的大脑，对整个平台的运转进行指挥、调节、控制。

数据库级共享模块的作用是实现数据资源的存储、交换，并达到共享的目的。在具体的方案构架中，数据库级共享模块主要是通过对数据库和共享数据库进行直接访问的方式展开，以完成各种类型的，大批量实时数据、静态数据、统计分析数据、结构化数据、非结构化数据以及半結构化数据等的共享。数据库级共享模块还可以主动地对被抽取的数据、被动接收的数据进行共享数据库的构建，以不断地满足各大数据平台的提供者和用户对数据资源的储存、交换，实现综合数据处理平台的作用。

而在应用级共享模块的建设时主要是要将其与服务总线进行连接，并在其进行标准的服务接口时，对数据库中的数据资源进行共享数据加工、共享数据交换、共享数据服务以及共享流程服务等工作。应用级共享模块主要是通过这些工作来实现整个综合数据处理平台各系统之间的相互交流，相互协调合作，以实现各大数据平台数据的交换和服务的共享。也可以这样说，应用级共享模块在整个的综合数据处理平台中居于信息共享平台的中枢、核心层，是实现大数据交换、服务、共享的关键板块。

2.3 基于大数据的综合数据处理平台设计的技术构架分析

基于大数据的综合数据处理平台设计的主要技术是计算机技术、互联网技术、云计算处理技术以及信息通信、信息通讯等技术，进行综合数据处理平台的构建离不开这些现代化技术的支撑。基于大数据的发展，综合数据处理分析平台中的硬件构架主要有防火墙、交换机、数据库服务器、光纤交换机、硬盘阵列以及应用服务器等。

综合数据处理分析平台中的各大硬件构架在使用过程中所凭借的具体技术支撑有所不同，各硬件构架在整个综合数据处理分析平台中的地位也有所区别。其中，数据库服务器主要采用的是固定分区方式，对数据库中的数据进行存取、访问控制、对数据进行管理、集成数据分析服务、对信息进行调度以实现共享等等。此外，数据库服务器还能够对硬件、软件以及其他的受控件产生的故障进行探测，并同时将故障主机上的应用迅速切换至其他的设备上，最大限度地保证数据业务使用的连贯性。

应用服务器作为连接交换机、光纤交换机的主要载体，在整个的综合数据处理分析平台上处于核心设备地位，主要负责数据共享方面的业务。包括基于消息队列的共享、基于共享数据库方式的共享以及基于共享服务和业务流程级别的信息共享等。应用服务器能够保证资源的灵活性使用，并根据实际情况的需要，对信息资源进行相关的实时性调整。但为了更好地发挥应用服务器在整个综合数据处理平台上的作用，在使用应用服务器时，最好对应用服务器进行双机集群处理。

2.4 基于大数据的综合数据处理平台设计的网架架构分析

网架构架是整个数据平台得以正常运转的关键技术支撑，没有网络架构，综合数据处理平台其他模块的构架都是纸上谈兵。当前，我国计算机网络使用得比较普遍的是广域网和局域网，在绝大多数的行业领域，使用得最为普遍的是局域网。局域网主要是利用以太网技术作为网架架构，这在一定程度上能够满足平台内部的网络使用需求，实现内部数据资源的网络共享。但在进行综合数据平台处理时，可以有意识地多加入广域网的使用，以实现更广范围内的行业和平台之间信息的横向沟通交流。这样也可以实现更大范围内的数据资源共享，满足人们对于大数据时代发展的数据需求，促进整个经济社会的信息化发展。

2.5 基于大数据的综合数据处理平台设计的安全构架分析

计算机网络安全一直以来都是社会各界人士关注的重点。近些年来，黑客入侵、用户信息资料泄露影响了网络环境安全，给网络用户的生活带来了极大的困扰。在构建基于大数据的综合数据处理平台方案分析时，要充分地考虑到平台各个方面、各个层级体系的安全性能，构建完备的安全服务与安全防护体系，保证平台与用户进入口之间信息交换的安全性。

笔者认为，有如下的具体做法可以用来构建综合数据处理平台中的安全架构体系：一是强化防火墙技术系统，对数据库的访问入口进行严密的限制、控制，并对服务器的区域边界、区域之间的访问进行严格的控制，以保证平台数据资源使用的安全性。二是对各硬件、软件进行防病毒系统保护。在各数据库终端和服务器上都部署相应的安全管理区域，对各用户的访问端口进行病毒扫描，定期对病毒管理系统进行优化升级。借此进一步提高相关系统的监控管理能力，提高综合数据处理平台系统的安全性。三是对应用管系统和审计系统进行安全管理，无论是核心交换机还是终端、服务器都要对恶意用户的不正当行为进行过滤和警告，尤其是要严格禁止不法用户的非法访问、恶意攻击以及蠕虫传播等行为。要以此保障整个综合数据处理平台各系统之间各类型数据资源的安全性能，促进整个平台安全构架的建设。

3 结语

在探索综合数据处理平台方案设计研究的过程中，笔者发现大数据的处理技术还存在着一些亟待解决的问题。当前，大数据的存储成本比较高，资源的利用率比较低，大数据系统的吞吐率也还比较低，非线性迭代算法还需要做进一步的优化等，这些都是目前大数据平台所存在的系列问题。在大数据时代背景下，构建综合数据处理分析平台既需要相关的工作技术人员采取相应的措施、方法来解决大数据自身所面临的问题和挑战，也需要不断地引进、开发新的技术，解决在构建综合数据处理平台过程中所产生的新问题。这从一定程度上来说增加了综合数据处理平台的方案设计难度和数据平台的建立难度。

参考文献

[1]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014，02：10-19.

[2]程学旗，靳小龙，王元卓等.大数据系统和分析技术综述[J].软件学报，2014，09：1889-1908.

[3]王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013，06：1125-1138.

[4]王淑芬.基于大数据的制造运行监测与分析平台研究[D].广东工业大学，2014.

[5]张银叶.一种可适应多变需求的数据处理平台设计与应用[D].中国科学技术大学，2015.

[6]谢蒙.基于综合数据业务平台的消息分发系统的设计与实现[D].北京邮电大学，2012.