大数据时代电子政务构建分析

2016-03-16陶毅国

中国新通信 2016年3期

陶毅国

【摘要】依据国务院《促进大数据发展行动纲要》作为总体需求，分析了我国电子政务应用现状、当前大数据技术已有基础及发展趋势，对大数据时代电子政务建设涉及的思想准备、需求创新、技术架构和实施注意点等方面进行了初步分析，可作为电子政务大数据建设的参考。

【关键字】大数据电子政务建设行动纲要思想准备需求创新技术架构

一、大数据时代电子政务面临挑战与高层需求

1.1大数据时代电子政务面临挑战

《促进大数据发展行动纲要》（以下简称《行动纲要》）是中国启动大数据战略的里程碑，由国务院在2015年8月正式发布。电子政务如何适应大数据时代的发展要求，对政府部门是一个新的挑战。

构建基于大数据理论与技术的电子政务（以下简称大数据电子政务）将对政府的服务、管理、决策等方面的职能转变与深化改革起到巨大的支撑与推动作用。但是，大数据电子政务的建设涉及思想转换、机制创新、人才结构变化、技术方案选择、推广应用等一系列全新的工作，对建设者是一个很大的挑战。

1.2从大数据电子政务需求角度分析《行动纲要》

《行动纲要》可以概括为五大目标、七项措施、十大工程。它们不仅是大数据时代的社会发展需求，从软件工程角度来看，也是新一代电子政务的目标和高层业务需求。[1]

上述五大目标及高层业务需求是传统信息技术无法实现的，必须采用大数据技术才能实现。

二、目前大数据技术已有积累及发展趋势

2.1大数据技术总体介绍

大数据4V特点是数据量巨大、结构多样、低密度高价值、快速获得结果，由于传统信息技术无法应对，逐步发展起来的全新一代大数据技术。

自2006年左右Google三篇大数据技术论文发表及云计算概念提出，10年来大数据技术与产品快速发展。现将主要产品简析如下：

围绕大数据技术核心软件 Hadoop，产生了与其相关的一系列软件，称为Hadoop生态圈。比较著名的有：ZooKeeper分布式协作服务、Hive数据仓库工具、Sqoop关系数据ETL工具、Avro数据序列化系统、Pig数据流处理语言、Flume日志收集工具、Ambari集群监控与管理、Mahout机器学习、Oozie工作流引擎、Hue图形化管理界面、chukwa监控分析。传统应用中需要的很多系统级工具软件基本包括在内。这些都是开源的。

2.2大数据技术发展态势展望

2.2.1开源依然是大数据技术创新发展的基石

全球开发者通过开源社区来进行大数据代码的开发、维护和完善，从而集全球智慧推动大数据技术的不断进步。全球各大企业加大对 Hadoop、Spark 等开源社区的赞助和智力投入，开源技术生态系统不断壮大。[2]

2.2.2大数据平台兼容性与性能快速发展

大数据平台原来SQL不兼容、GB级数据性能不佳等不足已基本解决，分布式内存计算大幅提高处理性能。基于传统数据库的应用会逐步向大数据平台迁移。原来依赖主机高性能、存储高可靠性、高大成本解决方案，在大数据分布式平台中有了更好、更便宜的解决方案。原来觉得困难重重的去IOE行动，在大数据这一全新环境下，居然就顺理成章地解决了。因此，大数据平台在政府行业会有一个快速的普及。

2.2.3大数据生态使系统技术复杂度、应用成本快速降低

Hadoop适应各类低成本硬件（如X86架构），固态盘替代内存逐步流行，计算硬件成本大幅降低。

传统系统环境一般包括服务器操作系统、DBMS、各类中间件、工作流、数据仓库、BI工具、集群及负载均衡、数据交换等，产品厂商各异，技术复杂，采购维护成本高昂。Hadoop商业版打包的生态圈软件，包含了上述产品很大部分功能，复杂性、购置及管理成本大大降低。

阿里云、百度云等互联网企业在自身大数据应用基础上，将其产品和技术向市场输出，很多以云平台及SaaS形式提供，降低了技术复杂性。

2.2.4流技术发展使实时提醒及决策分析得到兼顾

流数据的高速检测及流处理以后马上保存到某个数据库，可以把实时数据、历史数据进行连接，这样，高速查询与迭代分析可以并行不背。例如，在对交通流做实时的检测预警分析的同时，如果在交通高峰期某区域产生拥堵，需要快速分析影响范围，防止出现连锁反应。

2.2.5虚拟化、平台化使得云计算与大数据整合逐步走向完成

基于虚拟化技术的快速发展，象Linux container、谷歌Kubernetes、YARN支持多种计算框架，mesos资源调度核心、docker工具会走向数据中心操作系统。二是Hadoop技术操作系统化、平台化，数据挖掘及展示工具适应性加强。这些助力云计算与大数据终得融合。

三、大数据电子政务建设共同性及难点分析

3.1大数据电子政务的思想准备

大数据的电子政务及社会化应用，将对政府的架构、职能等方面发生深刻的变化，主要将表现为：

3.1.1机构更加扁平化

由于信息化程度，特别是大数据处理能力对决策自动化程度的提高，再加上交通进一步的便捷，机构扁平化、减少管理层次将成为趋势，省管县的模式可能会在更大范围内推行。

3.1.2政府事务性人员降低、专业性要求更高、廉政监督更加严密

政府日常管理中很大一块工作量，就是接受申请、审核、审批等事务，除了服务态度差、部门间推诿、奇葩证明等顽症，审核、审批过程由于主要靠人为判断，流程慢且有很大的寻租机会，这些都严重影响政府形象及公信力。

随着电子政务网上申请、物联网现场监控、部门数据共享等信息化手段普及，备案制推行。政府监管对象的行动、时间及空间移动都会以数字形式被采集、传输、挖掘，原来受限于人力、时间无法做到的事，在大数据时代就是举手之劳或完全自动化，因此事务性处理人员会大幅减少。基于深度挖掘与精准推测技术支持的项目中后期监督、决策事项，不仅流程更加透明，对人员综合素质也更高[3]

同时，每个政府人员不可避免地会受到大数据无远弗届的监管，有来自体制内，也有来自非政府组织、个人的。

3.1.2基于大数据的决策成为政府工作的常规手段

大数据可视化技术使得人们用比数据表格形式更加容易识别、图形化的方式，达到展示浓缩的信息、表达新的知识、作出推荐及预警、发布行动命令等目的。能够精确、清楚地描述复杂信息，而且富有趣味性、便于阅读。犹如现代医生离不开化验设备一样，不仅政府工作人员日常监管会依赖实时提示、精准推测，政府官员做决策时会越来越依赖大数据的量化分析结果。因此，大数据咨询的机构会获得较大的增长空间。

3.1.4公众参与政府决策、公共事务的手段及水平更高

随着政府数据不断公开和技术发展，“大数据民主”会获得象魔镜这样的大数据供应商支持。公众参与社会事务决策的程度与水平也会水涨船高，对政府决策在深度分析基础上提出他们有数据支持的评判意见。

3.2大数据电子政务的应用阶段及功能类型分析

许多系统都喜欢挂上大数据这个名头，那么，什么样的电子政务才能算大数据应用？电子政务结合功能及数据处理技术上可划分为三个阶段：以事务处理为主的数据库应用阶段，以数据集成及查询分析为主的数据仓库阶段，以预警及预测为主的大数据阶段。宽泛一点说，带有共享、预警、分析和预测四类功能，且数据量接近TB级的系统，都可称为大数据应用。四类功能在大数据不同应用阶段所占比重是不同的。现分析如下：

3.3基于决策过程的大数据电子政务业务创新

政府决策涉及大众切身利益、耗用巨大资源、影响深远，所以，政府最大的节约就是决策的科学性。下面，以连续有限比较决策论代表人物Herbert Simon的决策四阶段划分为基础，通过解析政府最重要的决策过程，提供一个思考路径，大数据电子政务能促进政府职能转换、业务创新。

3.3.1决策前期准备阶段

决策前期准备的信息收集过程中，政府面临信息“稀缺”与“过载”并存的问题。由于部门条块分割，部门之间实现数据交换、共享仍存在不少障碍与困难。另一方面，随着互联网发展，政府工作受到新闻及网络媒体产生的信息洪流冲击，面对这些巨量的毁誉夹杂、真假难分的信息不知如何应对。

《行动纲要》明确了政府数据共享具体要求及时间表，建立具有权威性的政务数据交换制度、机构，减少部门协调成本，提高数据交换的质量，建立对社会的数据公开及购买数据服务等机制，可以有效解决信息稀缺的问题。

应该借助大数据分析工具将网络舆论中内嵌的多重利益和多元价值转化为定量化、可视化的参考信息，在科学的基础上界定决策问题、确定决策目标。[4]

3.3.2多方案设计阶段

对决策目标评估凭经验、缺乏量化分析，这是政府在方案设计阶段存在的主要问题。大数据在这一个阶段可提供很多支持，如：通过舆情分析了解决策目标公众认可度，建立如经济、人口、城建、文化、环保、技术等主题数据库，分析各种方案的适宜性、约束条件，进行方案优化。

3.3.3政策方案选择阶段

目前，方案选择以定性决策为主，依赖领导的经验。随着决策议题日趋复杂化，这种模式急需改进。发挥大数据作用，建立并不断完善政府常见决策类型的分析模型，吸纳定量决策方法的优势，形成定性和定量相结合的综合决策模式。随着大数据技术发展，政府决策也可以象军队沙盘推演一样，直接观地对多种方案在各种参数输入下模拟可能结果。

3.3.4决策执行及反馈阶段

发布和实施一项政策后，及时收集和评估公众的反映十分重要。由于网络公众舆情构成十分复杂，个体正当意见诉求，纯粹情绪发泄，利益集团诉求，恶性炒作，甚至敌对组织蓄意捣乱。利用大数据语义分析和行为分析等算法，获得大众正当的诉求，了解状态动态变化，对决策模型进行动态测算，有的放矢地调整政府政策，以更好地实现既定的政策目标。要充分利用网络舆论的优势，创新模式，利用其疏导误解、凝聚共识、支持政策实施。

3.4大数据电子政务的架构设计示意

电子政务相当一段时间会采用传统和大数据混合模式，常见系统架构示意如圆图1。

电子政务应用趋势是数据从传统DBMS向大数据应用环境转移，但业务处理及展示层仍会以传统技术为主。

3.5大数据电子政务建设中需关注的几个问题

3.5.1机制及模式创新

大数据应用对数据、业务、技术应用的要求更高，需要适应不断创新的环境，不是非常适应政府常规工作氛围。电子政务大数据应用可以考虑共建、外包、采购服务、政策支持等多种模式，发挥政府应用引领、市场化竞争等不同优势。

3.5.2大数据电子政务建设投资预算原则

大数据技术仍处在一个爆发初期，架构、技术都在不断变化。政府在资源投入方面需要谨慎。总体规划、分步建设、按需投入的原则与大数据分布式技术特性也非常吻合。

3.5.3大数据交换及共享的标准化

国家标准委2007年《政务信息资源交换体系》规范了传统电子政务信息资源的总体框架、技术要求、数据接口规范、技术管理要求，虽与大数据应用有一定差距，但大部分还是可以参考的。应尽快形成政务大数据交换、共享、公开、交易的相关标准与规范。

3.5.4政府数据在交换、抓取、开放方面的趋势

《行动纲要》明确要求政府间数据共享及开放，纵横交叉、市场补充的数据共享模式是一个解决方案。纵向行业数据交换中心由行业上级机构（如部、省级）建立运行，横向区域数据交换中心由当地政府建立并负责运行并对外开放。数据抓取的业务特点比较明显，各中心、甚至单位都会根据具体需要进行。只要有充分的需求，会出现专业数据交易机构，政府通过购买服务获得需要的数据。