做好大数据档案工作,助力数字中国建设
2018-01-23邢涛
文·邢涛
“大数据发展日新月异,我们应该审时度势、精心谋划、超前布局、力争主动”。习近平总书记在主持中共中央政治局就实施国家大数据战略集体学习时,深刻分析大数据发展现状和趋势,结合我国实际对实施国家大数据战略、加快建设数字中国作出部署要求,为用好大数据、赢得新时代发展的战略主动指明了方向。档案部门如何抓住大数据发展的时代机遇,在大数据档案收集存储、管理利用、数据共享、安全保护等方面进行前瞻性布局,开创大数据档案工作发展新局面,成为档案部门必须解答好的时代课题。
一、大数据和大数据档案
什么是大数据?大数据是大量、高速、多变的信息资产,是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,是新一代信息技术与电子商务、社交网络、智慧城市等新型商业应用深度融合的产物,已经成为推动经济发展、完善社会治理、提升政府服务和监管能力的重要手段。
大数据是不是档案?我们知道,档案是过去和现在的国家机构、社会组织以及个人从事政治、军事、经济、科学、技术、文化、宗教等活动直接形成的对国家和社会有保存价值的各种文字、图表、声像等不同形式的历史记录。除了实体档案,档案还应包括电子文件、数码照片、音视频等以电子数据为表现形式的电子档案。显而易见,海量的大数据就是电子档案的一种,只不过是大小超出常规的、类型更加多样的由数据库工具获取、存储、管理和分析能力的电子档案数据的集合。
二、大数据档案的特征
大数据档案毕竟是一种特殊的档案,它具有从产生、存储、处理到应用这一全生命周期内区别于传统档案数据的特征。
一是“大”。大数据档案的数据量巨大,在各领域产生的档案数据均需要以PB(1PB=1024TB)或EB(1EB=1024PB)计算,并以每年至少40%的速度增长。
二是“杂”。大数据档案的数据类型多种多样,包括网络日志、音频、视频、图片、地理位置信息等等,这些多类型的档案数据对数据的处理能力提出了更高要求。
三是“全”。大数据档案应用为决策者提供一个业务的全局视图,这里主要是强调档案数据的业务完备性。
四是“多”。大数据档案的数据来源多、维度多,不仅包含内部业务档案数据,而且包含许多相关的外部档案数据,如政策档案数据、经济档案数据、气象档案数据、环境档案数据等。这里主要强调引入外部档案数据源构建数据的多维性。
五是“快”。大数据档案的数据是实时分析处理的在线数据,这是大数据档案区别于传统档案数据分析的最显著特征。由于外部环境变化速度的加快,大数据档案的价值也会快速贬值,所以就必须及时、快速挖掘大数据档案背后的价值。
六是“久”。大数据档案应用十分重视数据的长期积累,档案数据积累时间越长,越有利于大数据档案的开发利用。
七是“活”。大数据档案的数据都是在线的,可以随时调用和计算,这是大数据档案区别于传统档案数据的最大特征。放在磁盘或磁带中的离线“死”档案数据,其开发利用价值远远不如在线的“活”档案数据。
八是“少”。对比大数据档案的海量,大数据档案应用中真正有价值的数据占比极少。因此,如何通过有效的计算更迅速地完成档案数据的价值“提纯”已成为大数据发展亟待解决的问题。
三、大数据档案工作中存在的问题
(一)认识不足
由于大数据产业还处于初步发展阶段,目前大数据生成、采集和管理部门对大数据档案工作的发展概念不清,认识不足,对大数据档案的收集、存储、管理、开发和应用思路还不清晰。同样,对于大数据这个高科技时代的产物,档案部门的认识也严重不足,对大数据档案工作的发展带来不利的影响。
(二)档案数据共享存在机制障碍
政府掌握大量最具应用价值的大数据档案核心数据,但是由于受到条块分割等因素的制约,目前政府信息公开还比较少,跨部门之间的档案数据交换不足,缺乏互通,行业档案数据共享也没有实现,同时还存在档案数据标准不统一等问题,制约了大数据档案工作的开展。
(三)应用技术不成熟
目前,大数据档案的开发利用除了在定位、导航及部分监测领域较为成熟外,在多数领域内仍处于探索发展阶段。尤其对于一些定制化的大数据档案开发利用,几乎仍处于起步阶段。此外,很多优良的大数据档案基础设施没有得到有效利用。
(四)档案数字化率较低
我国全行业范围内档案数字化的资源总量远低于欧美,每年新增档案数据量仅为美国的7%,欧洲的12%,其中政府和制造业的档案数据资源积累远远落后于国外。同时已有的档案数据资源还存在准确性低、完整性差、标准不一等不利因素,降低了档案数据的利用价值。档案数据资源本身的问题为大数据档案工作的发展前景带来了巨大的挑战。
(五)档案信息安全风险较高
我国目前关于大数据档案开放、共享以及档案数据所有权、档案信息安全等相关法律政策不完善,大数据档案的开发利用缺乏相应的立法支持和规范。档案数据保护和隐私保护方面的制度不完善,不仅抑制了档案数据开放的积极性,更是产生了因档案数据泄露而造成的公民财产损失、公共资源破坏、国家机密泄露等不可预估风险。
四、推动大数据档案工作开展的保障措施
(一)加强组织协调
要明确大数据管理部门和档案管理部门职责,加强与发改、工信和科技等各相关部门的协调配合,建立跨部门、跨行业的大数据档案工作发展协调推进机制,拟定大数据档案工作的相关规划、实施意见和政策,推动大数据档案研究和应用,制定大数据档案工作相关标准,推动政府档案数据开放,推动各行业企业等大数据档案数据库建设,建设公共信息档案平台和大数据档案平台,完善和加强大数据档案信息安全保障体系建设。
(二)推动数据共享
要推动政府、行业、企业等档案数据共享开放,提升政府效率,实现大数据的融合应用。整合现有政务网络平台,建立“智慧城市”大数据档案平台,推动政府信息系统和公共数据互联共享。加快行业、企业之间档案数据共享,推动公共数据开放平台建设,建立政府档案数据资源开放目录,优先推动交通、医疗、就业、社保等民生领域政府档案数据开放,促进大数据档案利用成果惠及群众,提升居民生活品质。
(三)建设标准体系
要加快组织制定大数据档案相关标准,在国家出台统一的大数据档案管理标准之前,组织大数据管理部门、档案管理部门等有关部门、以及高校和科研机构、大数据企业等,开展大数据档案工作相关标准研究,推动建立地方、行业大数据档案工作标准体系,重点推动大数据档案采集、管理、开放、共享、交易、安全等领域标准的制定。
(四)建立安全机制
大数据管理部门要统筹大数据档案信息安全保障体系建设,明确大数据采集、传输、存储、使用、开放等环节涉及信息安全的范围、要求和责任,建立相关制度,确保国家利益、商业机密、社会安全、科研生产、个人隐私不被侵犯。大数据管理部门对共享、开放档案数据建立共享和开放的规则,加强记录和监管。强化企业、个人等对档案数据的保护意识,增强档案信息安全技术的保障能力,共同构建大数据档案信息安全格局。