从大数据视角看海洋档案发展

2018-09-28国家海洋局东海信息中心张春艳孙杰蔡梦凡

办公室业务 2018年18期

文/国家海洋局东海信息中心张春艳孙杰蔡梦凡

一、大数据时代背景

计算机技术革命性地改变世界，全面融入社会生活，带来的信息积累的速度和信息量爆炸式增长引发新的变革。“大数据”，顺势而生，它是具有更强的决策力、洞察力、流程优化能力、高增长率和多样化的信息资产，同时具有容量大、多样、快速、价值密度相对较低的特点。大数据技术在海洋领域的战略意义不在于掌握的数据信息的数量，而是在于对这些有意义的数据进行专业化处理体现其价值。比如我们可以通过收集、分析历年的海洋灾情数据，包括台风风暴潮、海浪灾害等，并对数据进行比较分析，建立一个特定的数学模型，深入研究海洋灾害历史性影响范围，为海洋防灾减灾提供辅助决策支撑。

二、传统海洋档案特点

（一）传统海洋档案来源有限。传统的海洋档案数据来源基本靠延迟归档的海洋档案资料。这些资料主要来自日常的海洋行政管理和海洋业务工作包括海洋台站观测、船舶设备管理、船舶测报、海洋专题调查、海洋断面调查、基本建设等。

（二）传统海洋档案载体单一。从国家海洋局两次历史档案进馆内容来看，纸质档案占主导。东海区移交至中国海洋档案馆1965-2000年档案中纸质档案7500余卷。其中第一次移交进馆的1965-1982年产生的档案3400余卷，均为纸质档案材料。第二次移交进馆1983-2000年历史档案，纸质档案约4100余卷，仅有少量的照片档案，声像档案、史料档案。

（三）海洋档案类型固定。海洋档案主要是在履行业务职能和承担各类项目等活动中形成的科技档案，以及在管理工作中形成的机关文书档案。1965-2000年间产生的档案多为海洋科技档案。这些科技档案中多数为海洋台站观测记录，类型和格式都相对固定。

（四）传统档案数量增长稳定。通过国家海洋局东海分局（以下简称东海分局）两次历史档案进馆分析过去30年海洋档案的增长速度：第一次档案进馆档案海滨观测和东海标准断面调查分别为1779卷、230卷，与第二次进馆数量对比2029卷、274卷相差不大，见“图1”。

图1 两次历史档案进馆卷数比较

三、现代海洋档案的发展

21世纪是海洋世纪，为了实现我国的“海洋强国”战略，海洋科技实力不断提高，海洋档案作为各类海洋活动记录载体也发生了历史性的变革。

（一）与传统档案的对比。1.海洋档案数据来源多头、载体多样。随着海洋业务的扩展和先进的海洋仪器的大量采用，数据来源越来越广，数据量越来越大。业务系统传输数据、业务系统的加工数据、收集资料等都纳入了海洋档案归档范围中。同时，海洋档案的外延不断延伸，档案载体和形式也千姿百态。现代海洋档案涵盖了纸质（含照片和图件）、录音带、录像带、磁盘、光盘、硬盘、底片、胶片、幻灯片和实物等不同的载体形式。2.海洋档案类型及属性更复杂。在海洋业务中，进行海洋地质勘探、水下地形测量、海洋环境监测、水动力要素观测、气象要素观测、生物种类鉴定、放化残毒分析、海洋环境要素预报、海洋灾害预测预报等活动过程中形成了大量的档案文献、专业基础数据等资料。在实际的实施上，由于有多个系统记录的海洋信息的各种数据，形成了非常密集的记录。这些记录所涵盖的信息包罗万象，既有时间维度，也有地理维度，同时还有频率维度、区域维度、站点维度等等。3.现代海洋档案数据量增长快。随着声光电等高科技手段在海洋业务中的应用、数字信息及载体的迅猛发展、现代智能技术和信息技术与海洋装备和海洋活动相结合，07年开始东海区部分台站数据电子化，到09年基本所有台站都实现自动化观测，在日常运营中生成、海洋实时传输中产生的数据以每分MB的速度累积。4.海洋档案需求多样性呈现个性化趋势。随着海洋业务的扩展，使海洋科技档案和资料工作不断发挥作用，这就对海洋档案的利用提出了新的更高要求，更快，更准、更全。传统的海洋档案服务是比较狭隘和单一的，一般情况是在知道某个明确需求（某份文件）下，档案人员为此提供一对一的服务。在传统的档案信息化技术下，通过数字化手段和数字档案馆的建设档案服务水平得到一些提升，但同样是面临服务单一的问题。一是严重依赖于档案管理水平，比如著录的准确度、详细度。二是在跨类别、跨库检索上会有缺陷。大数据时代背景下，为满足业务需求，海洋档案服务向多元化发展，以提供海洋档案信息服务（凭证参考作用）、电子信息利用服务（文档类）、数据资料服务（电子资料）、数据产品服务这四类为主。

图2 1965-2010年东海分局发展历程

（二）发展变革原因。1.海洋业务的扩展。1965-2000年，海洋局的职能历经8次调整，经历了艰苦创业时期、改革发展时期、依法管海时期3个阶段。海洋档案依托于海洋事业的发展，不同的海洋活动产生不同的资料，随着业务的发展海洋档案类型不断新增，见“图2”。以海滨观测为例，观测台站由最初的20个台站，发展到现在50多个，其中近半数为现代自动化观测站。随着海滨观测业务的不断发展完善，1958-2006年海滨观测规范，经历了6个版本的变迁，在观测要素、观测方法、记录方式等方面做了许多调整和改动。2.海洋科学技术发展。随着时代的进步与科学技术的发展，海洋事业实现了前所未有的飞跃。高科技多媒体的声光电技术，成为现代化海洋科技发展中不可缺少的辅助手段之一，其应用越来越广泛，并且随着技术的提高与种类的多样化，越来越起着拓宽海洋业务手段和范围的作用。地波雷达、海上大型浮标的布设、船用测量仪器、声学仪器、以及GPS技术等其他高精尖手段广泛应用于日常的海洋观监测、勘察、调查等科学研究过程中。海洋物探、水文调查、地形地貌调查、观测预报、测绘等工作的数字化产生，海洋科技档案也随之从传统的纸质档案逐渐转变为电子档案。3.新时代要求。与全球性的海洋开发利用热潮相适应，海洋信息化进程不断加快，中国近海“数字海洋”信息基础框架建设完成，各海洋专题服务网站建设不断完善，海洋综合管理信息系统建设得到深化拓展。同时，“智慧海洋”也要求将各类海洋信息资源整合在一起，海洋档案作为重要的海洋信息资源，探索大数据技术在海洋档案方面的应用是“智慧海洋”的内在要求。

（三）大数据技术应用。在大数据时代，利用大数据技术从大量的电子化和数字化海洋档案文献、专业基础数据中实现智能化检索档案，探索非结构化档案文献的关系、灾害趋势预测、灾害处置预案推荐分析、观测数据的挖掘分析等。在节约人力和物力的同时能够高效实现档案文献分类整理检索、专业基础数据挖掘分析，给用户呈现精细化、直观的、动态的、趋势的专业数据分析结果。1.与传统海洋数据分析对比。传统意义上的数据是赋值的数字，大数据时代的数据内涵和概念扩展为数字和信息的统称。现在的海洋业务中大数据分析，跟传统意义的分析有一个本质区别，就是传统的分析是基于结构化、关系型的数据，而且往往是取一个很小的数据集，来对整个海洋数据进行预测和判断。但现在是大数据时代，理念已完全改变，现在的海洋大数据分析是对整个数据全集直接进行存储和管理分析。2.大数据分析技术在海洋档案中的应用。大数据分析采用的模式识别技术、图文转换技术、语义分析技术、地理信息技术等成为关键技术。通过对涉海海洋档案、文献，海洋活动数据充分获取，应用大数据的方法和技术处理（ETL），收集、过滤、加工、分析、展现并提供开放的信息访问接口。用户通过访问数据接口，提供数据处理的展示平台，也可以进一步为各类用户、系统开发所需的个性化数据服务。大数据分析的工具从长期来说可以提高工作效率，优化人力资源分配，促进海洋各项工作的进展。目前国家海洋局东海信息中心正在探索建设的东海档案数据库管理系统就是大数据技术在海洋档案方面应用的典型。基于对档案文献和专业数据等数据清洗、整理、转换、展现应用计算机模型建立海洋档案智能检索及专业数据分析系统平台，从多个视角、多个层次、多个维度碎片化档案文献数据、刻画海洋观测、监测的高清数据画像，进一步分析档案数据、实时监测数据，为更好地管理和利用海洋提供数字支持。