基于大数据环境下的数据治理框架研究及应用
2018-03-06石玉峰
◆石玉峰
基于大数据环境下的数据治理框架研究及应用
◆石玉峰
(河南工业贸易职业学院 河南 450003)
信息科技的发展促使各行各业都开始大力实施信息化建设,例如企业的ERP系统等。这是现代化社会发展中的必然趋势,更是经济技术推动的作用。在大数据背景下,数据与互联网技术的融合使得数据呈现出爆炸式的增长趋势,数据的质量与价值在组织中的重要性不断突出,并逐渐形成了独特的数据文化。因此,本文主要分析了在大数据背景下数据治理框架的研究、需求及其应用,希望能够为提升数据治理的质量提供参考意见。
大数据环境;数据治理框架;数据质量;应用分析
0 引言
在互联网技术和大数据技术的加持下,如今数据共享的程度不断提高,推动着组织业务数据化、数据业务化的创新发展。而通过对不同业务产生的不同数据的分析可以为组织决策的制定提供有效数据基础和指引,但在这种先进化、便利化发展趋势下数据的风险问题也伴随而来,常给许多人带来不同程度的不良影响。对此,数据治理便在人们强烈的需求中衍生出来,其可有效提高数据质量、增强数据的安全性。
1 大数据背景下数据治理框架的研究
目前,数据治理尚未形成一个统一的概念,但总体来说,其本质还是在综合考虑了企业的发展状况以及利益相关者需求的基础上,对组织的行为发挥指导、控制、监督、评估等方面的服务功能,提升数据质量的同时为其创造更高的价值。随着大数据时代的深入,数据治理引起了业界和学界的关注与重视,他们从多篇文章的内容中对数据治理进行了深度研究,并分析了其未来的核心发展趋势,逐渐形成了大数据治理框架。例如国际数据治理研究所从组织、规则和过程三个层面总结出了数据治理的十个关键性要素,并形成了一个从方法到实施的框架和系统。
我国对于数据治理研究的起步相对较晚,至今在概念上具有一定的模糊性,并且常将数据治理与数据管理等同,都是对相关数据实行收集、加工、处理、传输、保存等一系列的活动。这些差异的存在使得数据治理在大数据背景下一直是一个热门研究话题。
2 大数据背景下数据治理需求分析
在国内外相关学者对数据治理框架的不断研究中,已逐渐形成了相对较为完善的数据治理的理论体系和原则。如今,大数据治理框架已在金融、通信等领域中得到了广泛的应用,并在互联网的推动下,使得数据呈现海量化、多元化增长的现象。而正是在这种数据爆炸式增长的形势下,人们对数据的质量、安全管理提出了更高的要求,使得传统的数据治理手段已难以满足市场上对数据治理的需求,这意味着大数据治理框架的应用与实施是一种必然趋势。
目前,在实际的数据治理手段中,数据与业务之间的联系日趋紧密,并逐渐形成了数据业务化、业务数据化的发展理念,但同时也使得当下的数据治理方面面临着严峻的挑战,主要体现在三个方面:一是数据的质量有待提升。大数据对数据访问的效率要求极高,但在不同系统中相同数据的冗余存放却在数据更新滞后性问题下常常使得冗余数据出现不一致的状况,进而带来严重的数据质量问题。二是数据安全性有待提高。随着数据各项技术的发展使得其共享程度不断提高,但同时也带来较大的安全隐患,使得一些重要的隐私和机密数据在传输和保存等方面存在较大的安全问题。三是数据标准有待统一。大数据中的海量化数据的增多无疑增加了数据管理上的难度,还容易出现数据混淆等状况,而统一的数据标准则能够促进信息共享,提高数据的利用率。
3 大数据背景下数据治理框架的应用
3.1完善数据治理框架
通过上述分析可以发现,在大数据背景下,数据的质量、安全隐私以及统一标准是当前大数据治理中亟待创新和改变的重要问题。因此,为有效提升数据治理框架的有效性,还应强化对该框架内容的认知,并从创新角度逐渐完善大数据治理框架,从而满足当下市场上对数据治理准确性、一致性和完整性的要求,并为该框架的实际运用提供良好的先决条件和保障。其具体应用方法有:
第一,明确数据治理目标。目标的制定是有效实施大数据治理的重要前提,主要内容包括治理战略一致、增强风险可控性、确保组织运营合规、实现组织发展价值。在治理过程中,应充分考虑组织的发展需要,提高数据的价值性,降低其风险性,从而为组织提供更加科学的决策,减少其经济损失。同时,还应确保组织的运营与发展符合相关法律法规以及其他相关的规范等,从而增强组织的竞争力,最终实现其运营价值。
第二,强化数据治理保障。它主要包括促成和内外部环境因素,前者是指对大数据治理实施成果具有促进作用的影响因素,如治理流程、方式等。后者则是指在实施大数据治理时其所处的内外部环境,如市场环境、企业运营环境等。在具体实施时,还应整合相关的促成和内外部环境因素,不断优化其治理技术和方式等,全面提升其效率。同时,还应为大数据治理的实施构建良好的文化氛围,共同减少相关成本的支出,以促进组织服务的创新、实现组织的价值。
第三,优化治理域。治理域主要是指大数据治理的主体,其中包括组织与战略,元数据、主数据、数据生命周期、质量的管理以及数据的安全与合规、数据的创新应用等。不同层面的治理域其数据治理的程度和方式也会有所不同,因此,为提升大数据治理的有效性,并提升数据的质量,还应不断优化治理域,对相关的治理对象进行合理划分,并实施大数据的收集、分析、处理、传输、保存与应用等方面的功能,全面分析数据的价值,从而为组织数据的应用提供更加创新的服务。
第四,创新数据治理方法。数据治理方法主要是构建EDM模型,即“评估-指导-监督”模型,并制定相应的战略进行大数据治理。在此过程中,组织还需不断规范和优化数据治理流程,根据治理主体的不同实施不同的治理方法和手段,以增强组织的风险防控能力,充分发挥出数据的商业和社会价值。
3.2在数据治理规划阶段的应用
在数据治理的规划阶段,首先组织应明晰数据治理的框架,并从数据的质量和安全隐私方面着手,充分考虑大数据治理在组织决策中的作用与价值。其次,还应结合组织的目前存在的数据方面的问题,进而制定针对性的战略与方法,以促进大数据治理的顺利实施。同时,还应提高组织数据治理人员的专业素养,如治理战略的制定者、管理者和实施者等,并不断强化数据治理的执行力度。
3.3在数据治理实施阶段的应用
在大数据治理的实施阶段中,可根据组织数据的实际情况采取统一建模的方式对元数据等进行管理,明确数据的统一标准,并建立相应的数据管理库。同时还应充分结合具体业务的需求实施大数据治理,并确保数据来源的真实性、域完整性,从而真正提高数据的质量。在此过程中,应优化数据治理体系,如引入NOSQL数据库的应用等。
3.4在数据治理评估优化阶段的应用
最后还应利用数据治理对其结果进行评估和优化,若发现其中存在尚未达到组织需求和目标的数据,应及时进行重新治理,以增强数据的有效性和应用价值,以帮助组织提高风险的可控性。同时,可利用数据治理后组织内部不同部门间的不同数据系统进行集成式管理,以提高数据的协调性,增强数据的应用价值。
4 总结
数据治理是大数据时代广受关注的一个热议话题,而随着数据开放程度的提升,人们对其质量和隐私保护的需求愈来愈高,从而推动了数据治理的创新发展。在大数据治理框架的实际应用中,首先应不断完善该框架的内容,随后将其应用于数据治理的规划、实施、评估优化阶段中,从而在提高数据质量与安全性的同时,促使数据能够更好地为各领域的业务进行创新服务,充分发挥出数据的实用性,从而创造出更多的经济与社会价值等。
[1]郑大庆,范颖捷,潘蓉,蔡会明.大数据治理的概念与要素探析[J].科技管理研究,2017.
[2]张宁,袁勤俭.数据治理研究述评[J].情报杂志,2017.
[3]杨琳,高洪美,宋俊典,张绍华.大数据环境下的数据治理框架研究及应用[J].计算机应用与软件,2017.