大数据技术的最新发展及其在监管科技领域的应用

厦门柏事特信息科技有限公司 陈京鹭

随着对先进信息技术的应用不断深入，金融行业也得到了进一步的发展，金融科技的出现为金融体系的发展提供了新的活力，但与此同时，金融行业的风险问题愈发突出，监管科技也成为了行业发展过程中的主要研究方向。基于此，结合当前大数据技术在监管科技领域当中的应用展开详细探讨，首先对大数据的概念、结构、应用价值以及技术进展进行介绍，然后从多个角度分析了大数据技术发展及监管科技领域的发展趋势，并探讨了大数据技术在监管科技当中的实际应用问题，最后，有针对性地提出了大数据技术在监管科技当中的应用策略。

1 大数据概述

1.1 大数据及其结构

大数据实际上指的就是巨量资料，大数据的应用架构主要包括以下几个部分：(1)数据源，指的是数据来源，包括数据、互联网数据、文本数据以及表彰数据等；(2)为数据采集，即数据实时同步；(3)为数据存储，主要是对海量结构化数据进行分析；(4)数据管理，通过建立数据挖掘模型，实现对于数据的多样化处理和应用；(5)数据服务，包括数据浏览、检索、下载、分析、互动以及发布等多样化功能。

1.2 大数据的应用价值

在当前信息爆炸时代背景之下，各行各业都产生了海量的数据信息，这些数据当中蕴藏着各种有待挖掘的信息，而传统数据分析技术难以实现对于大量数据的快速分析。而大数据技术的应用，则能够结合实际需求，在短时间内实现对于海量数据隐藏信息的挖掘，将数据信息转化为行业可用的资源，并从中挖掘新的知识和规律，进而达到相应目的，用以推动领域发展。

1.3 大数据技术进展

1.3.1 大数据的采集和预处理

数据的收集和整理是大数据技术应用的初始阶段。当前数据收集的过程中，所应用到的大数据技术主要是集中采集和分布采集方式，以此从数据源当中获取数据，数据类型不仅可以是文本信息、图形表格，还可以是音频、视频等。预处理就是指对采集到的数据信息进行整合处理，并根据相应原则以及业务需求，将其转换成为新的数据集，以便后续数据的应用和分析。

1.3.2 大数据的存储与管理

大数据由于其本身数据量较为庞大，数据种类相对较多，因此传统数据容量无法满足实际应用需求。针对大数据其本身较为离散、结构复杂、数量庞大等特点，当前大数据储存管理方面已经实现了对于数据的分类储存以及属性查询，而且还能够对海量数据进行合理压缩，极大地减少了数据存储所占用的空间，同时能够结合实际需求，对数据进行及时有效提取，极大地提升数据存储和管理的效率。

2 大数据技术发展及监管科技领域的发展趋势

2.1 与云计算的结合

随着当前监管科技的不断发展，领域范围的扩充，对于大数据技术也提出了更高的要求，云计算的重要作用逐渐得以体现，作为一种新型的分布式计算方式，云计算有着极其强大的数据计算和处理能力，主要是通过对计算程序的分解，在短时间内实现对于大量数据的计算，并合并计算结果。与计算技术能够利用相应计算模型，实现对于金融航悦分散在庞大互联网当中的数据进行实时监控和科学管理，而且具有高效、低成本的优势。因此，在监管科技领域发展的需求之下，未来大数据技术与云计算之间的关系将会更为密切，二者的融合也会朝着更加深入的方向不断推进。

2.2 数据科学的发展

数据科学是在大数据发展和应用过程中，所衍生出来的新型学科，其主要是针对数据理论、方法和技术展开研究，以此为自然科学以及社会科学的研究提供新的方法。近年来，大数据的发展脚步不断加快，作为当前应用十分广泛的热门技术，为进一步促进大数据技术发展，挖掘大数据技术的应用价值，专业领域将会加强对于数据科学方面的研究，为大数据技术的应用和发展，提供基础理论，进一步突破数据科学。

2.3 数据泄露的研究

对于监管科技领域而言，大数据技术的应用和研究，其存在的主要问题就是数据泄露，在当前信息技术水平逐渐提高的情况之下，数据泄露风险也在成倍增长，给监管科技领域以及金融行业的健康发展都带来了极大的威胁。因此，想要保障大数据技术在监管科技当中的应用能效，首先需要解决的就是数据泄露问题。结合大数据技术应用过程进行分析，数据泄露的主要研究内容包括数据源头安全、数据传输过程安全、数据存储安全以及数据应用安全等几个方面。为促进监管科技领域健康、持续、向好发展，加强数据泄露方面的研究和探索，已然成为当前大数据技术在监管科技领域应用过程中的重要研究方向之一。

2.4 混合事物与分析

基于监管科技领域其庞大数据量，以及相应数据监控、分析、管理需求，对于大数据技术的分析能力有了更高的要求，在此情况之下，大数据技术也将会朝着混合服务与分析处理方向不断发展。相较于传统大数据技术，HSAP有着更为强大的分析能力。在互联网数据量持续增长扩大的情况之下，传统离线数据库以及分析技术已然难以满足实际金融监管需求，此时混合事务分析处理架构应运而生，该技术的出现有效避免了相应数据分析查询工作对于在线事务处理所产生的不良影响，极大地保障了数据分析的及时性。混合服务分析是一个相对分散的过程，能够持续地进行在线优化，生成大量的新数据，并对新数据进行复杂的分析处理，然后将相应分析结果实时反馈给需求方，以此发挥大数据更高的应用价值，同时该技术还能够有效提高成本效益。

2.5 数据能力的复用

大数据并不是指单一的、巨大的计算机网络，而是由大量活动构件与多元参与者元素共同组成的庞大生态系统，整个生态系统当中包括了极其多样、大量的元素，例如，终端设备、基础设施、网络系统、接入服务以及数据服务等，共同组成了该生态系统。而在这样一个复合化程度不断加强的数据生态系统之下，对于数据能力的深入挖掘和应用也将会不断加强，尤其是对于监管科技领域而言，其数据能力的复用更为重要。需要在原有数据生态系统雏形的基础上，进一步进行数据分析，实现系统的细化，优化调整相应监管机制、模式等，以此提升大数据技术在监管科技当中应用效果，促使监管科技领域更好发展。

3 大数据技术在监管科技当中的应用问题

3.1 数据基础薄弱

大数据技术应用于监管科技时间较短，技术使用方式尚未成熟导致数据基础薄弱，是目前大数据技术在监管科技中难以发挥最佳应用价值的主要原因。数据量是大数据技术的应用基础条件，数据基础薄弱会对监管科技发展造成以下影响。(1)会致使监管科技用于开展监管工作的数据局限性较强，导致监管科技最终工作结果难以满足预期目标。(2)数据量不足以支撑金融领域的监管需求，最终导致监管科技缺少实际应用价值。

3.2 数据质量参差

数据质量对大数据技术应用与监管科技的效果具有决定性作用，但现下大多数金融行业可用于监管科技的数据质量较差，限制了大数据技术在监管科技中的应用效果。数据质量差会导致大数据技术应用效果有限，使监管科技难以体现其监管作用影响监管科技的运行速度，不利于金融行业发展。

3.3 隐私边界模糊

应用大数据技术后隐私信息边界模糊，难以对隐私信息与普通信息进行明确的划分，应用大数据技术后的监管科技也存在这一问题。造成这一问题的原因有以下几种：(1)监管科技在收集信息时无法清晰掌握信息收集界限，导致收集到的信息既侵犯个人隐私权又增加大数据技术的工作量，降低监管科技的运行速度与监管成效。(2)隐私保护法内容不够完善，缺乏对互联网时代隐私信息的界定规范，社会对隐私信息重视程度不够，使负责监管科技信息收集的人员未树立良好的隐私保护意识。隐私边界模糊是目前该领域存在的主要问题之一[1]。

3.4 安全风险问题

大数据技术应用于监管科技尚处于发展初期，相关技术手段不成熟，应用大数据技术后的监管科技存在安全风险。监管科技潜在的安全风险主要由以下原因导致，使监管科技产生许多新问题。(1)技术不完善导致监管科技运用平台抵御能力较差，监管科技易被不法分子入侵，对监管科技的信息安全构成威胁。(2)大数据技术应用于监管科技的运行平台稳定性差，难以承载较大的符合工作量，影响监管科技信息的安全性。

4 大数据技术在监管科技当中的应用策略

4.1 构建监管科技规则

(1)相关部门应加强科技资源整合，在监管科技中大力推广大数据技术，推进科技架构转型优化，为金融行业打造现代化监管科技体系。(2)协调各种金融科技的应用方式，以此为基础初步建立金融科技监管体系规则，加快监管体系规则落实速度并在实际工作中落实，制定金融科技繁荣发展规划。

4.2 明确数据质量标准

为保证大数据技术在监管科技中的应用效果，提高数据收集工作质量。收集数据时应遵循以下原则，保证数据的质量，为大数据技术应用创造良好环境。(1)用于大数据技术的数据应具有完整性，所选数据信息中不能有缺失片段，保证数据在大数据技术应用中具有较高借鉴价值。(2)数据格式要统一，统一性是数据记录规范与逻辑的体现，监管科技所用信息数据符合金融行业信息规范即可。

4.3 强化数据开放共享

数据开放与共享既是一个技术过程又是一个管理过程。技术过程是指采集数据所用发布格式，以及如何定义数据访问接口等涉及数据处理方面的问题。而管理过程则是指发布什么样的数据，采用什么样的开放许可协议等内容。因此，实现数据开发与共享应遵循以下几种原则。(1)合理选择数据集，选取将要开放的数据集是实现数据开放与共享的第一步，由于监管科技所需数据与政府息息相关，因此需要事先制定数据开放的标准以及对数据进行分级处理。(2)选取最适宜的开放许可协议，我国不允许对未被授权的数据进行开发或共享，因此监管科技在选取开放许可协议应结合的数据集的实际情况开展。

4.4 建立数据保护措施

(1)对工作人员开展安全意识培训，定期进行安全意识宣导，强化工作人员对信息安全的认知，引导其积极执行监管科技保密制度。(2)建立文件保密制度。首先对企业文件实行分级管理，按照文件的重要性进行分类，将其限制在指定的管理层级范围内，避免核心数据随意传播。(3)定期全面检查监管科技平台，发现漏洞后，及时进行系统修复，避免漏洞被黑客利用造成机密泄露。

4.5 发挥数据分析作用

数据分析能力对监管科技发展具有重要作用，是保证大数据技术应用于监管科技可发挥最佳效果的核心能力。发挥数据分析作用对监管科技发展的有利影响如下所述。(1)可以提高工作效率。有了数据分析，可以将监管科技数据之间的关系用其他方式表现出来。(2)有助于保证分析的结果的准确性。监管科技数据量非常庞大，分析过程中很容易出现混乱，导致计算的结果出错，甚至可能造成大量工作错误。但发挥数据分析作用后，监管科技无论是条理上还是在层次上都会更加明了清晰，以此使大数据技术分析的结果准确无误，充分发挥大数据技术在监管科技中的应用价值，为监管科技未来发展创造更多可能[2]。

5 结语

综上所述，大数据技术基于其自身强大的数据统计、应用以及资源转化能力，使得其在监管科技当中发挥了重要作用，但是在实际应用大数据技术的过程中，仍然存在数据基础薄弱、质量参差、边界模糊以及各种安全风险问题，对此为保障大数据技术应用效果得到充分发挥，应加强构建监管科技规则、明确数据质量表彰，同时强化数据的开放共享，并建立相应数据保护措施，确保数据安全，同时深入进行数据分析挖掘，促使监管科技的能效得到进一步发挥。相信随着大数据技术的深入研究和应用探索，我国监管科技领域也将会得到更好的发展。