再看“大数据治理”
2020-10-09云飞
云飞
大数据治理中不需要考虑数据流的各个环节,不必强调大数据与小数据之间的区分与对立。
我们已经进入5G时代,IT演进与产业变革正在加速,IoT物联网时代已经到来。“5G+AI+IoT”将进一步激发产业的数字化转型,带来数据量的激增,需要更强大的数据管理能力、更实时的数据处理能力、更精准的数据业务结合能力和更灵活、敏捷、高效的数字化平台能力。随着在行业领域应用的深入,数据作为基础性战略资源的地位日益凸显。
“大数据观”随着智能应用落地和市场份额占据愈发变得清晰起来。从大数据功能角度分析“让大数据发声”“大数据革命”“数据为王”等表述,尚停留在理念性质的理解,实质上夸大了大数据的作用,关于大数据功能的定位也不准确。
“矫枉”还不够,“归正”之后,“大数据治理”成为大数据产业生态系统的新热点。
大数据的特征决定了“治理”的必要性。大数据在采集各类数据时不需要定义各种数据库对象,我们甚至不知道哪些数据是今后用得上,哪些用不上。正是由于整个采集存储过程没有涉及到任何转置,原始数据没有因为需要结构化或匹配差异系统而遭到破坏,数据的血缘关系是非常清楚的,因此在“大数据治理”中不需要考虑数据流的各个环节,不必强调大数据与小数据之间的区分与对立。
至于大数据怎么治理?我想这是个“大咖”级的问题,业界精英早有研究、早有判断。梳理出关键词,可能是数据确权、数据质量、数据安全、隐私保护、流通管控、共享开放等,无论哪一项,都不尽清晰,有些尚有争议,这是一个新生事物发生发展,直至成熟的必然过程。我们所能看到的,最早意识到数据治理重要性的行业是金融行业。由于对数据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台的验证,发现数据治理是平台建设的主要限制因素,而且随着投资和建设的投入增加,对数据治理重要性的认识也越来越深刻。如今各行業都开始了大数据平台的建设,希望利用大数据的能力,来实现数字化转型。大数据平台的建设本质上还是数据的建设,传统数据平台碰到的所有问题,大数据平台都有可能碰到,由于数据量级的变化,大数据平台必然还会产生新的问题。
因此,“大数据治理”必定是个“久久为功”的事情。
忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一,难以提升的数据质量,难以完成的数据模型梳理等源源不断的基础性数据问题,限制了数据平台的发展,导致数据应用不能在商业上快速展示效果。大数据时代,我们急需建立以用户为中心的自服务“大数据治理”,信息梳理、数据管控、连接用户、智能化是实现自服务“大数据治理”的四个主要阶段,掌握一系列关键技术和技术原则,是实现自服务“大数据治理”的重要基础。