《块数据2.0: 大数据时代的范式革命》
2016-03-15IUD中国政务舆情监测中心
■ IUD中国政务舆情监测中心
《块数据2.0: 大数据时代的范式革命》
■ IUD中国政务舆情监测中心
《块数据2.0》一书从块数据的定义,块数据概念模型,块数据全产业链、全服务链、全治理链,块数据安全四个层面,通过十个章节对块数据进行了深入研究和探讨。阐释了块数据的基本属性和本质,块数据的形成机制及其运行规律,块数据在民用、商用和政用方面的应用价值,块数据开放应用中的数据风险等重要概念和重大问题。
知识、信息和数据
从人类思维范式的演进看,知识、信息、数据呈现出一种螺旋上升的循环周期。无论是在人脑时代、电脑时代还是云脑时代,人类思维逻辑和人类思维范式都是同时存在的,数据、信息和知识都是其中最基础性的资源,三者相互交叉、相互促进,共同推动人类发展。
大数据是什么
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。这一新的定义,蕴含着大数据时代的三个基本特征,即新模式、新技术、新业态。
从大数据到块数据
大数据强调开放共享,但在“条时代”,大数据的发展面临共享难度大、垄断程度高、融合能力差、应用价值低以及安全风险大等一系列制约因素。块数据是具有高度关联性的数据在特定平台上的持续集聚,既是数据集聚的结果,也是数据聚合的过程;既包括点数据、条数据,也包括面数据;既有数据空间的填充、空间数据的重构,也有聚合过程中的组构和组构过程中的聚合,同时还伴随新数据的汇集和原有数据组合后衍生数据的产生。这种聚合是持续进行的,并伴随着数据的不断更新。这个过程既是块数据自我重构和自我修复的过程,也是对条数据组合、纠偏、选择的过程。
结构化数据
随着计算机科学与技术的不断发展,计算机处理的数据也由纯粹的数值发展到字符、表格、图形、图像、声音等具有一定结构的数据。相应的,数据结构化也经历了无结构化、结构化、面向对象三个阶段。数据结构化发展历程
抽象化数据
抽象化数据是介于结构化数据与暗数据之间的,人脑通过视觉、听觉、味觉等感官很容易感知到,但是不容易被电脑识别的数据。在现阶段,只有部分抽象化数据能够被电脑记录,但还不能实现测量和计算。目前,对数据离散化处理是抽象化数据转化的重要方式。通过对抽象化数据的加工处理,即编码、存储、提取、遗忘,实现计算机对数据的可识别、可感知,就是抽象化数据的转化过程。计算机将人的感知活动合理地“分割”或“碎片化”,把对感知的整体性、连续性分析转化为“个体性”的离散化处理,将人的感知解构为无数计算机可识别、可记录的数据,再通过计算机数据分析系统,对这些数据进行重构,以达到对人脑感知活动的模拟。
暗数据
暗数据通过数据引力波在不同数据引力场里的聚合、裂变,对明数据、暗数据以及所在的引力场都会发挥作用,释放能量。与明数据显性的数据引力不同,暗数据的数据引力是隐性的力,只有通过自激活或他激活,暗数据的价值才能显现出来。在暗数据被激活之前,这种引力波对事物的作用和影响不大,但会形成一定的干扰。
块数据的定义
块数据的关联性集聚并不局限于某个物理空间或行政区域,而是在特定的平台上实现的,这个平台既包括特定的物理空间,也包括虚拟空间、操作环境,比如软件等,还包括某种工具,比如阅读器等。块数据的关联性集聚,将打破传统的信息不对称和物理区域、行业领域对信息流动的限制,通过对不同类型、不同领域数据的跨界集聚,极大地改变信息的生产、传播、加工和组织方式,进而给各个行业的创新发展带来新的驱动力,推动各个领域的彻底变革和再造。
块数据的基本属性
高度关联性是块数据的本质属性。它主要表现为三个方面:首先,众多高度关联的数据在特定平台上集聚;其次,数据与数据之间构建了一种彼此连接、相互交错,集灵活性与网络性于一体的组织连接格局;再次,集聚于平台上的数据之间形成一种相互影响的关联机制。
块数据与大数据的区别
块数据的范式转移
《第四范式:数据密集型科学发现》将人类科学的发展定义为4 个“范式”,每一个范式的出现都带来了一场新的科学革命。
激活数据学的运行规律
数据搜索是激活数据学中的准备阶段,是块数据系统依据某种信号组织相关数据的一种行为。激活数据学强调的是对所有关联数据的整合、分析和创造性挖掘,需要通过数据搜索来实现整个关联数据体系的建立,为数据处理提供尽可能完整的数据资源基础,以确保处理结果的准确性,同时防止出现数据价值挖掘的盲点。激活数据学中的数据搜索延续了传统数据搜索的原理和各种技术,即将用户的需求在原始数据库中进行比对,通过匹配机制计算信息的相似度,并输出结果。
复杂理论与激活数据学
根据激活数据学,块数据具有在非平衡和非线性共同作用下的高度灵敏性,并在宏观层面表现出长程的秩序并演化出多样化的自激活、自流程、自组织状态。块数据一旦被激活,其所蕴含的数据价值被释放和放大,并且将产生大于个体价值总和的放大效应,达到“1+1>2”的效果。
基于复杂理论的激活数据学模型探索
激活数据学以发现块数据内海量复杂数据的潜在关联和预测未来为目标,以复杂理论的系统思想为主要范式,不仅论证了块数据即是适应性主体的探索前提,而且根据激活数据学的运行规律,发现了引爆块数据的基本流程:通过数据引力波对信号进行传导,以控制多种自激活机制共同作用,来实现驱动块数据自流程化运行,在非线性与非平衡的共同作用下,自组织成为具有高度灵敏性的复杂自适应系统。
模型理论与块数据模型
模型最主要的特点是对客观事物、客观规律的抽象,最后回归于实际应用之中。构建块数据模型是为了更加精准地理解和把握块数据的内涵和本质,要解决的问题主要有促进数据流动、建立数据连接、发现数据价值、再造数据价值,其中再造数据价值是需要解决的核心问题。
平台化:从数据到数聚
从平台到平台化,描述的是海量数据通过流动实现聚集的过程,也就是从数据到数聚的过程。平台为数据的自由流动提供了一种可能,这种流动实现了数据之间的连接。在块数据中,平台化强调数据流动的速度,数据流动越快,数据之间建立的连接就会越多,就越能促进数据聚集。随着大数据技术的发展,现代社会逐渐成为一种数据化社会。流动的数据可以消除数据的不对称,破除时间和空间的限制,实现数据之间的更多碰撞,发现并重构价值,从而促进数据化社会发展。
关联度:从跨界到融合
融合化的关键是打破数据壁垒,实现跨界关联。传统的社会分工使不同领域和行业的数据以“条”的形式存在,加之行业因素、利己主义及数据风险防范等原因,造成数据壁垒,成为数据融合的障碍。只有打破数据壁垒,才能实现数据之间的自由流动,实现跨界关联以及融合,最终形成新的关联模式。融合让不同领域、不同类型的数据成为高度关联的整体,最终形成新的数据形态。
聚合力:从解构到重构
解构与重构是块数据高级形态的重要特征。离散化解构就是打破原来的数据结构,将其分解为不连续的、基本的数据单位,即数据元。全息化重构是对数据元多维度、多方位、多类型的重组。解构与重构强调数据价值产生之后,还可以再次返回块数据平台,进行循环的解构与重构,从而不断再造更高阶的数据价值,离散化解构与全息化重构过程贯穿于聚合环节的始终。
块数据价值链
块数据价值链的任何环节创造价值都要涉及5个步骤:采集、传输、存储、分析和应用数据。价值创造主要由基本价值活动和增值性活动两部分来完成,而这些相互关联的价值活动便构成了价值链。
块数据全产业链
块数据全服务链
块数据全治理链
从全治理链的驱动机制看,治理体系和治理能力是一个有机整体,推进治理体系的现代化及增强治理能力,是同一政治过程中相辅相成的两个方面。有了良好的治理体系,才能提高治理能力。反之,只有提高治理能力,才能充分放大治理体系的效能。
块数据价值链的关键因素
数据流是块数据价值链的核心资源。数据流之于块数据价值链就如同石油之于工业社会一般,是块数据价值链中的血液,只有充足顺畅的数据流循环再造输送“能量和养分”,才能够保证整个块数据价值链体系的正常运行。数据的流动带动了技术流、物质流、资金流、人才流等在整个价值链中的合理分配和循环升级,将各行业、各领域的数据进行深度关联融合,进行系统性的整合、分析,发现新的突破点和增长点,产生价值放大效应。
数据人假设
随着互联网和大数据时代的到来,数据爆炸正在驱动新的组织与共享模式,微博、微信、团购网站、社交媒体等成为新的瞩目焦点。这是一个人人时代,是一个数据人的时代,更多的组织将是一种基于话语的、临时的、短期的、当下的组合。数据改变了人类社会的沟通和认知方式,在未来块数据组织中的所有人和物都将作为一种数据而存在,作为一种数据而联系,作为一种数据而共同创造价值。
数据人假设强调人的行为关系和存在方式的利他化。人作为客体被接入了互联网,成为一个不断采集数据并向云端传输数据的节点,开启了人的数据化。人的存在形式、生活习惯、思维意识等都可以由数据表达,同时可以通过共享、交易等方式获取任何其他人和物的数据表达。组织获取数据和产生数据的能力不仅大幅增强,而且实现了跨界关联,这种能力包括分享的能力、与他人特别是不特定关联人合作的能力,以及采取集体行动的能力等。
块数据组织的超稳定结构
组织结构是组织运行系统的框架,是组织内部进行价值创造的秩序,而有序性是秩序的基本要求。块数据组织是一种超稳定结构,表现为其具有自我调节的修复机制,能够进行内部协调和平衡,实现从混沌到有序,并具有混沌与有序的双重特征。在面对组织脆性和强控制的时候,块数据组织能够吸收和应用无组织力量平衡组织的结构,以无组织的组织力量进行修复,同时激活个体和组织的活力,是共享型组织的新范式。价值创造的目的是价值分享,以共享利益的方式驱动各方参与价值创造才能实现价值创造的最大化。
数据力与数据关系
数据力是大数据时代人类利用数据技术认识和改造自然的能力,它既是一种认知能力,又是一种发展能力,归根结底就是一种数据生产力。数据力是块数据组织的核心竞争力。数据力与数据关系影响着社会关系,数据力的改变将推动数据关系的改变,而数据力与数据关系的改变,又将引发整个社会发展模式前所未有的变革和重构。
块数据与新经济
块数据经济带来的是一种新动能,将成为引领新一轮新经济发展的风向标。进入互联网时代,集中化遭遇了碎片化,二八法则被长尾理论战胜,平台经济应运而生,需求集中但客户分散的问题得以解决。块数据经济强调平台集聚,但集聚的不仅仅是需求,还包括创新、运营等各个方面的价值关联,从而形成新经济的新动能。
区块链与块数据金融
金融是现代经济的核心。互联网金融能否成为下一个蓝海,也许将取决于区块链技术的发展。区块链最大的特征是去中心化,整个网络没有中心化的硬件或者管理机构,全网络的每个节点都依据共识开源协议进行分布式记录、分布式存储、分布式传播,节点与节点之间的权利和义务都是均等的,且任一节点的损坏或者失去都不会影响整个系统的运行。区块链本质上是由交易各方信任机制建立起的一个完美的数学解决方案,具有高安全性、高容错性、高包容性的特点。
痛客:无痛点不创新
痛客是行动,是模式。痛客能够从各种社会现象和问题中,找到普遍存在的尚待解决的关键问题,形成并提出痛点。无论是政府机构、企业、社会组织,还是自然人,都可以成为痛客,痛客计划就是一场“大家一起发现”的行动。当前存在这样一种社会共性问题,即有办法的人没想法,有想法的人没办法。痛客计划的提出,在有办法和有想法两类人之间搭建起了互动交流的平台,从而激发大众创业、万众创新。
容错性创新试验
容错,就是当试错过程中出现了重大损失和决策失误的时候,启动相应的程序,进行及时止损,并对相应的责任人实施豁免。允许试错是正视失败的一种态度,更重要的是,应尽可能规避错误。允许在创新中试错的关键是设立止损值和止损位。同时,通过科学的容错机制,防止有意试错,减少无意犯错,建立基于块数据技术的监督和考核评价机制,让创新在阳光下进行,谨防少数人钻容错的空子。
开放数据与数据安全
数据的透明化就是要实现数据的无边界化。数据的透明化能够推动社会发展,最直接的就是带来更迅速、更公开、更灵敏的响应和交流。大数据时代,越来越多的数据被采集,但是数据的种类繁多,不同的组织、企业、部门获得的数据是不一样的,为了能够实现数据的开放共享,就必须让数据透明化、无边界化,这样才能使数据发挥出真正的价值。此外,数据在开放过程中,数据的使用包括与第三方的合作,这使安全和隐私遭到极大挑战。开放的个人数据是具有身份标识的数据,加大了个人隐私泄露的风险。匿名化技术带来的去匿名化技术让如何进行原始身份数据的保护成为一大难题。数据的开放与保护是天平的两端,只注重数据的开放,不注重其安全保护,将会给世界带来一场灾难。因此,必须在开放中保护,在保护中开放。
块数据风险源
块数据安全防御
对于数据行业,要制定严于一般行业的管理制度,加强对于从业人员的教育、管理以及内部防御。采取更高规格的信息安全等级管理保护措施,明确不同人员相应的管理权限,加强监督制约,实现层层管控,时刻严密管控网络信息安全动态,及时有效处置网络信息安全问题,保障网络信息安全。在国家层面加强对数据的掌控,规避数据聚集利用给国家安全带来的风险,在法律层面对信息资源制定保护措施。数据安全问题,在很大程度上应该用伦理道德来规范和约束。
数据政府
数据治理打破了原有公权力对数据传播流向和内容的控制与垄断,极大地提升了政府治理的“能见度”,通过量化不同事物之间的数理关系,实现一种极致治理。以往,遇到某些重大事件或为解决某一重大问题,政府往往会成立一个由各职能部门组成的工作组,通过信息共享、工作联动的方法加以推进。块数据能够比领导小组做得更好。它能够以更接近于零的边际成本,构建出整个政府和社会数据资源之间的全连接、全流程和全治理框架。这“三个全”打通了政府部门、企事业单位之间的数据壁垒,实现了合作开发和综合利用,有效促进了各级政府数据治理能力的提升。同时,大数据与互联网、微信、微博等新媒体深度融合,可以突破时间和空间的限制,从更深层次、更广领域促进政府与民众之间的互动,形成多元协同治理的新格局。
公权治理力“四部曲”
“数据铁笼”
“数据铁笼”是以权力运行和权力制约的信息化、数据化、自流程化和融合化为核心的自组织系统工程。建构“数据铁笼”的重中之重是回答并解决好“问题在哪里、数据在哪里、办法在哪里”这三个问题,由此优化、细化和固化权力运行流程,确保权力不缺位、不越位、不错位,实现反腐工作从事后惩戒、事中防治转变为事前免疫。