小数据如何“以小博大”撬动大数据?
2019-08-06赵连明
赵连明
在即将到来的大数据“七年之痒”之际,在人类普遍都关注大数据的同时,是否还有必要关心小数据的问题及其开发价值呢?
1848年,詹姆斯·W·马歇尔(James W. Marshal)在萨克拉门托山谷(Sacramento Valley)发现金块后,美国迎来了19世纪历史上影响最广泛、意义最深刻的淘金热浪潮。与19世纪40年代美国淘金者的情况一样,随着信息技术与实体经济的深度融合,一场基于海量数据的大规模生产、分享、应用大数据的“黄金浪潮”已经再次拉开序幕,新一代的梦想家通过巨型海量的大数据提取有价值的商业见解。毫无疑问,大数据、云计算、物联网、移动互联网是继“淘金浪潮”之后信息技术融合应用的新焦点和“黄金浪潮”,将引发各领域、各行业生产模式、商业模式、管理模式的变革和创新,将对经济社会发展及人们的生活方式产生深刻影响。大数据能让企业制定更好的决策,从而提高效率、节约成本、增加收入。但是,在即将到来的大数据“七年之痒”之际,在人类普遍都关注大数据的同时,是否还有必要关心小数据的问题及其开发价值呢?许多企业还没有认识到小数据的好处,即便认识到了,也许还不知道如何利用。那么对于企业而言,是否该静下来进行一些“冷思考”呢?
大数据相关政策解读
自大数据元年至今,大数据市场在我国萌芽、发展并获得了极大关注。无论是从中央还是地方层面来看,目前各个领域内的大数据体系已基本完善,并进入落地实施阶段。自2013年大数据元年开始,经过一年多的发展,2014年,“大数据”一词写到了政府工作报告中,翻开了大数据政策环境的新篇章。2015年,大数据产业进入高速发展时期,2016年,数据产业进入成熟期,有望在“十三五”期间带动市场规模万亿元之巨的IT服务业转型,促进国民经济其他领域的飞速发展。除了国家层面,我国各省市地区也如雨后春笋般地相继出台相关政策规划,积极促进当地大数据产业发展。据不完全统计,近年来中央、地方陆续出台了160多份大数据相关政策文件,8个国家大数据综合试验区以及11个国家工程实验室相继启动建设,20个省级单位设立了大数据专门机构,大多数省份设立了大数据管理局……通过对中国大数据产业国家和地方层面的政策环境、大数据相关政策热点等方面进行深入的解析,有助于全面把握大数据产业政策脉络,及时了解中央及地方政府对大数据产业的扶持力度及方向。
大数据与小数据的内涵逻辑
在大数据兴起之前,数据几乎没有“大数据”和“小数据”之分。从概念内涵上来讲,大数据和小数据是相对统计的。小数据是描述并管理大数据的数据属性的数据。无疑,大数据是由小数据构成的。关于大数据,就是要对海量的多源异构数据测度其不确定性,并挖掘、发现其中的有价值信息的过程,普遍被大家认可的是“4V”特征。而小数据与大数据的根本区别在于,小数据在以人为本的前提下,以个体(个人)为唯一对象进行全方位数据汇总,进行配套的收集、处理、分析,并对外交互。
世界上第一个注意到“小数据”的人是美国康奈尔大学计算机科学教授德波哈尔·艾斯汀,他通过对90岁高龄的父亲临去世前几个月的观察,发现父亲在去世前几个月内,虽然临床特征上没有表现出明显异样,但通过小数据的方式追踪发现老人的脉动与之前相比发生了明显变化。这种日常行为的小数据的关联性分析,启发了我们对“小数据”的重新认识和重视。此后,人们开始关注“小数据”,并发现小数据价值不菲,毫不逊色于大数据。
正因为小数据中蕴含着无数知识财富,所以我们必须认真加以研究。那么什么是小数据?它与大数据有什么关系?如何开展小数据研究?
小数据是以个体为中心的垂直和纵横领域的数据,对个体数据全方位、全天候深入、精确地挖掘、利用;而大数据则侧重于某领域的广度,大范围、大规模、全面地进行数据收集、处理、分析。“以小博大”(或者说“统筹大数据”)应该是小数据区别于或者是存在于大数据的价值所在,如何从大数据中挖掘出更深入、更有针对性、更有說服力的信息,除了大数据方法外(发现基本规律、基本关系和基本趋势),更需要从小数据着手,观察个体特征的变化,通过发现其形成原因、表现特征和产生的影响,能得到我们意想不到的结果。
小数据不仅是构成大数据的基础,也提供了更精准、更细致、更有内涵的信息,从而有利于发现较为精准的因果关系。如果把大数据比喻为原油的话,那么小数据就是原油提炼出的石油,而且可以进行反复的提炼、不断的加工,大数据中的小数据会更有价值、更精准。由此可知,小数据分析的因果关系决定着大数据分析的相关性。
基于企业视角下小数据如何“以小博大”撬动大数据?
近年来,大数据炒得如火如荼,大数据相关产业的爆发式增长掩盖了人们对小数据价值的关注,并给人造成一种假象,认为大数据技术可以解决数据处理的一切问题。由于起先没有建立完善的数据管理体系,小数据仍然没有受到人们的重视,导致在大数据相关产业中普遍存在着数据存储量大、数据质量不足的现象,无法实现真正意义上的大数据的价值特征,数据对大数据产业发展所具有的积极作用也没有得到应有的发挥。很多企业、用户都对大数据十分感兴趣,但是真正成功应用大数据的案例,在企业当中似乎也并不多。对于大多数企业而言,传统的小数据仍然是企业最重要的数据资源,那么现阶段究竟是大数据更重要,还是小数据更有价值?
在企业层面,面对纷繁复杂的各类数据时,企业想要研究出转变自身的有效措施,却往往容易陷入需采用最新、最先进技术来支持复杂商业过程的困境,而小数据的合理利用可以帮助企业摆脱这种困境,高效利用其现有资源。客户关系管理是小数据应用的首要选择,不仅能帮助销售人员完成销售任务,而且能增加客户的忠诚度和满意度。通过对客户关系管理数据的分析,企业能够更好地理解客户、与客户建立良好的关系。
企业应在做好大数据的基础上,提取出具有鲜明特征且有价值的小数据,获取有价值的客户信息,帮助降低运营成本、提高运行效率、及时调整企业定位和策略。数据科技时代,要充分利用数据资源,以“从大数据得到规律,用小数据去匹配个人”等方式来实现小数据和大数据的完美结合。
基于工业互联网平台建设的实证分析
工业互联网平台是基于大数据和人工智能等技术,将机器、数据、流程、人等因素融合创新,凝聚工业互联网技术创新而形成的。工业互联网平台可以提供工业领域各行业的系统解决方案,为设备制造商、服务商、运营商实现产品创新、生产优化等效果,这就是以小数据集合撬动大数据的典型应用研究。
工业互联网致力于构建开放、共享、合作、共赢的工业互联网生态,结合自身在工业物联网领域的行业积淀,聚合上下游产业合作伙伴和解决方案供应商能力,与合作伙伴合力打造端到端的工业物联网产品,实现面向最终客户的一站式价值输出,打造中国本土的工业互联网生态,真正意义上实现深度整合数据资源,实现大数据与小数据的深度融合。显然,在大数据时代,小数据是不应该被忽略的,甚至是,如果给予足够的支点,小数据足以“以小搏大”撬动大数据,如图1所示。
在数据爆炸性增长的时代,对数据应用最大化的形式是对大小数据的完美结合。大数据不断地帮助人类节约人力物力,使我们的生活实现自动化,工作实现精准化。但是由于大数据存在的数据库的狭义理解,难以形成激发的功能,导致大数据不会激发深刻的见解,而且大数据分析也忽略了情感的存在,无法捕捉到人类重要的情感品质。这种情况下往往会产生很多能反映人们行为变化趋势的小数据,如果单纯依靠大数据而忽视小数据的应用,必定产生痛点。由此可以看出,大数据和小数据之间是耦合协调的“舞伴”。想要挖掘大数据中隐藏的真正价值,就要从小数据着手,精准研究小数据因果关系,来认识世界并改造世界。