大数据时代，数据采集与管理的几点思考

江密

在2015年3月份的十二届全国人大三次会议上，李克强总理在政府工作报告中提出制定“互联网+”行动计划，专门提到了大数据，引起业界的关注。

当今社会是一个大规模生产、分享和应用数据的时代，改革开放以来，我国作为发展中国家的领头羊，在工业化、信息化引领的现代化进程中取得骄人成绩，如今又面临世界走向数据化的重要时刻，这就要求我们对大数据要有清醒的认识和足够的研究。

一、对大数据的认识

人类社会无时无刻都在产生数据，随着计算机的发展与普及，各种层出不穷的智能设备的出现，数据才真正意义上进入大数据时代。今天的数据时代，不仅企业有收集数据的能力，搜索引擎还可以将资料进行快速检索、归纳分析后将内部逻辑关系通过量化指标展现出来。之所以能产生大数据，是因为传感器和微处理器在现代机器设备的广泛使用，理论上所有的机械设备、元器件等任何物体通过加载电子芯片都可以把运作过程中产生的数据记录下来，这些被记录的数据表明它的性能、位置或状态，还可以根据需要通过互联网汇聚到后台进行研究、分析直至加以控制，这就形成了巨大的数据源。“万物互联”是现实可行的，一点都不夸张。在服务、消费行业，客户线上线下的服务触点和点击流量，也构成了大数据。政府在管理服务社会的过程中，也收集、存储了海量数据，上述提到的物体、企业、政府产生或收集的数据宝藏都有待分析并能产生价值。

世界各国也已开始认识到大数据的重要性并注重数据价值的挖掘，从政府机构设置或产业扶持政策就可见一斑，引用英国知名学者的一句话——“数据之于信息社会就如燃料之于工业革命，是人们进行创新的力量源泉”，该对比形象地说明了大数据的重要性及其蕴藏的巨大价值。

二、大数据在企业经营管理中的运用

很多人会把针对大量数据进行的分析和利用理解为大数据营销，单纯靠用户的联系信息（如姓名、地址、联系号码、即时通讯账号等）而开展的营销不是大数据营销，不论其用户信息是正当收集的还是非法获取的，充其量只能算是数据在“表内”（办公应用软件Office Excel的公式仅取自单张表内的数据，下同）地整理和分析、利用。真正的大数据是根据海量数据按照不同的使用目的利用各种分析手段找出内在规律性的逻辑关系，是跨行业甚至不同属性的“表间”（办公应用软件Office Excel的公式可取自多张表间的数据，下同）关联分析，是完全可以进行脱敏分析的，大数据注重相关关系，不要因果关系。

（一）刚迈入21世纪的头几年，完成政企分开、公司化改革后的电信运营商逐渐进入了全业务经营竞争阶段，客户争夺日渐激烈，也开始重视基于客户历史消费信息的分析，并制定出台针对性的营销策略，这就是当时风靡一时的洞察力驱动的营销（IDM），洞察力驱动营销的本质就是电信运营商早期的大数据营销，就是根据客户历史消费信息预测其消费趋势及离网可能性，尽管制定营销政策是根据全量数据进行趋势分析，但个性化营销方案（如签约值）还是细化的个体，同时利用的还仅是企业内部的数据，属于“表内”阶段，所以尽管知道是竞争因素导致客户固定电话消费下降，但由于无法获取该用户同期在其他运营商的移动电话消费变化情况数据，因而就无法获得该因素的影响权重。非真正意义上的大数据分析，造成对消费趋势的预判就产生了偏差，制定的固定电话基于历史均值的保底消费赠费政策就缺乏系统的前瞻性，虽然发动渠道力量进行大规模的签约行动，但移动电话资费的下降对固定电话话务量的替代趋势不可阻挡，固定电话保有结果可想而知，这是数据获取能力的局限造成的。

（二）目前通过大数据收集、分析，并挖掘价值做得较好是知名的互联网企业，如谷歌、亚马逊、脸书等，国内也是如此，他们是大数据营销的先行者。国内某资讯推荐类APP就是运用大数据经营的成功典型案例，在安装其APP时默认同意被获取位置、联系人、音视频等信息，之后根据用户的使用习惯结合个人信息特征进行个性化推荐，比如你经常点击军事题材的新闻，它就优先推送该题材的新闻资讯，如果你是在福州的游戏玩家，它就能结合位置信息常常推送福州的玩家相关资讯给你，甚至经常会让人觉得很惊奇：它给我推送的内容正是我这两天想要了解的东西？因为你可能在电话、网络聊天中提到或搜索了相关关键词，这就是跨行业甚至不同属性进行“表间”关联分析的大数据。

先完成海量数据的收集，再多维度进行分析，预测市场的个体需求将越来越精准，就越能取得竞争优势从而取得成功。进行大数据分析的人轻松、兴奋地看到了大数据的价值潜力，这将激发他们更加深入地采集、存储、循环利用我们个人数据的强烈愿望。随着存储介质成本的不断下降，数据分析手段、工具越来越精准和多样化，被采集和存储的数据在深度和广度上将井喷式地增长。

三、大数据的采集与使用管理

（一）重视数据的采集

数据不但能产生价值，而且是可以循环、交叉利用的。数据价值根据不同使用对象、目的、时间、手段等均体现出了用途的差异性，有时为了一个工作目的重复使用数据，分析目的也会随着时间、空间的变化而转化。西方学者对此作了形象的比喻——“数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面以下”。不论使用数据能产生多大价值，前提是要拥有大数据，在中国制造2025、“互联网+”行动计划的政策背景下，我们要重视各行各业的数据采集，政府拥有的海量数据、企业生产经营的数据都要重视采集和存储，即使当前未明确使用目的或无法深入分析，但随着分析能力不断提升，当前付出的有限存储成本，有朝一日必定会带来令人惊喜的可观回报。原始数据的收集、存储，拥有大数据是数据产生价值的前提和基础，否则将来会陷入“无数据可用”的尴尬局面，这里的数据指的是海量数据，因为大数据时代要的是全体数据，不是样本数据。

当前，很多企业不重视历史数据的存储，一是没意识到数据的潜在价值，二是受传统数据精确性要求的影响，大数据时代要得数据恰恰是允许不精确，而且混杂纷繁的数据越多越好。我国是一个人口大国、互联网大国、手机大国，我们不缺乏可供收集的数据，但却还不是一个数据大国，除了要完善收集数据的手段外，更重要的是要强化收集数据的意识。

（二）数据的开放共享

大数据虽然是下一个社会发展的石油和金矿，但数据要充分有效地使用才能产生价值，有效使用的前提是数据的开放共享。政府在管理服务社会的过程中拥有了海量数据，是最大的数据拥有者，还有大量的企业业务数据，物联网技术日趋发展成熟起来的环境数据：自然环境、动植物、物体。跨行业数据的开放共享及使用范围和效率决定了大数据“金矿”的效益。

由于互联网的发明，“开放”已经成为人类文明发展过程中不可逆转并不断加速深化的社会发展方向。美国是世界上最早开始探索信息开放的国家，半个多世纪以来数据对美国社会政治、商业、文化等方面产生了巨大的影响。由于国情不同，我们不宜照搬照套美国的做法，但可以借鉴并找出契合我国现阶段发展需要的数据开放共享之路，收集数据、开放数据是使用数据的前提和基础，并最终决定大数据价值。

（三）数据的使用管理

大数据能产生价值，但使用管理也是不容忽视的问题，正如所有事物都具有两面性一样，大数据使用管理不当，几乎会对所有人产生潜在的不利影响。目前所采集的大部分数据都包含个人信息，人们的生活离不开网络，开放的网络可以收集到一个人所有的信息，除非你是一个躲在原始森林、不与任何外界接触的原始人。所以就不可避免地会出现个人信息安全、隐私保护等问题，目前大家都对直呼名址的电话营销印象深刻：刚签了购房合同，接踵而来的装修装饰、家具家电、出租出售等营销电话会骚扰你很久，这种还仅是低层次的、单点的信息泄漏就让人不胜其烦。多点数据整合的信息安全及隐私保护的案例，目前最典型的就是网络“人肉”事件，基本上可以把一个人的所有个人信息都搜出来。大数据时代的数据使用不当造成的个人信息泄漏及隐私伤害将远大于上述案例，数据掌控着一切，所有生活习惯、言行举止、社交关系网等数据都被网络聊天、网络购物、穿戴设备所采集，大数据分析可以准确地预测出每个人即将发生的行为，甚至所思所想，若被不法利用后果不堪设想。

数据的开放、使用，要从国家法律层面进行规范，既要充分发挥数据使用的最大效益，又要规范使用管理，避免国家、个人信息安全受到影响，除了实施许可制度外，数据使用者要承担责任。