建立大数据交易所势在必行——EMBA校友行业观点<br/>

建立大数据交易所势在必行——EMBA校友行业观点

2014-03-18刘箭张海涛梁兵

中国传媒科技 2014年1期

文｜刘箭张海涛梁兵

目前下列公司和机构通常拥有大数据：

大型实体商业公司或电子商务公司，如大型连锁商店Walmart、Sears等，或Amazon、阿里巴巴。这类公司大都拥有大的客户数量、长期的客户购卖记录、客户的支付历史等。这类公司最感兴趣的是客户购物的消费偏好和消费习惯。目前这类公司的大数据应用包括推荐关联产品和推出其它新的产品、新的服务。

大型服务公司，如银行、电信服务等公司。这类公司也拥有客户的某个方面历史消费记录，比如银行可能拥有客户的金融账户收入支出信息，电信公司拥有客户的电话或网络使用历史。这类公司通常对本行业内推出新的产品和服务，以及寻找潜在客户，降低业务风险较感兴趣，比如热门的推荐系统等。

大型制造企业，如福特汽车公司等。这类公司因为其大量的客户基础，往往可以在推出新产品服务上使用大数据技术。

大型网络服务公司，如Google、百度、Yahoo等。这类公司由于在其服务行业的垄断性，积累有海量的用户在网络虚拟世界的行为信息。这类公司通过归纳和机器学习等，可以挖掘出非常多有价值的应用产品和服务。目前使用大数据最好的公司是Google。Google广告系统AdSense就是利用大数据技术来实现的。另外，Google公司还可以利用大数据做出一些预测，如流感的爆发，政治性事件的预测等。Google公司还进一步推出如自动驾驶等大数据应用，以及Google眼镜等结合大数据收集与应用于一身的产品。

大型社交网站，如Facebook、Twitter，及其它社交网站如LinkedIn和其它活跃论坛等。全世界用户每天都在社交网站上产生大量的内容。仅Facebook每天需要处理的社交信息就达到了500TB之多。目前这些数据正在被大量的个人开发者和技术公司使用，用来做各种商业服务推荐或新的产品。

政府部门和科研机构的公开数据，如有关天气、交通状态、道路、地质、环境以及科学研究的进展等部分。美国联邦政府特别提出，将联邦政府各部门的数据开放给公众，这些数据的应用包括自动驾驶、智能交通监测系统等。

除了上述商业机构的大数据之外，国家机构还拥有大量有关国家安全的敏感信息。本文只讨论商业应用，故不讨论这部分大数据的应用和交互。

一位曾在Teradata公司工作的数据专家说过，很多商业公司大约只存储15%的有关他们业务的数据，其余85%数据都存储在其它外部公司或网站上。大数据时代的技术，使得企业内部的大数据和外部数据的整合、交互变得更加重要。

随着大数据技术的发展和成熟，大数据在商业上的应用越来越广泛，有关大数据的交互、整合、交换、交易的例子也日益增多。本文就进行大数据交易的一些问题，以及建立大数据交易所的必要性，做一些探讨和研究。我们认为，建立大数据交易所势在必行。

目前一些商业机构对大数据的应用，不仅仅局限于对自身拥有的大数据进行分析，还需要用到其它方面的大数据。

例子1：某些金融企业，如银行，希望获得其用户的社交信息并加以利用，以便和该金融企业拥有的客户信息整合起来，推出更多的新产品和更好的客户体验。

例子2：一位医疗保险公司的客户要去某国外城市旅行，在个人微博上发表了这一信息，医疗保险公司因为事先得到客户的许可，可以从社交媒体（微博）上获得这一信息。根据这位客户的个人特殊身体情况，医疗保险公司马上给该客户发去避免某些当地食物的短信。

例子3：一家经营连锁旅馆的企业，除了自己IT系统里的信息、各地客房入住等情况外，希望能够获得其它旅游方面的大数据，例如景区旅游人数、租车公司的客户数量、租汽车的档次变化等等，这些对旅馆的房价定价，经营预期等有着很强的辅助作用。

例子4：一家初创公司，利用城市交通情况的公开信息（政府信息），结合其用户群上传的即时城市交通状况（互联终端产生的用户自创信息或社交信息），对交通路线、预测到达时间等进行预测，从而为城市里的驾车人群提供更好的服务。

商业公司对外部大数据的整合和交互是未来的大趋势，国外有很多公司已经开始着手这方面的技术和服务，如Alteryx、QlikView、Tableau、Factual等。

对于政府或科研部门公开的大数据信息，商业公司也可以进行整合和分析，比如人口调查、GDP统计、房产信息（美国是公开的）交通情况等。众多大数据技术公司也已经在这方面发力，如Factual、InfoChimps、Socrata等公司。

据Gartner预测，到2017年，约三分之二的大数据整合项目，将是企业防火墙之外（外部数据）的整合。

商业公司之间的大数据交互至少有下列几种：

方式一：两家或两家以上的商业公司，他们从事的服务行业不同，拥有客户不同方面的信息，他们的服务行业有的具有较强的相关性，整合、交互信息对其中一方或参与各方都能增加新的价值。

方式二：商业公司对社交网站的客户个人信息数据整合，期望带来新的业务增长点或实行更好的客户服务。

方式三：商业公司对政府部门的公开信息，进行大数据级别的整合和交互，产生新的商业模式、新业务或改进客户服务。

方式四：未来，还会有新的外部大数据的整合方式会产生价值，比如某商业公司进行大量的对外部弱相关的数据的整合，当总量达到一定规模之后，仍然会产生对商业公司自身业务具有巨大价值的信息。

商业公司间的大数据种类众多，几乎大多数的情况下，两个公司之间数据的整合只对其中一方的业务有帮助，或者对双方的业务帮助价值不对等，比如社交媒体的信息对于大众商品销售公司等。因此，购买大数据的可能性远大于简单数据交换或数据互通。如何引导，规范大数据的交易，以及提供交易方式、工具等，必将成为有关部门和大数据技术公司研究的重要课题。

我们认为，要开展大数据的交易，需要解决一系列的问题，例如:

如何引导更多企业开放大数据? 大数据的应用需要更多的企业开放各自行业、领域的数据，市场的参与者越多，市场的交易选择和能找到的价值就越大。我国政府应该鼓励更多企业开放他们的大数据。企业间的大数据通过更多的交互和交易，才能最大的价值化。

如何保护大数据属有权和隐私权？大数据往往是个人信息的集成，我国对于个人信息隐私的保护有明确法规和引导，大多数企业都特别注意对用户的隐私保护。企业间用来交易的大数据，必须遵守国家有关法律，保护个人隐私和其它重要信息。因此，市场能提供的大数据应该是经过处理，隐去个人敏感信息，或者直接就是按照区域、人口年龄、收入情况等进行分类集成后的信息。相关部门可以制定关于大数据交易的法规，引导市场参与者在提供大数据的同时，对于国家安全信息、个人隐私、商业机密等方面进行特别保护和处理。

如何更好地开放政府部门信息？各国政府都在开放更多的公开信息，建立公开的大数据平台，更好的利用大数据为社会服务和产生价值。我国政府在这方面也大有可为。

如何找到有价值的外部数据？商业公司只对自身业务有关的外部数据感兴趣，如何找到强相关或弱相关的外部数据，成为重要的课题。大数据创业公司可以在提供工具，建立开放的API等方向有所作为。各类云计算平台也可以提供大数据的API。我们认为，政府或大数据技术公司等，应该创造一些基本的数据处理、归类、分析工具。为商业公司寻找外部大数据的整合和应用，提供服务和方便。

如何衡量大数据的量和质？一般说来，一个大数据包，如果包含某一方面的大数据年限越久，覆盖人群或服务方向越多，其价值就越高。但是同样的大数据，对于不同的潜在买家，可能具有的价值不同。例如某电子商务网站的客户消费记录，对于一个大型综合类销售公司，和对某一小型单一产品销售公司的价值，差别巨大。如何对大数据商品的量和质进行价值上的分类，是进行大数据交易必须解决的问题。

如何规范大数据商品的可重复使用性？一个大数据包，可能会对不同的外部企业都具有价值，有时会有利益冲突。理论上一个大数据商品，可以被多个用户（买家）使用。这些大数据交易，是否产生使用权、属有权的改变？大数据商品是否能够再次出售、能否转卖？能否卖给某位买家的竞争对手？等问题，都应该进行明确和规定。

如何建立大数据商品交互技术平台、开放API、统一API？由于大数据的量大，规格众多等特性，大部分时候，大数据的直接转移非常困难或不现实，买家往往需要通过API来使用大数据商品，如何建立统一的API，建立大数据交互的技术平台，也是一个巨大的挑战。

另外，大数据商品，更接近于原始的商品，市场参与者各自带上自己的货物，到一个市场进行交易，类似于摆摊。由于上述大数据商品的特性，更加需要建立规范的、方便的交易场所。