大数据加工工厂

赖太平

移动互联网时代，信息查询轻而易举，而且还有大量的信息推送，但是，这样又出现了一种情况——信息过载。如何实现信息与人更为精准的连接是整个社会未来探索的方向之一，这一过程其实就是一个简单的大数据加工模型。

为了能够给信息获取人提供最佳的内容获取决策，我们得将数据变得更加“聪明有用”，通俗来讲，企业需要能够对用户产生的每个数据进行统计、分析与开发，并以此帮助用户做出决策，这就是大数据的加工。

大数据加工的三种方法

首先我们得明白，我们得到的大数据其实是来自不同渠道的数据组合而成的，要把这些数据整合在一起，才可以发现有用的信息。但是，这个“整合”可不是一件容易的事儿。下面我们来了解一下常见的大数据“加工”方式吧。

相似关联，这种加工方式并不难理解，专业的说法叫“协同过滤”，就是要收集大量的用户浏览记录，通过相似行为进行关联推荐。比如说，我们通过大数据给两个同学贴标签，包括“性别、年龄、喜欢的颜色、喜欢的明星、爱买的东西、爱去的地方”等，然后发现A和B的标签有很多相似，我们就可以将A喜欢购买的东西推荐给B。

由于这种加工方式简单，逻辑清晰，可行性强，它被大多数企业采用，例如今日头条、天天快报等都是采用的这种算法，但它也存在缺陷。由于获取数据的手段有限，有时候并不能真实的反应出用户对信息的需求，很容易让用户深陷在自己的“兴趣爱好”当中，很难扩展。

隐式搜索，这一算法模式看起来高端，其实分开来看就简单多了，其核心内容为“搜索”，比如你在某个软件上搜索了关键词“科学”，那么该算法就会在大数据中挑选关于“科学”这一次的相关信息数据主动推送给你，同时获取你的兴趣数据。而所谓的“隐式”其实就是根据关键词“主动”推送的意思。

这一“加工”大数据的方法是建立在搜索引擎普及之后的，与“相似关联”类似的是，不同的人搜索相同的信息有不同的目的，而不同的时间地点搜同样的信息也有不同的目的，用同样的标准衡量用户行为，容易产生误判。但这种算法相比“相似关联”仍有一定优势，“相似关联”只能通过自身的标签做推送，相比而言“隐式搜索”能扩展的范围会更大。

社群+場景，这一加工的手段相对前两个来说更智能，这也是目前所有加工算法的发展趋势，它对所加工的“大数据”要求能达到“矩阵”的规模，也就是说数据的规模要更大更多。目前能真正做到“社群+场景”的加工算法的只有少数几家互联网巨头。

大数据加工是一个“技术活儿”，这里我们只介绍了比较常见的三种加工方算法，但实际的应用中根据不同的需求可能会有特有的某种算法模式交叉使用。

值得注意的是，被加工后的大数据有的会服务于人，但目前其大多数还是服务于机器，因为有人认为人只能是对宏观的东西做把控、对部分的场景做决策，而机器则可以对个体，对全量的场景做决策。所以，我们在日常生活中如果看不到这些“大数据”的时候也不必惊奇啦，因为它们很可能用其他的机器软件给我们做服务呢！（编辑/有庆）