大数据融合与应用场景

白剑波

智慧星光在成立短短4年半的时间里获得了高速发展：2012年成立之后，正式签约了100多个客户，2013年增加到了200多个客户，2014年我们的产品，特别是我们的数据能力得到了快速发展，客户数达到800多个，这一数字在2015年达到1100多个，在平台上，我们集聚了更多用户使用我们提供的各种产品。

核心竞争力

智慧星光之所以能够得到如此快速的发展，取决于我们一直坚持的两个核心：第一是以客户为核心。我们所做的是满足和超越客户对我们的希望。第二是以精准化信息服务为核心，我们的目的、使命，是以此为前提。同时坚持“四化”，即全面实现基础化、智能化、标准化和可视化。

另外，智慧星光有两个最核心的能力，第一是数据获取能力或数据采集能力，特别是针对互联网数据。我们每天能采集到的互联网原创文章超过5000～6000万篇，类型涵盖互联网上所有类型，包括新闻、论坛、微博、微信等。第二，是我们的处理能力。这个处理能力所采集的数据都以秒级的速度进行处理，同时分类打印标签，以我们的方式放到数据存储系统，为前端的各个应用提供基础，这是智慧星光的两个核心能力。

结合两个核心能力，我们为客户提供各种服务，包括提供最原始的原数据加工服务、舆情监测服务、人物画像等。目前，我们所有数据都保存在储存系统里，积累了超过500亿条的互联网文本数据，超过6亿网民的评论。原创数据以超过5000万条的速度增长。

大数据融合实力

在大数据融合方面，我们也有自己的理解。我们通过五官去感觉外部世界，当我们的感官获得了外部世界的信息之后，我们要将其进行汇总、融合，同时结合我们的经验知识，对外部做一个判断，判断之后再决定采取什么行动，这是人类感知世界的过程。

在大数据时代，面对如此庞大、复杂的数据，我们该如何进行有效处理，有效融合？帮助我们的企业、组织机构，做出正确判断，并且选择一个正确的决定，从而采取更加有效的行动，这是做大数据融合的一些初衷和原因。

在做大数据融合时候，我们认为有三个数据来源，基本上分为三大类。第一类，企业或者是组织内部的数据；第二类，来自于外部互联网的数据。其数据量大，增长迅速，类型多；第三类，来自第三方的数据，包括一些行业统计、调研报告、数据交易中心等提供的数据。

那么，在应用层面，我们如何把这些不同的数据融合到一起、应用到不同行业中去呢？基本上分为两大类型：第一个是政府的机构，包括一些提供公共服务的机构，如水电燃气类型的公共服务部门；第二个是企业的用户，可以看到在金融、电信、零售、电商、物流等各个行业里，大数据融合的应用需求是非常强烈的，我们已经看到了非常多的市场机会和行业需求。

大数据平台服务

当前，智慧星光有一个大数据的平台，可以针对多元的、异构数据进行有效的融合。这些融合的数据都包括什么呢？我们通过数据采集和分析的能力，将互联网数据、企业内部数据、第三方的互联网采集的数据，其他的数据源融合到星光搭建的平台里，包括企业内部数据，包括企业的运营数据甚至自己采集的数据或者他所采购的第三方数据都可以放在平台里面进行各种各样的计算，如关联的计算、关联的检索等等。

智慧星光搭建的平台，从提供的功能和服务上包括信息的有效检索。在数百亿条数据里，我们根据用户输入的条件进行有效检索，以不超过分钟级的速度，就能够有效检索出提供用户下载、满足检测级别用户需求，并可以分布式存储进行有效的扩展的数据，目前已经接近TB级的存储能力，通过平行扩展可以突破更高的极限。

我们的引擎，把算法、引擎融合到大数据里面，让我们的用户可以使用大数据平台模型去做各种有效运算，我们自己应用也是使用这些模型进行计算。

此外在互联网的文本数据方面建立文本数据平台。我们自己的产品也基于这个平台交付，同时我们也有这个能力把数据提供给客户。让文本大数据给各行业发展带来无限价值。比如，我们的合作伙伴可以通过API的方式或者数据下载的方式获取，同时也提供采购的方式；此外，也支持创业，以参股的方式我们把数据提供给我们的创业伙伴。研究机构跟我们合作，共享我们的免费数据，共享我们的研究成果，这是我们数据平台服务可对各方提供的。

新技术应用

在新技术使用上，我们不断去尝试，比如最近火热的深度学习。深度学习在文本处理方面，特别是无监督的自然语言理解上，可以帮助我们进行海量运行处理时更高效、更准确。例如，我们在数据监测时，假如100条负面新闻，我们能监测出97条，只有3条监测失败，这样的准确性是很高的。

另外，我们通过大规模的知识图谱可以构造有效的关联分析，也可以在一些实体抽取之后再做关联分析，帮助我们应用到各种各样的大数据应用场景去，根据我们的算法引擎确定一些算法、模型。比如文本处理最基本的模型，包括我们各种各样的基于关键词匹配的模型、我们做的实体抽取的模型等等，这些都是我们基本的分析能力。凭借这些能力，公司已经与国内众多行业领军企业开展全面合作，（根据演讲内容整理，未经本人审核）