APP下载

MineData位置大数据平台的三大本领:聚•看•算

2017-11-06游建

数字通信世界 2017年7期
关键词:蜂巢可视化算法

MineData位置大数据平台的三大本领:聚•看•算

一年前,四维图新总裁程鹏曾表示“我们已经从传统的导航数据地图成长为以位置为核心的大数据公司,四维图新的大数据能力将开放给所有行业”。一年后,随着MineData位置大数据平台的正式发布,四维图新构建的大数据计划终于成为现实。

MineData是依托于四维图新十余年导航电子地图的生产及服务经验,孵化于集团内部,首次将旗下所有子公司、所有产品线数据和合作伙伴数据进行充分整合,利用自身数据、算法和技术优势推出的位置信息SaaS平台,构建数据共享平台,主要由子公司世纪高通负责运营。

数据之源

海纳百川,聚沙成塔。四维图新目前有包括地图、OEM、后装车机、移动端、芯片以及合作伙伴等六大数据来源,可以获得多个维度的海量数据。其中,四维图新自有数据源就包括了全国及港澳地区的导航数据、现场资料、深度数据和340余座城市的道路实况。目前,四维图新的数据总量已经超过4000TB,而且还在以每天2.8TB的速度增长。随着车联网、自动驾驶等业务的发展,数据规模的增长速度势必会更加迅速。

四维图新副总裁梁永杰强调,这些都是规格化之后的有序数据,而不是原始杂乱的无序数据,这两种数据有非常大的区别,100份的原始杂乱数据都不一定能抽出1份规格化有序数据。由此可见,四维图新在大数据处理方面的造诣之深,很好地解决了大数据之源的问题,构建了全国绝无仅有的权威位置数据仓库。

数据之理

四维图新获取、处理数据的能力毋庸置疑,但是这些数据会分散存储在公司不同事业部乃至子公司的服务器,后续如何聚集、整合,打破潜在的信息孤岛,让数据发挥更大价值,就是紧接着要解决的又一个问题。世纪高通副总经理兼四维图新首席架构师石清华介绍,公司以往也是按照先拉各部门数据清单,再建数据共享平台,最后坐等上交数据的套路,然而效果并不是很好。因此,他们另辟蹊径,不再被动等待上交数据,而是主动出击 “抽取”数据。

因为数据存储在服务器,服务器又组成集群,因此四维图新在每个业务口的数据集群又放置了一台机器,专门用于业务数据集群里的数据导流,像探针似的直接扎入进行数据导流,让数据源源不断地流入被称为“蜂巢”的数据仓库,并进行数据清洗,然后再重新分门别类地根据属性存储在数据沙盒里对外供给。石清华介绍,他们将“探针-蜂巢-数据沙盒”的三层结构称为“数据蜂巢系统”,是一种非干扰式的全自动数据萃取系统,可以节约存储成本,降低数据使用门槛。他表示,数据蜂巢系统是MineData的基石,正是因为它的存在,才使得上层平台的数据一直是鲜活和多维度的。

数据之用

既然有了这么好的数据,如何表达加以利用,指导具体业务?这就是MineData其他两个重要的组成部分:MineMap和MineLab。前者解决了位置大数据的可视化,后者则解决了位置大数据的分析。

MineMap是一站式地图可视化产品,提供所见即所得的地图定制服务。简单些理解,就是将以前非常专业的地图配置问题,按照互联网的交互体验,进行了重构,数据不只有静态的,而且也可以是动态的,甚至更加炫酷,只要有足够的创意,就能获得用户想要的效果。为了适应不同的终端设备,MineMap还提供了表现一致的引擎,为Web、Android和iOS多平台准备了第三方开发接口,实现了一处配置、多屏运行。除此之外,MineMap还考虑到具体业务需要与地图进行叠加显示,因此又推出了可视化模板,有各种地图特效,包括轨迹点亮图、城市柱形图、跟踪流线图、动态火线图和热力图等。

如果说MineMap的操作流程大致是选择数据、配置数据、出定制地图,那么MineLba则是选择数据、配置算法、出分析结果。

大家可能对每年春节时的人口迁徙图都不陌生了,这个就是基于一种叫做OD(交通出行量)算法得出的结果。类似的例子还有很多,例如道路流量分析、潮汐车道分析、红绿灯优化分析等。但就本质而言,这些都是一系列基础算法,构建了不同的业务解释。

石清华介绍,MineLab应该是MineData最有魅力的一部分。四维图新提供了完整的数据,可以模拟不同场景里的真实数据,对于研究和学术而言这是一个非常好的工具。在石清华看来,因为现在的开源配套技术已经非常成熟,大数据分析最难的不是技术,也不是算法,当然也不是可视化。因为算法可以不断调整,可视化有很多借鉴,最难的是数据和完备的数据场景。

MineLab可以提供近似真实环境的实验室,里面有近似真实的场景数据,有已经搭建好的大数据框架,也有示例性的工程算法,剩下的就是需要用户专业领域的创造能力,用大数据的手段解决企业与位置相关的痛点。

简单总结,MineData提供了三样最基本的东西:一个数据连接器,称作数据蜂巢,用来聚数据;一套称作MineMap的可视化工具用来看数据;一间称作MineLab位置大数据实验室用来算数据。在此基础上,四维图新希望能够给合作伙伴及用户,提供一个完整的位置大数据解决方案。目前,MineData有两个版本,一个是基于PC端的尝鲜版,主要是为了让大家了解平台的基本能力;另一个则是企业版,也是未来四维图新致力推动的版本,可以本地部署在用户的私有云,协助用户快速具备位置大数据的私有化能力,降低企业内部的大数据管理和建设成本。

MindData位置大数据平台的发布促进了四维图新全业务能力的提升,是新增的重要业务模块,正如四维图新总裁程鹏所言:四维图新经过十余年发展,至今积累了以地图数据为入口的海量大数据信息,并且具备优秀的数据汇总、计算能力与深度学习能力。位置大数据时代的来临,相关的产业及服务也将从初步的构建落地到真实的应用。未来的发展将掀起新一轮浪潮,对生产实践起到革命性的影响。

(本刊记者/游建 )

猜你喜欢

蜂巢可视化算法
基于CiteSpace的足三里穴研究可视化分析
思维可视化
基于CGAL和OpenGL的海底地形三维可视化
基于MapReduce的改进Eclat算法
走进科学
Travellng thg World Full—time for Rree
“融评”:党媒评论的可视化创新
进位加法的两种算法
换蜂巢
一种改进的整周模糊度去相关算法