大数据、人工智能发展与应用
2018-09-12刘鹏南京大数据研究院院长教授中国大数据应用联盟人工智能专家委员会主任
刘鹏 南京大数据研究院院长、教授/中国大数据应用联盟人工智能专家委员会主任
1、新信息基础设施初具规模
近几年来,社会的基础设施发生了很大变化。今年6月18日,京东的无人配送车上路,一辆车一天可以运送一千个包裹,相当于十个快递员的工效。以前的快递仓库是相对杂乱的人工拣选,现在的快递仓库已经变成智能拣选。物流、仓储、工厂、码头、购物都是如此——无人化、智能化成为趋势,效率提升愈发显现。
为什么整个世界在最近两年发生了这么大的变化?因为新时代的信息基础设施已经初步建成,其基础设施来自于物联网、云计算、大数据和人工智能的发展和应用。
物联网解决的是感知——感知数据、产生数据;云计算解决的是海量数据的存储和处理;大数据解决的是数据的挖掘和分析;人工智能解决的是数据的学习和理解。可以说互联网是传感器,云计算是数据的处理,大数据是数据的挖掘,人工智能形成了真正的知识和智慧——这是同一个问题四个不同的侧面,不同的方向。
过去这些年,数据量增长非常迅猛。据统计,2004年全世界的数据总量是30EB(1EB相当于10的18次方字节),2005年是50个EB,2006年是 161EB,2015年 是 7900EB,2020年 将 会 达 到35000EB。2004年至2020年数据量的增长见图2,即全球数据总量每过18个月就会增长一倍,这个数据增长符合新摩尔定律。大数据已经成为社会最重要的资产。马云曾经说过,大数据赋予了我们洞察未来的能力。
图1 新信息技术发展趋势
图2 2004年至2020年数据量的增长
2、大数据和人工智能的发展趋势
大数据在疫情预测、精确营销、信用交易、态势评估、物流等各行各业均有广泛的应用。
2013年暴发禽流感的时候,淘宝上的有些地区板蓝根销量暴涨,通过淘宝的板蓝根销售大数据,就可以反映出这些地区禽流感的疫情——因为当一个人头痛脑热的时候,通常会到淘宝上去买板蓝根。
通过大数据,我们还可以大大提高营销的效率。中国移动做过一个试点,在广东用其掌握的数据对用户做精确挖掘,依据数据精确挖掘设计了一些新产品,并有针对地向挑选的用户做营销,结果与平均水平的营销相比,营销提高了三倍。
在当今的数据变现时代,数据起的作用非常大。手机客户端,微信、微博、今日头条,没有哪一个手机的应用是与用户需求没有关系的。朋友圈里看的东西是好友推荐的,今日头条看的东西是它根据你的行为推荐的。骑共享单车,阿里巴巴可以不用押金,是因为阿里已经知道了你的信用。
马云在几年前就开始做数据变现。2012年,马云成立了一家公司叫重庆市阿里巴巴小额贷款有限公司。这家公司通过所掌握的海量数据,对用户的信用做挖掘、分析。当用户需要贷款时,只要到平台上提出申请,然后钱就到了支付宝账号。我们知道,向银行贷款非常麻烦,需要提供单位收入证明,需要抵押房产,经过很多人的把关,很多严格的审查,贷款可能过了一个月才能发放。然而,银行的坏账率是多少?1.5%,这是工行公布的数字,最近坏账的比例还有所上升。基于互联网的金融平台的贷款,完全是根据大数据分析的个人信用贷款,比现在的银行体系贷款更有效率,而且比银行的坏账率还要低得多。
3、怎么处理数据?
图3 小微金服集团的大数据业务体系
传统的计算已无法处理海量的数据。云计算技术具有超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点,通过虚拟化、自动化、标准化的手段,有效提高数据的计算和处理能力、技术系统的建设、运维和管理水平。2008年,阿里巴巴提出去IOE,其本意是,在IT架构中,去掉IBM的小型机、Oracle数据库、EMC存储设备,代之以自己在开源软件基础上开发的系统。这实际上就是指硬件和操作系统的进一步标准化,被新型的云计算技术所替换,也就是我们常说的“云化”,这是互联网的发展模式,数据中心正成为社会信息的基础设施
4、应用场景
接下来介绍一下云创大数据做的一些应用案例。
(1)智慧城市
平安城市是一个综合性非常强的特大型管理系统,不仅需要满足治安管理、城市管理、交通管理、应急指挥等需求,而且还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求,同时还要考虑报警、门禁等配套系统的集成以及与广播系统的联动。
2012年周克华枪击案,南京公安局组织了2000名警察去分析监控的视频,上了六套云存储平台,有效支撑了破案线索的搜索。
我们构建的云视频平台,能够把所有的监控系统统合到一个平台上。目前已经整合构建了南京和宜昌两个城市的云视频平台,可以通过人工智能分析视频中的各种异常情况。比如,在小区门口,发生打架等异常事件,它会自动报警(视频打架检测)。在长江大桥,我们通过人工智能可以自动分析道路的交通状况,堵不堵车,有没有交通事故。
在视频监控中,看到的人通常非常模糊,对此,我们发明了一种新技术叫视频DNA,即使犯罪嫌疑人模样看不清楚,由于每个人的视频DNA数据都是不一样的,我们通过人工智能可以准确判断每个人的差异,把它可视化出来,就能够识别出犯罪嫌疑人。前不久我们处理了13个案子,其中找到了9个嫌疑人。以前破不了的案子,现在利用视频DNA技术就能可能侦破。
我们还做了南京青奥会的安全防范平台——我的南京APP,里面有一个功能叫做交通大数据,用户可以在APP上点街上的摄像头,实时看到街上的实况。
图4 视频智能分析