发布“数加平台”阿里云开放大数据能力
2016-11-19徐姗姗
徐姗姗
“未来所有的生意都是数据生意。”
“未来每个用电的设备都会联网并参与计算。”
“当数据量已经用ZB为单位来衡量的时候,人类已经词穷了。”
……
阿里云栖大会上海峰会上,阿里云大数据事业部资深总监徐常亮用数个“每个”、“所有”来表达对大数据时代的思考。
阿里巴巴在2016年伊始高调发声,抛出2016这个大数据元年的第一个重磅产品——打通数据生产全链条的一站式大数据平台“数加”。“大数据和云计算是一枚硬币的正反面,但是硬币其实还有一面。阿里云就是要用每一个程序员的‘启蒙代码——‘HELLO,WORLD!来开启数据和应用价值之间的过渡,为了无法计算的价值。”徐常亮表示,“这一平台承载了阿里云“普惠大数据”的理想,即让全球任何一个企业、个人都能用上大数据。
让数据迈入价值中心
“数加平台”开放的是阿里巴巴十年的大数据积累,规划的是阿里云未来的开放与整合,谋划的是阿里巴巴的大数据野心。
众所周知,阿里巴巴是一个互联网公司,是一家电商公司,覆盖着一个支付公司,但是马云很早就定义过,阿里巴巴是一家数据公司。事实上,阿里巴巴已经被认为是全球应用大数据最成功的公司。目前,阿里云通过对电子商务平台上海量的客户信用数据及行为数据进行分析,诞生了蚂蚁小贷、花呗、借呗等纯大数据产品。
“金融行业的变化只是一个开始。” 徐常亮用“‘军用设备的平民化”来形容数加平台开放给广大用户的轻松获得大数据价值的能力。
“现在人们看数据都是通过计算去看,就像人类发明显微镜以后,研究微观世界都是通过显微镜看到的。当离开显微镜的时候,你要想一想那个世界是不是存在。”阿里巴巴集团CTO王坚表示,“我们要相信那个人眼看不见的、被计算出来的数据世界,让数据真正从成本中心转向价值中心。”
20余款产品展开“数加”图谱
“数加平台”承载了阿里巴巴经历了上万名工程师的实战检验,20余款新品的集中发布展开了“数加平台”的完整图谱。
在数据采集层面,Datahub开启公测。实时采集、适配开源,日吞吐量达到PB等级,通过Fluentd、Flume、Logstash等插件和Logtail、Logagent、DataX等客户端服务,以期实现PC、APP、WiFi、基站、工业传感器、智能硬件……多来源数据百川入海。
在此基础上,大数据计算服务、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎,速度更快,成本更低。其中,大数据计算服务(原ODPS)正式改名为MaxCompute,提供快速、完全托管的TB/PB级数据仓库解决方案。经测算,自建Hadoop集群的成本是“数加平台”的1.5倍。
数据分析方面的一大亮点是BI报表的正式发布。这一商业智能套件不只是业务人员看数据的工具,而是要搞定大BOSS的作战图。支持RDS,实现拖拽式操作,整合Analytic DB等多种云数据源,提供20余种数据可视化效果,实现“所见即所得”的海量数据实时在线分析。
对于大数据2016年最热的机器学习,阿里也给出支撑,Machine Learning正式发布。阿里拿出了10年积累的算法库,在阿里云的大数据计算服务之上,集数据处理、特征工程、建模、离线预测为一体,告别小数据量抽样,将在金融、公安等行业获得深度应用。
技术的支撑下,数据应用服务的推出更加水到渠成。智能语音交互Intelligent Speech Interaction与文字识别OCR即将上线,推荐引擎Recommendation Engine开启公测,规则引擎正式发布。智能语音交互Intelligent Speech Interaction为应用嵌入一个“能听、能说、能懂”的类似“Siri”的语音服务。据透露,在2015年的“双十一”,已经有95%的客服是由智能语音交互系统在支撑的。
此外,数加平台还基于DataV等技术,发布了面向政府的行业应用产品“郡县图治”、“两客一危”实时监控预警等产品。至此,此次数加平台首批集中发布的产品超过20种,徐常亮表示:“束缚大数据的技术瓶颈已经被完全打破,2016年我们将迎来大数据应用的全面落地。”
目前,万科、用友、顺丰速递等各个领域的多家企业已经成为“数加平台”的第一批合作伙伴,此次发布现场,阿里与中国天气、九州云等进一步签署合作协议,扩展大数据综合实力。记者了解到,大麦网作为阿里云“数加”平台的尝鲜者,通过采用“数加”的推荐引擎,大麦网的研发成本从900人/天降低到了30人/天,效率提升了30倍。
“入驻”模式打开新生态
开放不限于技术能力,阿里巴巴此次还提供了一种独特的服务模式——支持具备数据开发能力的团队开放入驻“数加”,借助数加平台的工具为各行各业提供数据服务,高效的大数据开发集成环境、提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为“入驻”企业提供一个高效、安全的离线数据开发环境。并且拥有强大的Open API为数据应用开发者提供良好的再创作生态。
“这就像在淘宝开店一样,只是他们售卖的是专业能力。”徐常亮表示,阿里云计划用3年时间吸引1000家合作伙伴入驻,培养1000位首席数据官与50000名数据科学家,来共同分享1万亿的大数据市场。