金山云上的大数据与机器学习

王盈

云上的大数据、机器学习，将是未来的发展方向。用机器学习的大脑、大数据的计算轮子、云的动态分配引擎，三者结合就实现了云上的大数据机器学习。

根据IDC发布的《中国公有云市场数据追踪报告》，2016年上半年，中国公有云IaaS市场前三名为阿里云、腾讯云和金山云，其中金山云的市场占有率为5.5%，较2015年下半年提升1.2%，收入同比增长率连续超过100%。目前，金山云不仅是国内领先的云计算和OpenStack厂商，也是国内首家提供混合云部署方案的云企业。

近年，云计算的普及为大数据的深度应用提供了坚实的基础，大数据对企业决策的重要程度不断上升，云计算和大数据为人工智能（AI）的突飞猛进提供了最重要的双轮驱动力。金山云大数据和AI技术总监张东进透露，金山云已将云服务和数据分析能力大规模应用于人工智能领域作为战略目标。

日前，金山云和英特尔正式对外公布了结合双方技术优势打造的、基于英特尔架构的金山云托管Hadoop（KingsoftMapReduce，简称KMR）数据分析平台，同期首次公布其深度学习平台KDL，可谓双剑合璧，在云计算、大数据、人工智能领域齐发力。目前这两个产品已进入公测阶段，不久将进入商用阶段。

金山云正大力布局人工智能

“云上的大数据、机器学习，将是未来的发展方向”。在张东进看来，云、大数据、机器学习虽然都不是新的概念，但结合在一起就很新。“机器学习提供的是算法，大数据提供的是并行计算和分布式存储，云提供的是动态配置。用机器学习大脑、大数据计算轮子、云动态分配引擎，三者结合就实现了云上的大数据机器学习。”张东进解释道。

张东进表示，金山云将云的发展分为云计算、大数据、人工智能三个阶段。当下，我们将进入让数据产生智能的人工智能阶段。据研究机构预测，2020年全球的人工智能市场将达到50亿美元，2025年将达到350亿美元。

金山云在人工智能应用领域不仅有为用户深度构建云计算解决方案的丰富经验，还有国内最大的商用存储平台，该平台在数据分析领域颇有建树。基于这些优势，金山云正大力布局人工智能。张东进表示：“金山云将与广大科研院所及合作伙伴一起构建金山云的人工智能解决方案，包括为AI研发提供基础性支持的底层基础平台；为行业提供基础的视觉、听觉、自然语言、VR/AR等技术能力的SaaS方案；深入研究医疗、金融、交通、物联网等重大行业，为合作伙伴提供上层行业解决方案。”

KMR让电商大促无忧

KMR正是金山云在数据分析领域迈出的重要一步。金山云技术产品部高级产品经理杨亮介绍说，KMR采用了英特尔至强E5系列处理器家族的硬件平台，以Apache Hadoop和Apache Spark数据计算系统为基础，集成了常用的大数据分析组件，通过自动调度弹性计算服务（KEC），帮助企业用户快速构建分布式数据分析系统。KMR还能与金山云的多种云服务产品结合，从而建立端到端的数据分析处理解决方案，让企业用户以更低廉的成本获得更可靠的数据，更灵活方便地对数据进行收集和管理。

为行业客户提供高性能、易部署的大数据云处理平台，是KMR的重要价值和竞争力所在。杨亮介绍说：“KMR具备四大优势。一是完全托管，集群分钟级快速部署；二是性能优化，大数据分析即时响应；三是生态丰富，云服务产品深度整合；四是弹性伸缩，企业TCO有效减负”。

目前，KMR已被电商、游戏等行业的10多家客户采用。例如拥有几十大类、数百万种商品的当当网。每逢“双十一”等大促时段，当当网的IT资源面临非常大的压力，还需要快速、及时地处理大量的用户历史数据。采用金山云KMR服务后，能快速创建Storm和Kafka集群，搭建实时数据处理系统，根据业务需求灵活调整资源配置，有效保证了促销期间IT系统的稳定运行，大幅减少了系统维护成本。

KDL将深度助力企业拥抱AI

张东进坦言：“当大家真的去做人工智能，会发现人工智能其实并没有那么简单。”而金山云人工智能之路亦是披荆斩棘终坦途。

“KDL可以深度助力企业拥抱AI。”张东进解释说，“KDL是一个机器学习、深度学习任务托管平台，底层基于金山云高性能异构计算集群，融合了英特尔等合作伙伴的技术，能从容应对成本、效率、安全、性能方面的挑战。”

成本一直是压在AI公司头上的一座大山。以某知名AI公司为例：“该公司共400人，做系统架构的约100人，这部分人一年的工资就高达几千万元，相当于一轮的融资。”張东进强调，金山云可以帮助企业节省这部分高昂的隐性成本：“第一，KDL会按实际的运营时间收费；第二，可以随意伸缩，没有闲置成本；第三，可以省去系统研发和维护成本”。

在效率方面，“我们是一个全功能的深度学习集成环境，集成了英特尔的BigDL、谷歌的TensorFlow等框架，底层基于英特尔等合作伙伴的库做深度的优化。KDL是全流程的平台，在物料的预处理、存储、训练、评估、上线预测等方面都提供完整的支持。”张东进介绍说。

在安全方面，金山云提供企业级数据加密和企业级HPC集群，为客户提供最安全、最稳定的环境。他强调道：“KDL应该是业内首家能做到分钟级的自动恢复。人工智能的一个训练任务可能长达一周至半个月，如果中断就需要重新计算。金山云平台则没有这个问题”。

在性能方面，“KDL为客户带来的价值在于，底层是基于成熟的异构计算集群，包括英特尔提供的高性能E5系列的CPU，以及GPU、FPGA的计算平台，辅以金山云的万兆网卡和英特尔SSD技术，可以确保用户获得高性能的HPC计算集群”，张东进如是说。

十年前，当云计算概念刚出来时，许多科技公司都将信将疑。十年后，云已畅行天下，政府部门、企业都在积极地拥抱云。因而，当许多人质疑大数据和人工智能时，谁又知道它会以怎样的速度发展。

科技对于世界的颠覆，不管你信不信，希望与否，它都将发生，让人大跌眼镜。“云上的大数据、机器学习”技术创新与探索，定将加速推动中国企业的转型升级，真正迈入智能的“互联网+”时代。