腾讯推出高性能机器学习计算平台Angel
2017-05-27
近日,腾讯在大数据技术峰会上宣布推出第三代高性能机器的学习计算平台 Angel,将于 2017 年全面开源。
腾讯面对快速增长的数据挖掘需求,開发了面向机器学习、能应对超大规模数据集和高性能的计算框架,并且对用户足够友好,具有很低的使用门槛。开源的Angel是开放腾讯 18 年来的海量大数据处理经验和先进技术,通过连接一切资源,激发更多创意,可以让平台逐步转化成有价值的生态系统,让企业运营更有效、产品更智能、用户体验更好。
Angel 是腾讯的第三代计算平台,使用 Java 和 Scala 语言开发,面向机器学习的高性能分布式计算框架,由腾讯与香港科技大学、北京大学联合研发。
Angel采用参数服务器架构,解决了上一代框架的扩展性问题,支持数据并行及模型并行的计算模式,能支持十亿级别维度的模型训练。
Angel 还采用了多种业界最新技术和腾讯自主研发技术,如 SSP、异步分布式 SGD、多线程参数共享模式 HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等。这些技术使 Angel 性能大幅提高,达到常见开源系统 Spark 的数倍到数十倍,能在千万到十亿级的特征维度条件下运行。
在系统易用性上,Angel 提供丰富的机器学习算法库及高度抽象的编程接口、数据计算和模型划分的自动方案及参数自适应配置,用户能像使用 MR、Spark 一样在 Angel 上编程,建设了拖拽式的一体化的开发运营门户,屏蔽底层系统细节,降低用户使用门槛。另外,Angel 还支持深度学习,它支持 Caffe、TensorFlow 和 Torch 等业界主流的深度学习框架,为其提供计算加速。 (陈曲)