AI发展的三个火枪手

何宝宏

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，随着AI的发展，新数据、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，随着AI的发展，新数据、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

三大主力推进AI发展

第一大主力就是改进的算法。

神经网络诞生于上世纪60年代，最初只包括输入层、隐藏层和输出层。输入层和输出层通常由应用决定，隐藏层包含神经元可供训练。2006年，Geoffrey Hinton的团队在《科学》上发表了一篇文章，提出了深度学习的概念，指出可以用更多隐藏层做算法训练，因为实验效果显著，开启了学界和产业界AI的新浪潮。相比传统的机器学习，深度学习可以让机器自动学习，无需人工事先设定。另外，针对不同的应用场景，传统机器学习算法需要把软件代码重写一边，而深度学习只需要调整参数就能改变模型。这好比计算机的可编程性，早期指“硬件编程”，现在则指软件编程；早期机器学习是软件编程，深度学习则是“参数编程”。

第二大主力则是海量的数据。

深度学习是数据驱动的，用数据来做训练。一般而言，学习的深度越深和广度越大，需要的数据量就越大，需要的数据种类就越多。深度学习与大数据有交叉但不重叠。深度学习强调的是算法，大数据强调的资源，而算法是用于处理数据的。

深度学习的训练分两种。一种是有监督的，就是人工为数据加了标签，计算机知道正确答案，这种方法的缺点是，现实世界中被打了标签的数据太少了。另外一种是无监督的，只有数据没有人工的标签，计算机不知道正确答案就可以训练。

最后的主力则是老硬件的新应用。

AI的新算法和新数据，都以大幅增加对计算资源的消耗为前提。业界找到的新动力，或者说新的计算资源，就是GPU（图形处理单元）。60多年来AI市场规模一直很小，支撑不起AI专用芯片的市场。因此早期的机器学习，只能基于廉价而广泛存在的CPU提供计算资源，CPU是通用处理器，要兼顾计算密集型和数据密集型应用。CPU为了照顾数据密集型的应用，设计了很多缓存，相应的计算能力就被削弱了。

GPU诞生于上世纪90年代，设计专用于高并发计算、大量浮点计算和矩阵计算能力的视频游戏和图形渲染等应用，即计算密集型应用。深度学习正好就是计算密集型的。在2008年-2012年，业界逐步摸索到了，如何将深度学习与GPU有机结合起来的工程方法，直接将深度学习的速度加快了数百倍，让产业界看到了把AI实用化的希望。

GPU之于AI，就像x86之于PC、ARM之于智能手机，前者是供给侧，后者是需求侧。

AI外围的“三股势力”

如果说，新数据、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。那么，云计算、开源和摩尔定律就是AI外围最重要的“三股势力”，同样至关重要。

经过10年的发展，云计算已经走过了概念验证（POC）的阶段，进入了规模落地的时期，正在发展成为新时期的关键信息基础设施。云计算就像20多年前TCP/IP那样，正在改变这个世界。云计算不仅直接推动了大数据的兴起，也正在让AI as a Service（AaaS） 成为现实。产业界云计算“大佬”纷纷推出“GPU/FPGA/算法/数据as a Service”业务，可以通过云端直接租用资源，方便用户做深度学习。

如果说20多年前以Linux为代表的开源主要是在模仿商业软件的做法，那么今天开源已经能够引领技术发展的潮流了。近10年来，不仅是软件定义世界，而且是开源软件定义世界。如果说2017年AI技术最大的变化是专用硬件的设计潮，那么2016年AI技术的最大变化则是巨头们纷纷开源了深度学习框架，比如Facebook的Torch和Caffe，谷歌的Tensorflow，亚马逊的MXnet，微软的CNTK，IBM的SystemML等。10年前，Google开源了Android操作系统，成功打造了智能手机的Android生態。现在，Google等纷纷开源AI框架，希望打造“AI优先”时代的新生态，重现往日辉煌。

摩尔定律说，同样成本每隔18个月晶体管数量会翻倍，反过来同样数量晶体管成本会减半。50多年来，半导体行业的发展一直遵循着摩尔定律，并且已经扩展到了存储、功耗、带宽和像素等。当今世界约有30多亿人使用的智能手机，每部的性能都超过上世纪80年代占据整个房间的超级计算机。近年来摩尔定律虽然有所减速，但仍然是CPU、GPU和TPU等快速发展的基础。虽然Google号称TPU把摩尔定律加速了7年，但摩尔定律仍然支配着CPU、GPU和TPU的性能曲线。endprint