人工智能芯片的微型化

人工智能芯片是人工智能技术的重要组成部分，是实现人工智能算法的硬件基础，也是人工智能时代的战略制高点。那么未来人工智能芯片将朝着怎样的方向发展？在2020世界计算机大会上，新加坡南洋理工大学教授、超限学习机（ELM）理论和算法体系提出者、广智微芯创始人黄广斌对这一问题进行了剖析。他认为，未来，人工智能芯片将朝着微型化趋势发展，超限学习机（ELM）理论能够有效地拓展神经网络的理论和算法，在智能微芯片的研发中起到关键作用。

人工智能和机器学习的发展不是一帆风顺的。从1950年代到1980年代，可以称之为预热阶段，这个阶段的特点是计算机能力有限，没有有效的人工智能算法，也没有足够多的数据，但是华人创造性地把计算机翻译成电脑，人们并没有停止对人工智能的追求。从1980年代到2010年，这一阶段是研究驱动阶段，计算机功能足够强大，人们开发出许多高效的算法，许多情况下虽然没有足够多的数据，没有强力的工业产业驱动，但仍然有大量的研究成果涌现，更多的是来自研究人员和学术界的自发自我追求。从2010年开始，人工智能真正进入了数据/产业驱动阶段，计算机功能变得足够强大，产生的数据超级大、超级多、超级复杂，人工智能进入了一个新的时代。虽然几年前人们对此有所担心，人工智能是不是也会进入第三次冬天？但是由于产业和数据的驱动，人工智能真正进入了一个新的时代，而这个时代同时满足了三个必要条件。高效的学习算法、高效的计算环境和丰富动态的数据，自从2010年开始，这三个必要条件便得以同时满足了。当前，虽然人工智能和机器学习还处于极其初级的阶段，还在不断地提高，但并不影响人工智能的广泛应用和需求。从历史的长远角度来看，人工智能还处于“智能”時代的底部酝酿期，“智能”大爆发的前夜。几万年发生的农业革命，几百年前发生的工业革命，几年前发生的智能革命，可以并称为人类的三大革命，三大生产力解放的革命。

大数据不等于人工智能

许多情况下，人们经常把大数据和人工智能并列而谈，但是实际上大数据和人工智能属于不同的范畴，人工智能不必依赖于大数据，但是大数据必将导致和依赖人工智能技术。如果有的数据很大、很复杂，人们很难用传统的方式去分析和理解大数据，很难有特定的公式去应用于特定的大数据，在这种情况下，必将依赖于人工智能技术的应用来解决这些问题，因此可以说大数据必将导致人工智能技术的应用，但人工智能不必依赖于大数据。很多情况下，人工智能只使用少量的数据，尤其在传感器级，从人工智能和机器学习发展的本身趋势来看，第一波的人工智能实际上聚焦于云端智能，很多人工智能算法应用于服务器，在服务器中和云端实现，但随着物联网的发展和普遍应用，人工智能技术开始逐渐地迈向本地智能，越来越多地从云端迈向本地传感器。因此，从发展趋势来看，人工智能和本地智能的结合会形成一个新的应用趋势，我们将其称之为普适学习（Universal Learning）。

智能芯片的发展趋势

早期人工智能算法主要依赖于CPU的实现。在1980年代，机器学习算法实现主要依赖于PC端CPU的计算能力。从2010年开始，人们发现人工智能算法可以在GPU上更高效地实现，深度学习算法实现平台逐渐地转向了并行计算能力更加强大的GPU。2016年，很多研究人员预测，人工智能算法不必只依赖于GPU，GPU不是实现人工智能的唯一方法，还有很多其他的方法将会出现，包括专门为机器学习定制的云计算单元（TPU云+GPU云）等。而未来5年，人工智能算法可以在FPGA芯片、神经形态芯片、ASIC芯片和光子芯片上展开。在过去几年，FPGA芯片、神经形态芯片、ASIC芯片和光子芯片的研究得到了长足的发展。总体来说，人工智能芯片可以预期微型化，传感器+智能微芯片可以形成更广泛的应用，可以广泛应用于智能设备、智能传感器、智能摄像头等，甚至微型智能原件。可以说微芯片、智能微芯片，主要是聚焦于三个特点，体积微小、功耗微小、可以实现芯上学习。对于芯片来说，微功耗，或者说功耗微小是非常重要的一个特点。智能芯片的微型化离不开智能材料，离不开从生物学习中得到的启发，智能芯片的微型化，对实现智能传感器、微型智能传感器起着十分重要的作用。可以说，机器学习和生物学习存在共同的基本学习单元，而这个基本单元和硬件的实现，无论是硅、石墨烯、光子，还是蛋白质，实际上都是独立于实现的具体介质——硅、石墨烯、光子和蛋白质。未来，智能微芯片可以广泛地应用于各行各业、各个产业、各个微型传感器，可以广泛应用于生物、机器人等领域中。

人工智能芯片微型化——智能材料

人工智能芯片的微型化离不开智能材料的应用。神经形态芯片的研发在过去几年得到了长足的发展，新加坡南洋理工大学，澳洲、美国的一些大学，以及清华大学等学校的科学家们都做出了重要的贡献。忆阻器技术也被广泛应用于神经形态芯片的研发中。

与此同时，超限学习机（ELM）理论对神经形态芯片的研发也起了一定的作用，新加坡南洋理工大学，澳洲、美国、中国等都有科学家、团队在做基于ELM理论的芯片研发，尤其是新加坡南洋理工大学，已经展开了ELM芯片的相关流片试样。光子技术也被广泛应用于智能芯片的研发，麻省理工、法国等大学的科学家们都研发出了基于光子的芯片。ELM理论指出随机傅里叶序列的组合具有学习能力，法国科学家基于ELM理论已经实现了光子芯片。在未来几年或者更长的时间里，研究人员预测将能够实现智能芯片的微型化。

超限学习机（ELM）理论

在智能微芯片的研发过程中，特殊材料石墨烯以及人造蛋白质也许可以广泛应用于智能芯片的研发中。为了实现智能芯片的微型化、智能微芯片，简单的学习算法、学习理论将对芯片的研发起到至关重要的作用。研发人员预测，超限学习机（ELM）理论将对智能微芯片的研发有所助力。

超限学习机具有万能逼近能力，任何连续目标都可以用前馈神经网络以任意小的误差近似逼近。超限学习机同时还具有万能分类能力，任何理论上可以分开的目标，都可以用人工神经网络加以分开。此外，超限学习机理论指出，SVM（支持向量机）提供的是次优学习解，Kernel（核）函数不必是黑箱，可以通过ELM特征影射透明化。总体来说，超限学习机满足万能逼近和分类能力，（机器或者生物）学习可以不需要调整隐层节点，给定任何连续目标函数或可分类目标，只要神经元是非线性阶段连续的，（人工或生物的）神经网络无需调整隐层神经元就能任意逼近目标连续函数或对分类目标加以分类。神经元的无需调整对芯片的实现产生很大的作用，可以极大地简化智能芯片的实现。

ELM理论于2006年提出，在提出后约10年间，哈佛、哥伦比亚、斯坦福、MIT、IBM Watson、Georgia Tech等机构的研究人员分别在老鼠的嗅觉系统、猴子的视觉系统、人的感知系统，以及果蝇的嗅觉系统中直接或间接地得到了验证，人们发现这些系统中的神经元其实是可以随机产生的，正好满足ELM理论。作为ELM理论的一个特例，傅里叶变换作为隐层输出，来自于谷歌、微软、斯坦福等机构的科学家也有相应的研究。2016年，IBM研究出基于ELM的第一个类生物神经元，随机神经元/随机连接也逐步在越来越多的深度学习中使用。由于是随机神经元/随机连接，因此诸如此类的芯片实现也会越来越简单，越来越方便。

总体来说，智能芯片的微型化，离不开智能材料，离不开从生物学习中得到的启发，离不开智能传感器。因此，研究人员预测，超限学习机（ELM）作为存在于机器学习和生物学习中的共同基学习单元，相当于一个基本的学习粒子，人之所以具有超强的学习能力，一个基本的学习功能，基本的学习粒子是必不可少的，而未来，超限学习机（ELM）将在智能微芯片的研发中起到关键作用。

（本文根据新加坡南洋理工大学教授、超限学习机（ELM）理论和算法体系提出者、广智微芯创始人黄广斌在“2020世界计算机大会”上的演讲整理而成，未经演讲人审阅）