研制新型光子神经网络 五十万维向量下载到光学设备直接运行

“光子神经网络？一个乘法可以用不到一个光子？起初我是不信的，也没有人做过类似的实验，但我们还是用很普通的器材做出了大家既没想到、又认为短期内无法实现的实验。”

日前，上海交大校友、目前在康奈尔大学做博后研究的王天宇在《自然·通讯》发表了最新一作论文，并担任通讯作者。论文题为《每次乘法使用小于1个光子的光学神经网络》。

这是一个光子神经网络的新成果，但不同于此前芯片类的光子神经网络，此次技术可直接接收图像。也不同于其他基于空间光学的光子神经网络，本次实验设计能直接接收自然光，并且无需相干光照明。

王天宇

在该研究中，王天宇发现架构矩阵或向量维度可做到将近50万。在此情况下，要想通过理论预测的功耗极限，每个乘法运算只需要小于一个光子就能进行，这个能耗水平远远超越传统电子计算机的物理极限，可能有四五个数量级以上。

研究中，王天宇的重点在于研究光学神经网络的能量极限和抗噪性，他认为进一步工程化改造的系统，能作为智能图像传感器、深度整合图像传感器和处理器。

这些传感器可用于超低延时图像处理，比如识别图像和压缩图像，所需硬件数量可被降低几个数量级，具体应用包括自动驾驶、无人机和机器人等。

相关论文

让能耗优势和速度优势随网络扩大而扩大

要想详细理解此次成果，就得先来聊聊光子神经网络。

近年来，该领域获得了长足发展，一方面源于光电硬件集成的成熟，另一方面光学系统的物理特性使得它十分适合计算大矩阵乘法，而这正是许多重要计算应用比如机器学习、优化问题和量子计算的基础。

相比传统电子深度学习加速器，光学神经网络的核心优势之一在于计算大矩阵乘法的速度，但在实现真正实用化前仍需克服许多工程问题，以达到足够低的能耗和足够高的精度。

自2017年起，全球多个课题组都做出了贡献，包括毕业于麻省理工学院的沈亦晨和马林· 索尔亚契奇，后来他们创办了Lightelligence曦智科技。

另外还有同样毕业于麻省理工学院的尼古拉斯·哈里斯和德克·英格兰德，他们则创办了Lightmatter。

加州大学洛杉矶分校的Xing Lin和艾多安·奥兹坎开创了衍射神经网络，澳洲斯威本科技大学的徐兴元和大卫·莫斯则首次达到了GPU的计算速度。

本次工作中，王天宇研究了光学神经网络走向实用化的一个重要课题：即如何实现极低的能耗极限，以及在此条件下的稳定性。

比起电信号，光信号的根本优势在于长距离通讯过程中的损耗很低，那么光学信号的传输优势如何转化为计算优势？

其实，计算的本质是对比和总结大量不同的信息。当数据量很大时，信息在芯片里传输能耗，要远远高于信息处理的能耗，此问题在神经网络应用中尤其突出。

说到这里王天宇打比方称，神经网络计算就像大家在一起开学术会议，每个人都有不同的信息碎片，不同的人聚在一起交流信息能产生不同的见解，一开始大家有各种见解，经过充分交流后，合理的观点渐渐变成主流，直至得出一个能简单概括事情全貌的结论。

在此过程中，每次信息交流并不需要很久，真正耗时的是把不同人在不同地方聚在一起开会。

正因此，当前主流GPU厂商和深度学习加速器厂商，都在致力于优化芯片的排线，以尽量减少数据的重复存储读写和来回倒腾，原因在于芯片电能消耗和走线长度成正比关系。

而让光作为信号载体，几乎能彻底避免该问题，因为光在短距离传输中基本是无损的，并能立马把同一信息传到成千上万个处理单元或者进行汇总，这会让能耗优势和速度优势随网络扩大而扩大。

那么，上述两大优势的极限在哪里？为探索该问题，王天宇用简单器材做了一个极为精密的实验。

达到99%的识别手写数字准确率

鉴于在计算机视觉应用中，神经网络的输入数据就是图像，所以他用2D图像编码向量对逐个像素进行调制，最后汇聚到探测器上。

要知道光学计算占总计算的比重99.7%，而正是这个简单的装置，可以计算50万维的向量乘法，且涵盖绝大多数神经网络中需要的计算。

实验中，王天宇用Python机器学习库Pytorch训练了一个神经网络，并下载到光学设备上运行，借此即可达到99%的识别手写数字准确率，这和电子计算机是一样的准确度。

训练过程中，根本无需考虑具体硬件细节，这说明光学神经网络具备很强的容错性。此外，他还发现当每个乘法用少于一个光子的时候，该网络仍能工作。

而且，光子数量越低，光信号噪声就越大，这意味着光子神经网络具备很强的抗噪声能力，而这正是神经网络作为计算模型的一个特点。

另一处让人惊讶的是，光子神经网络识别一个图像需要进行9万次乘法和9万次加法计算，但是总共所需的光能只相当于电子计算机一次乘法的能量。

虽然除了光能以外的总体能耗，在现阶段依旧不如纯电子处理器低，但是随着硬件的改进，有望将光学处理器总能耗，降低到比电子处理器低一个、甚至几个数量级。

事实上对于这一项目，王天宇一开始只是想弄明白光学处理器的根本优势。期间，他注意到2019年的一篇理论论文，里面论述了光子神经网络的物理能耗极限可大大低于电子计算，尤其是每次乘法的能耗甚至低于一个光子的能量。

他表示：“这个结论让人觉得不可思议，但是再仔细一看，我发现要做到这个能耗，需要用上千维的向量去乘矩阵，而现在大多数光子神经网络做指定计算时，一次只能处理几十维的向量，有些光子神经网络可以处理甚至百万维度的向量，但是这些向量不能人为任意指定，或者需要针对系统进行训练，这时就不能直接使用标准机器学习库（比如Pytorch）训练的模型。”

至于一个乘法小于一个光子是怎么回事？其实光子当然不可分割，这个是一个平均值的概念，因为有些乘法的乘数是零，所以平均值就能小于1，这说明能耗可被降低到逼近物理极限的程度，甚至还可以继续降低。

此外他还发现，光子神经网络本质上有很强的抗噪声能力，当减少光子神经网络运算功耗的同时，比如在每个乘法运算小于一个光子时，它的噪声非常大，但依旧可以稳定工作。

这一发现给实际应用提供了很好的启发：即尽管因为硬件问题或环境噪声较多，但依旧能通过系统优化保持高性能信息处理能力。

这篇论文也给了王天宇更多信心，改变了他之前认为光子计算的新潮概念离落地比较远的想法。通过实验，他发现该技术具备一定可靠性，有潜力在短期内进行工程实践，并且实现产业化。下一阶段光子神经网络领域的趋势是集成化：运算能耗虽然能降到很低，但是运算芯片要做很大，这时尺寸缩小必须经过集成化，这依旧需要很多工程创新。

或将创业以推广面向图像领域的智能传感器

谈及曦智科技创始人沈亦辰的成果，王天宇表示沈博士的论文是该领域开山之作，他的工作让大家第一次认识到光子可用于神经网络计算，并且沈亦辰团队基于该技术做了一个原型机，还创办了公司将技术进行集成化和产业化，以专注于光子芯的研发。

“而我所研究的成果当然也在该领域之内，同时对他们技术研发和产品也很有帮助。在光子芯片的实用化上，人们关心的是到底能把芯片计算的能耗降低到多少，并且在低功耗情况下光子神经网络是否还能稳定工作？”王天宇说道。

因为光子神经网络最大卖点在于，它比传统电子处理器速度快、并且能耗低。但如果光子芯片处理数据能达到一定速度和能耗，需要非常庞大的神经网络。

因此要想研发相关产品，集成化程度必须非常高。王天宇的研究目的，是想获悉理论上光子芯片的矩阵列到底可以做多大？以及低功耗极限能做到多低？

目前，曦智科技和其他公司，主要聚焦于光学G P U，即通过光子芯片完成传统GPU器件的功能。但是王天宇做的研究有一定的区别，其发现在很多应用场景下，神经网络需要处理的对象就是图像，比如自动驾驶技术需要大量摄像头去识别图像，这些图像正是以光信号输入的。

所以，他要做的不只是一个处理器，更多是一个智能传感器，它能将传感器和处理器两个功能合二为一，这里可以理解为传感器里面有处理器，其好处在于整合了硬件，在降低整体能耗的同时，还能大大降低处理过程的延时。

具体来说，自动驾驶、机器人、无人机等需要很快的反应速度的。例如，特斯拉曾报告该公司的计算机视觉硬件架构的延时极限在150毫秒左右，这个延时大小对于开车来说足矣。但在无人机场景，如此大的延时会极大影响无人机姿态调整的判断。而如果能把传感器和处理器进一步整合，即可减少光电转换和数模转化带来的延时。

“就光子神经网络来说，除了曦智科技的芯片集成化道路之外，还有另外一条道路——利用空间光和波长做光子神经网络，但是这个技术仍然和图像处理有关。不过，我们做的和过往技术路线并不一样。此前可能需要激光去照射物体，然后得到反射进行图像处理，而我们采用的是物体自身发出的光进行处理，不需要主动探测扫描，这和相机有一点相似。”他表示。

未来，王天宇打算结合传感器和光学处理器整合的器件，通过光学神经网络处理器和传感器做出可实时分析图像的智能器件，此外他还将研究架构在极低能耗下的表现。从另一角度看，这个智能传感器可以用神经网络进行实时图像处理，而光学模块就是神经网络模型中不可分割的一部份，不但能直接利用环境中的光源，而且承担了重要计算任务。

此外，关于创业的想法，他表示：“如果有可能创办实体企业的话，我觉得这项工作与曦智科技最大的不同是，曦智科技重点是做运算芯片，而我的工作重点是面向图像领域的智能传感器，并能针对不同的应用场景进行图像处理。事实上，光学处理这个领域很大，有很多的机会等待发掘。”