无镜头相机结合神经网络，能否产生更清晰的图像？

李铮

数码相机通常需要镜头将入射光聚焦在图像传感器上，虽然技术不断改进，允许更紧凑的相机系统，但它们仍然受到物理的限制。镜头只能这么小，镜头和传感器之间的距离这么短。鉴于此，“无镜头”相机的概念被设计出来，没有光学设计的物理限制，无镜头相机可以做到小很多。东京工业大学的山口正弘教授说：“没有镜头的限制，无镜头相机可以做到超微型，超出我们想象的应用范畴。”

无镜头相机本身的想法并不新鲜，2013年的单像素无镜头相机曾经昙花一现。无镜头相机，包括一个图像传感器和传感器前面用于编码信息的薄掩模（mask简称掩模，是光刻工艺不可缺少的部件。掩模上承载有设计图形，光线透过它，把设计图形透射在光刻胶上），在应用场景中，需要数字计算来产生详细的图像。

通过了解光如何与图像传感器前面的薄掩模相互作用，算法可以解码光信息并重建聚焦场景。然而，解码过程极其复杂。除了需要大量時间之外，生成良好的图像质量还需要完美的机身物理设计。

研究人员还开发了一种依赖于深度学习的重建方法，使用卷积神经网络 （CNN） 的现有深度学习方法。CNN 根据相邻的“局部”像素处理图像，将光学的信息转换为像素上的重叠“全局”信息传感器，称为“多路复用”。

这项新研究依赖于新颖的机器学习算法，称为Vision Transformer（ViT） ，该算法的新颖之处在于具有重叠“patchify”模块的多级转换器块结构，能够有效地学习图像特征。

顾名思义，无镜头相机完全省略了传统的光学镜头。相反，它只包括一个传感器和一个掩模。相机无法将光聚焦在图像传感器上，因此必须使用编码模式，在掩模和图像传感器相互作用下重建图像

无镜头相机，包括一个图像传感器和一个2.5毫米的距离传感器，在二氧化硅板上使用铬沉积制成的，孔径为40μm×40μm

如右图，第一行是用于测试所提出的无镜头相机的真实场景。在这一行中，最左边的两列是液晶显示器上显示的目标，而最右边的两列是三维空间中的真实对象。第二行显示了无镜头相机捕捉到的图案。第三行是这里信息最多的，因为它描述了使用建议的重建技术的结果。第四行显示了使用基于模型的方法的结果，该方法传统上用于无镜头相机。第五行也是最后一行依赖于卷积神经网络，看起来在全局图像重建方面还存在局限性。