含液晶扩散片的高分辨率光场成像系统

何燕成，李 晖，3*，钱文彤，吴云韬

（1.武汉工程大学 计算机科学与工程学院，湖北 武汉 430205；2.智能机器人湖北省重点实验室，湖北 武汉 430205；3.华中科技大学 化学与化工学院，湖北 武汉 400074；4.武汉工程大学 邮电与信息工程学院，湖北 武汉 430205）

1 引言

与传统成像方法相比，光场相机［1-2］可以获得多维信息和多视角图。传统光场相机的视角图取决于微透镜阵列中子透镜的数目，但是子透镜数目往往远远小于CCD 像元数目，相当于对数量巨大的CCD 像元数目进行了几十倍的压缩，难以平衡角分辨率与空间分辨率。这会导致成像器件的空间带宽积［3］（Spatial Bandwidth Product，SBP）问题，成像质量较低。

为解决光场成像空间分辨率偏低的问题，梁欣等［4］采用稳健的正则化超分辨率算法，通过操作将低像素点映射到高分辨率的网格中，从而实现图像空间分辨率的提升。邓承志等［5］提出基于近似稀疏表示模型的图像超分辨率重建方法，通过高分辨字典与图像稀疏表示，重建得到高分辨率图像。上述方法均采用超分辨率的算法思想提升图像的空间分辨率，但是此类方法需要准确计算出图像位移矩阵与精确的图像配准，图像位移矩阵和图像配准直接影响光场图像重建的结果。在智能计算风靡之时，人们将深度学习逐步应用 到图像处理中。Meng 等［6］建立 了基于4 维卷积的两阶段恢复的学习框架，通过网络模型学习捕获多个相邻视图中的几何信息特性，然后进行张量恢复。蔡体健等［7］提出一种通道注意力与残差级联超分辨率重构网络，对提取到的特征信息进行训练，完成图像的超分辨率重建。此类方法需要海量的高分辨率图像进行训练，时间代价大且消耗资源多。当前超分辨算法往往只能针对已获得的光场图像数据进行计算，不能同时兼顾图像的空间分辨率与质量。为了直接获取高分辨率光场图像，斯坦福大学采用相机阵列［8］采集四维信息，但是这种方法成本高，且需要对每个相机进行标定，实现起来较为困难。Lu 等［9］通过使用标准相机的高分辨率图像与Shack-Hartmann 传感器的低分辨率波前测量相结合重建高分辨率光场图像。Xu 等［10］提出使用两个衰减掩膜来捕获更高分辨率的光场采集系统，在傅里叶域中采用多路复用方法计算出光谱图像数据。但是该系统中光路上的掩膜频率响应容易被传感器数目影响且需要保证掩膜编码中不能出现负值。

随着成像元件的不断更新，液晶因其独特的电光特性逐步地应用于光场成像。雷宇等［11］设计的电控液晶微透镜阵列，通过控制电压可实现普通2D 图像的获取和3D 光场数据的采集。但是此类方法无法准确控制液晶折射率形成平滑的梯度折射率分布，即存在一定程度的像差，使其成像质量及应用范围受限。基于液晶的散射成像［12-13］一直是计算成像领域的前沿和发展重点。散射介质成像技术包括基于反馈的波前整形［14-15］，数字全息［16-17］和斑点相关［18-19］。早期的透过散射介质成像，是规避散射光或者减弱散射的影响；现阶段的透过散射介质成像，则是利用散射光对成像质量进行提升。

针对光场图像空间分辨率偏低的问题，本文设计了一种液晶扩散片，并与微透镜阵列组成新型光场成像系统。利用液晶扩散片透过率的电控特性来获取不同电压下的光场信息，同时结合适配液晶扩散片的成像算法，获得了高分辨率的光场图像。

2 原理及器件制备

2.1 液晶扩散片的制作流程

液晶扩散片由两个玻璃衬底（厚度约为1 mm）组成，采用铟锡氧化物（ITO，厚度约为300 nm）作为顶部和底部的导电层。选择20 μm的间隔微球制备出空液晶腔。然后，将液晶扩散片的顶部导电层采用光控取向技术进行水平定向，制备可以诱导液晶分子定向的取向层。光控取向技术可以克服传统摩擦取向所产生的微小杂质、绒毛以及静电等缺陷，也可以减少对器件造成物理性损伤，提升液晶的取向效果。该技术［20-21］是一种新兴的液晶取向技术，包括了光交联、光降解和光致顺反异构等。制备采用的是光致顺反异构技术，实现了液晶分子的水平定向，如图1 所示。利用毛细效应将大双折射液晶灌入制备的液晶腔内，其中液晶（型号JC-M-LCLDn03，南京宁萃光学科技有限公司）在室温条件下的主要参数为：Δn=0.394，Δε=1.8，ne=1.980 8，no=1.513。最后，利用AB 胶封口，完成液晶扩散片的制备。

图1 偶氮苯分子光控取向液晶的示意图Fig.1 Schematic diagram of azobenzene molecules lightcontrolled orientation liquid crystal

通过上述过程制备的液晶扩散片，其透过率的工作机理如图2 所示。由于液晶分子各向异性和双折射等性质，加载电压信号时，液晶分子会沿其所处位置向电场方向发生偏转。在电压关断的条件下，液晶扩散片中液晶分子指向矢的方向平行于液晶扩散片取向层的方向。液晶分子的有效折射率为neff=，此时液晶扩散片的透过率最低，透过光线中包含了目标场景光场的散射光强信息。在电压开启的条件下，随着电压的动态调控，液晶分子会沿电场方向重新取向，液晶扩散片的透过率逐步提高，目标场景的细节信息也逐渐丰富。

图2 液晶扩散片透过率工作机理Fig.2 Schematic diagram of working mechanism of liquid crystal diffuser

2.2 基于液晶扩散片的高分辨率光场成像原理

在光场成像中，通常采用双平面参数模型［22］对光场进行表征，成像探测器接收到的目标场景的光线光照度为：

其中：L(u，v，x，y)表示入射光线的强度，(x，y)表示图像在成像探测器上的横纵坐标。

采用液晶扩散片的高分辨率光场成像系统的光学结构如图3 所示。适配所制备液晶扩散片的算法（Liquid Crystal Diffuser Light Field Algorithm，LCLFA）的具体实现步骤如下：

图3 采用液晶扩散片的高分辨率光场成像系统示意图Fig.3 Schematic diagram of high-resolution light field imaging system using liquid crystal diffuser

首先，将液晶扩散片放置在主透镜与微透镜阵列之间，其中液晶扩散片的厚度为l，整个系统满足高斯成像公式：

其中：d=a+l+b，为主透镜与微透镜阵列之间的距离，c是微透镜阵列与成像探测器之间的距离，fm表示微透镜阵列的焦距。由于液晶扩散片的透过率具有电控可调特性，在不同的电压下获取的目标场景光场的散射光强信息不同。

其次，根据散射模型［23］可获取目标场景的原始入射光线信息。从目标场景的原始入射光线信息中可获取到更多的细节信息，有利于提升最终图像的空间带宽积。该散射模型的数学表达式为：

其中：B(u，v，s，t)表示目标场景的原始入射光照强度；I(u，v，s，t)表示目标场景的透过光照强度；t(u，v，s，t)表示光线经过液晶扩散片的散射衰减程度，通常称为透过率；A为该环境的光照幅度。

由于目标场景的环境瞬时变化微小，可筛选目标场景在红绿蓝3 个通道的最大均值，作为该环境光照幅度

电控可调液晶扩散片的透过率随着外加电压发生变化，则液晶扩散片的透过率为：

其中：I，I0分别为透射光强与入射光强，ξ为液晶扩散片中液滴的密度，Enlcext表示外加电压，l为液晶扩散片的厚度，σ表示发生散射的平均散射截面。假定液晶扩散片中液晶液滴符合泊松分布，则式（4）中的平均散射截面为：

式中：

其中：k=，σ0为液滴的几何光学截面，α0是入射光线的偏振角，θ0为入射光线与液晶指向矢之间的夹角，ve，vo分别为寻常光与非寻常光的计算参量，neff为液晶的有效折射率，λ为入射波长，r为液晶微滴半径，ne，no分别为寻常光和非寻常光的折射率。

根据式（3）～式（5）可得出，液晶扩散片在不同电压下目标场景的原始入射光线信息：

其中：Ie(u，v，s，t)为不同电压下目标场景的透过光照强度。由式（4）可知，外加电压强度不同，液晶扩散片的透过率不同，成像探测器所呈现的光场图像的像素视觉显著性［24］程度也会不同，则有：

其中：e表示不同的电压信号，通常从0vrms 开始到液晶扩散片的饱和电压；g(x，y)为I(x，y)在(x，y)处的灰度值；ω(i，j)是大小为m×n的高斯掩膜系数。则在不同电压下图像的基础权重系数为：

其中：De(x，y)表示当前电压下像素的灰度值，Se(x，y)表示当前电压下像素的饱和度。将不同电压下图像的基础权重系数归一化为：

根据式（9）～式（11），可计算出不同电压下图像的高对比度区域。

最后，结合式（8）和式（11），可将液晶扩散片不同电压下的图像进行加权平均：

式中G(u，v，s，t)为使用本文提出的系统获取到的高分辨率入射光照强度信息。

3 实验结果与分析

为了验证所提出方法的可行性，搭建了如图4 所示的实验平台，对液晶器件的性能与成像结果进行了验证。液晶扩散片紧贴在微透镜阵列前方，微透镜阵列放置在主透镜与成像探测器之间，与成像探测器保持一倍焦距。成像探测器（MV-SUA500C-T，迈德威视公司）的分辨率为2 592 pixel×1 244 pixel；微透镜阵列（MLA-150-5C，THORLAB 公司）的具体参数如表1 所示；镜头为Computar 公司的M3520-MPW2-500（35 mm）；采用VICTOR 公司2015H 的函数发生器对液晶扩散片进行驱动。计算机CPU 为8核AMD Ryzen7 4800u，其主频为1 800 MHz，运行内存为16 GB，所使用软件为Matlab R2019b。

图4 实验场景及液晶扩散片实物Fig.4 Experimental scene and liquid crystal diffuser

表1 MLA150-5C 微透镜阵列参数Tab. 1 Parameters of MLA150-5C microlens array

3.1 器件性能测试

图5 为液晶扩散片的透过率测试曲线。测试设备采用上海菁华科技仪器有限公司的光度分光仪，型号为723PC。

图5 液晶扩散片不同电压下的透过率测试曲线Fig.5 Transmission test curves of liquid crystal diffuser under different voltages

当波长＞500 nm 时，不同电压下液晶扩散片的透过率均超过72%，这意味着液晶扩散片具有良好的透过特性。随着电压的增大，液晶扩散片的透过率也有较为明显的增加。根据高斯光束的基本定理可知，液晶扩散片加载电压后，透过率会发生变化，其散射角θ≈tanθ=。其中，w0为高斯光束的束腰半径。为了测量器件在不同电压下的散射角度，采用波长为633 nm 的He-Ne 激光器（长富科技（北京）有限公司，型号为HN150B），它在1/e2处的束腰半径w0约为0.8 mm。图6 给出了液晶扩散片在不同电压下的散射角度。

图6 液晶扩散片不同外加电压下的散射角度Fig.6 Dispersion angles of LC diffuser at different voltages

3.2 成像结果分析

液晶扩散片的透过率具有电控可调特性。通电可改变器件中液晶分子的排列方向以及液晶液滴的折射率，引起液晶扩散片透过率的变化。尤其是：当液晶扩散片在低透过率时，目标场景光场的散射光强信息较多，缺少更多细节信息；而在高透过率时，恰好逐步增强目标场景的光场细节信息。图7 呈现了在不同电压信号下该系统获取的光场图像。

图7 不同电压下的光场图像Fig.7 Light field images at different voltages

当液晶扩散片未加载电压信号时，在成像探测器上获取的图像是模糊的，如图7（a）所示。由于液晶的散射效应，根据式（5）可知其平均散射截面最大，其散射光强信息多于细节信息，因此整个液晶扩散片的透过率最低。对液晶扩散片逐渐加载电压信号，器件中的液晶指向矢逐步发生旋转，其平均散射截面变小，透过率逐步增大，其成像探测器获取的图像逐渐清晰，目标场景光场的细节信息也逐渐丰富。图7 可明显看出随着电压的加大，图7（a）～7（d），逐渐从模糊变得清晰。最后，通过适配液晶扩散片的成像算法，有效融合不同电压下的散射光强信息与细节信息，获得融合后的光场图像。

通过计算重建光场图像。为了评价重建后光场图像的质量，对它进行渲染。根据微透镜阵列与成像探测器的像元孔径匹配关系提取子图，最终渲染获得一张二维图像。

将重建的光场图像进行图像渲染，结果如图8 所示。并将传统的玻璃型微透镜阵列光场成像结果作为对比，如图9 所示。通过对比，图8 所示的光场图像渲染图明显比图9 清晰。由于液晶扩散片的透过率具有电控可调特性，由式（9）可计算得出不同电压下获取的图像视觉显著度。选取视觉显著度高的值，在最后的加权融合中会提高最终成像的基础权重图像系数。最后，通过适配液晶扩散片的成像算法均衡融合不同电压下的散射光强信息与细节信息，重建了高分辨率光场图像。而传统的微透镜阵列成像系统，由于没有更好地利用杂散光信息，丢失了较多的光场细节信息，因此，最后得到的效果要稍弱于所提出的方法。

图8 采用液晶扩散片获取的光场图像的子图渲染图Fig.8 Rendering results of light field image captured by imaging system with liquid crystal diffuser

图9 传统玻璃型微透镜阵列获取的光场图像的子图渲染图Fig.9 Rendering results of light field image captured by conventional MLA imaging system

从图8 和图9 标注的方框可以看到，图8 中的4 组局部放大图像，清晰度明显高于图9 中的4 组图像。为了进一步量化两者之间的对比度，本文选取获得的光场图像的第一视角图作为计算参考图，提取视角图采用非周期性提取算法［25］。表2 列出了图8 与图9 的图像质量评价结果。

表2 图像的质量评价结果Tab. 2 Quality evaluation results of images

由表2 可知，图8 的平均梯度值（AG）、峰值信噪比（PSNR）和结构相似性指数（SSIM）均高于图9。其中，平均梯度值的最大增长约为24.7%。

为了验证本文所提方法的有效性，将本文所提出的液晶扩散片结合LCLFA 算法，设计组成了新型光场成像系统，并将获取的渲染结果，与传统玻璃型微透镜阵列组成的光场成像系统分别采用小波变换成像算法（WT）、拉普拉斯金字塔成像算法（LP）及HIS 成像算法的渲染结果进行对比，结果如图10 所示。

为了量化分析，选取图10 中方框标出的一组图像作为对比组。经过计算，发现图10（a）的PSNR 值明显高于图10（b）～10（d）。结合图10中所有图像信息，所提方法获取的图像比其他3组图像的PSNR 值，平均提升了约4.98%。这是因为液晶扩散片的透过率具有电控可调特性，低透过率保留了更多的散射光强信息，高透过率具有更多细节信息。再通过式（12）及成像算法计算，将液晶扩散片低透过率光场的散射光强信息与高透过率光场的细节信息相融合，得出了高分辨率图像。

图10 不同算法的渲染结果对比Fig.10 Comparison of rendering results of different algorithms

4 结论

本文利用液晶扩散片透过率电控可调的特性，提出了高分辨率光场成像融合算法，设计了一种含液晶扩散片的高分辨率光场成像系统。实验结果表明，较传统方法，本文方法获取的图像PSNR 值平均提升约4.98%，能够有效提高光场图像的空间分辨率。而且，所制备的器件工艺简单、成本较低，有利于制作出高性价比的光场相机，从而推动高分辨率光场成像技术的实用化。