基于投影补偿网络的图像增强方法研究

杨婷，雷清桦

（四川大学计算机学院，成都610065）

0 引言

在复杂的投影环境中，投影仪数量多，投影屏幕非平面，人眼看到的图像就不再是单纯的投影画面，而是由投影仪投射光和各种反射效应叠加的干扰光混合而成，导致投影显示图像降质退化，干扰了用户的沉浸感。国内某航空专业院校就曾因此现象造成安装的塔台模拟机无法投入实际教学使用的情况。这一问题不得到有效解决，将对系统的推广应用形成巨大阻力，成为该领域发展的障碍。因此，如何对投影图像进行补偿是一个需要迫切解决的重要问题。

通常，用光传输矩阵（Light Transport Matrix，LTM）描述场景内的全部光线传输，并把互反射补偿问题看作是一个矩阵求逆的问题来解决[1-6]。如果可以求出LTM的逆，就可以补偿输入，使投影后的观测图像与期望的图像相匹配。然而，LTM的获取是一个复杂的过程。现有的方法要求固定设备并进行光度标定。此外，LTM的尺寸巨大，由投影相机系统的分辨率决定，因此计算该矩阵的广义逆矩阵变得非常困难。因此为了得到适合于矩阵求逆的LTM，传统方法会缩小尺寸或简化矩阵。导致性能有限，很难应用到实际的大型沉浸式环境中。

图1 相机投影系统

在本文中，我们建立了一个相机投影显示系统（图1），并提出了一种新的神经网络，称为投影补偿网络（PCN），用于多投影的互反射补偿，以提高投影图像质量，效果如图2所示。首先，对摄像机采集的数据进行几何校正。其次，用这些数据训练PCN，使它能自动学习LTM的逆，从而对输入图像进行补偿。此外，我们使用VGG网络计算对应特征图的损失来提高感知质量[7]。最后，我们测试了提出的网络模型，并证明了它的优越性。

综上所述，我们的主要贡献如下：

（1）通过学习的方式对互反射进行补偿，减少了获取LTM及计算其逆的过程。

（2）增加了感知损失[8]，使补偿后的图像在像素空间的变化更稳定，得到符合人类视觉感知图像[9-[10]。

1 基于深度学习的互反射模型

1.1 问题描述

互反射补偿是求输入图像与补偿图像的映射关系。当补偿图像被投影时，互反射能被减小甚至消除。本文的研究重点是如何求得LTM的逆，以实现输入图像x与补偿图像x*之间的映射。因为多投影相机显示系统是固定的，所以我们可以使用一个灰度为255的相机拍摄的纯白图像ŝ来近似场景全局光。

用T表示LTM，则LTM的逆为T-1，那么互反射补偿就可以用以下公式描述：

如图2所示，我们可以将摄像机捕捉到的图像y表示为：

那么根据公式（2）能得到：

因为ŝ是已知的，我们可以使用（x，y）图像对来学习T-1。本文设计了一个叫PCN的深卷积神经网络对T-1进行建模，并将其表示为T(θ)-1，其中θ是学习参数。则有：

又根据公式（1），可以得到：

y*是摄像机捕捉到的图像y的补偿图像，根据公式（4）、（5）可知，要想训练出T(θ)-1，则需要补偿图像y*与输入图像x尽可能接近。我们用N组图像对训练T(θ)-1，利用损失函数L，PCN可通过以下方式学习：

1.2 网络结构

基于上述公式，我们设计了PCN网络。由y和ŝ两张图像作为输入。即相机获取的输入图像x（直接投影未经过补偿）和纯白图像的投影图。网络架构如图2所示。两个输入都是256×256×3的RGB图，输出为256×256×3。y和ŝ都被输入到一连串的卷积层中，进行下采样和提取多级特征图。然后通过元素相加将多级特征图组合起来，使模型能够学习全局光、投影表面与投影图像之间复杂的互反射作用。

我们还通过跳卷积将低级特征信息传递给高级特征图[23]。所有卷积层都由3×3大小的滤波器组成，转置卷积由2×2的滤波器组成。步长都为2。每一层滤波器的数量标注在图2的每层卷积层顶部。在中间层中，保持特征图大小不变，通过增加通道数来提取丰富的特征。然后使用两个转置卷积层将特征图逐步上采样到256×256×32，再通过一个卷积层及一个跳卷积层简单相加得到256×256×3的输出图。

1.3 损失函数

在本文中，我们除了使用像素级损失函数，如l1、l2和l ssi m。还增加了感知损失[7]l perceptual，来比较图像之间的高级感知和语义差异，它从预训练好的16层VGG网络[26]中提取后几层的输出值，从而获得图像的底层特征。感知损失的计算如下：

图2 PCN网络结构图

V k表示从第k个最大池化层提取的特征图。为了得到最好的效果，我们将四种损失函数结合在一起。因此，SRCN网络最终的损失函数为：

式中，λ是平衡感知损失和其他损失的系数。

2 实验过程

2.1 数据集准备

首先建立一个沉浸式多投影相机显示系统如图1，用相机获取的图像代替人眼观测的图像。我们将投影屏设置为L形增强互反射效果。摄像机型号为Nikon DX VR，分辨率为2992×2000；两个投影仪为JMGO G7，分辨率为1920×1080。摄像机和投影仪之间的距离为300毫米，L形屏幕位于投影仪前方约550毫米处。此外，相机的白平衡模式、快门速度、ISO和焦距分别设置为自动、1/90、200和f=5.6。

为了保证数据集尽可能的多样化，我们从几个免费图片网站上采集了5000幅彩色图片，通过将相机模式设置为间隔拍摄，自动获得N=5000幅相机拍摄的图像。我们将采集到的图像表示为Y，然后将图像调整为256×256，并通过gamma校正对其进行预处理。

2.2 实验流程

我们在NVIDIA GeForce 1060TI GPU上训练8个epoch的深卷积体系结构PCN，批大小为8，并使用4200个图像作为训练集，72个图像用于验证集。在整个网络中反向传播损耗的导数，网络的参数θ（如权重和偏差）通过Adam优化器[11]进行更新，其参数设置如下：l2惩罚因子设置为10-4。我们从0.001的倾斜率开始。输入图像的大小为256×256。如等式6所述，我们将λ设为0.02以平衡感知损失和其他损失函数。我们使用VGG16网络中的第三层和第五层最大池化层来计算感知损失。为了使该方法更加实用，我们还通过投影和捕捉N（N=5000）个采样图像来提供一个预训练模型。θ通过加载保存的权重初始化。训练过程所有摄像机捕捉到的图像输入PCN，然后进入深卷积层输出补偿图像。最后，利用我们的四个损失函数，我们可以训练PCN收敛。最后，利用收敛后的PCN，我们可以输入一个期望的图像x并获得一个补偿图像x*。如果x*被投影出来，我们会发现结果与原始输入图x基本相同，我们使用PCN对112张1920×1080幅彩色图像进行了测试补偿。

3 实验结果

如图3所示，左图为原始输入图像x，右图为通过PCN网络输出的补偿图x*。图4分别为原图投影出的图像及补偿图片投影出的图像。比较这两张图，可以发现投影图像的互反射光明显被消除了。

图3 原始输入图像与PCN网络输出的补偿图

图4 原始投影图像与PCN网络补偿图投影图像

如表1，我们算出了112张补偿图像投影出的图像的PSRN、SSIM和RSME。可以得出结论，PCN生成的补偿图像可以提高投影图像的质量。

表1

4 结语

在本文中，我们提出了一种基于深度卷积网络的沉浸式投影系统的图像补偿方法，可以通过网络直接产生补偿之后的图片而无需其他的中间步骤。通过补偿之后的图像，在投影系统的漫反射环境下，投影光照强度得到了明显的减弱，投影图片质量得到了明显的提高。同时为了提升生成图片的图像质量，我们提出了新的Loss函数，将感知损失函数与l1、l2和l ssim损失函数结合起来。通过新的损失函数，能够明显提升生成图片的细节部分的图像质量，在投影系统中达到更好的视觉效果。实验结果表明，我们提出的基于深度学习的方法的确能有效消除互反射光的影响，提高投影系统的投影质量。