基于深度学习的光场加密图像恢复技术

朱震豪 韩思敏 张薇

摘要：光场技术可以将图像加密从二维提升到三维，加强加密的安全性。采用重聚焦算法实现图像解密时会引入图像间的干扰。以深度學习技术为框架，分析图像干扰的规律性，构造模拟光场数据集，创建了一个7层的全卷积神经网络，以模拟光场数据集作为输入，原图作为标签，训练一个全卷积神经网络，将真实光场解密图像输入得到结果。实验结果表明，利用全卷积神经网络可以有效改善光场解密图像的干扰问题，改善解密后的图像质量。

关键词：光场技术;深度学习;图像加密;全卷积神经网络;图像处理

中图分类号：TP183 文献标志码：A

引言

现代社会每时每刻都有大量的信息被传输、储存，因此，信息安全也越来越被人们所关注。为了加强传统二维图像加密的安全陛，提出了基于光场成像技术的多幅图像加密技术。相比于传统加密技术，光场加密利用图像的空间信息，将信息的维度提高到了三维，加强了安全性。三维信息加密可以同时加密多幅图像，提高了效率。此外，光场加密还具有信息冗余度高，抗攻击能力强的特点。

目前，光场解密的图像在最后解密的过程中仍然会残留部分多余的信息，影响解密图像的质量。人工去除这些缺陷，将会消耗大量的人力物力。由于这些缺陷都有一定的规律性，且修复逻辑简单，本文提出利用深度学习方法，让人工神经网络学习如何分辨去除光场解密图像中的缺陷，以达到自动修复图像的目的。

深度学习的概念源于人工神经网络的研究，旨在研究如何自动地从数据中提取分析目标问题的特征，是新兴的机器学习研究领域。全卷积神经网络就是一种深度学习结构，其核心思想是通过数据驱动的方式，采用一系列的非线性变换，从原始数据中提取多层次、多角度低层特征，通过组合低层特征形成更高层次的特征或类别，从而通过这些特征完成给定任务。得益于近年来计算机性能的巨大提升，深度学习能处理的数据量得到极大的提升，从而使获得的特征具有更强的泛化能力和表达能力，这恰好满足高效图像处理的需求。为满足图像处理问题的各类需求，以卷积神经网络为代表的深度学习理论近年来不断取得突破。

1光场加密原理

1.1加密过程

传统相机的成像只是将光线的强度在探测器像元上进行累加，只考虑了物体在像平面上的空间分布，丢弃了光线传播方向的信息，而光场则是用一个七维全光函数来完整地表达光线。从测量的角度来讲，光场成像能同时探测到七维光场经离散化和缩减维度后的近似，即四维光场，从而可以实现对光线本身的某些操纵。

利用光场成像的原理，提出一种新的多图像加密方法——光场图像加密法。该方法可以对多幅图像同时进行加密，且多图像间可以起到相互干扰和保护的作用，从而有效提高多图像加密的效率，并提高密文的多样性、复杂性及抗攻击能力。

根据光场成像的原理，如图1所示，多个微透镜分布于一个平面上组成微透镜阵列，对多个目标物进行光场采集。不同位置的微透镜采样之间相似并且相互偏移，这是由于每个微透镜所对应的物方视场范围不重合造成的。

如果图中的光场信息能够通过单个微透镜来获得，那么微透镜的孔径大小应等效于光场在方向维度上的区间范围，由此等效出的孔径就为合成孔径。利用成像积分公式，将光场沿不同角度进行投影积分，能够实现目标场景的数字重聚焦。

基于光场成像的原理，将被加密图像视为不同景深下的物，由其可以构建出1幅光场图像来实现加密。因此，在光场加密过程中，首先，要构建出光场成像系统，然后，分别将不同的被加密图像放置在不同的物方距离处，按照光场成像的原理，对多幅图像同时处理，生成光场加密图像。在生成光场图像过程中的各项参数，包括微透镜焦距、孔径、个数、宏像素数以及物距等，都可作为密钥。

1.2解密过程

每个微透镜所成的图像像素为N×N，完整的光场图像由M×M个微透镜所成的像排列而成。当物方是由3幅图像相隔一定距离叠加，光场图像中物方信息被光场成像所拆散，完成对物方信息加密的过程。重聚焦算法可以将被光场拆散的图像重新拼接起来，获得被光场成像技术加密过的信息，因此，将其用于解密过程。

由于加密图像所发出的光线在各个方向应具有近似相同的辐射强度，空间中的光场分布在方向维度具有强烈的相关眭，因此，当加密图像在透镜阵列中成像时，在每个子图像中应具有相似的灰度值。在光场图像中，由于透镜之间存在一定间隔，位置采样下互相位置会存在偏移。设l为加密图像在光学系统中的物距，l'为加密图像经过微透镜阵列所成的像距，f'为微透镜焦距，通过高斯公式

基于光场解密的原理，解密图像由各个光场微透镜图像根据计算的偏移量叠加而来。因此，在光场图像解密过程中，多余的图像信息也被保留了下来，使得解密后的图像存在多余图像残留的问题。

近年来，得益于计算性能的发展，深度学习由于其可塑性强，得到了广泛的应用，特别是在图像处理领域。深度学习可以利用计算机学习识别和去除符合某些特征的图像缺陷，目前在图像识别和边缘检测领域都有了广泛的应用，将其应用于光场解密图像的恢复中，具有自动化、效率高的优点。

2深度学习应用于光场解密图像的恢复

为获得更好的光场解密图像，去除图像间的干扰模糊效应，采用深度学习的方法对解密后的图像进行处理。该方法由三部分组成：第一部分为全卷积网络的模型设计，主要工作是根据光场解密图像缺陷的特点，设计相符合的模型;第二部分为设计和创建合理的数据集，主要目的是提高模型的泛化能力;第三部分为训练和测试模型，主要用来检验模型的效果。

2.1全卷积神经网络与模型设计

通常的卷积神经网络在图片输入了几组卷积层之后将结果输入到全连接层，最后输出分类结果。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述（概率），比如AlexNet的ImageNet模型输出一个1000维的向量，向量的每一维的数值表示了输入图像属于每一类的概率。

全卷积网络（fully convolutional networks，FCN）将通常CNN中的全连接层替换为反卷积层，对神经网络的卷积操作的输出进行反卷积操作，这一个关键的改变能使得FCN输出一个与输入相同尺寸的图片而不仅仅是一个图像分类的概率。图3表示一个全卷积神经网络的结构。

卷积神经网络工作过程分前向传播和反向传播两个步骤。前向传播对输入的图像数据进行多层卷积运算，利用设计的损失函数对卷积结果进行计算获得损失值;基于损失值沿卷积方向进行反向传播，主要为更新卷积核权值的过程。

根据光场解密图像的特点，设计的神经网络共由7个卷积层和7个池化层构成。第1层卷积有64个3x3的卷積核，第2层卷积有64个3x3的卷积核，第3层卷积有32个3x3的卷积核，第4层卷积有32个3x3的卷积核，第5层卷积有64个3x3的卷积核，第6层卷积有64个3x3的卷积核，第7层卷积有1个3x3的卷积核，其中第4层、第5层、第6层为反卷积操作。第1到6层的卷积或反卷积层后都进行步长为2，窗口大小为2x2的池化操作，第7层进行步长为1，窗口大小为1×1的池化操作。每层卷积操作后都利用ReLU函数进行激活，以加快模型收敛。

如图4所示，输入为光场解密的结果，经过7层的卷积，再减去原图，最小化卷积结果和原图差值，通过反向传播算法调整整个神经网络的权值，最后将待处理图片输入训练好的模型，就能产生消除光场干扰的图片。

2.2实验数据集

本文采取模拟光场加密图像的的方法，以现有的开源数据集为基础，对数据集进行模拟光场加密的处理，训练深度学习模型，再将真实光场加密图像通过模型验证其可行性。

如图5所示，CIFAR-10是一个开源数据集，它由10个类别60 000幅图像组成，总共有50 000幅训练图像和10 000幅测试图像，大小和图像内容与光场加密的结果比较符合。

本文所采用的光场成像微透镜尺寸为15～15，所以在最后的解密结果中，每1幅解密图像都是由225幅图像叠加而成。为了模拟光场成像，所以在数据集中每1幅图片上都将叠加1个图层，这个图层是通过淡化叠加行列各1 5幅图像得到的。将叠加图像中心的25%替换成原图，以叠加图像作为输入，原图中心25%作为标签，完成了数据集的制作。

2.3实验结果

构建的光场成像系统参数为：微透镜阵列个数为15×15，像素为200×200，3幅图片分别放置在15mm、35mm和60 mm处。生成的光场加强图像如图6所示。

在实验阶段，将数据以每组256幅图分为234组输入FCN，重复迭代次数为25次。训练开始后，原图与输出图像的损失值Loss初始值为0.250 6，前6轮迭代快速下降，随后下降速度放缓，从19次之后逐渐趋于0.015，下降趋势如图7所示。

完成训练之后，将光场解密图像输入全卷积神经网络模型。图7显示了模型输出结果。

图8对原图、光场解密图像和FcN改善图像进行了简要对比。光场解密图像中的干扰像素来自图像的多次不对齐的重叠，产生类似模糊的像，干扰了光场解密的结果。全卷积神经网络对原有的光场解密图像改善效果显著。

3结论

基于光场技术的多幅图像加密技术利用数字重聚焦算法，可以对空间中多幅图像进行重构，达到加密一解密图像的目的。由于重聚焦技术的局限，解密的结果残留了部分图像间模糊干扰。本文提出利用全卷积神经网络改善光场解密图像的算法，通过对开源数据集CIFAR-10进行处理，模拟光场解密的图像效果，以此为基础去训练一个全卷积神经网络模型。将光场解密图像输入训练好的模型后能明显消除大部分的图像干扰。实验证明，采用全卷积神经网络来处理光场解密结果是有效的，本文可以为光场加密技术的改进提供参考。