编码曝光图像的L0正则化去模糊重建方法

李 响，蒋 敏，彭钰蘅，李明伟，孙 怡

（1.大连理工大学电子信息与电气工程学部，大连，116024；2.大连海洋大学信息工程学院，大连，116023）

引 言

图像去模糊是图像与计算机视觉中的一个基本问题。图像模糊是由于图像在拍摄过程中物体与相机之间的相对运动所致[1]。其降质过程可以由清晰图像与模糊核卷积的数学模型表示。但由于模糊核未知，仅由采集图像反演计算复原清晰图像是一个严重的病态问题。近年来，发展了基于图像边缘信息[2-5]、图像块估计[6]、样本数据集匹配[7]、图像加权平均[8]、暗通道[9]以及判别先验[10]等自然图像先验信息约束的模糊核估计和图像复原方法。与上述约束方法不同，若能在成像过程中主动加入先验信息，则在成像的开始就有目的地保留图像的细节信息，再结合图像复原的后处理方法，将进一步帮助图像信息的有效恢复。

编码曝光方法就是从成像角度来提高图像采集和图像复原能力的一种图像重建方法。它主要包括空间编码[11-12]、时间编码[13-16]、时空编码[17-18]等方式。空间编码方法需要预先设计精密编码孔[19]或需要外部成像装置来控制编码成像，如硅基液晶（Liquid crystal on silicon，LCoS）[11]和数字微镜装置（Digital micro-mirror device，DMD）[12]。时间编码是将曝光时间分成若干编码时隙，由编码控制快门在各个时隙的开启或者闭合。由于时域快速转换中的编码可以等效为频域较宽的滤波器，因此在成像过程中能尽量保留高频信息。对比而言，时空编码需要拍摄多帧图像数据，计算比空间编码和时间编码复杂。在3种成像方式中，由于时间编码曝光在硬件中不需要增加额外设备，实现相对容易。

时间编码方法是将普通相机的快门由采集图像时的“始终打开”状态转变为“时开时断”的状态。根据信号的时频关系，曝光时间越长（越宽），其频域带宽越窄，保留目标的高频分量越少，对运动目标的成像越模糊。为了减少频域中高频信息的损失，将一次曝光转换为依据编码逻辑“时开时断”的编码曝光模式，为复原图像细节保留了有用信息。近年来，有部分学者设计了主动编码的码字[20-21]，分析了码字时序与物体位移速度之间的关系[22-23]。Tai等[24]结合Richardson-Lucy解模糊算法建立了分时隙曝光图像叠加模型来复原图像，但该种方法需要辅助相机检测位姿参量以保证移动目标图像的复原，因此外设要求较高。亦有学者利用高清相机采集多帧视频数据模拟分时隙编码曝光成像过程[25-26]，这个过程只是模拟了编码曝光图像产生的过程，用多帧视频去合成编码曝光模型进而复原单一图像，而非真正的单张编码曝光图像复原。由于编码曝光图像隐含高频信息，当复原正确时，图像应具备幅频特性单调下降的一般规律；而复原不当，这些高频信息将混乱夹杂在图像中形成大量的高频噪声，使幅频特性随着频率的变化出现上下的波动。文献[27-28]依靠这种规律实现编码曝光图像的复原。Li等[29]根据复原图像的信息量和与编码曝光图像的结构相似性，提出了信息熵与结构相似性的联合估计方法，但该方法并没有准确地估计模糊核。综合以上分析可以看出，时间编码曝光及其图像复原方法在消除运动模糊、复原图像方面仍有很大的改进空间。目前针对编码曝光图像复原的方法中，目标运动方式大多沿某单一方向运动，还未能解决目标多方向自由运动情况下的模糊复原问题。而且，编码曝光图像复原的方法大多采用图像处理的基本方法，对恢复图像的高频细节信息尚需采用更为先进的图像复原方法。

本文提出了基于L0正则化约束的编码曝光图像重建方法。利用L0正则项来约束模糊核的估计和图像的复原，通过二者交替迭代更新来完成图像重建。本方法既在编码曝光中保留了高频信息，又在图像复原中融合了L0正则化约束在复原图像梯度上的优势，有效地保护了图像边缘细节。通过合成图像和实际采集图像实验均证明，该方法对目标在多个方向运动产生的模糊均能进行良好的恢复。

1 编码曝光成像原理

编码曝光成像与普通成像方式不同。普通曝光成像时快门始终打开，而编码曝光时其快门按照二进制编码逻辑打开或者关闭。若用二进制编码表示二者的成像过程，普通曝光的码字为全“1”，编码曝光的码字由“0”和“1”组成。普通曝光可以看作是码字为全“1”的特殊编码曝光方式。本文以目标相对于相机做水平运动为例，对比二者成像的差异，如图1所示。

图1 编码曝光成像模型Fig.1 Coded exposure imaging model

如图1所示，快门按照编码时序通断变化，若码字为“1”（ki=1），表示快门打开，该时隙成像；若码字为“0”（ki=0），则快门关闭，该时隙不成像。由于物体运动，原图像L在第i个快门时隙曝光时的位移为Ti，若编码长度为m，则编码曝光图像B由m个移位图像叠加构成，可表示为

式中：B代表叠加后的模糊图像；η代表系统噪声；m代表码长（即，时隙数目）；ki表示第i个时隙是否曝光，i∈ [1,m]。

从一般曝光和编码曝光二者成像的频谱结构可以看出异同，如图2所示。普通曝光模型使用全“1”编码，在频域中幅值会出现“零”的情况，如图2（b）所示。而编码曝光快门转换过程是间断的，其对应二进制编码的傅氏变换如图2（e）所示。该编码的使用将原来的窄带滤波器转变为宽带滤波器，有效避免了频域幅值的零点，以保存更多的高频信息。相比于图2（c）所示的一般曝光采集的图像，编码曝光图像包含了更多的高频信息，如图2（f）所示。当复原正确时，这些高频信息将组成一张完整清晰的复原图像，如图2（g）所示。而在普通曝光下图像复原时，高频信息已经损失且无法恢复，导致复原图像振铃效应明显，复原图像质量不佳，如图2（d）所示。

为了从编码曝光图像中恢复清晰的图像，本文将式（1）中的模型转换为

若相机和目标作相对水平运动，式（2）中将目标位移等效在编码位移中，利用Toeplitz矩阵[29]性质将其转化为卷积形式，即

图2 普通曝光与编码曝光的采集图像、曝光模型、复原图像之间的对比Fig.2 Comparison between normal exposure and coded exposure from acquisition,exposure model and restoration images

式中⊗代表卷积过程。

以上只考虑了目标与相机之间单一方向的相对运动。在实际图像采集过程中，目标相对于相机可能有多个运动方向的变化，但不论是何种运动情况，式（3）都可以作为统一的运动模型来求解。

2 编码曝光图像复原重建方法

编码曝光成像较好地保留了原始图像中的高频信息，为高质量恢复图像提供了前提。然而，现有关于编码曝光图像的复原方法大多采用反卷积图像处理方法，需要模糊核预先已知，且在复原图像时易受噪声的影响，图像恢复的质量尚需改善。因此，本文采用了同时交替迭代估计图像和模糊核的盲复原方法。

2.1 图像复原模型

由于原始图像及其成像系统导致图像降质因素未知，因此，仅由实际采集到的图像反演计算重建图像是一个严重的病态问题。一般降质图像采用式（4）来复原[1]，即

式（5）的估计值可以通过求解最小能量函数获得，但是图像梯度的L0范数一般不连续，导致求解L0最小化问题是个NP-hard问题。通过引入变量分裂法，本文可以将一个优化问题松弛为2个二次规划问题，获得二次优化函数的闭式解。因此，求解式（5）时，利用交替迭代模糊核K和清晰图像L以获得最优值。

2.2 图像的更新求解

对于潜在清晰图像L的估计过程可以分为图像解卷积和模糊核估计两个过程。通过模糊核K解卷积图像B来重建图像L。同时，根据重建图像L，求解模糊核K。二者交替迭代进行计算。首先，假设K已知，利用变量分裂法将式（5）变为

式中：u,g为引入的辅助变量，其初始值均为0；μ1,μ2为惩罚参数。在初始迭代中，式（8）的解可以由式（9,10）获得。

式（9）的问题可以由最小二乘的闭式解通过FFT获得为

式中：F(·)和 F-1(·)为傅氏变换对为 F(·)复共轭变换；∇ 代表一阶梯度；F(G)=这里∇的计算分x方向和y方向，∇x,∇y分别代表两方向的微分算子。当L给定，根据文献[3]方法求解L0正则化最小化，因此可将式（12）代入式（11）中进行求解，进而获得重建图像L。

2.3 模糊核的求解

根据迭代法重建的图像L来估计模糊核K。为得到精确解，利用图像梯度计算目标函数

求解后得到估计的模糊核为

上述图像的重建过程分为核估计和图像估计两个过程，给定初始模糊核，利用初始模糊核和模糊图像梯度先验获得每个模糊核尺度下的最小化能量函数中的潜在图像；再通过模糊核估计获得新的模糊核，进行下一轮的图像迭代。模糊核估计和图像更新算法如下所示：

算法 模糊核K和复原图像L的估计过程

编码曝光方式获取模糊图像B，设定模糊核K的长度限制S，模糊核K初始长度s=3，初始估计参数 α，γ，μ1=2α，μ2=2α。

Whiles＜ S，do

通过式（14）迭代获得模糊核K。

Whileμ1≤ μ1max，do

Whileμ2≤ μ2max，do

由式（12）的限制条件，获得u，g。

有天我干脆踩了个滑轮鞋就去找她了。她那时候滑得还不熟练，我要一直扶着她，你想想那时候成龙和邓丽君，在洛杉矶的路边滑旱冰，完全没人认识我们，多好，多开心。

将u,g和K代入式（11）获得迭代图像L。

μ2=2μ2。

End

μ1=2μ1。

End

α=max{α 1.1,0.000 4}。

End

若s≥S停止迭代，输出估计模糊核K。

3 编码曝光图像的去模糊重建实验

3.1 合成编码曝光图像的复原实验

本文首先采用合成图像的方法，比较普通成像[3]与编码曝光成像在去除运动模糊上的效果，两种方法设置参数保持一致，其中参数 α=0.004，μ1max=23，μ2max=1 × 105，γ=2。本文使用文献[16]提出的31位编码，即k=[1111111111111000010011101000111]进行曝光合成模糊图像，因此模糊核的长度限制为S=31。如图3—5中所示，按照图1的方式将清晰图像按照不同运动形式移位叠加后，形成了运动模糊图像。普通曝光模式相当于全“1”的编码曝光，在全部移动范围内有ki=1。而编码曝光是剔除码字中为“0”的时隙图像。

从图3—5中可以看出，一般曝光的复原图像（b）均不如编码曝光的复原图像（e）清晰，阶梯效应和振铃效应相对明显。为了客观衡量编码曝光复原图像和一般曝光复原图像质量，采用了图像质量评价指标函数[30]。由于实际采集图像无法预知清晰图像，因此本文在各个实验中均采用了无参考图像质量评价指标，如表1所示。

图3 单一方向运动下，普通曝光图像和编码曝光合成图像复原结果比较Fig.3 Comparison of restoration images of traditional exposure and coded exposure with unidirectional motion

图4 旋转运动下，普通曝光合成图像和编码曝光合成图像复原重建比较Fig.4 Comparison of restoration images of traditional exposure and coded exposure with rotational motion

图5 一般运动下，普通曝光合成图像和编码曝光合成图像复原重建比较Fig.5 Comparison of restoration images of traditional exposure and coded exposure with general motion

表1中，灰度差分函数（Sum of modulus of gray difference,SMD）表示了图像中上下相邻像素灰度值差的绝对值之和，而灰度差方函数（SMD2）表示了图像中横纵两方向像素差的乘积之和。该类指标表征目标图像中的高频信息量。由于高频分量损失，在运动图像中的细节呈现出模糊不清状态；而当高频分量正确复原，图像细节信息清楚，能够利用高频信息的表示图像清晰程度。同时，由于一般原始图像的边缘界限明显，无模糊的过渡带，边沿锋利。为了突出边界，充分利用边缘信息，这里选用了能量梯度函数（Energy）和Brenner梯度函数（Brenner）对编码曝光和一般曝光的复原图像进行对比评价，其中Energy表示图像中横纵两方向的相邻两像素的梯度和；Brenner表示图像中相隔像素的差的平方和。

表1 合成编码曝光图像和一般曝光图像的无参考图像质量评价比较Table 1 Comparisons of no-reference quality evaluation for synthetic images from coded exposure and traditional exposure

在合成实验中，本文用清晰图像合成了编码曝光和一般曝光所采集的模糊图像。将上述两种采集的模糊图像方式复原重建后，通过与原始图像的评价指标对比获得两种重建图像质量评价。由于原始图像最清晰、频率信息最丰富，因此会涵盖更多的灰度变化细节。当复原图像的质量接近原始图像时，复原图像的评价指标函数也接近原始图像的评价指标函数。复原重建图像中，编码曝光的复原图像指标值最接近原始清晰图像，说明该复原图像接近原始清晰图像。此外，从评价指标可以看出，即使两种方法采集的均为模糊图像，编码曝光的模糊图像也比一般曝光模糊图像包含更多的高频信息，证明了编码曝光方式能够保存更多原始图像的频率信息。

3.2 实际编码曝光图像的复原实验

编码曝光成像传感器采用ICX204AL芯片，该CCD传感器的图像分辨率为1 024像素×768像素，实验中采用的镜头焦距为12 mm，编码曝光选择同样的31位编码。本文首先利用编码相机采集编码曝光图像，利用第3部分的图像复原算法进行重建。选取3种目标运动的类型进行实验，即非匀速运动（图6）、一般运动（图7）、镜头轻微抖动（图8），其中图（a）为采集的编码模糊图像；图（b）为本文复原重建的图像及其模糊核；图（c）为局部放大图像的对比。

图6为单一方向非匀速运动，模糊核的恢复与单一方向运动一致，从图（c）中可以看出，文字、人脸容貌、水果样式基本清楚。

图6 单一方向非匀速运动编码曝光模糊图像及其复原图像Fig.6 Blurred image and its restored image with non-uniform motion

图7 为一般运动，估计的模糊核表示了编码曝光的特征，图中文字和英文字符恢复明显，抑制振铃效果较好。

图8为镜头轻微抖动情况下的采集图像，从模糊核的估计结果来看，存在不连续的编码曝光结构，如图8（b）中模糊核所示。图中眼镜、唇、耳等特征恢复明显，抑制振铃效果较好。

与合成图像无参考图像质量评价相似，由于实际采集图像只有编码曝光模糊图像，只能对编码曝光模糊图像及其复原图像进行评价，如表2所示。该参数值明显提高，因此可以理解为，编码曝光复原图像相比于采集图像，灰度变化细节丰富，且图像边界清晰、明显。

进一步，将本文提出方法与Li等[29]提出方法进行对比实验。二者采用相同的实验设备、相同的31位编码。但由于Li等[29]方法只能复原单一方向的运动，因此在以下实验中，只有单一方向运动下的对比。图9—10为对比结果，其中图（a）为编码曝光图像，图（b）为本文复原结果，图（c）为Li等[29]方法复原结果。

图7 一般运动编码曝光模糊图像及其复原图像Fig.7 Blurred image and its restored image with general motion

图8 轻微抖动编码曝光模糊图像及其复原图像Fig.8 Blurred image and its restored image with slight shaking

表2 编码曝光的实际采集模糊图像和复原重建图像的无参考图像质量评价比较Table 2 Comparisons of no-reference image quality evaluation between blurred images and restored images from coded exposure

本文方法复原的图9（b）中，中下部的“顶板可旋转”文字在复原图像中可识读，整体图像中振铃比图9（c）要小，边界清晰，几乎不见阶梯效应，当图像中均存在高频信息情况下，本文复原图像质量高于对比方法。同样，图10（b）中本文复原图像的边界较为清晰，图10（c）中Li等[29]方法复原的图像在中左侧的阶梯效应已经影响图像的质量。从表3中可以看出本文方法恢复图像质量远高于Li等[29]方法。

图9 本文编码曝光去模糊方法与Li等[29]的方法复原图像对比1Fig.9 Comparison of the proposed method and Li’s method[29]in restored image Ⅰ

图10 本文编码曝光去模糊方法与Li等[29]的方法复原图像对比2Fig.10 Comparison of the proposed method and Li’s method[29]in restored image Ⅱ

表3 本文方法与Li等［29］方法在无参考图像质量评价比较Table 3 Comparisons of no-reference image quality evaluation between the proposed method and Li［29］method

以上在不同运动模式下图像复原的结果表明，编码曝光的成像模式与良好的图像复原方法能够使图像重建的质量显著提高。

本文所有实验均在英特尔Core i7处理器，双核2.5 GHz的CPU，8 GB内存的计算机上运行，算法采用MATLAB 2018a执行。各实验的执行花费时间及运算中使用模糊核尺寸如表4所示。

表4 各实验组的时间计算复杂度及所用模糊核尺寸Table 4 Time computation complexity and the size of Kernel used in each test

合成实验图像是采用同一图像生成不同运动轨迹的一般曝光条件下的模糊图像和编码曝光条件下的模糊图像。从算法的运行时间上，图3—5实验中的编码曝光复原计算时间均多于一般曝光复原计算时间，其原因在于编码曝光算法的耗时。其中，图3实验为单一方向运动，复原时间最短；而图4实验和图5实验为任意方向运动，计算耗时较长。真实图像采用CCD成像芯片ICX204AL的有效像素平面为1 024像素×768像素，完成了图6—10实验图像采集。其中图8和图10为在原始采集像平面中截取感兴趣的关键区域进行实验，因此这两组图像的复原耗时较短。

4 结束语

本文采用了编码曝光成像模式，在成像过程中相比于普通成像模式保留了更多的图像信息，尤其是图像的高频信息，为后续恢复高质量的图像提供了保征。在图像复原中，本文基于图像梯度L0正则化来完成编码曝光图像的重建。本文方法既在编码曝光成像中保留了高频信息，又在图像复原中融合了自然图像梯度先验所形成的L0正则化约束，实现了图像的盲恢复。在不同运动情况下，实验表明与普通成像和图像复原的方法相比获得了高质量的清晰图像。

在后续的实验过程中，本文考虑引入外部传感器，研究算法在不同速度移动下目标物体的适用性。同时，利用多组实验，测试在不同编码下采集编码曝光图像，比较重建复原图像的质量，以适应多种应用场合。实验通过采集目标运动视频的方式，按编码规律抽取视频中的符合该规律的帧图像组成编码曝光图像，并通过光流法确定目标的相对移动，辅助估计模糊核，进一步提高重建复原图像的质量。