极端先验下的编码曝光运动目标模糊成像复原

李 响，何东钢

(大连海洋大学 信息工程学院，辽宁 大连 116023)

1 引 言

目标物体与相机若在采集目标图像时发生相对运动，会造成目标图像的运动模糊.这种图像模糊是由于目标投影到成像面像元位置不一致造成的.当目标与采集相机相对静止，物体表面的特征点通过外部光照投影到相机成像面并在对应像元处产生一定的光生电荷量，电荷累积的数量是对应像元产生的像素值，当大量目标特征均在对应的像元处产生光生电荷时，在成像面就会生成目标图像.当目标与采集相机之间发生相对运动时，原本应在一个像元点产生的光生电荷被生成到相对移动路径中的其它像元中，反映到生成图像中就是运动图像模糊[1].

在传统图像采集过程中，伴随着相机的快门一段时间的开启状态，在频域中这种采集和生成图像的过程相当于对生成图像作低通滤波，造成图像原始高频信息缺失，使图像复原过程不可逆.

为了保护目标图像细节，将原本相机快门的一次开合过程变换为符合特定逻辑的多次开合快门过程采集图像，即为编码曝光图像采集方法[2].该方法是为解决图像采集过程中频域周期零点以及由于频带限制导致高频信息采集不完备等问题而设计的.同时，为了保证目标图像信息的频带完整，需要设计曝光用编码，而这种特殊的图像采集方式需要对相机进行设计，即相机快门多次快速的开合过程要与预设编码需要保持一致，这样所采集的运动模糊图像包含着已经编码的高频信息，再通过有效的图像复原手段将图像高质量复原.目前，编码曝光研究领域涉及很多方面，诸多学者在编码曝光图像采集装置的设计[3-5]、采集图像所用编码的优化[6-11]以及编码曝光图像复原方法[12-16]等方面取得了一定进展.

编码曝光运动模糊图像复原是从图像成像生成和图像后处理两个角度共同提高图像复原质量：首先是在图像生成时，基于预设编码规律使相机曝光，采集目标图像，并将有效的高频信息保存到模糊图像中，回避了频域周期零点和频域限制，图像信息的完整性大幅度提高；其次是利用图像后处理手段将已编码的模糊图像解码复原.目前，基于编码曝光复原运动模糊图像的方法大致分为如下几类：1)是人工辅助的逆滤波重建方法[2]；2)基于多传感器联合协同测量方法，如双目混合编码曝光采集运动轨迹估计方法[12]；3)基于自然图像统计规律的重建方法，如Ding等[17]利用一般自然图像在频域中幅值随频率的变换趋势作为统计规律，复原编码曝光模糊图像.由于自然图像的功率谱统计规律是随图像频率升高而降低，Huang等[13]利用该特性与重建图像的残差平方和最小化估计复原图像.近年来，Li等[14]基于图像熵与结构相似性作为判别依据，提出了编码曝光图像重建方法；李响等[15]通过图像梯度正则化作为先验条件较好的完成了编码曝光运动模糊图像复原；Shedligeri等[16]提出了基于神经网络的编码曝光图像的视频重建方法.

本文在研究自然图像规律构成先验前提下，提出了以极端先验的正则化为基础的编码曝光运动模糊成像复原方法.通过建立优化函数多次迭代更新图像和模糊核，完成图像复原.本方法基于自然图像的极端先验自然属性，复原了编码曝光中采集图像中原始目标中细节.多组合成和实际采集编码曝光运动模糊图像复原实验表明，本方法能够在不同相对运动模式下均获较好的复原效果.

2 极端先验下的编码曝光运动模糊图像及其复原模型

2.1 编码曝光运动模糊图像数学模型的建立

与普通曝光相比，编码曝光图像采集过程相当于对采集时间进行了抽样，并以曝光编码的形式进行表示.该过程扩展了采集图像过程的通频带，保护了目标图像的高频信息.如图1所示为任意方向运动下，普通曝光与编码曝光分时隙成像差异示意图.利用分时隙成像方式，将完整的曝光时间t等分成n个时隙，每个时隙持续时间为t/n.合成图像过程是将原始目标清晰图像L进行n次移动后，叠加获得模糊图像B，每次移动相当于一个时隙的曝光，时隙是否曝光用ki=1或0表示，也即可以通过预设编码控制这n个时隙是否曝光.

当采集图像过程开启，此时目标与相机产生相对移动，各个时隙采集到的图像会产生像素位移Ti.时隙是否成像与预设编码相关，二进制码字中用“1”和“0”分别表示快门开启(对应时隙成像)和快门关闭(对应时隙不成像).

图1(a)取至MATLAB自带图像.图像的采集过程是相机快门开放时的光生电荷累积过程，只有快门开放，光生电荷才会产生，在像平面上会以像素的形式表示每个图像坐标中光生电荷的多少.普通曝光分时隙成像示意图如图1(b)所示，目标与相机产生相对运动时曝光，且每个时隙均参与曝光，即曝光编码均为“1”，当所有码字完成曝光后，叠加对应像元中光生电荷输出即为普通曝光运动模糊图像，如图1(d)所示.编码曝光将一个完整的曝光时间分为若干个等时间间隔的时隙.编码曝光时，每个时隙是否曝光由对应码字决定，如图1(c)中，利用图1(c)中码字完成曝光后，相机最终输出的成像就是若干曝光时隙成像的叠加过程，未曝光时隙没有累积光生电荷不参与曝光，如图1(e)所示为模拟编码曝光方式合成的运动模糊图像.

当相对运动产生时，投影到像平面中的目标影像将产生移动，对应不同时刻时隙获得不同的像平面的像素位移Ti=(Tu,Tv).从图1(d)和图1(e)中可以看出，运动模糊成像从主观上看模糊程度是相近的，但编码曝光采集到的图像是宽带滤波调制图像，模糊图像中包含运动目标图像的细节信息，当正确复原后，图像细节更加清晰.编码曝光运动模糊图像B可表示为：

图1 任意相对运动方向下，普通曝光与编码曝光时隙成像对比

(1)

式(1)中，TiL表示了目标图像L与初始时隙图像存在相对位移Ti；ki为1或0表示第i个时隙是否曝光，i∈[1，m]；m代表预设编码的码长，即时隙数目；η为系统噪声.当有m个时隙移位，就有m个移位的时隙图像，将其叠加构成编码曝光图像B.

式(1)中，若码长为m的二进制编码k=(k1,k2,…,km)确定，∑1≤i≤mki=Ck即为常量，可将式(1)转换为：

(2)

式(2)相当于模糊图像B是由动态的编码(kiTi)和静止的清晰图像L卷积的图像模糊数学模型.若令式(2)中kz=kiTi/Ck，由于卷积的交换特性并省略噪声η后，该模型也可以表示为：

(3)

由于kz=kiTi/Ck，含有Ti成分，为矩阵形式；z为k的变化范围，变化域为z∈Ω.由于复原过程中模糊图像B大小故定，变换后不同的kz卷积过程需选搭合适的尺度的L，故：

(4)

式中，kz为图像模糊过程的模糊核，s为模糊核kz的大小，其变换域为z∈Ω；若模糊图像B尺度为x，则L的变换尺度范围为(a+[s/2]-z)，其中[·]表示变化范围.

故，可以建立清晰图像L和模糊核k的卷积构成模糊图像B的数学模型表示图像的模糊过程.然而，当相对运动产生时，一般的模糊核是连续的运动模糊过程，快门开放时间内，在频域中相当于低通滤波，如图1(f)所示，为普通曝光为一个时段的快门开启状态，相当于的全“1”编码，即一个矩形脉冲函数，其频谱函数频域幅值包含周期零点，复原图像易产生振铃效应；同时其函数幅值会随着频率升高而降低，相当于低通滤波过程，高频信息在采集阶段被截止.然而，在曝光中预设曝光编码，如31位近似最优编码[6]，k=(1111111111111000010011101000111)时会将曝光过程按照预设编码进行有效控制，其幅频响应曲线如图1(g)所示，消除了频域幅值频域零点，改善了低通效应，使在图像采集阶段将各频带有效保护.

2.2 基于极端先验的编码曝光模糊图像复原模型

极端先验方法(Extreme Channels Prior)是基于暗通道(Dark Channel Prior，DCP)和亮通道(Bright Channel Prior，BCP)两种先验条件的方法.在大多数自然环境场景中，清晰图像会有一个颜色通道的像素值强度非常接近零，这个像素通道称为暗通道[18，19].利用暗通道这种稀疏为特性的先验来估计模糊核和复原图像，这种方法被称为暗通道先验估计方法[20].暗通道定义为：

(5)

其中，L为清晰图像；x和y分别为图像中像素位置，φ(x)为以像素x为中心的图像块；y∈φ(x)表示是在以像素x为中心的图像块范围中的像素；LC表示为c通道中的图像强度，且有3个通道c∈{r,g,b}.当图像为灰度图像时，有：

(6)

若φ(x)与模糊核k大小相同且其数值用s表示，即N(x)=Ωk时，式(4)可以表示为：

(7)

由于图像模糊核∑z∈Ωkkz=1的属性，有：

(8)

式(8)表示了在以像素为中心的范围φ(x)内，清晰图像L(y)是模糊图像B(x)的最小值.按照暗通道的定义和式(8)的限制条件，y是在以像素x为中心的图像块范围中的最小像素，即：

(9)

式(9)说明了在以x为中心的一定区域φ(x)内，模糊图像B的暗像素值应大于清晰图像L的暗像素值.由于图像像素值均为非负，且上述计算过程均为卷积或求和，不涉及负数值，故有：

Dp(B)(x)≥Dp(L)(x)≥0

(10)

将暗像素作为判别依据，并以L0范数作为参考先验，应有：

(11)

因此，当采集图像中存在暗像素时，可将暗通道作为先验估计清晰图像.然而，虽然该方法具有强大的复原能力，但如果图像中不存在暗像素，则暗通道先验可能无法估计得到满意的图像[21].与之相对的，若自然图像中存在一个颜色通道的像素值强度非常大，则这个图像通道称为亮通道，利用自然图像各通道中最大强度作为先验的方法称为亮通道方法[22，23].因此，可以定义亮通道为：

(12)

其中，L为清晰图像；x和y分别为像素位置，ψ(x)为以像素x为中心的图像块；y∈ψ(x)表示y是在以像素x为中心的图像块范围中的像素；Lc表示为c通道中的图像强度，且有3个通道c∈{r,g,b}.当图像为灰度图像时，有:

(13)

若ψ(x)与模糊核k大小相同且其数值用p表示，即ψ(x)=Ωk时，式(4)可以表示为：

(14)

与暗通道类似，同样由于图像模糊核∑z∈Ωkkz=1的属性，有：

(15)

式(15)表示了在以像素x为中心的范围ψ(x)中，清晰图像L(y)是模糊图像B(x)的最大值.按照亮通道的定义和式(15)的限制条件，y是在以像素x为中心的图像块范围中的最大像素，即：

(16)

式(16)表征了在以x为中心的一定区域ψ(x)内，模糊图像B的亮像素值应大于清晰图像L的亮像素值.由于图像像素值均为非负，且上述计算过程均为卷积或求和，不涉及负数值，故有：

Bp(B)(x)≥Bp(L)(x)≥0

(17)

若将亮像素作为判别依据，并以L0范数作为参考先验，应有：

(18)

因此，当采集图像中存在亮像素时，可将亮通道作为先验辅助估计迭代图像.

极端先验是联合使用暗通道和亮通道两种先验，利用其构成正则项进行约束，并建立数学模型，反复迭代估计模糊核和潜在图像，进而获得清晰复原图像.

3 极端先验下的编码曝光运动模糊图像复原方法

编码曝光成像调制了入射光在成像面的光通量，保留了原始目标中的细节，但为了得到清晰图像还需要进行有效解码复原.基于极端先验的正则化编码曝光模糊图像复原方法通过交替迭代估计图像和模糊核建立图像的复原模型，并求解图像复原.一般采用能量最小化法求解迭代清晰图像.

(19)

在式(19)中，‖L⊗K-B‖q表示清晰图像L降质(L⊗K)后与观测到的模糊图像B之间的差异，其差异标准用q方法衡量，如L0、L1或L2等范数；ρL(L)和ρK(K)分别表示清晰图像L和估计模糊核K的约束项.

对于利用式(19)求解运动模糊图像复原，需要交替迭代模糊核K和目标图像L.故目标函数可设定为：

(20)

为了求解式(20)，可利用最小化能量函数获得.然而，为了解决L0范数不连续问题引入变量分裂法，替迭代模糊核K和目标图像L获得最优解.

(21)

(22)

3.1 图像的更新求解

模糊核K与编码曝光图像B的解卷积过程可以获得重建图像L；同时，图像L亦可用来估计模糊核K.故，若假设已知模糊核K，式(21)可变为：

(23)

其中u,g,q为初始值均为0的辅助变量.μ1，μ2，μ3为惩罚参数.通过固定u,g,q中任一变量，分别交替求解L,u,g,q.

在初始迭代中，式(23)可简化为：

(24)

通过傅氏变换，可以求解式(24)的最小二乘闭式解为：

(25)

为了求解辅助变量u,g,q，在给定L后可以利用以下公式获得：

(26)

(27)

(28)

根据L0正则化的能量最小化求解方法[24]，u,g,q的限制条件为：

(29)

代入式(23)中，获得迭代复原清晰图像L.

3.2 模糊核的求解

通过迭代图像L估计模糊核K，其目标函数为：

(30)

求解得到模糊核为:

(31)

3.3 基于极端先验的编码曝光复原算法

基于极端先验的编码曝光复原算法分为模糊核估计和图像估计两个交替迭代过程.当初始模糊核给定，利用该模糊核和极端先验等图像自然规律获得每个估计图像尺度下的最小化能量时的最优解；再利用该最优解时的图像估计获得新的模糊核，进行下一轮迭代，如算法1所示.

算法1.基于极端先验的编码曝光图像复原算法.

输入：编码曝光方式采集模糊图像B，令估计模糊核K的初始尺度s=3，最大尺度S，初始估计参数α，β，δ，γ，μ1=2α，μ2=2α，μ3=2α.

步骤：

1.在s

2.Whileμ1≤μ1maxdo

(1)Whileμ2≤μ2maxdo

1)Whileμ3≤μ3maxdo

① 由限制条件式(22)得到u,g；

② 将u,g和K代入式(25)，得迭代图像L；

③μ3=2μ3；

2)End

3)μ2=2μ2；

(2)End

(3)μ1=2μ1；

3.End

5.α=max{α/1.1，0.0004}；

6.若s≥S停止；

输出：清晰图像L和模糊核K.

4 极端先验下的编码曝光运动模糊图像复原实验

本节实验均在搭载双核2.5GHz英特尔Core i7处理器的计算机上运行，运行内存8GB.本文算法采用MATLAB 2018a执行；所有设置参数相同α=β=δ=0.004，μ1max=23，μ2max=μ3max=1e5，γ=2.图像采集过程均使用k=(1111111111111000010011101000111)进行曝光[6].

鉴于工业应用中图像采集的准确性需求，本文仿真合成图像采用灰度图像进行实验，采集编码曝光图像亦为灰度图像，通过内含隐含的编码信息、通道先验和梯度特征等反演计算复原图像.

4.1 仿真合成编码曝光图像的复原实验

编码曝光采集的仿真图像合成利用MATLAB自带图像分别仿真合成相对运动条件下的普通曝光成像与编码曝光成像实现对比实验，两种方法参数设置相同.仿真合成实验中，若全部移动范围内有ki=1，则为普通曝光模式，而编码曝光模式仅含码字为“1”，不含码字为“0”的时隙图像.

图2为模拟目标在相机前做多种方向运动所合成的运动模糊图像.根据预设编码曝光规律，设定当ki=1或0作为“是”或“否”曝光编码的合成仿真编码曝光运动模糊图像.以图2(a)为例进行说明，第1行为普通连续曝光模式下的仿真合成图像、复原图像及其局部放大图像；第2行为编码曝光模式进行合成的运动模糊图像、复原图像及其局部放大图像；为了对比更多运动模式下，通过仿真合成的方式设计了近似单一方向运动(图2(b))、旋转运动(图2(c))、抛物运动(图2(d))的普通曝光和编码曝光模糊图像及复原图像的对比实验.

从图2中可以看出，由于编码曝光在图像采集阶段即将具备目标特征的高频细节信息有效保护，当复原正确时这些特征有序解码复原，而普通曝光不具备高频细节信息的保护能力，无法对高频信息进行有效的收集和保护，复原图像中阶梯效应和振铃效应明显.故，从主观感受上看，普通曝光图像复原质量均不如编码曝光复原图像质量.

图2 不同模式运动下，普通曝光与编码曝光图像复原比较

由于目标相对运动，原本清晰目标边沿变为模糊的过渡带，但由于利用编码曝光方法间断采集，其模糊过程包含了原始目标的高频信息，这些信息将有助于图像复原；其次，利用有效的编码曝光图像复原方法得到复原图像，其细节特征与清晰图像质量相近；再次，按照图像复原理论，复原的模糊核方向与相对运动方向一致，能够按照预设编码k的逻辑模拟生成的模糊运动图像，其复原的模糊核图像也基本符合预设编码k的逻辑.由于编码曝光编码逻辑的影响，原始目标图像中高频信息有效的保存在模糊图像中，该实验基本复原出原始图像的清晰细节，同时通过模糊核形式正确复原了目标与相机的相对运动路径.

为了客观衡量仿真合成模糊图像及复原图像质量，利用图像质量评价函数进行图像清晰度评价，如表1所示.

表1 仿真合成普通曝光与编码曝光的图像质量评价指数

在表1中，图像质量评价指数分别使用了灰度差分函数(SMD)、灰度差方函数(SMD2)、Energy梯度函数和Brenner梯度函数[15]，其中函数表示待评价图像中上下相邻两像素的灰度值差的累积；而SMD2函数利用了待评价图像中水平和垂直方向像素灰度差后乘积的累积；利用以上两个函数可表征图像中高频信息的多少.Energy函数表征待评价图像中水平和垂直方向相邻两像素的梯度和；Benner函数表征待评价图像中水平方向上相隔像素差的平方和，Energy函数和Brenner函数用来评价图像边界是否明显.故，综合利用上述4个评价函数对图像进行质量评价.

原始图像特征最丰富，涵盖灰度变化细节最多，其评价指数值应最高.由于图像来源于MATLAB自带清晰目标图像，因此，可以将原始清晰图像作为标准参考值进行4种图像数据的质量评价.

从各个图像所获指标上看，复原图像质量均要高于观测到的模糊图像，说明两种复原图像都对目标信息有所恢复；但仅比较复原图像发现，编码曝光复原图像质量要高于一般曝光复原图像质量.由于相对运动，造成两种采集图像模糊，但编码曝光方式采集到更多高频信息，说明利用本文方法复原目标模糊图像更具优势.

结合图2所示实验结果与表1的评价指数可知，复原图像质量与其评价指数正相关，当复原图像与原始目标清晰图像接近时，指标最为接近.编码曝光复原图像将原始目标细节正确复原，而一般曝光方法使得高频信息丢失，故本方法获得更完整的目标图像信息.

4.2 编码曝光采集图像复原对比实验

如图3所示，图像来源于李等[15]提出的基于正则化的编码曝光图像复原方法，这里分别利用最小化残差平方和的编码曝光图像去模糊方法[13](参照方法1)和基于正则化的编码曝光图像复原方法[15](参照方法2)作为对比方法，与本文方法进行复原对比实验，其中，图(a)为编码曝光模糊图像，(b)为参照方法1复原图像，(c)为参照方法2复原图像，(d)为本文方法复原图像.

图3 本文方法和参照方法复原图像对比实验

由于参照方法1(图(b))只能复原相对运动方向为单一方向的模糊图像，且无法获得估计图像的模糊核，其复原图像也存在一定的振铃效应，不如参照方法2(图(c))和本文方法.从参照方法2(图(c))和本文方法主观观察上进行评价，图像复原质量较为接近，但参照方法2(图(c))在“0427”等数字特征边沿和细节，“≤100枚”特征周围的结构稳定性方面不如本文方法(图(d)).

图3的图像复原质量评价指数如表2所示，编码曝光运动模糊图像(图3(a))评价指数最低；参照方法1(图3(b))和参照方法2(图3(c))能复原图像基本细节特征，但其复原结果不完善，评价指数居中，故均不如本文方法(图3(d))复原图像评价指数.

表2 本文方法和参照方法复原图像的质量评价指数对比

4.3 实际采集编码曝光图像复原实验

在实际采集编码曝光图像复原实验中，采集用图像传感器为具备图像分辨率为1024×768的ICX204AL、采集镜头焦距为12mm.预设曝光编码、参数设置均与4.1节相同，利用本文方法和参照方法对比进行.

图4所示实验为传统普通曝光和编码曝光采集图像复原方法的对比实验.实验采用同角度双相机同时采集曝光，其一为传统曝光方式采集运动模糊图像，另一为本文提出编码曝光采集方式采集运动模糊图像.

图4 传统曝光和编码曝光采集方法复原图像对比

图4(a)图像为利用传统曝光方法采集，利用文献[21]复原方法复原图像如图4(b)所示，其细节的局部放大如图4(c)所示.本文方法采集图像如图4(d)所示，复原结果如图4(e)所示.两种方法估计的模糊核方向与实际运动方向相同，同时图4(e)的模糊核有间断表示曝光过程含有编码，其细节的局部放大如图4(f)所示.

由于实际采集过程中，传统曝光方式相较于编码曝光，为全“1”编码，故在相同采集时间内传统曝光方式得到的光通量要大于编码曝光，从图像上即为传统曝光模式采集的图像普遍亮于编码曝光采集图像.然而在传统曝光方法中，连续采集的相对运动模糊图像有效的细节信息均被滤除，无法保存在采集图像中，故复原图像边沿等细节复原振铃效果明显，图像质量欠佳，如图4(b)所示.编码曝光图像采集过程相当于将入射光调制，即将有效细节信息保存在模糊图像中，边沿等细节信息复原正确效果较好，如图4(f)所示，从细节局部放大图像4(c)可以看出，图像细节、边沿复原效果较好，振铃效应较弱，图像中文字清晰可见，如“XILINX”、“Evaluation Platform”、“Virtex-5 FPGA ML501”等文字及线型图像细节基本复原.

图5所示实验是与基于最小化残差平方和的编码曝光图像去模糊方法[13](参照方法1)的对比实验.由于该方法主要针对单一方向的相对运动进行图像复原且不能估计模糊核，因此，本实验为相机与目标进行单一相对运动方式，目标快速运动时采集图像的复原实验.图5(a)为本文方法采集到的运动模糊图像，其局部放大如图5(d)所示；参照方法2复原结果如图5(b)所示，其局部放大如图5(e)所示；本文方法得到复原结果及模糊核如图5(c)所示，其局部放大如图5(f)所示.在本文方法中，估计的模糊核中断续过程明显，说明具备目标图像的调制过程，能够采集目标细节.就复原图像结果相比较，如图5(c)所示，本文方法复原结果在文字脉络、笔画细节等如“著”、“等译”、“(续)”、“珠玑”等恢复良好，可读性较强.

图5 本文方法与Huang[13]方法的编码曝光图像复原对比

图6所示实验是与基于L0正则化的编码曝光图像复原方法[15](参照方法2)的对比实验.

图6 本文方法与李[15]方法编码曝光图像复原对比

图6(a)为本文方法采集到的运动模糊图像，其局部放大如图6(d)所示；参照方法2复原结果如图6(b)所示，其局部放大如图6(e)所示；本文方法的复原结果及模糊核如图6(c)所示，其局部放大如图6(f)所示.由于轻微抖动导致运动路径相互叠加，故本文复原图像6(c)模糊核中的间断不明显，图像中“高清转换器”、“DOREWIN”和“HD CONVERTERS”等字符和文字相对于参照实验复原效果较好，细节基本复原.

与仿真合成实验相似，实际采集的编码曝光图像复原仍须客观图像质量评价，如表3所示.实际采集图像实验包含运动模糊图像、参照方法复原图像以及本文方法复原图像三类图像的进行评价参数比较.

表3 实际采集编码曝光图像复原的质量评价指数

从表3中可以看出，利用本文方法复原得到图像在各评价指标值相较于参照方法均提高明显，说明相较于其它复原方法，本方法复原图像细节信息更多、边沿更强.

5 结 论

本文利用编码曝光扩展了成像系统通频带，成像过程获得更多图像细节信息.基于极端先验构成的自然图像统计规律，本文利用能量最小化方法进行编码曝光运动模糊图像复原.通过仿真合成实验方法对比了在成像过程中的普通曝光和编码曝光复原过程及结果，实际采集编码曝光图像复原结果.实践证明，本方法能够将目标图像细节信息调制并在复原过程中有效解码复原，获得更高的图像质量.