运动模糊图像交互式恢复研究

吴垠，黄新，陈鹏

（1.成都市委办公厅，成都610041；2.中国人民解放军32620 部队，成都610041；3.西华大学计算机与软件工程学院，成都610039）

0 引言

随着各种电脑、移动终端的普及以及互联网的不断发展，图像处理技术目前已获得了广泛应用，在光学、航空航天、摄影摄像、监控、遥感探测、公共安全等领域发挥着巨大作用，其中，对图像模糊进行恢复处理是非常重要的一个分支，同时也是一大技术难点。

本课题从数字图像处理角度，尝试采取人机交互的方式恢复运动模糊图像。在日常生活中图像运动模糊较为常见，由于人们通常使用的是较为普通的成像设备，曝光时间较长，因此运动速度较快的目标物体就会在成像时产生运动模糊。在一些紧急情况下，例如对肇事逃逸车辆的抓拍，由于车辆速度太快而不能清楚显示车牌号，对模糊图像的恢复就显得非常重要。另外在军事领域、微观领域、运动模糊现象也十分普遍，导致某些细节信息无法准确获取，因此研究图像运动模糊恢复具有很大的理论价值和现实意义。图1 展示了在实际生活中获取的运动模糊图像实例。从图中可以看出，运动模糊图像又分为了几种情况，大致包括全局模糊、局部模糊和综合模糊，其中综合模糊可能是由图像多次运动模糊的叠加或者图像中多个目标物体的不同运动造成的不同模糊引起。但不论图像运动模糊属于哪种情况，目前的研究和技术对其进行恢复大致流程及方法依然是相似的。

图1 运动模糊图像实例

对图像因运动产生的模糊进行恢复，关键是要推导出造成模糊的PSF 函数（点扩散函数）。根据产生模糊的原因建立图像退化模型以后，通过采用一定算法求取PSF 函数中的相关参数（对于匀速直线运动模糊，参数包括模糊角度和模糊长度），从而推导出图像退化函数。如果能获得较为准确的退化函数，之后采用一些经典滤波算法就能较好的实现图像模糊恢复。因此退化模型的建立以及求取参数的准确性对图像恢复的效果至关重要。但是目前的算法大多是针对单一的运动模糊图像进行处理，在较复杂的运动模糊环境例如图像中多块区域产生不同运动模糊，难以建立准确的退化模型或者对模糊参数的求取存在较大误差，因此从这个角度出发，本文研究的主要问题是采用何种人机交互的方式便于利用现有算法求取最优模糊图像恢复效果。

1 相关研究

运动引起的模糊在模糊图像中占有很大比例。运动模糊会使得目标物体边缘像素与背景图像像素产生叠加，细节信息也不再清晰，给人对图像的辨识及处理带来很大困扰。因此，世界各国投入了大量资源对其进行研究。

目前针对运动产生的模糊图像恢复技术可大致分为硬件和软件方式两类。

（1）硬件方式

这种方式是依靠提升成像设备的精度和数量，从而抑制或判断图像产生的模糊程度。例如吴家谷[1]提出了一种采用两台成像设备估算图像模糊程度的方法，依靠一套同步控制系统对两台成像设备进行控制，一台拍摄产生运动模糊的图像，另一台估算图像模糊角度和模糊长度。但这种恢复方法成本过高，且操作困难，难以普及。依据这个相同原理，另外提出了一种分别采用长曝光和短曝光生成两幅图像的恢复方法[2]，但这种恢复方法在在实际操作中很难实现。

（2）软件方式

这种方式不依赖于提升硬件质量，而是通过处理运算实现对模糊图像的恢复。软件方式主要又可以分为两类：

①估算运动模糊参数

能够分析模糊图像特征信息并估算出其模糊参数值，通过模糊参数值计算出模糊图像的点扩散函数PSF，然后采用逆滤波、维纳滤波等经典滤波算法对图像进行恢复得到恢复图像。

②估算运动模糊核大小

这类方法采用盲复原算法，无需估算模糊角度和模糊长度参数值，而是根据一定的先验知识，通过估算出图像运动点扩散函数PSF 大小，迭代运算寻求概率统计中的最优解，得到恢复图像。这种算法适用于点扩散函数PSF 参数值未知，但计算量很大。

本文采用通过估算运动模糊参数进而求取恢复图像。目前已有多种算法用于辨识模糊图像模糊参数。比倒频谱法[3]，Cannon 从运动模糊图像的频谱角度出发，证明了根据频谱特征鉴别模糊图像模糊参数的可行性。但在图像有噪声干扰的情况下其恢复效果不好。Kopeika 等人[4]通过对模糊图像频谱图进行研究，发现了运动模糊与频谱图产生的明暗条纹之间的关系。这种方法受噪声影响较低，但运算量较大。对于由匀速直线运动造成的图像模糊，在频谱上会出现多条平行分布的暗条纹，许多基于频谱的模糊参数辨识算法由此产生。

模糊函数参数在运动产生模糊时包括模糊角度和模糊长度两个参数。估算模糊角度参数值，基于空域的方法，是根据运动模糊使得在运动方向上的高频分量有所降低这个原理。陈前荣、陆启生、成礼智等人[5-7]直接在空域估计运动模糊角度，提出了基于3×3 方向微分和加权平均的运动模糊角度鉴别方法。但该方法只适用于纹理复杂和运动尺度较大的图像。基于频域的方法，徐立云、李霄峰等人[8-9]采用对模糊图像频谱图进行霍夫变换，使得频谱图中的明暗条纹及方向可以检测。但这种估算方法存在很大的估算误差，图像恢复效果较差。Masatoshi Okutomi 等人[10]采用一种相关系数法、Mahini 等人[11]采用Radon 变换，对模糊图像频谱图进行检测，进而估算模糊角度和模糊长度参数值。但同样这些方法在对模糊参数值的中存在误差，特别是对模糊长度值的估算是在估算出模糊角度值的基础上进行的，会进一步放大估计误差，对图像恢复质量带来较大影响。需要注意的是当所处理的图片为正方形时或运动方向为平行或垂直于水平轴时暗条纹方向才与运动模糊方向垂直，图片大小与参数值之间的关系公式将在第三章进行介绍[12]。

对于运动模糊长度参数的辨识，在频域主要采用通过检测模糊图像频谱中暗条纹之间的距离来进行推导[13]。贺卫国提出了一种对匀速直线运动模糊长度的精确估计方法[14]。另外辨识模糊长度比较常用的基于时域的微分相关法，通过估算出的模糊角度参数值调整图像使其与坐标轴水平方向平行，经过一阶微分运算后通过对自相关图负相关峰间距检测得出参数值。这种方式存在一定误差，但能够得到模糊长度值的大致范围。

在对运动模糊图像进行恢复的算法方面，逆滤波法[15]直接依据运动模糊退化模型进行反卷积运算，未考虑噪声因素。这种方式对无噪声模糊图像的恢复效果最好，但是对噪声非常敏感。为加强对噪声影响的抑制，由此产生了维纳滤波算法。Helstrom 在逆滤波算法模型中引入了噪声因子，从而抑制了噪声在逆滤波算法中的放大效应。但是维纳滤波算法中引入的噪声因子是个人为设定的常数值，并不是准确的噪声参数值，因此恢复图像未必是理论值。但是综合比较目前其他各种经典滤波算法，维纳滤波法依然适用性较强。

在人机交互技术方面，需要从以人为本的角度考虑如何便于将电脑处理信息有效传达给人，而人又如何能通过便利直观的方式将自己的反馈信息输入电脑，达到良好的人机互动目的。在交互方法上，宋发君[16]、周莉莉[17]等人立足于美学原则，通过设立一系列的标准和原则，提出了一系列如何通过提升界面美感来提高人机交互效率的方法和策略。在交互技术上，早期的人机交互方式主要是通过鼠标、键盘等，而随着技术的不断发展，目前已可通过触摸屏、手势、语音等多种方式进行交互。董建民、傅利民等人[18]从笔式、多通道、智能和三维交互等方式从用户界面角度对目前的交互接口技术进行了详细阐述。韦燕[19]从越来越普及的手机应用角度对人机交互在手机终端的设计及应用进行了分析阐述。随着技术的不断发展，越来越多的技术手段和产品引入到社会生活中，人机交互的方式方法也在日新月异的不断变化中。

2 运动模糊图像恢复方法的实验分析

2.1 运动模糊图像恢复方法的分析与比较

运动模糊可视为图像的一种卷积退化，图像恢复也可视为对模糊图像的去卷积过程。目前恢复运动模糊图像的方法主要包括两类：一类是通过模糊图像频域特征估算其模糊参数后，对其进行反卷积运算得到恢复图像。这类方法目前具有代表性的经典算法如逆滤波和维纳滤波法。另一类盲卷积算法通过模糊图像时域特征，依据某些先验知识估算出模糊图像模糊核大小，迭代运算寻求概率统计中的最优解，得到恢复图像。这类方法由于采用了迭代运算，恢复效果与迭代次数有关，运算量大。本文采用第一类方法，通过分析模糊图像的频域特征，估算出点扩散函数参数，因此不再使用盲卷积算法。

本文重点对以下三种经典滤波算法进行分析，并通过实验验证选取适用于本文设计的系统的恢复方法。

2.2 逆滤波复原

逆滤波算法很简单，是对模糊函数的反卷积运算。在没有噪声的情况下，采用准确的模糊函数进行逆滤波，其图像恢复效果也是所有算法中最好的。无噪声图像退化及恢复模型如图2 所示，原图像F（u，v）与模糊函数H（u，v）卷积形成模糊图像G（u，v），对G（u，v）进行函数H-1（u，v）的反卷积得到恢复图像。

图2 无噪声图像退化及逆滤波处理模型

图3 有噪声图像退化及逆滤波处理模型

当引入了噪声函数N（u，v），此时运动模糊图像公式变为：

其中f（x，y）是原始图像，h（x，y）是图像模糊点扩散函数，其值由角度和长度两个参数确定，n（x，y）是系统噪声，g（x，y）是在噪声和运动模糊综合影响下生成的模糊图像。逆滤波算法的过程就是在已知g（x，y）、h（x，y）、n（x，y）的情况下求f（x，y）的过程。对公式（1）做傅立叶变换，得：

通过公式（2）可得到：

对F（u，v）进行傅立叶反变换，就得到了复原图像f（x，y）。在没有噪声的情况下，公式（3）就变为：

从公式（4）可以看出，逆滤波算法只需要进行一次反卷积运算便能得出恢复图像，运算速度较快，对无噪声影响的模糊图像恢复效果也很好。但在实际生活中产生的运动模糊图像往往存在一定程度的噪声干扰，一般情况下噪声往往是个常数值，因此公式（3）表明随着运动模糊图像点扩散函数的衰减（存在0 点），噪声影响将不断放大，丢失大量图像有效信息，使图像恢复质量变差。所以逆滤波算法不适合处理信噪比比较低的模糊图像以及运动模糊图像。

2.3 维纳滤波复原

在对模糊图像进行反卷积的过程中加入了对噪声的处理，维纳滤波算法是一种改进的有约束的恢复方法，通过计算模糊图像与恢复图像的均方差，其最小值即为求取恢复图像。可用公式（5）表示：

维纳滤波法通过线性滤波来对模糊图像进行恢

复，寻求适当的滤波函数H（wx，y），得f(x,y)=Hw(x,y)*g(x,y)满足模糊图像与恢复图像最小均方差条件。

经过推导得出[8]，满足公式（5）的滤波函数为：

2.4 Richardson-Lucy滤波复原

Richardson-Lucy 是一种非线性迭代方法，它是由最大似然公式推导出来的。其迭代公式为：

公式（7）表示经过K 次迭代计算后，得到了恢复图像的估计值fk+1。一般情况下，K 值取得越大，恢复图像fk+1效果越接近于最优。但是迭代会进行大量运算，耗时很大，而且恢复图像的效果根据K 值的不同也会受到影响，因此在实际应用中R-L 滤波算法会受到一些局限。

2.5 三种恢复方法效果测试

（1）在无噪声影响情况下的测试

在MATLAB 实验仿真中，在没有噪声干扰的情况下，采用实际的PSF 来对运动模糊图像进行恢复。选取图片“考拉”，对选取图像以点扩散函数PSF 模糊角度30 度，模糊长度20 的参数值生成模糊图像，分别通过上一小节介绍的三种算法对模糊图像进行滤波恢复，得到恢复图像，效果如图4 所示。

图4 无噪声三种恢复算法效果比较

可以看出，在无噪声情况下逆滤波恢复算法和维纳滤波恢复算法对模糊图像的恢复效果较好，而且经过实验测试表明这两种方法运算时间较短。而采用RL 算法对模糊图像进行恢复耗费的运算时间最长，系统开销最大，因此在需要批量对模糊图像进行恢复时要尽量避免使用RL 算法。

（2）在有噪声影响情况下的测试

在实际应用中我们所处理的图像通常都是含有噪声的。下面是对三种恢复算法进行的加噪运动模糊图像恢复实验。对选取图像采用点扩散函数PSF 模糊角度30 度，模糊长度20 的参数值，添加高斯噪声，均值为0，方差为0.0001 生产模糊图像。分别通过三种算法对模糊图像进行滤波恢复，得到恢复图像，效果如图5 所示。

图5 有噪声三种恢复方法效果比较

3 交互式图像运动模糊恢复系统的设计与实现

3.1 目标提取模块

目标提取模块主要解决识别局部模糊图像模糊区域的问题。其过程是将不透明的目标图像从背景图像中提取出来，对截取图像通过复原恢复后，再与背景图像进行合并，生成最终恢复图像，如图6 所示。

图6 目标提取及合并示例

图6 A 中的飞鸟在飞行过程中产生了运动模糊，细节信息已不能清晰辨识。首先对目标区域进行提取，得到局部模糊区域图B，并将局部模糊区域位置信息输入到“图像恢复模块”，“图像恢复模块”对图B 进行恢复后通过人工选择得到恢复图像图C，此时可以看出飞鸟的模糊细节已得到较为清晰的复原，最后再利用该恢复图像的位置信息与图A 进行合并，得到最终恢复图像。

3.2 图像恢复模块

局部模糊图像经过“目标提取模块”对局部模糊区域进行提取后，得到大小为（x2-x1+100）×（n2-n1+100）的模糊图像，此时就需要按照第二章介绍的匀速直线运动模糊的参数估计算法对模糊图像进行恢复。模块运行过程主要有五个步骤：

（1）估算出模糊角度并给出暗条纹角度参考图。（2）通过估算出的模糊角度检测模糊长度并给出模糊长度参考图。

（3）通过估算出的角度和长度两个参数，采用维纳滤波算法对模糊图像进行恢复。对于算法估计存在的误差，采取对已估算出的模糊图像模糊参数进行微调整的方式，如果无法对参数进行估算，则采用对模糊角度和模糊长度参数进行全组合方式，用不同参数对图像进行恢复，得到多幅恢复图像。

（4）根据恢复图像出现的振铃效应程度，决定是否采取手段对振铃效应进行消除。

（5）通过“人工反馈模块”进行交互，尽可能选择得到最好恢复效果的图像。

上述流程中提到的“模糊角度参考图”和“模糊长度参考图”的作用是为人机交互时提供参考，在对恢复图像进行选择时可根据参考值快速定位。如图7 A 所示，暗条纹与垂直方向的倾斜角度代表模糊角度30度。如图7 B 所示，两个共轭负相关峰之间的距离的2倍代表模糊长度。

图7 人工交互参考图

3.3 人工反馈模块

“人工反馈模块”需解决通过人机交互方式对若干图像恢复结果进行识别，通过粗选和精选两个阶段分别选择出较好恢复图像和最佳恢复图像，并将较好恢复图像对应的模糊参数反馈给“图像恢复模块”。

通过系统“目标提取模块”和“图像恢复模块”的处理，已产生如下基础数据：

（1）恢复图像文件：假设对模糊图像已在模糊角度（1-180）和长度（10-50）分别以递进1 通过循环运算形成并存储了恢复图像180×40 幅，那么对这些恢复图像的命名方式采用5 位数字，前三位代表角度，后两位代表长度。例如：采用模糊角度3 度，长度15 的参数，对应生成的恢复图像则命名为00315。

恢复图像文件存储如下：

（2）模糊角度参考图：如果“图像恢复模块”已估算出模糊角度参数，则可以给出其参考图。见图7 A。

（3）模糊长度参考图：如果“图像恢复模块”已估算出模糊长度参数，则可以给出其参考图。见图7 B。

4 结果与分析

4.1 交互方法1测试：一次性选取

选取清晰图像“车牌”如图8 A，采用模糊角度34度、模糊长度27 的模糊参数进行人工模糊，生成模糊图像如图8 B。

图8 清晰图像与人工模糊图像

表1 交互方法1 测试结果统计表

4.2 交互方法2测试：粗选后精选

选取与“交互方法1”同样的图像，采用相同模糊参数进行人工模糊，生成模糊图像。

“图像恢复模块”在模糊角度1-180、模糊长度1-55 的范围内以渐进10 生成较好恢复文件并输入到“人工反馈模块”。10 位测试者分别通过对恢复图像进行粗选，得到粗选图像模糊参数，“图像恢复模块”以此粗选模糊参数生成最佳恢复文件并输入到“人工反馈模块”。10 位测试者分别通过精选后得到一组共十幅恢复图像，通过对这十幅图像进行交替打分后，得到分数及参数值统计如表2 所示。

表2 交互方法2 测试结果统计表

4.3 交互方法3测试：算法实现后精选

选取与“交互方法1”同样的图像，采用相同模糊参数进行人工模糊，生成模糊图像。

“图像恢复模块”通过算法估算后得到模糊角度及模糊长度参数值，并以此参数值生成最佳恢复图像并输入到“人工反馈模块”。10 位测试者分别通过精选后得到一组共十幅恢复图像，通过对这十幅图像进行交替打分后，得到分数及参数值统计如表3 所示。

表3 交互方法3 测试结果统计表

三种交互方式测试平均统计结果如表4 所示。

表4 三种交互方法测试平均结果统计表

从表4 的统计结果可以看出：

（1）采用交互方式，提高了模糊图像的恢复质量。

（2）在交互过程中，采用粗选->精选的步骤，与一次性选取相比减少了处理图像的数量，进一步提高了模糊参数的估计精度。

（3）将算法估计与交互方式相结合，不仅提高了模糊参数的估计精度，而且需要处理的图像数量以及人工交互用时最少。

5 结语

本文通过对图像模糊的成因进行分类，首先掌握其退化模型及退化函数，理解图像运动模糊的特性；其次是完成了三种经典滤波算法对运动模糊图像的恢复测试，掌握了其理论基础及不同条件下的应用情况，根据实验结果选择采用维纳滤波算法作为本文对运动模糊的恢复算法，并给出三种图像质量评价方式作为参考；然后重点针对匀速直线运动产生的图像模糊进行理论推导，研究了如何估算模糊长度和模糊角度两个参数，对振铃效应进行分析并提出了解决方案；最后结合实际应用详细介绍了“交互式图像运动模糊系统”的设计与实现，并对实际效果进行了测试。

设计实验完成了逆滤波算法、维纳滤波算法及RL算法的实现及比较。通过考察三种算法在不同限制条件下对匀速直线运动模糊图像的恢复效果，综合算法复杂度等因素总结出维纳滤波算法在对实际运动模糊图像的恢复中具有更强的适应性。介绍了两种图像质量客观评价方式，对主观评价方式进行了分析和设计。