颤振快门图像重建的改进方法研究

孙小桐 陈戈珩

摘要：相机与拍摄对象之问的相对运动会在拍摄到的图像中引入运动模糊。非模糊图像的重建由于空间高频率的丧失而具有病态性。颤振快门通过在曝光过程中快速打开和关闭快门来保持高频率，提供了极大的改进。文中解决了从抖动快门图像重建不模糊图像的两个开放问题。给出了一种在保留图像细节的同时减少重构噪声的降噪技术，和一种自动估计运动模糊点扩展函数的方法。这些技术共同提供了大幅改进，以重建颤振快门图像。

【关键词】运动模糊 编码曝光 PSF 估计 降噪

数码照片要求在拍摄时，相机和场景中的任何物体之间不存在相对运动。任何运动物体的图像都将沿着运动方向模糊。这种模糊被称为动态模糊，是数码照片中最常见的认为造成的现象。在某些情况下，由物体运动引起的模糊是有用的。例如，它创造了一种运动的印象，并帮助观众识别运动的方向，尤其是在静止的照片中。然而，在数码摄影中，运动模糊通常被认为是不可取的。运动模糊降低了图像的质量，这样就不可能在有大量运动模糊的照片中区分不同的对象。本文对利用Raskar等的flutter shutter技术（也称编码曝光）对图像进行后处理提出改进，flutter shutter camera通过在图像曝光期间多次快速打开和关闭快门保存高频信息。保留的高频信息极大地改善了非模糊图像的重构。然而，也有几个问题没有解决。两个显著的开放性问题是重建过程中图像噪声的放大，以及运动模糊的点扩散函数（PSF）的手工规范要求。本文介绍了颤振快门及其相关工作。然后讨论了运动模糊图像捕获的仿真，包括颤振快门的仿真，及提出的降噪技术。

1 颤振快门及其相关工作

1.1 编码曝光摄影（抖动快门）

Raskar等人提出了编码曝光摄影。在这种方法中，在一次曝光中，使用伪随机双元序列多次打开和关闭快门。这一过程将高频空间信息保存在模糊的图像中一一编码的摄影图像看起来就像许多单独的短曝光被组合在一起，而这实际上就是正在发生的事情。例如，图1显示了使用模拟的颤振快门相机捕获的移动汽车。

在传统的相机中，物体在曝光时间内的运动定义了一个框过滤器，用来模糊物体的图像。抹片破坏了高频空间细节，因此反褶积重建成为一个不确定的问题。使用颤振快门，污迹被转换成宽带滤波器，在模糊的图像中保留高频细节，重建成为一个很好的问题。Raskar等人确定了一個接近最优的二进制序列来调制快门，并证明了该技术能够成功处理较大的模糊。

编码曝光photography的两个重要限制是需要人为手动指定模糊的PSF，以及在重构过程中图像噪声的放大。后者部分是由于颤振快门本身降低了进入相机的光线一一随后对图像亮度的校正放大了图像的噪声。本文讨论了图像降噪和PSF估计这两个问题。

1.2 去噪

去噪的目标是去除图像中的噪声，同时尽可能保留重要的特征。有许多不同的图像去噪算法适合不同的情况。传统的去噪方法采用线性滤波方法，如维纳滤波、移动平均滤波和低通滤波。这些技术降低了噪声，但同时也存在图像平滑、特征定位不佳、噪声抑制不完全的副作用。非线性技术如中值滤波在降噪方面是有效的，但也会消除图像细节。

混合滤波器结合多种去噪算法，以解决单个ap-proaches的不足。Ling和Bovik[10]将各向异性扩散与中值滤波结合，与单个滤波相比产生了更好的结果一一中值滤波去除的各向异性扩散产生了不必要的阶梯效应。然而，中值过滤器也去除一些细节，尖锐的角和细线。Raj an等[10]对该技术进行了修改，用非线性四阶PDE滤波器和中值滤波器代替了各向异性扩散滤波器。

由更新方程给出了四阶PDE扩散：

其中u是图像平滑，△t是离散时间步和△2表示图像的离散拉普拉斯算子。图1扩散系数函数。“11110000111100001111”。

这种混合滤波器即使在低信噪比的图像中也能保持高频细节，同时也能防止非对称扩散所产生的不良阶梯效应。在第3部分中，进一步修改了这项技术，以提供一种有效的方法去噪抖动快门图像而不丢失高频信息。

1.3 估计PSF

重构经过过滤的图像最困难的部分可能是估计未知的PSF。当需要从一个模糊的图像中估计PSF时，这种估计尤其具有挑战性。已经提出了几种技术，它们可以根据多个图像估计PSF，或者通过使用附加的硬件。然而，对于颤振快门技术，我们假设只有一个模糊图像可以用于PSF估计和重构。

编码曝光图像的PSF估计与传统运动模糊图像的PSF估计完全不同，因为现有的ap-proaches通常依赖于运动模糊的连续性质。例如，Lokhande等人和Sakano等人利用常规运动模糊PSF的功率谱中的O从模糊图像中识别PSF。这些技术在编码曝光图像上失败了，因为抖动快门代码是经过精心选择的，所以PSF是可逆的，并且在频率响应中不包含任何零。

Jia的[3]PSF估计方法概括了透明的概念，包括一个对象遮挡了部分曝光时间背景的图像区域。由于常规运动模糊的PSF是连续的，所以可以使用alpha matting来识别模糊。Agrawal和Xu修改flutter shutter代码，使PSF更适合alpha matting，但修改后的代码远非最优，增加重构噪声。此外，获得的PSF值非常不准确，特别是对于较大的模糊。

2 运动模糊图像捕获的仿真

为了实验的目的，要求在合理数量的情况下使用己知运动模糊的颤振快门图像。flurtershutter开发人员提供了少量真正的颤振快门图像。为了获得更多的图像，使用运动序列图像模拟了颤振快门技术。

模拟从帧间具有亚像素运动的运动序列开始。帧间运动要求很小，以便图像序列能够很好地逼近连续时间数据。从网络中获取合适的高速摄像机图像序列，并利用射线追踪软件POV-ray生成额外的序列。

真正的颤振快门图像包含自然噪声，这是相机的特点。这些是唯一用于研究降噪的图像。对于PSF估计的研究，我们还使用了由POV-ray生成的高速摄像机和图像序列的图像序列。高速相机的图像包含了自然噪音，并被纳入到模拟的颤振快门图像中。对于POV-ray图像序列，使用了Matlab函数为每个图像添加模拟噪声。加入了模拟放大器噪声作为高斯噪声，其方差在O.OOOl和0.001之间，还模拟了泊松射击噪声。

给定一个运动图像序列，摄像机模拟器将序列中的单个图像平均起来，生成一个输出运动模糊图像一一输出图像中的每个像素是输入图像中相应像素的平均值。传统的运动模糊是通过平均所有图像在一个时间范围内的运动序列。模拟曝光时间可以通过改变图像的平均数量来改变。

为了模拟颤振快门，图像的序列首先被分成相等的子集，代表了颤振快门代码的单个“排布”。每个印章的图像数量可能会改变模拟曝光时间（或运动速度）。例如，每个包含10个图像的分割比包含5个图像的分割表示更长的曝光（或更快的运动）。每个印章的图像平均在一起，形成一个模糊的图像，然后印章图像被合并到输出图像中，只有当颤振的快门代码位的那个印章是l。这两步方法允许通过简单地改变切割时间来创建不同尺寸的运动模糊。此外，可以产生非常大的模糊（通过使用非常大的切割尺寸），而不影响模拟模糊的质量或连续性。

3 降噪

3.1 算法

在本節中，采用Raj an等人的去噪算法来提高颤振快门捕获图像的质量。重要的是，这个方法能够在保留图像细节的同时降低图像噪声。本节介绍了对颤振快门捕捉到的图像进行去噪实验，并给出了实验结果。

将去噪算法应用于原始抖动快门捕获的图像，并将重建后的去噪图像与原始噪声重构图像进行对比。由于Raj an等人提出的算法最初是针对灰度图像设计的，所以在实现中将其分别应用到彩色图像的每个通道上。

3.2 去噪结果

测试了再构造前后的去噪算法，并进行了1- 15次的去噪迭代。在所有的情况下，发现预重构去噪在降低图像噪声的同时也能显著降低图像的清晰度。这在包含文本的图像中尤为明显。锐度的损失主要是由于应用了松弛中值滤波器。虽然放松的中值滤波器对不模糊图像的清晰度的影响可以忽略不计，但在重构之前，它会破坏编码模糊图像中包含的一些清晰细节。因此，经过重建，清晰的细节被丢失。重建后的去噪效果略优于重建前的去噪效果。输出图像的平滑度和锐度都比较低。然而，在某些情况下，反复使用放松的中值滤波器会降低图像的清晰度。这在大型物体运动中尤为明显。

为了进一步改善颤振快门图像的去噪，测试了Rajan等人提出的滤波器的修改。重构前后分别使用四阶PDE滤波器，最后只使用放松的中值滤波器，得到了明显的改进结果。这种方法产生了良好的结果，因为四阶PDE滤波器的第一次应用在重构之前去除了一些传感器噪声，而没有去除高频细节。这反过来又减少了重建图像中的噪声，而不会损失质量。四阶PDE的二次应用进一步降低了重构图像中的噪声，放松的中值滤波采用图像平滑处理，对最终图像的清晰度没有明显影响。放松的中值滤波器对高噪声图像特别有用。图2显示了采用我们的去噪方法进行原始重构和重构的结果。

4 PSF估计

在他们的原始论文中，Raskar等人[1]手动指定PSF来重建每个图像。在本节中，我们提出一种适合于编码曝光图像的半自动PSF估计技术。

4.1 基于边缘的PSF估计

当将显示编码运动模糊的图像与颤振代码进行比较时，可以看到当代码改变时（例如当快门打开或关闭时），高频率出现在模糊中。例如，图3中的模拟图像显示了与特定的快门代码相对应的高频率内容。

实验证实了由代码转换产生的高频人工制品在所有抖动的快门图像中都是清晰可识别的，无论是真实的还是模拟的。这些人工制品可以通过边缘检测器提取，如图4所示，并用于估计对象的运动。通过对由编码模糊图像（包括模拟图像和真实图像）产生的Canny边缘检测，可以看出边缘检测器能够在所有情况下提取几乎所有的代码转换。丢失的转换是由于代码中的孤立的O和1造成的。例如，代码开头的序列“10100”只产生一条边，因为没有检测到孤立的O。对图3的图像进行边缘检测，得到图4所示的结果。从球的一边看边缘，运动由第一个被探测到的边缘到最后一个边缘的距离来表示。但是，如上所述，并不是所有的代码转换都被检测到。在这个例子中，实际的运动是73像素，但是边缘表示69像素的运动。将同样的技术应用于不同的图像，始终可以得到与实际运动相比的相似的检测运动比例。这个比率取决于快门代码的性质，可以用来修正基于检测到的边缘的运动估计。结果是对PSF的准确估计。

4.2 结果

我们的PSF估计技术的局限性类似于Raskar等人为fiutter shurter重建的一般。特别是，我们的PSF估计方法只适用于速度恒定、光照恒定的线性运动的场景。此外，PSF估计依赖于前景对象上的边缘检测，不适用于背景介绍额外边缘或物体有多个边缘的图像的部分。对所给出的PSF估计方法进行了仿真，可以得出结论，区域选择并不困难，只要背景整洁。在每个示例中，PSF都被成功提取。

5 结论

颤振快门相机在运动模糊的图像中保持了高频率的信息。根据先前提出的运动模糊PSF的手动规范，从颤振快门图像中重构非模糊图像，得到具有显著噪声特性的结果。已经可以证明，重构噪声可以通过在重构前后使用四阶PDE去噪滤波器来减少重要图像信息的丢失，最后使用一个放松的中值滤波器。还演示了一种基于边缘检测的从模糊图像中提取运动模糊PSF的半自动技术。这种方法要求用户选择图像的适当部分，然后进行分析以确定动态模糊PSF。该技术精度高，重建效果好。未来的工作可以使用更复杂的技术来识别边缘检测到的图像中的运动人工制品，可能提供一种完全自动化的PSF提取方法。这将使颤振快门技术适合非技术用户。

（通訊作者：陈戈珩）

参考文献

[1]R. Raskar，A. Agrawal， and J.Tumblin，“Coded exposure photography： motiondeblurring using fluttered shutter，”in SIGGRAPH' 06： ACM SIGGRAPH 2006Papers， New York， NY， USA， 2006.

[2]S. Mealing， The Art and Science ofComputer Animation. Intellect Books，1998.

[3] J. Jia， "Single image motiondeblurring using transparency，" inCVPR07， 2007， pp. 1-8. [Online] .Available： ht t p： //dx. doi. org/10. 1109/CVPR. 2007. 383029.

[4] D. Kundur and D. Hatzinakos， "Blindimage deconvolution，” in IEEE SignalProcessing Magazine，May 1996， pp.43-64.

[5] Q. Shan， J. Jia， and A. Agarwala， "High-quality motion de- blurring from asingle image，” ACM Transactions on Graphics （SIGGRAPH）， 2008.

[6] A. Levin， P. Sand， T. S. Cho， F. Durand， andW. T. Free- man， "Motion-invariantphotography，" ACM Transactions on Graphics

（SIGGRAPH 2008） ， p. A. 71，August 2008.

[7] K. N. Nezarnoddini， P. W. Fiegu t h， and

E.Jernigan， "Bayesshrinkridgelets forimage denoising，” in ICIAR04，2004，pp.l：163-170.

[8] A. C. Bovik， Handbook of Image and VideoProcessing. Academic Pres s， 2005.

[9] Y. Yan， B. Guo， and W. Ni， "Imagedenoising： An approach based onwavelet neural network and improvedmedian filter- ing，" in WCICA06，vol. 2， 2006， pp.10 063-10 067.

[10] J. Rajan， K. Kannan， and M. R.Kaimal， "An improved hybrid modelfor molecular image denoising， "JMIV，vol. 31，no.l，May 2008.