动目标多视点基于标定的去模糊方法

章秀华，洪汉玉，华夏，白浩玉，时愈

武汉工程大学电气信息学院，湖北 武汉 430205

动目标多视点基于标定的去模糊方法

章秀华，洪汉玉，华夏，白浩玉，时愈

武汉工程大学电气信息学院，湖北 武汉 430205

针对三维视觉检测技术应用中动目标多视点去模糊的难题，提出了一种动目标多视点基于标定的去模糊方法.首先估计部分视点模糊图像（以两个视点的模糊图像为例）点扩展函数.其次根据多视点几何关系，利用相机标定方法，得到各个相机的参数矩阵；结合估计出部分视点的点扩展函数和相关参数矩阵，以直线运动为例，建立多视点模糊图像的点扩展函数关系.最后在确保各视点模糊路径对应的关系前提下，对多视点图像进行整体去模糊.结果表明该方法对于对运动模糊图像恢复有很好的效果.

点扩散函数；多视点；运动模糊；图像复原

0 引言

在现代工业生产的产品加工过程中，将基于多视点成像的三维视觉检测技术应用在生产线上，实现产品的全自动、非接触数字精确在线测量，是产品数字化，信息化与智能化制造的必然需要［1］.然而，当人们试图将这种技术应用在生产线上时，却遇到了一些困难.产品在生产线上处于运动状态，拍摄的图像都会产生运动模糊，与静止情况下拍摄的图像相比，物体边缘不清晰、形状会失真，而且利用这些模糊图像进行三维重建，无法得到物体的完整结构表面，更不能实现视觉检测.因此，就必须通过图像复原技术对模糊图像进行处理，但是目前运用较广泛的单幅图像去模糊方法只是对一幅图像进行处理［2-3］，而一幅图像很难实现三维重建；同时多幅图像去模糊方法虽然图像数量增多了［4］，但是对这些图像的要求比较多，比如要求图像的背景相同等，这也不利于实现三维重建；如果把多视点运动模糊图像划分为逐个单幅图像进行独立去模糊后，这些图像仍然也无法进行三维重建，因为去模糊后的图像严重破坏了同名特征点的位置对应关系.

本研究提出了一种新的多幅图像联合去模糊的算法.结合现有的成熟的相机标定方法和单幅去模糊方法，通过任意两幅图像的点扩展函数和相对应的相机的内外参数，建立多视点点扩展函数的路径关系，求出其他相机所对应的模糊图像的点扩展函数.一旦知道了所有图像的点扩展函数，就可以利用现有的非盲目图像复原算法来获取清晰图像.

1 算法原理

1．1 多视点模糊图像采集系统

为了获取动目标多视点的模糊图像，首先需要建立多视点成像采集系统，多视点相机的数量可以根据实际需要来确定.每个相机在不同的角度和位置对目标进行拍摄，当拍摄视角和位置确定后，各视点相机的位置基本保持不变，采用同步信号发生器来控制多视点成像系统.

本研究建立了一套多视点图像采集系统.将物体放在一个遥控小车上，当拍摄静止的图像时，小车保持不动，当拍摄运动模糊图像时，用遥控小车实现运动.八个工业相机呈弧线排列从具有显著差异的视角来获取物体信息.利用同步信号发生器实时采集动目标多视点图像，图1展现了该采集系统中的硬件平台：

1．2 部分视点模糊图像点扩散函数路径的初步估计

从采集到的多视点图像中选择部分视点图像（这里选择两个视点图像），先估计出它们的点扩展函数（PSF）路径，然后利用已经估计出来的两个视点的模糊路径以及各视点模糊路径的对应关系来计算其他视点的模糊核函数.由于每个视点的模糊核以及原清晰图像都是未知的，要从单视点图像中同时估计出模糊核和原图像，这就要面对一个不适定问题，而估计出的模糊核的精度对复原结果起着至关重要的作用.本文采用基于边缘预测的模糊核估计方法来获得模糊核的初步估计值［4］.

图1 多视点运动模糊图像采集系统的硬件平台Fig．1The hardware platform of multi－view motion blurred image acquisition system

1．3 相机标定

目标图像的像素值表示空间场景中相对应位置摄入镜头里的光通量，这个像素的坐标信息与实际场景中的几何位置有关联［5］.通过相机的图像坐标系与空间物体的三维坐标系之间的关系，得到相机的参数的过程就是相机标定.本文选用传统法对相机进行标定，即张正友标定方法.该方法结合旋转矩阵的正交性条件和非线性最优化［6］.从两个以上的不同角度用相机对平面模板进行拍摄，平面模板是一个类似国际象棋棋盘的平面，如图2：

图2 相机标定板Fig．2camera calibration plate

1．4 多视点模糊图像点扩散函数路径关系的建立

在多视点成像系统中，若给定空间点（x，y，z），其在视点成像面上的投影坐标为（u，v），空间点坐标（x，y，z）和投影点坐标（u，v）的对应关系可通过一个相机参数矩阵来描述：

其中d为空间点（x，y，z）的景深（距离），（u，v）是空间点在图像坐标系中的坐标，相机参数矩阵元素值是通过标定方法得到的相机参数，不同视点的相机具有不同的内外参数.

三维空间中运动物体上的不同的点的运动向量大小是一样的，因此，在物体上任意选择一点m，把位置A和位置B分别作为起点和终点.令（uA，vA）是点m在位置A时，所对应的点在图像坐标系中的坐标，dA是点m到相机平面的景深（距离），同理（uB，vB）是点m在位置B时，所对应的点在图像坐标系中的坐标，dB是此时点m到相机平面的景深（距离）.物体在世界坐标系中，从位置A运动位置B，相应的在i，j视点的成像平面上也分别从（uA（i），vA（i））运动到（uB（i），vB（i）），（uA（j），vA（j））运动到（uB（j），vB（j）），由公式（1）可推导出i，j对应的空间位移分别为：

由于各视点图像中，点m在空间中移动的距离是相同的，于是，根据公式（2）和（3），可建立视点i和视点j图像点扩展函数路径的关系如下：

各视点图像的点扩展函数只与其点扩展函数路径有关，即

psfi＝h（Δu（i），Δv（i）），psfj＝h（Δu（j），Δv（j））．根据1．2介绍的单视点图像模糊核估计方法估计出视点i和视点j的点扩展函数路径，（Δu（i），Δv（i））和（Δu（j），Δv（j））将这两对值代入公式（4）中，即可得到包含两个景深未知参数dB（i）和dB（j）的三个方程，这是个超定线性方程组，利用最小二乘法的最小误差即可求出深度dB（i）和dB（j），当求出（Δu（i），Δv（i）,dB（i）），其他视点图像的点扩展函数路径（Δuˆ（n），Δvˆ（n））及dB（n）深度值可以通过如下关系方程计算：

点扩展函数路径确定后，根据两视点图像点扩展函数值的线性映射关系及能量守恒（点扩展函数离散值之和为1）通过线性插值可确定该视点的点扩展函数的值.

1．5 基于点扩散函数内在关系的多视点模糊图像的去模糊方法

根据1．4节内容，我们可以得出各视点图像的具有对应关系和整体一致性的点扩散函数同名路径和点扩散函数值，在各视点图像模糊核都已估计出且确保了对应性和一致性的前提下，对模糊图像进行整体去模糊.为了克服噪声的影响并且保护图像的细节，提高图像恢复的质量，本文采用基于保护边缘的各向异性正则化理论与最大似然估计复原算法相结合的方法来恢复图像［7－9］.与传统方法相比，该方法在各个方向上使用不同的平滑系数，从而抑制了背景平滑区域中的噪声.

本文采用泊松随机模型来估计图像噪声分布，假设模糊图像灰度值g（y）是以i（y）为均值的服从泊松分布的独立随机变量，i（y）是不含噪声图像的灰度值.根据泊松分布模型，对模糊图像的联合概率泊松分布求对数可得到如下对数似然函数：

由于图像中相邻点的灰度值是高度相关的，可以将相邻点的灰度值的差异最小化作为空间相关性的约束条件，因此加入基于图像梯度的各向异性正则化的辅助代价函数：

为了保护图像边缘，采用较小的正则化系数对大梯度进行较轻的平滑以保护边缘的大梯度，利用较大的正则化系数来对小梯度边缘进行较重的惩罚，从而抑制了背景平滑区域中的噪声，不同的方向采用不同的正则化系数.将公式（7）的最小化转化为最大化的准则函数形式：

将上述辅助准则函数加入到对数似然函数（6）中，可通过求解基于边缘保护的正则化辅助函数与似然函数相加的函数最大值来复原图像，即对原图像f求导，并令其导数为零，求解该系统方程则得到复原图像.采用迭代求解，在迭代过程中，给定模糊核hˆ的值，则通过非线性迭代不断更新fˆ（n＋1）的值，直至得到清晰的原图像，公式表示为：

2 结果与分析

本节为了验证动目标多视点运动去模糊方法的有效性，进行了大量的复原实验.这些实验包括点扩展函数的估计与优化验证实验，对直线运动和斜线运动实际模糊图像的复原实验.本实验算法是在VC6．0平台上用C＋＋编程实现.本文所有实验均在3．06 GHz的CPU4G的内存的计算机上运行得到.

2．1 部分视点点扩散函数初步求解

将相机采集系统的8个相机分别标号（1－8号），通过采集系统获取部分视点物体的静止图像以及不同运动形式下的实际运动模糊图像.将5号相机获取的物体静止图像进行运动仿真模糊，得到两种不同运动形式下的模糊图像，并求出相对应的点扩展函数.如图3所示，其中图3（a）是原始的清晰图像，图3（b）是水平运动仿真模糊图像，图3（c）是斜线运动仿真模糊图像.它们相对应的点扩展函数分别是图4和图5.其中，图4（a）是真实的水平运动模糊点扩展函数，图4（b），图4（c）分别是初步估计的点扩展函数和优化后的点扩展函数.对比真实的点扩展函数，可以看出优化后的点扩展函数非常接近真实的点扩展函数.图5（a）是真实的斜线运动模糊点扩展函数，图5（b），图5（c）分别是初步估计的点扩展函数和优化后的点扩展函数.对比真实的点扩展函数，同样也可以看出优化后的点扩展函数非常接近真实的点扩展函数.

图3 不同运动形式下的仿真图像Fig．3The simulated images from different mode of motion

图4 水平运动仿真的真实PSF与求解出的PSFFig．4The real PSF and solved PSF of the simulated image from horizontal motion

图5 斜线运动仿真的真实PSF与求解出的PSFFig．5The real PSF and solved PSF of the simulated image from slash motion

2．2 多视点运动图像去模糊实验及分析

为了验证本文算法对实际运动模糊图像的有效性，选择8个视点实际的运动模糊图像做测试.图6（a）到图6（h）是8个相机采集的实际水平运动模糊图像.图8（a）到图8（h）是8个相机采集的实际斜线运动模糊图像.

实验一：水平运动模糊图像复原

这次选择视点1和视点8，先分别估计出这两个视点的点扩展函数，然后建立多视点点扩展函数关系，进而求出其他视点的点扩展函数，最后对图6的8个视点的图像进行联合去模糊.图7分别是对应的视点的复原图像，其右下角是其相应的点扩展函数.从结果可知，与实际模糊图像相比，复原图像的汉字能清晰辨别，各个视点的点扩展函数与仿真时相比比较接近，更符合前面章节对多视点运动模糊路径的分析.

实验二：斜线运动

选择视点2和视点7，先分别估计出这两个视点的点扩展函数，然后建立多视点点扩展函数关系，进而求出其他视点的点扩展函数，最后对图8的八个视点的图像进行联合去模糊.图9分别是对应的视点的复原图像，其右下角是对应的点扩展函数.从结果可以看出，复原图像的英文词组非常容易辨别，而在模糊图像上相同位置的词组几乎辨别不出.同时每个视点的点扩展函数与仿真图像复原得到的点扩展函数相比非常接近.

图6 实际水平运动模糊图像Fig．6 The real horizontal motion blurred image

图7 实际水平运动模糊图像恢复结果Fig．7The restoration results of real horizontal motion blurred image

图9 实际斜线运动模糊图像恢复结果Fig．9The restoration results of real slash motion blurred image

3 结语

本研究提出了一种新的动目标多视点运动去模糊方法.该方法在多视点几何理论的基础上，寻求多视点的运动模糊图像的点扩展函数路径和模糊核之间的关系.并在确保各视点模糊核的对应性和一致性的前提下，对多视点图像进行联合去模糊.实验结果表明本文方法对运动模糊图像恢复有很好的效果.

致谢

本工作得到国家自然科学基金委员会，湖北省科学技术厅和武汉市科技局提供的资金资助，在此一并致以衷心的感谢.

［1］洪汉玉．现代图像图形处理与分析［M］．武汉：中国地质大学出版社，2011：1－2．HONG Han－yu．Advanced processing and analysis for image and grahics［M］．Wuhan：China University of Geosciences Press，2011：1－2（in Chinese）

［2］CHEN W G，NANDHAKUMAR N，MARTIN W N．Image motion estimation from motion smear－a new computational model［J］．Pattern Analysis and Machine Intelligence，1996，18（4）：412－425．

［3］HONG Han－yu，TIAN Xu-Zhang．Fast restoration approach for rotational motion blurred image based on deconvolution along the blurring paths［J］．Optical Engineering，2003，42（12）：3471－3486．

［4］HONG Han－yu，LI Liang－cheng，ZHANG Tianxu．Blind restoration of real turbulence－degraded image with complicated backgrounds using anisotropic regularization［J］．Optics Communications，2012，285（2）：4977－4986．

［5］马颂德，张正友．计算机视觉－－计算机理论与算法基础［M］．北京：科学出版社，1998．

MA Song－de，ZHANG zheng－you．Computer vision，computer theory and algorithms［M］．Beijing：Science Press，1998．

［6］ZHANG Zheng－you．A flexible new technique for camera calibration［C］．IEEE Transactions on Pattern AnalysisandMachineIntelligence，2002，2（11）：1330－1334．

［7］HONG Han－yu，PARK I K．Single－image motion deblurringusingadaptiveanisotropicregularization［J］．Optical Engineering，2010，49（9）：1－13．

［8］HONG Han－yu，ZHANG Tian－yu，YU Guo－liang．Regularized restoration algorithm of astronautcal turbulence－degraded images using maximum－likelihood estimation［J］．Journal of Infrared and Millimeter Waves，2005，24（2）：130－134．

［9］HONG Han－yu，WANG Jin，ZHANG Tian－yu，et al．Study on acceleration technique of circulation iterative restoration algorithm for infrared target images［J］．JournalofInfraredandMillimeterWaves，2008，27（2）：115－118.

Multi－view motion of moving target deblurring based on calibration

ZHANG Xiu－hua，HONG Han－yu，HUA Xia，BAI Hao－yu，SHI Yu
School of Electrical and Information Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To solve the problem of multi－view motion blur in application of three-dimensional vision inspection，a new multi－view motion deblurring method was proposed．Firstly，the point spread function of some view motion－blurred images was estimated（We took two view motion－blurred images as examples）．Then，the parameter matrix of each camera was obtained by a camera calibration method．The corresponding relationship between these point spread functions was built by using the parameter matrix of each camera．Finally，the multi－view motion blurred images were restored as a whole based on the premise that the corresponding relationship between these point spread functions was ensured．The results show that the proposed method improves the effect of image restoration for the multi－view motion blurred images．

point spread function；multi-view；motion blur；image restoration

TB35

A

10.3969/j.issn.1674-2869.2014.012.011

1674－2869（2014）012－0056－07

本文编辑：张瑞

2014－11－25

国家自然科学基金面上项目（61175013）；湖北省自然科学基金创新项目（2012FFA046）；武汉市国际科技合作计划项目（2014030709020310）

章秀华（1976-），女，湖北天门人，副教授，博士．研究方向：图像处理与模式识别.