基于增益控制Lucy-Richardson算法的脐橙模糊图像复原

龚中良，王习文，杜伟涛

(中南林业科技大学 机电工程学院，湖南 长沙 410004)

近年来，国内外利用机器视觉对农产品包装方法进行了广泛研究。中国是脐橙生产大国，但目前国内脐橙商品化包装还远未达到国际水平。现有自动化包装主要采用定长包装的方式，包装形式单一，不能满足智能包装的要求，因此使用机器视觉对脐橙实现变袋长包装成为当前研究重点[1]。在实际包装生产线上，运动脐橙与固定相机产生的相对运动造成了CCD传感器上的“像移”从而引起了图像的运动模糊，为后续的水果尺寸检测和特征提取带来不便，严重影响了包装精度。

现有研究主要集中在脐橙静态图像处理与测量，未考虑脐橙在运动情况下产生的模糊图像的精确尺寸测量。从科学包装角度考虑，应综合水果在动态情况下所获取的模糊图像进行图像处理得到精确尺寸后进行包装。从一幅运动模糊图像中获得原始图像来计算图像目标物的精确尺寸，需获构造模糊图像的PSF[2-3]，从而反推估计出原始图像。李秀怡[4]用Radon变换对短模糊尺度下匀速直线运动模糊参数进行了准确估计。梁炯等[5]运用倒谱、图像自相关性以及检测函数等算法对模糊图像还原进行了仿真和比较，结果表明倒谱算法能准确地辨识模糊运动方向。Favaro[6]根据模糊图像的灰度信息进行模糊区域上的几何划分，赵鹏等[7]对于不带噪声的运动模糊图像进行Fourier变换转化到频率域，使用BP神经网络检测运动模糊尺度。李俊山等[8]针对模糊图像复原后常常存在的振铃现象，提出了一种基于边缘分离的去振铃复原方法。吕盼锋[9]对田间玉米模糊图像利用Lucy-Richardson进行了图像复原，取得了较好的复原效果。桂江生[10]利用矩阵广义逆(general matrix inverse，GMI)和奇异值分解(singular value decomposition，SVD)对运动水果模糊图像进行恢复，并与差分递推、投影迭代和盲去卷积方法进行了比较。

虽然上述研究在复原图像方面效果明显，但在复原图像边缘存在较为严重的振铃失真效应(ringing artifacts，RA)[11-12]，单纯的采用传统方法虽提高了图像的清晰度，但将模糊边缘变成了振铃波纹，其振铃对脐橙进一步的精确尺寸测量还是会引入较大误差。由于振铃失真效应破坏了脐橙边缘像素的连续性，因此本文将去振铃融入到复原过程中，使用基于增益控制lucy-richardson算法去除振铃效应，将复原后的图像与复原前的图像尺寸进行对比研究。

1 脐橙图像获取

1:工业相机;2:光源;3:待检测脐橙;4:传送链;5:显示屏;6:图像采集卡;7:处理中心;8:步进电机;9:果杯横截图1:Industrial camera;2:Light source;3:Citrus under detection;4:Conveyor chain;5:Displayer;6:Image acquisition board;7:Processing center;8:Stepping motor;9:Intersecting surface of citrus plate图1 脐橙图像采集系统Fig.1 Citrus image acquisition system

1.1 脐橙图像获取装置

脐橙图像获取装置如图1所示。基于机器视觉的脐橙包装系统包括图像采集及识别系统、包装执行系统两部分，采用PC-PLC的主从架构式。PC完成图像信息的采集与分析，PLC作为控制器实现包装机的各轴联动。当步进电机8带动传动链4上的脐橙3以某一速度匀速前进至图像采集区域时，光电传感器产生一上升沿信号触发工业相机1拍摄，在图像采集前，相机曝光时间、焦距、光照强度以及图像存储大小均保持一致。拍摄后的图像传输至图像采集卡6，进而传输至计算机处理中心7进行计算和分析处理。实验硬件平台采用德国Basler工业相机(型号为：acA750-30gc/gm)，其分辨率为752480，像素位深8 bit；代码编写及运行环境为：Matlab2013a。10个试验样本均选自采摘于秋季的本地脐橙。

1.2 脐橙模糊图像产生原理

图2 脐橙模糊图像形成原理Fig.2 Motion blurred image formation

在机器视觉获取脐橙图像中，视觉成像系统所产生的模糊图像如图2所示。因在曝光时间内，脐橙沿着某一方向做匀速直线运动，脐橙与CCD传感器垂直于摄像机镜头光轴进行平面运动，CCD传感器的模糊成像是在曝光时间内的光积分形成的[13],且传感器成像的尺寸要大于静止状态时的待测物实际尺寸。

视觉系统提取图像感兴趣区域(region of interest，ROI)，该区域面积像素尺寸为300×300。脐橙实际最大横径大小即脐橙图像中最大横径所占像素点个数与相机标定尺寸之积，其尺寸大小用L=K×P表示。L表示脐橙实际尺寸，K表示每个像素点对应的实际尺寸即标定尺寸，P是脐橙图像中最大横径所占的像素点个数。设定CCD相机与脐橙果杯顶部的垂直距离为760 mm摄像机标定过程中存在一定误差，采用多次标定求平均值减小误差。本实验中CCD标定结果：K=0.373 mm/pixel。

2 移动过程中模糊图像恢复

2.1 模糊图像点扩散函数估算

模糊脐橙图像复原的关键是求解图像退化模型中的点扩散函数[14-15]。假设脐橙图像fx,y相对CCD沿某一方向作二维匀速直线运动，设x0(t)和y0(t)分别是图像在x和y方向随时间变化的运动位移分量。在相机曝光时间T内，忽略噪声以及其他因素的影响，实际采集到的运动模糊图像gx,y为

(1)

对上式进行傅里叶变换得

(2)

式(2)中u，v分别表示x，y对应的频率变量，对上式进一步整理，再利用傅里叶变换的位移，有

(3)

式(3)中F(u,v)为f(x,y)的傅里叶变换，令退化函数H(u,v)为

(4)

联立(3)(4)两式，可得

Gu,v=Hu,vFu,v

(5)

给定运动量x0(t)和y0(t)，以及在x，y方向上的像移分别为a，b，可构建二维运动量与像移的关系式

(6)

设图像大小为MM，由式(6)可见，当t=T时，将式(6)代入式(4)，对其延拓后进行离散傅里叶变换得

(7)

式(7)中，u∈0,M-1,v∈0,M-1。

对上式进行傅里叶反变换，可得出

(8)

式(8)为模糊图像的点传递函数，L表示模糊长度，θ表示模糊角度。

2.2 匀速直线运动模糊参数与模糊图像频率域的关系

为了研究运动模糊参数对模糊图像傅里叶频谱的影响，联立(5)(7)两式并对其取模可得：

(9)

(10)

对模糊脐橙图像进行二维傅里叶变换，得到一组相互平行且按规律分布的明暗相间的条纹频谱，如图3所示，该图为一个匀速直线运动模糊脐橙的傅里叶频谱图，条纹亮度出现由中心向外逐渐递减的规律，条纹方向与运动模糊方向垂直。利用Radon变换对模糊图像频谱在其条纹垂直方向上进行投影，得出图4。

图3 傅里叶频谱Fig.3 Spectrum of Fourier transform

图4 频谱Radon投影Fig.4 Radon project of spectrum

通过傅里叶频谱图可以判断模糊脐橙图像的模糊方向，可在Radon投影曲线中准确获取模糊长度，可由曲线中心最大值点与其相邻极小值点的距离来进行计算。用Data cursor测出中心极大值点与左右两相邻极小值点距离为15，且在对称区间内，两相邻极小值点的距离均为15。根据L=M/d，计算得脐橙在水平方向上的模糊尺寸为L=20 pixels。由于频谱条纹垂直于水平方向，则水平方向为模糊方向，模糊角度θ=0°。

2.3 基于改进的Lucy-Richardson模糊图像复原

(11)

(12)

2.4 图像背景分割

解模糊后的图像首先经过平滑滤波处理，以抑制随机噪声模糊图像边缘的现象[20]。查看图像的R、G、B颜色分量以及各分量图像所对应的直方图，选取mR-nB颜色线性分量中最佳分割系数m、n，经过反复试验，最终选取m=1,n=0.9。

经过颜色分量线性运算，便将三维的彩色图像转换为一维灰度图像。0.9R-B灰度直方图如图5a所示。直方图中两个波峰相距较远，且颜色强度值分布很集中，在灰度值25～150，像素大小分布较少，且过渡平缓，说明在此灰度范围内的图像信息较少，在此区间选择分割阈值，都能实现比较好的脐橙本体和背景分割。在二值化图像中，计算各区域的面积为{a1,a2,…,an}，设定 T=1/3max{a1,a2,…,an}作为面积分割阈值。对特内部像素点个数小于该阈值的特征区域进行腐蚀，大于该阈值的特征区域进行填充来消除粘连噪声。

3 结果与分析

3.1 图像复原结果分析

本文选取10个脐橙在传送链上的运动模糊图像进行试验，选取其中1个脐橙处理前和处理后的图像结果进行展示。图6a为脐橙静止图像，图6b为在线拍摄的脐橙模糊图像，首先在matlab函数处理工具箱中调用deconvlucy函数实现LR(Lucy Richardson)滤波复原图像，经多次试验，当迭代次数N=10时，其图像复原效果最好；再利用本文改进LR算法进行仿真实验，当迭代次数为N=8时，其去振铃效应最为理想，图像锐度增强，边缘信息更加准确，能获得最准确的尺寸。其复原后的图像分别如图6c和6d所示。图5b、5c分别为6b和6d进行颜色分量线性运算后的图像。

图5 0.9R-B直方图及图像分割结果Fig.5 0.9R-B Color histogram and image segmentaion

图6 脐橙模糊图像与复原图像Fig.6 Blurred and restored citrus image

对二值化后的图像调取matlab中boundingbox函数计算最小外接矩形(minimum enclosing rectangle，MER)[21]。图7a为脐橙静态图像尺寸，图7b为二值化模糊脐橙图像，其形状尺寸远偏离实际情况，在水平方向上产生的拖影使得图像分割误差很大，导致横向尺寸远大于脐橙实际横向尺寸。通过7b、7c和7d进行对比，发现模糊图像和复原后的图像在纵向尺度上变化很小，绝对误差不超过4 pixels。通过背景分割误差导致的尺寸偏差，说明横向运动产生的模糊对纵向尺寸影响很小，可以忽略不计。

Note：L、H denotes the length and height pixel value of citrus image respectively.图7 脐橙图像尺寸测量结果Fig.7 Results of citrus image dimensional measurement

对比LR算法和基于增益的改进LR算法，实验中选取的样本脐橙在静止条件下其MER尺寸为(L=236 pixels，H=234 pixels)，直接采用LR算法复原的尺寸为(L=240 pixels，H=238 pixels)，其横向尺寸偏差为4 pixels，纵向尺寸偏差为4pixels。模糊脐橙图像尺寸为(L=258 pixels，H=233 pixels)，在横向模糊方向上，与模糊脐橙图像尺寸差为18pixels，表明传统LR算法复原图像后产生的振铃效应对图像分割产生的误差较大。本文改进的LR算法其分割的尺寸(L=237 pixels，H=235 pixels)，相对于静止图像，其横向尺寸偏差为1 pixel，纵向尺寸偏差为1 pixel，比较接近于脐橙实际尺寸。在横向模糊方向上，与模糊脐橙图像尺寸差为21 pixels，和上文PSF计算的模糊长度20pixels接近。通过对比，经过改进的LR算法所提取的MER尺寸误差要小于LR算法。

3.2 脐橙最大横径尺寸对比

为了验证此算法是否具有普适性，随机选取10个脐橙用游标卡尺对其最大横径测量5次，选取其平均值并对每个脐橙进行编号，将人工测量尺寸与脐橙在静态下CCD所获得的尺寸做对比分析，消除静态脐橙与人工测量脐橙产生的误差。设置对照组，获取脐橙在匀速直线运动下的模糊图像，以及将匀速运动产生的模糊图像应用文中算法进行复原处理。对比静态图像，模糊图像和本文算法复原图像三组脐橙最大横径数据，在最小外接矩形中选取较长边作为脐橙的最大横径[22]。表1列出了模糊图像和复原图像对比静态图像尺寸的数据关系。

表1 模糊脐橙图像与复原图像尺寸对比

图8 误差对比分析Fig.8 Analysis of error comparison

从表1和图8可知，以静态图像尺寸为基准，采取同样的背景分割算法，10个脐橙样本经过本文模糊图像复原算法后所检测出最大绝对测量误差1.25%，平均绝对测量误差为0.81%；而未经处理的模糊图像的最大绝对测量误差7.2%，平均绝对测量误差为5.1%。该组数据表明经过算法处理后分割出的图像尺寸更接近图像实际尺寸。

试验也表明当模糊长度大于60个像素时，误差估计值急剧增大，其还原图像的尺寸值无太大参考意义。因此当曝光时间设定为10 ms时，传送带的速度低于2.2 m/s时，模糊图像能较好地被复原，复原后的图像中脐橙尺寸接近于脐橙实际尺寸。

4 结 论

本文对脐橙包装时视觉系统获取的模糊图像提出了求解模糊长度并复原图像的方法。通过计算退化图像的点扩散函数，构建了匀速运动模糊参数与模糊图像频率域的关系，并分析了PSF频谱特征以及对频谱进行Radon变换。使用基于增益的改进Lucy-Richardson算法对模糊图像进行复原，并对复原后的模糊图像进行去噪，背景分割，二值化以及高级形态学处理，计算脐橙二值化图像的最小外接矩形来求得最大横径。

经过退化图像的点扩散函数对图像计算出模糊长度，并利用反卷积原理求解原图像，有效验证了复原模糊图像可以运用在由于匀速直线运动产生的模糊脐橙图像上。运用改进Lucy-Richardson算法后的模糊脐橙图像最大横径与实际脐橙最大横径绝对误差不超过1.25%，直接对模糊脐橙图像用0.9R-B颜色分量线性运算实现背景分割，其与实际脐橙最大横径最大绝对误差值为7.20%，表明估算PSF后，进行改进LR滤波复原后的图像尺寸更接近真实尺寸，使包装精度进一步提高。

[1] 马遥，过宏雷.水果销售包装的设计改良[J].包装工程，2010,31(20):78-81.

Ma Y,Guo H L.The design and improvement of fruit sales packaging[J].Packaging Engineering,2010,31(20):78-81.

[2] Moghaddam M E,Jamzad M.Finding point spread function of motion blur using radon transform and modeling the motion length[C]//Proceedings of the Fourth IEEE International Symposium on Signal Processing and Information Technology Rome,Italy:IEEE,2004:314-317.

[3] Jadhav R D,Deshmukh P P.Parameter assumption for blind and non-blind deblurring in image processing[J].International J Electrical Electronics and Computer Engineering,2014,3(1):1-9.

[4] 李秀怡，黄继风.基于Radon变换的运动模糊方向精确估计[J].计算机工程与科学，2008,30(9):51-57.

Li X Y,Huang J F.Accurate estimation of the motion blur direction based on Radon transform[J].Computer Engineer& Science,2008,30(9):51-57.

[5] 梁炯，许廷发，石明珠，等.一种提高匀速直线运动参数辨识精度的方法[J].北京理工大学学报，2012,32(8):818-823.

Liang J,Xu Y F,Shi M Z,et al.A method to improve accuracy of parameter identification for single image blurred by uniform linear motion[J],Transactions of Beijing Institute of Technology,2012,32(8):818-823.

[6] Favaro P,Soatto S.A geometric approach to shape from defocus[J].IEEE Trans Pattern Anal Mach Intell,2005,27(3):406-417.

[7] 赵鹏，曹军，韦兴竹，等.匀速直线运动模糊图像的模糊参数鲁棒识别[J].光学精密工程，2013,21(9):2430-2438.

Zhao P,Cao J,Wei X Z,et al.Identification of robust blur parameter for uniform linear motion blurred images[J].Optics and Precision Engineering,2013,21(9):2430-2438.

[8] 李俊山，张士杰，杨亚威，等.基于边缘分离的去振铃复原[J].光学精密工程，2014,22(3):797-805.

Li J S,Zhang S J,Yang Y W,et al.Edge-detached image restoration with ringing reduction[J].Optics and Precision Engineering,2014,22(3):797-805.

[9] 吕盼锋，李东明.实拍田间玉米运动模糊图像复原的研究[J].吉林农业大学学报，2016,38(4):489-493.

Lü P F,Song D M.Research on blurred image restoration of the real corn shoot movement[J].Journal of Jilin Agricultural University,2016,38(4):489-493.

[10] 桂江生，应义斌.基于矩阵广义逆和奇异值分解的运动水果模糊图像恢复[J].生物数学学报，2006,21(3):448-452.

Gui J S,Ying Y B.Blurred image resuming of moving fruit based on GMI and SVD[J].Journal of Biomathematics,2006,21(3):448-452.

[11] Cai L D,Zheng J W.Image blur caused by uniform linear motion and its removal using traveling wave equation and Hough transform[J].Second International Conference on Image and Graphics,2002,4875(1):268-275.

[12] Cai L D.Traveling wave equations and restoration of motion-blurred image[J].Acta Automatica Sinica,2003,29(3):466-471.

[13] Zhuo S,Sim T.Defocus map estimation from a single image[J].Pattern Recognition,2011,44(9):1852-1858.

[14] Tang C,Hou C,Song Z.Defocus map estimation from a single image via spectrum contrast[J].Optics Letters,2013,38(10):1706-1708.

[15] Cho S,Cho H,Tai Y,et al.Registration based non-uniform motion deblur[J].Computer Graphics Forum,2012,31(7):2183-2192.

[16] 陶丹，王峥荣，李光林，等.基于解模糊算法的蚕蛹图像恢复及雌雄识别[J].农业工程学报，2016,32(16):168-174.

Tao D,Wang Z R,Li G L,et al.Silkworm pupa image restoration based on aliasing resolving algorithm and identifying male and female[J].Transactions of the Chinese Society of Agricultural Engineering,2016,32(16):168-174.

[17] 毛罕平，张艳诚，胡波.基于模糊 C 均值聚类的作物病害叶片图像分割方法研究[J].农业工程学报，2008,24(9):136-140.

Mao H P,Zhang Y C,Hu B.Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm[J].Transactions of the Chinese Society of Agricultural Engineering,2008,24(9):136-140.

[18] 孔祥龙，李玉同，远晓辉，等.Lucy-Richardson算法用于针孔图像的恢复[J].物理学报，2006,55(5):2364-2370.

Kong X L,Li Y T,Yuan X H,et al.Restoration of pinhole images using Lucy-Richardson algorithm[J].Acta Physica Sinica,2006,55(5):2364-2370.

[19]Yuan L,Sun J,Quan L,et al.Image deblurring with blurred/noisy image pairs[J].ACM Transactions on Graphics,2007,26(3)：1.

[20] 张德丰.MATLAB 数字图像处理[M].北京：机械工业出版社，2012.

Zhang D F.MATLAB digital image processing[M].Beijing:China Machine Press,2012.

[21] 韩伟，曾庆山.基于计算机视觉的水果直径检测方法的研究[J].中国农机化，2011,237(5):108-111.

Han W,Zeng Q S.Research on fruit diameter detecting by using computer vision[J].Chinese Agricultural Mechanization,2011,237(5):108-111.

[22] 饶秀勤，应义斌.基于机器视觉的水果尺寸检测误差分析[J].农业工程学报，2003,19(1):121-123.

Rao X Q,Ying Y B.Analysis of errors in fruit size inspecting based on machine vision[J].Transactions of the Chinese Society of Agricultural Engineering,2003,19(1):121-123.