图像清晰度评价算法研究

孙红利， 冯 旗， 董 峰

(1.中国科学院 上海技术物理研究所，上海 200083；2.上海科技大学，上海 200080)

图像清晰度评价算法研究

孙红利1,2， 冯 旗1， 董 峰1

(1.中国科学院 上海技术物理研究所，上海 200083；2.上海科技大学，上海 200080)

通过图像清晰度评价函数判断离焦图像的清晰度是相机实现自动调焦的关键。使用最优离散余弦变换(DCT)系数的和作为评价图像清晰度方法，并用该评价方法与图像的调制传递函数(MTF)的变化趋势做相关性分析，以验证该评价方法的有效性。结果表明：基于离散余弦变换的评价方法可以得到与MTF相似的评价结果，归一化后，最清晰图像的判断值都为1，随图像变模糊时函数的下降趋势基本一致。

图像清晰度； 调制传递函数； 离散余弦变换； 相关性

0 引 言

基于图像处理的调焦主要通过评价图像清晰度来判断像平面是否在理想的成像位置上，若在理想像面上，所成图像最清晰。在频域方面，清晰图像比模糊图像所含的高频成分更多，在空域方面，清晰图像比模糊图像所包含的细节特征要多，灰度变化更明显一些。图像的清晰度评价算法可以用于作为调焦的判据。这样不仅提高了对焦精度，而且对成像系统的成本要求不高，因此成为调焦技术的重要研究方向。理想的调焦判定函数应是单峰的两侧下降的函数，有无偏性、单峰性、灵敏度高、信噪比好、高效性等特点[1，2]。

目前，常用的图像清晰度算法有很多，大致可以归结为：1)灰度梯度函数[3～6]，主要利用正焦图像比离焦图像的边缘更锋利，灰度变化更明显等特征，包括：绝对方差函数， Roberts梯度和函数，梯度向量平方函数，Brenner函数[3]，Laplacian函数，Tenengrad函数，Variance函数等。2)熵函数，正焦图像的信息熵比离焦图像要多。3)频域函数[7～9]，主要利用傅立叶变换[10]、小波变换等，通过比较正焦图像与离焦图像的高频分量，高频分量较多的是清晰图像[2]。

本文所使用的离散余弦变换(discrete cosine transform,DCT)系数评价图像的清晰度，通过比较高频分量信息来区分清晰图像和模糊图像可以取得很好的效果，但为了使结果更加可靠，同时用斜边刃法测量同一幅图像的调制传递函数(modulation transfer function,MTF)，两者的判断结果相同则认为该评价方法是可靠的。

1 基于DCT的图像清晰度评价方法

一幅图像经过DCT，图像的灰度值转为DCT系数形式，在8×8的图像中对应方向的灰度值转为DCT系数，如图1中低频成分分布在左上角，高频成分分布在右下角[11]。以DCT实系数表征图像的清晰度时，只选择最优的DCT实系数，因此计算复杂度比快速傅立叶变换要低。基于此优点，将M×N(M,N是8的倍数)图像分割为8×8的小块，则8×8图像f(x,y)的子窗口的DCT为

Fu,v=F(u,v)

(1)

式中

(2)

一幅图像的DCT系数和FV为

(3)

图1 8×8图像DCT 系数

如图1所示，高频成分分布在图像的右下角，所以,在8×8窗中分别计算各图像对角线分量即在式(3)中设u=v，得到特性较好的DCT 分量作为图像清晰度的评价指标如式(4)。同时出现多个特性好的DCT分量，可选择最优的分量共同作为图像清晰度的评价指标

(4)

k=u=v，k∈[0,7]

(5)

2 计算图像MTF方法

MTF作为国际公认光学系统的标准评价指标，光学系统的性能直接影响成像质量。但是它计算复杂难以在工程应用，但是它对图像清晰度的变化很敏感，因此,用它和图像清晰度评价指标做曲线吻合对比[12]，能够更好地评价图像清晰度。一般用分划板进行测量MTF，但在实际应用中往往存在很多困难，因此,在图像处理中经过用数学方法对MTF进行测量[13～15]。光学成像系统中

g(x,y)=h(x,y)*f(x,y)

(6)

式中 (x，y)为像元空间坐标，f(x，y)为输入原始图像，g(x，y)为系统输出图像，h(x，y)为系统响应函数，*为卷积。

将式(6)转成傅里叶变换

G(u,v)=H(u,v)F(u,v)

(7)

式中 G(u，v)，H(u，v)，F(u，v)分别为输出图像、响应函数、输入图像的傅里叶变换。在经典光学成像系统中，H(u，v)也称为光学传递函数(opticaltransferfunction,OTF)

OTF=H(u,v)=|H(u,v)|e-jθ(u,v)

(8)

通常传函是复函数，幅值是指MTF，相角是指相位传函(phasetransferfunction,PTF)。

简化上式

MTF=|H(u,v)|

(9)

此外，MTF可以定义为

MTF(f)=Mcaptured(f)/Moriginal(f)

(10)

在式(5)中，Mcaptured(f)，Moriginal(f)是输出图像和原始图像的调制。而图像的调制定义为

(11)

式中Imax，Imin为图像强度的最大值、最小值。

当输入的图像是一个冲击函数δ(x)，得到的输出图像就是点扩展函数PSF[16],表示为

PSF(x,y)=δ(x,y)*h(x,y)

=h(x,y)

(12)

当输入图像是线型函数f(x，y),表示为

f(x,y)=δ(x)l(y)

(13)

输出图像就是线扩展函数

LSF(x,y)=f(x,y)*h(x,y)

=PSF(x,y)*[δ(x)l(y) ]

(14)

由式(14)得

(15)

所以，x方向的MTF是线扩展函数经过傅里叶变换的幅值

MTF(u)=MTF(u,0)=|F[LSF(x)]|

(16)

当输入的f(x，y)是阶跃函数时，即

f(x,y)=u(x)l(y)

(17)

输出图像g(x，y)是边缘扩展函数

ESF(x)=f(x,y)*g(x,y)=PSF(x,y)*[u(x)l(y)]

(18)

简化式(18)得

(19)

所以，由式(16)和式(19)可以得到MTF

MTF(u)=MTF(u,0)=|F[LSF(x) ]|

(20)

由式(20)可以看出二维图像可通过计算某一方向的边缘扩展函数，微分，傅立叶变换得到这一方向的MTF。实际应该中，MTF计算方法是通过斜边刃、正弦波、矩形光栅目标以及相应测量方法来计算。本文通过提取斜边目标，通过边缘扩展函数(edge spread function,ESF)的微分得到线扩展函数数(line spread function,LSF)，再经过傅里叶变换得到空间频率，亦即MTF。

3 DCT评价图像清晰度

本文中所使用图像是以光栅为目标成像，在正焦位置前后先等距后不等距分别采集若干图像，最终得到排列顺序为离焦逐渐到正焦，再到离焦的15幅图像，如图2所示，最清晰图像为从左到右，从上到下的第8幅图标记为图2(a)，是在正焦位置所得。然后依次选择每幅图像中视场中心的相同位置截取合适256×256(长宽都是8的倍数)图像作为图像清晰度评价目标如图3，且图3 中每幅子图都是由图2中图像一一对应截取得到。

图2 原图序列

图3 256×256图像

在图像中通过8×8子窗口计算DCT，在8×8的窗口中分别计算DCT分量FV00～FV77(如图1)，再按式(3)求和，最终得到图4所示的曲线，本文按照图4 所示的8分量的曲线，选择最优分量的和即FV66作为图像清晰度的评价指标，即式(4)中k=6。

图4 图像序列的8个DCT分量和

最终由图4中FV66作为图像序列中图像清晰度的评价指标，对应于图2(a)最清晰，且逐渐变得模糊，评价指标能够虽然由两个小次峰，但是在一定范围内只有一个最大值，仍然可以得到图像清晰度的正确判断。

4 斜边刃测量图像MTF

在图2中各图像目标周边截取小尺寸的包含斜边刃的小图像作为本次图像的输入，如图5，首先提取刃边点并按照最小二乘法刃边轮廓拟合，然后获取距离-灰度数据，最后费米函数拟合得到ESF，如式(20)求导得到LSF，经过离散傅立叶变换并归一化得到MTF。最终得到各图像MTF曲线如图6所示。

图5 提取刃边区域

图6 15幅图像的MTF

本文中所采用探测器在奈奎斯特频率(fNyquist)为110 lp/mm，总MTF是0.16～0.18，而图像中测得，在fNyquist=100 lp/mm时，MTF最高为0.17。在fNyquist=100 lp/mm时，各图像的MTF值变化趋势如图6所示，图2中第8幅图的MTF值最高，则代表此图最为清晰。

5 结果分析

图3中所示的15幅图像中，第二排的5幅图像都比较清晰，其他图像则比较模糊。基于DCT 系数的变换趋势分析即如图4所示，只有FV66的曲线比较好，其他的DCT系数和因为噪声的影响，没有很好的变化趋势，最终图4中FV66 所示作为图像清晰度评价指标，该指标认为图2中第8幅图最清晰，两边逐渐在变模糊。

同时，图6中(a)中MTF曲线的变化趋势代表MTF下降的越快图像越模糊，下降的越慢图像越清晰，因此图2 中第1幅到第7幅图像逐渐变清晰，(b)所示第8幅到第15幅图像逐渐变模糊，正好是与图4中FV66的最大值两侧曲线的变化趋势相同。在图6中所示图2中第8幅图在fNyquist=100 lp/mm时，MTF最高为0.17，表明此图最清晰，且在探测器MTF范围内。基于DCT的评价指标和MTF得到的最清晰图像是同一幅，虽然有个别毛刺，如图7，同时FV值变化的较为均匀而MTF在第5幅图到第6幅图的变化很快，但是FV在清晰图像附近变化明显，而它两的变化总趋势是相同的，说明该评价方法与MTF有很好的正相关性。

图7 MTF与本文算法对比

6 结 论

通过基于DCT图像清晰度算法的分析，特别地，与利用斜边刃法测得的MTF做对比分析，结果表明:该评价指标能够反映图像清晰度的变化，与MTF有很好的正相关关系。 同时该算法又有计算简单，不需要像计算MTF一样手动截取带有斜边的目标，但是可以得到和MTF相当的图像清晰度评价结果。

[1] 朱孔凤,姜 威,王端芳,等.一种新的图像清晰度评价函数[J].红外与激光工程,2005,34(4):464-468.

[2] 金 雪,马卫红.图像调焦过程的清晰度评价函数研究 [J].光学仪器,2012,34(1):59-64.

[3] 王 健,陈洪斌,周国忠,等.改进的Brenner图像清晰度评价算法[J].光子学报,2012,41(7):855-858.

[4] 王 蔚,宁新宝,张 胜.基于图像清晰度的自动聚焦算法[J].计算机应用与软件,2003,12:17-18.

[5] 曹茂永,孙农亮,郁道银.离焦模糊图像清晰度评价函数的研究[J].仪器仪表学报,2001,22(3):259-260.

[6] 钱 青,臧冬菊.一种改进的Sobel算子图像清晰度评价函[J].计算机与数字工程,2015,43(10):1865-1870.

[7] 陈国金,朱妙芬,张克松.图像调焦过程的清晰度评价函数研究[J].数据采集与处理,2009,24(2):165-169.

[8] 王培茂.离散余弦变换与小波变换的比较[J].河北理工学院学报,2005,27(3):53-56.

[9] Lee S Y,Kumar Y,Cho J M,et al.Enhanced autofocus algorithm using robust focus measure and fuzzy reasoning[J].IEEE Tran-sactions on Circuits and Systems for Video Technology,2008,18(9):1237-1246.

[10] Yousefi S,Rahman M,Kehtarnavaz N.A new auto-focus sharpness function for digital and smart-phone cameras[J].IEEE Transactions on Consumer Electronics,2011,57(3):1003-1009.

[11] Jeon J,Lee J,Paik J.Robust focus measure for unsupervised auto-focusing based on optimum discrete cosine transform coefficient-s[J].IEEE Transactions on Consumer Electronics，2011,57(1):1-5.

[12] 王鸿南,钟 文,汪 静,等.图像清晰度评价方法研究[J].中国图象图形学报,2004,9(7):828-831.

[13] 闻人青青.基于CMOS传感器的全视场MTF测量系统的研究[D].杭州：浙江大学,2002.

[14] Frank C O.Measuring the modulation transfer function of image capture devices:what do the numbers really mean[C]∥IS&T/SPIE Electronic Imaging，International Society for Optics and Photonics,2012:829307-829311.

[15] Ikonos Choi T. Satellite on orbit modulation transfer function(MTF)measurement using edge and pulse method[D].Brooking:South Dakota State University,2002.

Research on algorithm for image clarity evaluation

SUN Hong-li1,2, FENG Qi1, DONG Feng1

(1.Shanghai Institute of Technical Physics,Chinese Academy of Sciences,Shanghai 200083,China;
2.Shanghai Tech University,Shanghai 200080,China)

Determine defocus image sharpness through image sharpness evaluation function is the key to realize camera auto-focusing,using sum of optimal discrete cosine transform(DCT)coefficients as method for evaluating image sharpness,and do correlation analysis using this method with the image modulation transfer function(MTF),in order to verify the effectiveness of evaluation method,the results show that evaluation method based on discrete cosine transform coincide with the MTF.After normalization,the best image values are 1,the function decrease with the image becomes hazing.

image sharpness; modulation transfer function(MTF); discrete cosine transform(DCT); correlation

10.13873/J.1000—9787(2017)02—0067—04

2016—03—25

TP 751.1

A

1000—9787(2017)02—0067—04

孙红利(1991-)，女，硕士,研究方向为计算机图像处理。