基于人类视觉的快速自动调焦法

黄德天，刘雪超，张红胜，赵晶丽，4

（1.华侨大学 工学院，福建 泉州 362021；2.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；3.中国科学院 研究生院，北京 100049；4.中国科学院 光学系统先进制造技术重点实验室，吉林 长春 130033）

1 引 言

自动调焦是光电成像系统获取清晰图像的关键过程，已成功应用于空间遥感系统、自动监控系统、显微分析系统以及各种数码摄像系统等［1－6］。与基于测距法、像检测法等传统的自动调焦法相比，基于图像处理的自动调焦法具有智能化、高度集成化、低功耗、占用体积小和低成本等优点，随着数字图像处理技术和超大规模集成电路的飞速发展，基于图像处理的自动调焦法成为了调焦技术发展的主流。目前，基于图像处理的自动调焦法的关键在于解决调焦评价函数和调焦搜索算法2个问题。调焦评价函数的主要作用是代替人眼对一幅图像是否正确聚焦进行判断；而调焦搜索算法是运用调焦评价函数判断当前的调焦状态，从而实现对调焦机构的控制。

小波变换在时间域和频率域同时具有良好的局部特性，通过多分辨率分析，小波变换可以捕捉到调焦过程中图像的任意细节，因而，基于小波的调焦评价函数能够很好地分辨出图像聚焦和轻微离焦的情况。但由于该类调焦评价函数需要对图像进行小波分解，计算量较大，以前由于嵌入式处理器速度的限制，在快速自动调焦系统中应用较少。而现在一些DSP芯片拥有超高性能的计算能力，例如TI公司的C667x系列多核DSP，仅单核的处理速度就能达到10000MIPS（每秒百万条指令），因此，在现有的硬件平台上采用基于小波的调焦评价函数是完全可行的。此外，研究表明基于小波的调焦评价函数不但满足实时性的要求，而且具有较强的抗干扰能力和较高的灵敏度［7－10］。

图像经若干层小波分解后得到一系列的高频系数，包括水平、垂直和对角方向的细节系数。传统的方法是以各层高频系数的平方和作为调焦评价函数，但根据人类视觉系统（HVS）特性的研究成果［11］，人眼对不同方向、不同空间频率的刺激有着不同的敏感度，因此，不同层的高频系数对视觉效果的贡献并不相同，即使同一层不同方向的高频系数对视觉效果的贡献也有差异。为了使调焦评价函数既客观准确，又符合人眼的视觉感知特性，本文根据小波变换与HVS多通道特性相匹配的特点，提出了一种基于HVS加权的小波调焦评价函数。

在调焦搜索算法中，最常用的是爬山法，以及研究人员改进的一些爬山法［12－14］，但仍然需要较长的搜索时间，调焦速度往往不能满足需求。为了提高搜索效率，将SOM（Self－organizing Map）神经网络［15－17］的自动聚类功能应用到爬山法中，提出了一种带有预测最佳聚焦位置功能的改进爬山搜索法。

2 基于人类视觉系统的调焦评价函数

2.1 人类视觉系统特性

人类视觉系统（human visual system，HVS）是由大量功能形态各异的神经细胞通过一定的方式连接组成的信息处理系统，是现有的最复杂的图像处理系统。目前，许多实验已经发现了HVS的一系列特性［11］，如视觉多通道特性、视觉非线性特性、视觉敏感度带通特性和掩盖效应等。其中，视觉多通道特性是指人类视觉系统类似于一组有方向的带通滤波器，对不同颜色，不同方向，不同空间频率的刺激有着不同的敏感度。视觉敏感度带通特性是指人眼分辨亮度差异的能力，受到很多条件的影响，空间频率不同时，对比度敏感的响应也不同。视觉敏感度带通特性可以采用对比敏感度函数（Contrast Sensitivity Function，CSF）来表征，虽然不同实验得出的CSF函数形式各异，但基本都认为HVS的对比度敏感是空间频率f的函数，且具有带通滤波器的性质，为各向异性。目前在图像处理中常用的CSF函数表达式为［18］：

其中：f表示图像的空间频率，A（f）表示人类视觉的带通特性。

图1 CSF特性曲线Fig.1 CSF property curve

CSF函数的频率响应曲线如图1所示，横轴为图像的空间频率，单位为周／度（cycle／degree）；纵轴为CSF的幅值。从图1可以看出人眼视觉对某一区间内的空间频率对比度变化最为敏感，而在频率较低或较高处敏感度降低。

2.2 基于HVS加权的调焦评价函数

小波变换是一种时频分析方法，具有很好的局部时频特性，能有效地提取信号的局部信息，享有“数字显微镜”的美称。图像经n层小波分解后，可得到一系列不同频率不同方向的子带：低频子带LLn反映了图像的大体结构，而高频子带HLi、LHi和HHi（i∈1，2，…，n）反映了图像的边缘、区域轮廓等细节信息。其中，HLi子带包含了水平方向的高频信息，LHi子带包含了垂直方向的高频信息，HHi包含了对角线方向的高频信息。

图像聚焦时，小波分解得到的高频系数能量最大，随着图像离焦程度的加剧，小波分解后的高频系数能量随之变小。传统的小波变换评价函数是将各层小波高频系数的平方和作为调焦评价函数［19－20］，其表达式如下：

式中：n 为小波分解的层数，WHLi、WLHi、WHHi分别为第i层分解所对应的水平、垂直、对角方向的高频系数；SHLi、SLHi、SHHi分别为第i层分解所对应的水平、垂直、对角方向的高频窗口。但根据人类视觉系统的特性，不同层的高频系数对视觉效果的贡献并不相同，同一层不同方向的高频系数对视觉效果的影响也并有差异。为了使调焦评价函数既满足客观准确的要求，又符合人眼的视觉效果，提出了一种基于HVS加权的小波调焦评价函数：

其中：λi为第i层高频系数对应的权值（简称：空间频率权值）；α、β、γ分别为水平、垂直、对角方向高频系数对应的权值（简称：空间方向权值）。

2.2.1 小波基的选择

选择不同的小波基对同一图像进行分解，得到的分析效果往往差异很大，因此首先应该选择合适的小波基。由于提出的调焦评价函数是基于小波变换和HVS视觉多通道特性的相似性，所以选用的小波基不仅需要具有紧支集小和消失矩高的特性，同时，还需要具有很好的能量集中特性和精确重构特性。具体的小波基选取标准可以参考文献［21］，本文选用该文献中的sym8作为小波基。

2.2.2 分解层数的确定

对图像进行小波分解时，即使在同一小波基下也会因分解层数不同而得到不同的效果，因此还需要确定合适的小波分解层数。采用sym8小波基，对从离焦到正焦再到离焦的图像序列分别进行1、2、3、4、5层小波分解，对高频系数能量的统计结果如图2所示。当进行5层小波分解时，清晰度评价函数出现了拐点，由此可知，对图像进行5层小波分解时，出现了伪高频成分，即第5层的高频成分受到了低频成分的影响。而只进行1层、2层或3层分解时，评价函数在聚焦图像两侧出现了较大的饱和区，不利于搜索镜头的聚焦位置，因此选择分解层数n＝4比较合适。

图2 不同分解层分析的性能比较Fig.2 Comparison of performance at different depths

2.2.3 调焦评价函数的权值选取

（1）空间频率权值

利用CSF的非线性带通特性，取相应频带内CSF幅值的平均值作为不同频带的高频系数的空间频率权值。对于4级小波分解，整个频带按频率划分成5部分，带有权值的CSF特性曲线如图3所示，各个频带［LH1，HL1，HH1］，［LH2，HL2，HH2］，［LH3，HL3，HH3］，［LH4，HL4，HH4］，LL4在其对应频段上的权值分别为0.0872，0.5688，0.9455，0.8583，0.42，对其中的高频子带的权值进行归一化，得到与第i层高频系数对应的空间频率权值分别为：λ1＝0.0355、λ2＝0.2312、λ3＝0.3844、λ4＝0.3489。

（2）空间方向权值

空间方向权值的确定比较简单，根据HVS的视觉多通道特性，视觉系统对水平方向（0°）和垂直方向（90°）的刺激最敏感，而往对角方向的敏感性逐渐减弱，对于对角线方向（45°或135°）的刺激最不敏感。因此，在同一层小波分解后的高频系数中，对表示水平方向和垂直方向的高频系数赋予较大的权值，对表示对角方向的高频系数赋予较小的权值，得到各层HL、LH、HH对应的空间方向权值分别为α＝0.4、β＝0.4、γ＝0.2。

图3 带有加权值的CSF特性曲线Fig.3 Weighted CSF property curve

3 基于SOM神经网络的搜索算法

在自动调焦的搜索算法中，最常用的是爬山法及一些改进的爬山法。爬山法在搜索过程中，电机每前进一个步长就需要停下来计算该位置对应图像的调焦评价值，然后根据评价值的变化情况来确定电机下一步的前进方向，且需要对整个调焦区域进行全局判断搜索，这样大大增加了搜索时间。此外，爬山法容易受到评价函数局部峰值的干扰而不能准确聚焦。为了克服爬山法的上述缺点，提出了一种基于SOM神经网络的搜索算法。

自组织映射（Self－organizing Map，SOM）神经网络［15－17］是一种良好的无导师学习聚类网络，能够自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络权值和结构。SOM神经网络的训练过程是基于竞争学习算法实现的。图4为二维形式的SOM神经网络结构图。

将SOM神经网络的输入层和竞争层分别定义如下：

图4 二维SOM神经网络结构Fig.4 Two－dimensional SOM neural network structure

其中：n是输入层神经元的个数；a和b分别是竞争层神经元的行数和列数。

竞争层k的每个神经元k的维数都与输入层s的维数相同，因此，权向量wi可以表示为：

输入层各神经元通过权向量wi将外界信息汇集到竞争层的各神经元。本文中，输入层的训练样本为镜头在不同位置处对不同距离的景物所采集图像的调焦评价值。根据自动调焦的原理，聚焦的图像对应较高的调焦评价值，而离焦的图像对应较低的调焦评价值。为了便于说明，仅讨论3个目标物体O1、O2、O3在3种不同物距L1、L2、L3下的调焦情况，根据提出的小波调焦评价函数计算出在不同镜头位置处采集的图像对应的调焦评价值，如图5所示，并将这一系列评价值作为SOM神经网络的输入样本，SOM网络根据输入样本的数值自动调节其网络权值wi，在这种情况下，训练之后的SOM网络的输出层自动分成了9类：第1类对应O1和L1，第2类对应O1和L2，…，第9类对应O3和L3。需要说明的是，权向量wi的初始值可以定义为任意的随机数。

图5 不同景物在不同镜头位置所对应的调焦评价值Fig.5 Focus measures of different objects with different lens positions

通过计算s与wi的欧氏距离，从中选出距离最小的神经元作为获胜神经元b （s），其表达式如下：

一旦找到获胜神经元，权向量wi就可以更新了，与获胜神经元邻近的所有神经元的向量权值按照式（8）进行调整：

其中：t为时间参数；η（t）是学习率，为随时间衰减的函数（t）为以获胜神经元b（s）为中心的邻域函数，本文采用高斯邻域函数，其表达式如下：

SOM神经网络首先需要通过输入样本完成训练，训练完成的SOM就可以根据输入样本的数据确定其对应的输出类别，电机就根据定义好的输出类别将镜头移到预先定义的最佳聚焦位置。用矩阵z来表示预先定义的最佳聚焦位置，其对应的表达式如式（10）：

其中：z的维数与竞争层k的维数相同。

基于SOM神经网络的搜索算法的工作流程如图6所示，在SOM神经网络完成训练的前提下，首先将镜头移回起始位置，接着通过3个镜头位置s0、s1和s2的调焦评价值作为SOM神经网络的输入，经过训练完成的SOM神经网络预测得到最佳聚焦位置s3，然后将镜头快速移动到位置s3，再通过SOM网络预测得到一个更加精确的最佳聚焦位置，然后由电机带动镜头继续搜索；如此反复几次，镜头的最佳聚焦位置sw可以轻易找到。

图6 基于SOM神经网络的搜索算法Fig.6 Searching algorithm based on SOM neural network

4 实验结果

为了验证提出的调焦方法，设计了基于PC机的自动调焦系统实验平台，其流程如图7所示。系统采用XC－EI30CE CCD摄像机和焦距为10～330mm的Raymax镜头，在PC机端使用图像采集卡天敏SDK2000完成对CCD摄像机输出图像的采集，然后在VC＋＋中根据提出的调焦算法完成调焦评价值的计算和调焦搜索算法对镜头的控制，最后通过RS－232接口发送控制命令到调焦电机控制板，由其控制电机带动镜头以实现自动调焦。

图7 自动调焦系统流程图Fig.7 Chart of the auto－focusing system

4.1 调焦评价函数的性能测试

通过连续改变镜头的位置采集一系列从离焦到聚焦再到离焦的图像，一共41幅，其中第21幅为聚焦图像。分别采用文献［20］提出的基于各层高频系数平方和的小波评价函数、文献［22］提出的小波评价函数、以及本文提出的基于HVS加权的小波评价函数对采集到的图像进行分析，得到的调焦评价曲线如图8所示。从图8可以看出，提出的基于HVS加权的小波评价函数比文献［20］提出的小波评价函数有更高的灵敏度；而与文献［22］提出的小波评价函数曲线相比，虽然文献［22］提出的小波评价函数曲线在聚焦位置附近具有较高的灵敏度，但是该曲线的有效调焦区域过小，过大的调焦饱和区不利于调焦搜索算法寻找最佳聚焦位置；综上所述，本文提出的小波评价函数的调焦曲线特性优于文献［20］和文献［22］提出的小波评价函数。

图8 三种小波调焦评价函数的曲线Fig.8 Curves of 3kinds of measure function based on wavelet

4.2 调焦搜索算法的性能测试

先通过改变镜头位置对不同物距的景物采集一系列图像，并将这一系列图像的调焦评价值作为训练样本，用以完成SOM神经网络的训练。训练完成的SOM神经网络就可以用来预测镜头的最佳聚焦位置了，实验中，将SOM网络的输出层分成49种类别。

选取不同的场景进行了100次调焦实验，限于篇幅，仅给出最具代表性的两组实验进行分析比较。第1组实验使用的场景是实验室对面的大烟囱，如图9所示，其图像序列描述了从离焦到聚焦的整个过程，图像在第6帧时已经聚焦。第2组实验使用的场景是外场的建筑，如图10所示，其图像序列描述了从离焦到聚焦的整个过程，图像在第8帧时已经聚焦。

图9 第1组调焦实验的图像序列Fig.9 Experiment I：Image sequence in auto－focusing process

图10 第2组调焦实验的图像序列Fig.10 Experiment II：Image sequence in auto－focusing process

自动调焦的时间主要包括采集图像、评价图像和电机驱动镜头的时间。为了将提出的搜索算法与基于全局搜索的爬山法对比，进行了相应的比较实验，记录了100次调焦实验中需要采集和评价的图像数目，并做了统计，统计结果如表1所示。由表1可知，采用提出的改进爬山法在搜索最佳聚焦位置的过程中，平均仅需要采集和评价7.3幅图像，与基于全局搜索的爬山法相比，减少了电机驱动镜头的次数，节省了大量时间，提高了自动调焦的速度。

表1 采集和评价图像的数目统计Tab.1 Statistics of the number of images collected and measured

5 结 论

分析了人类视觉系统特性的研究成果，针对HVS多通道特性和小波变换相匹配的特点，提出了一种基于HVS加权的小波调焦评价函数。根据视觉多通道特性和视觉敏感度带通特性，分别对不同方向、不同空间频率的小波高频系数进行加权运算。由于提出的调焦评价函数模拟了人类视觉系统的特性，获得的聚焦图像更接近于人的主观评价。为了提高自动调焦的搜索速度，利用SOM神经网络的自动聚类功能，提出了一种带有预测功能的搜索算法。与基于全局搜索的爬山法相比，提出的搜索算法仅需要采集处理7.3幅图像就能找到镜头的最佳聚焦位置，减少了电机驱动镜头的次数，节省了大量的搜索时间。实验结果表明，本文提出的调焦方法可以得到符合人眼视觉的调焦效果，同时调焦速度也有了较大的提高。

［1］Wang D J，Ding W，Zhang T，et al.A fast auto－focusing technique for the long focal lens TDI CCD camera in remote sensing applications［J］.Optics and Laser Technology，2012，7（5）：1－8.

［2］卢振华，郭永飞，李云飞，等.利用CCD拼接实现推扫式遥感相机的自动调焦［J］.光学 精密工程，2012，20（7）：1559－1565.Lu Z H，Guo Y F，Li Y F，et al.Realization of auto－focus on APRC using CCD stitching［J］.Optics and Precision Engineering，2012，20（7）：1559－1565.（in Chinese）

［3］刘炳强，张帆，李景林，等.空间相机调焦机构运动同步性误差分析［J］.中国光学，2013，6（6）：946－951.Liu B Q，Zhang F，Li J L，et al.Analysis of synchronous motion error for focusing mechanism of space camera［J］.Chinese Optics，2013，6（6）：946－951.（in Chinese）

［4］许志涛，龙科慧，刘金国，等.空间相机调焦机构精度检测系统设计［J］.液晶与显示，2013，28（6）：943－947.Xu Z T，Long K H，Liu J G，et al.Design of focusing mechanism accuracy detection system of space camera［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（6）：943－947.（in Chinese）

［5］杨会生，张银鹤，柴方茂，等.离轴三反空间相机调焦机构设计［J］.光学 精密工程，2013，21（4）：948－954.Yang H S，Zhang Y H，Chai F M，et al.Design of focusing mechanism for off－axis TMA space camera［J］.Optics and Precision Engineering，2013，21（4）：948－954.（in Chinese）

［6］陈伟，丁亚林，惠守文，等.推扫式航空遥感器像面调焦机构设计［J］.中国光学，2012，5（1）：30－34.Chen W，Ding Y L，Hui S W，et al.Design of image plane focusing structure for push－scan aerial remote sensing instrument［J］.Chinese Optics，2012，5（1）：30－34.（in Chinese）

［7］Yin A J，Chen B Q，Zhang Y.Focusing evaluation method based on wavelet transform and adaptive genetic algorithm ［J］.Optical Engineering，2012，51（2）：023201.

［8］王德江，李文明，许永森，等.TDI－CCD全景航空相机快速自动检调焦方法［J］.光电子·激光，2012，23（8）：1452－1457.Wang D J，Li W M，Xu Y S，et al.A fast auto－focusing technique for the TDI－CCD panoramic aerial camera［J］.Journal of Optoelectronics·Laser，2012，23（8）：1452－1457.（in Chinese）

［9］Pertuz S，Puig D，Garcia M A.Analysis of focus measure operators for shape－from－focus［J］.Pattern Recognition，2012：1－18.

［10］陈晓彬.基于小波的自动对焦算法研究［J］.通信技术，2010，43（6）：210－212.Chen X B.Study on auto－focus algorithm based on wavelet transform ［J］.Communications Technology，2010，43（6）：210－212.（in Chinese）

［11］Daubeehies，Swelden W.Factoring wavelet transforms into lifting steps［J］.J.Fourier Anal.Appl，1998，4（3）：245－267.

［12］黄德天，吴志勇，刘雪超，等.一种适用于任意目标的离焦深度快速自动聚焦技术［J］.光电子·激光，2013，24（4）：799－804.Huang D T，Wu Z Y，Liu X C，et al.A depth from defocus fast auto－focusing technology for any target［J］.Journal of Optoelectronics·Laser，2013，24（4）：799－804.（in Chinese）

［13］王代华，周锋，吴朝明.基于阈值的调焦方向判断方法［J］.仪器仪表学报，2010，31（8）：1813－1818.Wang D H，Zhou F，Wu Z M.Direction judgment method for autofocus based on threshold［J］.Chinese Journal of Scientific Instrument，2010，31（8）：1813－1818.（in Chinese）

［14］Xu D J.A unified approach to autofocus and alignment for pattern localization using hybrid weighted Hausdorff distance［J］.Pattern Recognition Letters，2011（32）：1747－1755.

［15］Kohonen T.The self－organization maps［J］.Proceedings of the IEEE，1990，78（9）：1464－1480.

［16］Kohonen T.Self－Organization and Associative Memory ［M］.2nd Ed.Berlin：Springer－Verlag，1987.

［17］Kohonen T.Essentials of the self－organizing map［J］.Neural Networks，2013（37）：52－65.

［18］Mannos J L，Sakrison D J.The effect of a visual fidelity criterion on the encoding of images［J］.IEEE Transactions on Inform.Theory，1974，20（2）：525－536.

［19］张乐，姜威.多分辨力分析在自动聚焦算法抗噪声性能中的应用［J］.光学学报，2007，27（12）：2150－2154.Zhang L，Jiang W.Application of multi－resolution analysis in anti－noise capability of auto－focusing algorithm ［J］.Acta Optica Sinica，2007，27（12）：2150－2154.（in Chinese）

［20］菅维乐，姜威，周贤.一种基于小波变换的数字图像自动聚焦算法［J］.山东大学学报：工学版，2004，34（6）：38－40，59.Jian W L，Jiang W，Zhou X.Auto－focusing algorithm of digital image based on wavelet transform ［J］.Journal of Shandong University：Engineering Science，2004，34（6）：38－40，59.（in Chinese）

［21］丁艺芳.基于小波变换和视觉系统的图像质量综合评价新算法［D］.上海：上海大学，2001.Ding Y F.A new algorithm for integrated image quality measurement base on wavelet transform and human visual system ［D］.Shanghai：Shanghai University，2001.（in Chinese）

［22］王义文，刘献礼，谢晖.基于小波变换的显微图像清晰度评价函数及3－D自动调焦技术［J］.光学精密工程，2006，14（6）：1063－1069.Wang Y W，Liu X L，Xie H.A wavelet－based focus measure and 3－D autofocusing for microscope images［J］.Optics and Precision Engineering，2006，14（6）：1063－1069.（in Chinese）