应用于大变倍监控摄像机的电动变焦跟踪

林 忠，黄陈蓉，卢阿丽

引言

自动聚焦功能是电动变焦镜头摄像机中的一项核心功能，目前监控摄像机、手机及显微视觉系统中广泛采用基于图像清晰度准则的自动聚焦方法［1－6］。电动变焦跟踪是自动聚焦功能的重要组成部分，它是指变焦电机调节过程中，摄像机自动调节对焦电机使得景物保持聚焦状态。对使用者而言，光学变焦跟踪指用户在调节变焦过程中图像始终保持清晰。应用变焦跟踪不仅提高了用户体验，它还能缩小自动聚焦算法的搜索范围，明显提高自动聚焦算法的速度和精度［7］。现有的电动变焦跟踪方法主要有查表法［8］、几何法［9］、自适应法［10］、相关法［11］、预测法［12］、反馈法［13］等，上述所有方法均需要预先测得包含最近物距和最远物距的实际变焦曲线。查表法以最近邻原则选取预存的一条实际变焦曲线作为当前物距下的估计变焦曲线。几何法以最近2条预存的实际变焦曲线的线性插值结果作为当前物距下的估计变焦曲线。这2种方法均无法解决变焦电机从广角端到望远端的变焦跟踪问题。自适应法在变焦电机从广角端到望远端的调节过程中增加了一个校正的步骤，可以很大程度上改善变焦跟踪的精度，但是却由于校正步骤存在较大延时，影响了变焦操作的流畅性。相关法和预测法通过机器学习方法可以提高变焦跟踪的精度，但是这2种方法由于依赖场景的先验信息，所以其适应性和便捷性均有所不足。反馈法在变焦过程中增加了多次探测动作，每次探测均获取在同一个变焦值下2个差距较小的调焦位置的聚焦评价值，从而能够确定聚焦位置的区间，通过该反馈信息利用PID控制方法不时纠正变焦曲线使其沿着正确的方向前进。反馈法能够较精确完成从广角端到望远端的变焦跟踪任务，对于运动场景和变焦过程中物距变化也有较强的适应性。但是反馈法也存在着控制参数选择困难的问题。本文提出一种新的电动变焦跟踪算法，首先测得一组不同物距下的变焦曲线，接着利用几何法计算初始的变焦曲线，并且构造一个变焦曲线的置信区间，如果在变焦过程中当前变焦位置的置信区间宽度大于阈值，则根据图像质量评价机制缩小变焦曲线的置信区间，然后以新的置信区间的中间线为新的变焦曲线。随着焦距从广角端调节到望远端，虽然不同物距下的调焦值的差异会显著增大，但是应用本方法后调焦值范围始终控制在一个较小的范围内，保证了变焦过程中的图像清晰。本方法解决了“一对多”问题，并且算法的控制参数数目少而且设定方便，在保证精确度的同时也保证了较少的延时。

1 变焦曲线及变焦跟踪问题

监控摄像机中的电动变焦距镜头是由若干个镜头组单元组成的，通常包括调焦组、变焦组等［14］。目前监控摄像机的电动变焦镜头制造商如日本腾龙公司、国内的中山联合光电和长步道等公司生产的变焦镜头均通过内置的2组步进电机分别驱动变焦组镜片和调焦组镜片，以下分别称为变焦电机和调焦电机。

固定物距，记录各个变焦电机位置下合焦时调焦电机的位置，将其绘制成一条曲线，称为变焦曲线。在图1中，横坐标为变焦电机的步进位置，其数据从左到右对应变焦组镜片从广角端到望远端移动。纵坐标为调焦电机的步进位置，其数据从下到上对应调焦组镜片的位置从远端到近端移动。

摄像机中可以存储这些变焦曲线用于变焦跟踪算法，但是由于没有目标的物距信息，并且实时性要求较高，所以该问题并不易解决。由图1可知，在广角端变焦曲线基本重合，随着变焦位置往望远端移动各条变焦曲线逐渐分离，且在望远端各曲线的距离越大。由此可知，如果变焦跟踪前的变焦位置位于望远端附近，则可以通过线性插值方法很容易确定一条变焦跟踪曲线，调焦电机的位置可以沿着该曲线调节；如果变焦跟踪前的变焦位置位于广角端附近，则由于各条曲线重合，无法计算出需要的那条变焦跟踪曲线。初始位置为广角端附近的变焦跟踪问题是变焦跟踪的核心问题，称为“一对多”映射问题［13］。

图2描述了没有实现变焦跟踪功能的摄像机在变焦操作过程中的图像效果。此类摄像机在操作完成后，通过触发自动聚焦实现图像清晰。在此类摄像机中，由于用户的感兴趣目标在变焦过程中有可能模糊，需要先停止变焦动作然后自动聚焦清晰后才可以判断变焦是否合适，极大影响了变焦操作的便捷性。

图2 未采用变焦跟踪的摄像机在变焦过程中的图像Fig.2 Image during zoom without zoom tracing

变焦曲线的获取方式有标准曲线校正法和实测法。校正法只需要实测一条变焦跟踪曲线，然后计算出其与厂家提供的标准变焦曲线之间的偏移量，据此由一系列标准变焦曲线通过平移后得到该相机的变焦跟踪曲线，该方法效率较高，但是有一定误差［15］。考虑到变焦跟踪算法的评价效果，本文采用精度相对更高的实测法，即测量每台镜头的不同物距下的实际变焦跟踪曲线。可以通过设计合理的变焦曲线实测工具对镜头进行批量测量，实测时采用的聚焦评价函数选择Tenengrad方法［16］，聚焦方法选择经典的修正快速爬山搜索算法［17］。

2 变置信区间约束电动变焦跟踪算法

2.1 算法框架

本文提出的变焦跟踪算法的框架如图3所示。该方法包括：计算初始的置信区间和变焦跟踪曲线，调节变焦跟踪曲线方向和更新置信区间。本方法使变焦跟踪曲线在一个较窄的置信区间内调节，保证了在变焦操作过程时调焦电机的位置始终在实际聚焦位置附近调节。

图3 提出的新方法的算法框架Fig.3 Block diagram of proposed method

2.2 变焦曲线线性插值方法

通过2条实际变焦曲线的线性插值可以得到和实际变焦曲线很接近的变焦曲线。定义｛Ci，i＝1，…，n｝为n条预存的变焦曲线。每条变焦曲线代表一个映射函数，该函数将变焦电机位置映射为合焦时的调焦电机位置。变焦曲线的下标i越大则该变焦曲线对应的物距越大。定义z为变焦电机位置。由上述定义可以得知Ci（z）的含义：在Ci所对应的物距下，当变焦电机位置为z时相应合焦处的调焦电机位置。定义（z0，f0）为插值变焦曲线必须经过的一点，在后文中称该点为参考点。定义为经过点（z0，f0）的插值变焦曲线。由定义可知，（z0）＝f0。插值变焦曲线的计算方法如下：

1）选取2条预存的变焦曲线作为插值源曲线，分别记为Cj和Ck，其中j和k计算为

2）根据插值源曲线得到经过参考点的插值变焦曲线，α1和α2为

由上可知当参考点位于预存的变焦曲线上时，此时插值曲线和变焦曲线重合。当参考点位于预存的变焦曲线的包围范围内时，插值曲线由离参考点最近的上下2条变焦曲线的线性插值得到。当参考点位于预存的变焦曲线的包围范围外时，插值曲线由离参考点最近的2条变焦曲线的线性插值得到。

图4是生成一条经过参考点的插值曲线的示意图。其中D1和D2是参考点与2条选择的变焦曲线在垂直方向上的距离；d1和d2是插值曲线上任意一点与2条选择的变焦曲线在垂直方向上的距离。

图4 插值变焦曲线Fig.4 Zoom tracking curve by interpolation method

2.3 调焦电机位置的清晰区间

在保证清晰度的前提下，像面可移动的距离称为成像系统的焦深。焦深［18－19］的计算公式为

式中：F为镜头的光圈系数；λ为波长。

成像系统有一定焦深，而且在图像变焦过程中，由于图像是变化的，微小的失焦并不会引起很明显的视觉感受，在变焦跟踪时保证调焦位置始终在焦深范围内则可以有较好的变焦跟踪效果。

2.4 计算初始的置信区间和变焦跟踪曲线

置信区间指预测变焦曲线的可信范围，它是2条插值变焦曲线所包围的范围，这2条插值变焦曲线称为置信区间的上边界和下边界。定义Ct和Cb分别为上边界和下边界，定义Ce为变焦跟踪曲线，即本算法的输出，初始的2条边界和初始的变焦跟踪曲线为

由（7）式及（8）式可知，上下边界之间的距离在z0位置处不大于δ。由（9）式可知变焦跟踪曲线为上下边界的中间线。易知实际变焦曲线和变焦跟踪曲线之间的差距在z0位置处不会大于δ／2。随着变焦电机位置从广角端往往远端移动，上下边界之间的距离逐渐增大。当距离超过2δ时，实际变焦曲线和变焦跟踪曲线之间的差距可能大于δ，即意味着图像可能发生明显失焦，此时需要测试变焦跟踪曲线调节方向，进而更新上下边界及变焦跟踪曲线。

2.5 调节变焦跟踪曲线方向

置信区间的上下边界更新方法是基于变焦跟踪曲线的调节方向。通过比较预测变焦曲线调焦位置对称两边相同距离下的2个调焦位置的聚焦评价值确定预测变焦曲线的调整方向，本文采用Tenengrad函数计算聚焦评价值，即以选定区域中所有像素的水平及垂直差分的平方之和为聚焦评价值。定义D为调节方向，其取值为UP和DOWN两者之一，分别表示调节方向为向上和向下。定义FV为聚焦评价函数，该函数将调焦位置映射为聚焦评价值。定义为ps探测步长。D的计算方法如下：

图5是调焦位置调节方向示意图，在预测调焦位置前后相距一个探测步长的位置p1和p2处，分别测得清晰度评价函数值。由于p1位置的评价值较高，说明正确的调焦位置应该在预测的调焦位置之前。因此实际的变焦曲线应该低于目前的变焦跟踪曲线，如图6所示。图6中预测变焦跟踪曲线往下调节。

图5 调焦位置调节方向Fig.5 Adjustment direction at focus position

图6 预测的变焦曲线调节Fig.6 Adjustment of predicted zoom tracking curve

2.6 更新置信区间

如上所述，当置信区间的上下边界大于2δ时，置信区间和变焦跟踪曲线需要更新。定义zu为更新发生时的变焦电机位置，定义β为一个0到1之间的阈值参数，上下边界由（11）式和（12）式计算得到，ftop和fbottom为2个调焦电机位置，分别由（13）式和（14）式计算：

由（11）式和（12）式可知：当变焦跟踪曲线调节方向为向下时上边界往下调节，当变焦跟踪曲线调节方向为向上时下边界往上调节。在置信区间更新后，变焦跟踪曲线再按（9）式相应更新。

图7描述了置信区间的更新原理及变焦跟踪曲线的更新原理。初始置信区间为c1和c3所包围的范围，初始变焦跟踪曲线为置信区间的中间线，调焦位置先沿着cest1调节。当c1和c3之间的距离超过阈值时，调焦位置在调节位置上下各行进一个步长，分别到达p1和p2位置，然后求出这2个位置下的清晰度评价函数值。由于p2的清晰度函数值较大，所以置信区间的上边界往下调整为c2。更新预测变焦曲线为cest2，调焦位置沿着cest2调节。在后续的变焦过程中按照同样的方法继续调节置信区间。

图7 变焦跟踪轨迹图Fig.7 Zoom tracking trajectories

2.7 本文方法的变焦跟踪过程

变焦跟踪方法的执行过程：

1）初始化置信区间和变焦跟踪曲线；

2）变焦位置增加步长，同时按照变焦跟踪曲线调节调焦位置；

3）若用户停止操作变焦或者已经到达最大变焦位置则结束，否则进行下一步；若置信区间宽度小于等于2δ，转到2），否则进行下一步。

4）确定预测变焦曲线调整方向；

5）更新置信区间和变焦跟踪曲线，转到2）。

3 实验与结果

设计了离线实验和在线实验。离线实验用于测试本方法求得的变焦跟踪曲线的精确度。在该实验中变焦跟踪曲线的调节方向由预先存储的实际变焦曲线与变焦跟踪曲线之间的位置确定。离线实验在计算机上运行，以实测的若干条变焦曲线为比较依据，可以精确获知本方法的跟踪误差。在线实验用于评测变焦跟踪时的延时情况及图像质量情况，在线实验在实际的18×高清监控摄像机中运行。

3.1 离线实验

由一台18×光学变焦监控摄像机根据自动聚焦原理自动采集10条变焦曲线。变焦电机一共有2 520个步长，每间隔63个变焦步数采集一个点，一共采集41个点，对曲线进行3次样条插值得到每步变焦位置的调焦值。以1m、1.4m、2.4m、5.3m、60m对应的5条变焦曲线作为参考变焦曲线，其余的5条曲线为算法对照测试曲线。

根据（6）式，参数δ由光圈系数F和波长确定。由于人眼对绿光最敏感，因此波长取为500 nm。本实验用的18×变焦镜头在光圈完全打开时的光圈系数F范围为1.4到64之间。从广角端变焦到望远端时，光圈系数值会变大。综合考虑，公式（6）中的F值取为5.6。由（6）式计算得到δ为0.031 36mm，调焦电机的步长为0.006 25mm。所以δ对应到调焦电机的步长为5。实验中的另一个参数β按照最小均方误差原则设为0.9。

表1是本方法的离线实验结果，给出的5组测试结果表明算法的调整次数不超过9次，最大跟踪误差不超过7步，均方误差不超过4步。实验结果表明，长焦端远距离情况下的误差比近距离下的误差要大，其原因是长焦端聚焦曲线的斜率非常大，造成实际聚焦曲线和预先测得的聚焦曲线之间的误差变大。至于该误差的产生原因有可能是测量误差，或者是温度变化引起的变焦曲线实际发生偏移。由于曲线长焦端的斜率随着距离的变大而变大，所以误差的影响也会变大。

表1 本方法的离线实验结果Table 1 Result of offline experiment for this proposed method

与和变焦跟踪算法FZT［13］比较，从原理上分析，如果采用FZT，参数采用参考文献［13］推荐的取值，则清晰度比较次数为26。这意味着本文方法的耗时会更少。而且该方法的其他参数的选择需要通过复杂的PID参数选择方法确定，在算法参数的选择上没有本文的方法直接。

3.2 在线实验

在200万像素CMOS图像传感器OV2715、腾龙18×光学变焦镜头，双核处理器构成的监控摄像机平台上对提出的变焦跟踪算法进行验证，帧率设为60f／s，变焦电机总行程为2 520步。实验时预先存储了5条变焦曲线，算法参数与离线实验的最优参数相同。

对从wide端连续变焦到tel端进行了5次不同距离的测试，先变焦至广角端，待自动对焦完成后，连续变焦至望远端，测试数据如表2所示。测试数据由程序采集变焦开始时间和变焦完成时间计算得到。经过验证，从wide端变焦到tel端的变焦时间由原始的3.7s左右增加到了平均4.1s左右，基本保持了变焦过程的流畅性，跟踪耗时小于0.5s。这意味着变焦操作的流畅性不会随着增加了变焦跟踪算法而明显降低。增加的时间主要耗费在图像的聚焦评价上，每次评价必须等待一个曝光周期，因帧率为60，故曝光时间为1／60s，由离线实验结果推测调整次数大概为9次，每次调整需要计算2个聚焦评价值，所以用于聚焦评价的延时约为0.3s，实验结果与该分析结果基本符合。近距离下的图像变焦效果图如8所示，远距离下的图像变焦效果图如9所示。从2个场景不同焦距下的6幅图像可以看到，这几幅图像基本上都是清晰的，说明在变焦过程中调焦位置和变焦位置沿着正确的变焦曲线调节，即成功完成了变焦跟踪，图左上角的时间显示变焦过程在5s内完成。

表2 变焦全程耗时Table 2 Time of zoom operation

图8 近距离18×变焦跟踪效果Fig.8 18× zoom tracking results at near distance

图9 远距离18×变焦跟踪效果Fig.9 18× zoom tracking results at far distance

4 结论

描述了基于置信区间的变焦跟踪曲线估计方法和实时跟踪过程。自适应的变焦跟踪曲线更新策略有效地解决了“一对多”问题，同时保持了变焦过程的流畅性。本文提出的方法只有2个参数，且有清晰的含义，而且取值方法较简单。离线实验展示了该方法在18×光学变焦监控摄像机上的调整次数不超过9次，最大跟踪误差不超过7步（0.043 75mm），均方误差不超过4步（0.025mm），说明该方法的精确性良好。在线实验展示了该方法在18×光学变焦监控摄像机上的跟踪延时不超过0.5s，不影响操作流畅性且图像保持清晰。

［1］ Xie Qi，Zhang Guang.Auto focus algorithm based on high－definition network camera［J］.Computer Engineering and Design，2014，35（9）：3289－3294.

谢琦，张广.基于高清网络摄像机的自动聚焦算法［J］.计算机工程与设计，2014，35（9）：3289－3294.

［2］ Zhang Laixian，Sun Huayan，Guo Huichao，et al.Auto focusing algorithm based on largest gray gradient summation［J］.Acta Photonica Sinica，2013，42（5）：605－610.

张来线，孙华燕，郭惠超，等.基于图像灰度梯度最大值累加的自动调焦算法［J］.光子学报，2013，42（5）：605－610.

［3］ Zhang Yihui，Zhao Zhiqiang.Curvature radius testing of optical lens based on autofocusing technology［J］.Journal of Applied Optics，2012，33（4）：931－935.

张亦慧，赵志强.基于自动对焦技术的透镜曲率半径检测［J］.应用光学，2012，33（4）：931－935.

［4］ Ma Jianshe，Li Heying，Cheng Xuemin，et al.Control system for embedded auto－focusing camera module［J］.Opt.Precision Eng.，2012，20（10）：2222－2228.

马建设，李合银，程雪岷，等.嵌入式自动聚焦摄像模组控制系统的设计［J］.光学精密工程，2012，20（10）：2222－2228.

［5］ Chen Fang，Zhang Cunji，Han Yanxiang，et al.Fast focus on simple images［J］.Optics Precision Enginerring，2014，22（1）：220－227.

陈芳，张存继，韩延祥，等.简单图像的快速聚焦［J］.光学精密工程，2014，22（1）：220－227.

［6］ Li Huiguang，Wang Shuai，Sha Xiaoou，et al.Study of auto focusing technique of micro－vision system ［J］.Opto－Electronic Engineering，2014，41（8）：1－9.

李慧光，王帅，沙晓鹏，等.显微视觉系统中自动聚焦技术的研究［J］.光电工程，2014，41（8）：1－9.

［7］ Luo Jun，Sun Li，Min Zhisheng.Application of zoom tracking curves in focusing［J］.Optics Precision Enginerring，2011，19（10）：2326－2332.

罗钧，孙力，闵志盛.变焦曲线在对焦中的应用［J］.光学精密工程，2011，19（10）：2326－2332.

［8］ Hoad P，Illingworth J.Automatic control of camera pan，zoom and focus for improving object recognition［C］.USA：IEEE，1995：291－295.

［9］ Peddigari V，Kehtarnavaz N，Lee Sangyong，et al.Real－time implementation of zoom tracking on TI DM processor［C］.USA：International Society for Optics and Photonics，2005：8－18.

［10］Lee J S，Ko S J，Yoon K，et al.A video camera system with adaptive zoom tracking［C］.USA：IEEE，2002：56－57.

［11］Peddigari V，Kehtarnavaz N.A relational approach to zoom tracking for digital still cameras［J］.IEEE Transactions on Consumer Electronics，2005，51（4）：1051－1059.

［12］Peddigari V，Kehtarnavaz N.Real－time predictive zoom tracking for digital still cameras［J］.Journal of Real－time Image Processing，2007，2（1）：45－54.

［13］Zou Tengyue，Tang Xiaoqi，Song Bao，et al.Robust feedback zoom tracking for digital video surveillance［J］.Sensors，2012，12（6）：8073－8099.

［14］Hu Jixian.38×zoom ratio wideband TV lens optics［J］.Journal of Applied Optics，2011，32（5）：845－848.

胡际先.38×变倍比宽波段电视镜头光学系统设计［J］.应用光学，2011，32（5）：845－848.

［15］Lin Zhong，Huang Chenrong，Liu Tianshi.Motorized zoom lens’s motor origin correction method based on zoom tracking curve［J］.Opto－Electronic Engineering，2014，41（12）：88－94.

林忠，黄陈蓉，刘天石.应用变焦曲线校正电动变焦镜头 的 电 机 原 点 ［J］.光 电 工 程，2014，41（12）：88－94.

［16］Tenenbaum J M.Accommodation in computer vision［D］.Stanford：Stanford University，1970.

［17］He Jie，Zhou Rongzhen，Hong Zhiliang.Modified fast climbing search auto－focus algorithm with adaptive step size searching technique for digital camera［J］.Consumer Electronics，IEEE Transactions on，2003，49（2）：257－262.

［18］Mclean I S.Electronic imaging in astronomy：detectors and instrumentation［M］.Germany：Springer Berlin Heidelberg，2008.

［19］Huang Detian.Study on auto－focusing method using image technology［D］.Beijing：University of the Chinese Academy of Sciences，2013.

黄德天.基于图像技术的自动调焦方法研究［D］.北京：中国科学院大学，2013.