基于目标尺度的实时智能感知自适应聚变焦技术

程勇策，李 楠，乔宇晨，朱向前

（中国电子科技集团公司第三研究所，北京 100015）

0 引 言

在光电侦察中，由于视场角和作用距离之间的矛盾，常常需要调整相机的焦距。同时，不同距离的目标成像后需要调节聚焦，以便使图像更加清晰。由于观测目标的随机性和人的视觉感受差异，尚没有一个准确的聚变焦方法能够满足所有的应用。

目前针对性的研究中，杜平等[1]实现了50～ 200 mm范围内红外4倍连续变焦，完成了对特定景物的放大缩小，且切换过程中不会造成目标丢失；潘雪娟等[2]使用了图像熵作为图像清晰度的判别函数，对红外图像的聚焦效果进行了验证；周丽平等[3]针对显微视觉系统小视场的特点，使用了频域聚焦和时域聚焦相结合的方法，提高了显微成像的聚焦正确性和稳定性；张耀军等[4]使用基于非下采样剪切波变换（Non Subsampled Shearlet Transform，NSST）图像特征实现了多个不同聚焦图像的融合，获得了结果图像，拥有更清晰的视觉效果。

本文主要针对工程中遇到的目标聚变焦问题，使用深度学习和梯度算子相结合的方法，实现光电侦察系统快速变化焦距且快速完成对焦，为光电侦察的无人化值守提供技术支撑。

1 基于深度学习的自动焦距调节系统

在光电系统中，通常需要根据目标在视场中的大小来判断焦距是否合适。其中，最重要的环节是检测出图像中的目标，并确定其范围。

1.1 基于卷积神经网络的目标检测算法

随着相关器具性能的提高，基于卷积神经网络的目标检测方法突破了传统目标检测的瓶颈，成为当前目标检测的主流算法之一。李旭冬等[5]描述了当前卷积神经网络的研究进展及常用的卷积神经网络；Lin T Y等[6]提出基于特征金字塔的FPN算法，在增加极小计算量的情况下，处理物体检测中的多尺度变化问题；Ren S等[7]提出基于R-CNN的目标检测算法，实现了准确的实时目标检测。Redmon J等[8]提出的YOLOv3算法具有小而精的特点，在保证算法准确性不变的基础上，通过减少算法输出张量的尺度，可以有效减小算法的运算量，提高算法的运行速度。本文基于YOLOv3算法，能准确识别实时视频中的目标，并对目标的尺寸与视场范围角度进行对比，对视频的焦距变化提出变焦建议，使目标在视场中保持一定尺寸，便于观察。

YOLOv3使用ResNet的残差思想和多尺度预测，使其在一定程度上可以进行不同尺度的目标识别。原始图片在预处理阶段被填充缩放至416×416的大小，作为网络输入。YOLOv3的特征提取网络结构为DarkNet53，输入图片经过DarkNet53网络降采样5次，每次产生不同尺度的特征图。YOLOv3网络结构如图1所示。

图1 YOLOV3网络结构

目标检测阶段采用多尺度融合的方式，在最后3个尺度（13×13、26×26、52×52）的特征图上分别检测。每个尺度上有3个锚点框（anchor boxes）用于检测不同规格的目标。算法按照特征图的大小（S×S）将416×416的图片划分为S×S个等大栅格（grid cell），每个栅格根据锚点框预测3个边界框（bounding boxes）。每个边界框返回两类参数：第一类为目标框信息，即目标框的中心位置与目标框的宽和高；第二类为目标的置信度，取值范围为[0，1]。 具体检测方法为：先对13×13的特征图进行卷积预测，得到第1个尺度下的检测结果；之后将13×13的特征图上采样得到26×26特征图，与网络降采样生成的26×26特征图进行特征融合后进行卷积预测，得到第2个尺度下的结果；同理得到第3个尺度下的结果。将3次检测结果进行非极大值抑制（Non-Maximum Suppression，NMS），得到最终 结果。

YOLOV3采用logistic方式，边框预测公式为：

式中：cx、cy是网格的坐标偏移量；pw、ph是预设的anchor box的边长。最终得到的边框坐标值是bx、by、bw、bh，网络学习目标是tx、ty、tw、th。

1.2 基于目标检测的焦距调节算法

本算法对输入视频进行逐帧检测，获取检测目标的边界框，得到检测目标的宽、高数值。分别计算检测目标的宽、高与原始视频宽、高的比值，取两者较小值为检测目标的尺寸特征变量。若其数值小于0.6，检测目标尺寸较小，建议增大焦距，放大目标在视场中所占比例；若其数值大于0.4，检测目标尺寸较大，建议减小焦距，减小目标在视场中所占比例。

2 基于梯度的自动聚焦调节系统

自动聚焦主要包括图像清晰度评价函数、基于评价函数的图像清晰度计算方法以及自动聚焦策略3个环节。

2.1 基于梯度的图像清晰度评价函数

张宏飞等[9]提出了以图像的灰度梯度和阈值计数为基础的清晰度评价方法。在视场不变的情况下，图像清晰度最高的聚焦位置为对比度高、边缘清晰的情况。这种情况下，对应图像的边缘高频分量的信息较高。为了兼顾效率，本文使用了空域的梯度作为图像清晰度的评价标准，用来检测图像的边缘高频信息。使用拉普拉斯算子进行梯度计算，考虑X、Y两维方向：

式中：f()为像素的数值。

2.2 图像清晰度的计算方法

在实际计算图像清晰度时，需要进行条件约束，来降低噪声及干扰的影响，具体采用3个步骤进行处理：

（1）将彩色RGB图像变换为灰度图，以提高计算效率；

（2）对图像进行高斯滤波，消除图像中的椒盐噪声，降低噪声对梯度的影响，提高鲁棒性；

（3）选择计算窗口，为了避免图像成像畸变对计算的影响，本文并不进行全图像的梯度计算，而是在图像中心窗口进行计算。根据上述自动变焦的结果，目标在视场内的范围约为0.5，考虑到目标不一定在图像中心位置，因此选择0.8（w）×0.8（h）的窗口来进行梯度计算（w和h分别为图像的宽 和高）。

2.3 自动聚焦策略

自动聚焦过程即是求取变化过程中图像梯度最大点的过程。通过折半查找策略，获取梯度最大点。聚焦调节过程如图2所示。

图2 聚焦调节过程示意图

其过程如下：

（1）计算当前窗口梯度数值；

（2）按照步长L1调节聚焦，重新计算窗口梯度数值；

（3）如果梯度增加，则继续调节焦距，直至梯度减小；

（4）若梯度减小，步长减半，反向调节焦距，直至梯度增加；

（5）反复迭代，直至步长小于阈值。

3 试 验

针对飞机目标进行自动变焦试验。当目标在视场中较小时，提示增大焦距，放大目标在视场中的占屏比。如图3所示。

图3 检测目标较小时提示增加焦距

目标在视场中较大时，提示减小焦距，缩小目标在视场中的占屏比。如图4所示。

图4 检测目标较大时提示减小焦距

目标占屏比适中时，提示占屏比合适。如图5所示。

图5 检测目标占屏比合适

对图像进行自动聚焦试验，结果如图6和图7所示。从两组图可以看到，图像边缘逐渐清晰，符合人的视觉观察情况。

图6 自动聚焦试验1

图7 自动聚焦试验2

4 结 语

本文针对工程中目标焦距不易调节和图像不清晰等问题，使用深度学习和梯度算子相结合的方法，实现了焦距自动调节和自动聚焦。通过试验结果可以看出，焦距自动调节后，目标比例合适，符合人的视觉观察；图像清晰，细节准确，可直接用于工 程实践。