光电跟踪系统高精度模板匹配跟踪算法

吴 浩，张 勇，李 欣，佀明华，王伟明

光电跟踪系统高精度模板匹配跟踪算法

吴 浩1，张 勇2，李 欣3，佀明华3，王伟明3

（1. 陆军工程大学 石家庄校区 电子与光学工程系，河北 石家庄 050003；2. 中国人民解放军32181部队，河北 石家庄 050000；3. 石家庄铁道大学 电气与电子工程学院，河北 石家庄 050043）

为实现在光电跟踪系统条件下的高精度测量并且满足复杂环境下高精度目标匹配，本文选用去均值归一化互相关匹配算法。为提高匹配速度以及跟踪实时性，利用和表法计算公式中图像求和、平方和图像匹配互相关来简化计算复杂度；采用小波分层金字塔法作为搜索策略，并将模板质心作为参考点进行十字形搜索，引入终止阈值减少误匹配点进一步提高搜索速度。为验证该算法的有效性，实验中将光电跟踪系统放置在二维转台上，调整转台利用该算法跟踪目标靶板。实验结果表明，目标脱靶量控制在3个像素以内，该算法在光电跟踪系统上可实现高精度稳定跟踪。

模板匹配；光电跟踪系统；归一化互相关匹配；和表法；小波金字塔

0 引言

光电跟踪系统广泛应用于实时监控、视觉测量、视觉定位、武器火控系统等领域。同时在光电跟踪系统下可实现高精度测量，如激光跟踪仪、导弹导引头等，其中目标脱靶量的提取直接影响光电跟踪系统的跟踪精度以及测量精度。

工程中常用的模板相关匹配算法[1]主要有绝对误差和算法（sum of absolute differences，SAD）、平均误差平方和算法（mean square differences，MSD）和归一化互相关算法（normalized cross correlation，NCC）等算法。其中归一化互相关算法广泛用于光电跟踪系统的目标跟踪，具有精度高、鲁棒性强等优点。传统的归一化算法匹配精度高但采用遍历的搜索方式，运算量较大，必须配以合适的搜索策略才能用于实时跟踪。如Lewis首先提出用和表法简化归一化互相关公式分母复杂度，但分子复杂度没有改变[2]。陈翔提出一种相似度量函数的模板匹配跟踪算法改善了跟踪速度，但精度没有大幅提高[3]。谢维达提出了一种利用三个判据确定最优解的模板匹配算法，但合适阈值判断复杂[4]。王斌提出了将高斯金字塔分层引入十字形搜索方法提高搜索效率，但对于运动目标偏量估计不足[5]。胡敏提出一种根据模板质心区域进行匹配方法，提高了匹配速度，但无法满足跟踪实时性的要求[6]。

因此本文使用基于灰度图的去均值归一化互相关模板匹配方法来降低背景环境的亮度变换对匹配结果的影响。为了提高匹配速度，通过建立和表的方法来降低公式复杂度，减少了公式的计算量。同时利用小波金字塔分层与十字形搜索相结合的优化搜索策略，提取目标图案中心坐标为脱靶量的基准，从粗匹配到精匹配，提出了一种快速稳定的高精度目标跟踪算法。通过实验验证该算法跟踪合作目标的效果，计算得到光电跟踪系统对运动目标脱靶量小于3个像素。

1 光电跟踪模板匹配

1.1 归一化互相关算法

归一化互相关算法的计算复杂度较大，但对于灰度变化和较小的几何形变存在鲁棒性，同时具有较强的抗干扰能力、鲁棒性高和不依赖图像分割效果的优点[7]。在实际应用中，图像亮度的突然变化会对计算结果造成不利影响[8-9]。图像亮度变化的影响主要体现在图像均值上，通过减去图像均值可以抑制图像亮度及对比度突变对相关匹配的影响，提高配准的准确性。去均值归一化互相关运算公式如下[10]：

将公式(1)展开得到：

将公式(3)代入公式(2)化简得到：

式中：

公式(4)中，模板方差t和模板均值只需计算一次，通过简化公式一定程度上减少了计算量，但对于待匹配图的方差及两张图像的协方差计算仍需要多次重复执行。

1.2 快速归一化互相关算法

当,＜0时，1(,)＝0、2(,)＝0、3(,)＝0，则待匹配图像区域累加和、平方累积和及互相关值为：

对于待匹配图像×和模板图像×，提出的快速归一化互相关算法与传统归一化互相关算法相比，计算复杂度从(×××)降为(×)，计算复杂度对比如表1所示。

表1 计算复杂度对比

2 基于小波金字塔质心法的十字形搜索策略

2.1 小波金字塔分层搜索策略

分层金字塔方法搜索策略[14-15]，能够减少图像匹配搜索时间，有效地保留图像中的大部分信息，实现对图像的匹配和分析。小波分解变换将图像根据高频与低频信息进行分解，能够有效地保留图像中的大部分信息。本文采用小波金字塔分层搜索策略。

小波金字塔认为一幅图像可分为包含内容信息的低频图像和包含细节信息的高频图像[16]，分别对图像的行列进行高通滤波与低通滤波，然后进行亚抽样获得缩略图，通过小波变换可将原图像分解为4幅子图像，子图的分辨率为原图的1/2。低频子图像反映了原图的绝大部分信息，所以对低频子图再进行滤波分解，此基础上又获得低频子图像。按照这个过程反复，实现图像的多级分解。

对采集的视频序列进行小波金字塔分层处理，将模板图像与待检测图像分成5层图像进行归一化互相关匹配，观察小波金字塔分层图像对匹配结果的影响。如图1所示。

图1 金字塔分层图像的互相关匹配结果

通过图1可以看出第二层与第三层图像最大相关值比原图要高，经分析是在金字塔分层的过程中前两层图像通过低通滤波将原图中的噪声与及边缘细节进行了剔除。虽然内容细节信息也相应减少，但是对匹配结果影响较小。第四层金字塔图像的最大相关度与原图像相比平均略低，经分析在第四层图像经过多重低通滤波，内容细节信息有了较大损失，但还基本满足原图模板匹配精度要求。第五层金字塔图像的最大相关度远低于原图模板匹配，内容细节严重丢失，与原图相关度相比有较大差距不满足模板匹配精度要求。

理论上来说，金字塔分层数越高，搜索速度越快。但通过对本视频序列分析，金字塔层数越高，匹配精度越低，误匹配点概率越大，因此金字塔分层在2～4层为宜。在本方法中，选用3层金字塔结构进行匹配。对待匹配图像进行滤波分解处理后，首先对最低分辨率待匹配图像与最低分辨率模板图像进行快速NCC模板匹配，获得该层图像的最佳匹配点(,)。低分辨率层图像的匹配点可以作为高分辨率层图像的初始值搜索位置，然后以该点为中心的小范围内进行局部快速NCC模板匹配，寻找最佳匹配点(0,0)。

2.2 基于目标质心的十字形搜索策略

十字形搜索[17]是将当前匹配点与其上下左右四个匹配点进行比较，选择最优匹配点建立新的十字形进行比较，从而确定搜索方向直至当前匹配点为最优结果。根据搜索形状可分为大十字形、小十字形、菱形等。小波金字塔高层图像分辨率低、尺寸变小，适合用小十字搜索进行优化搜索。

选择合作目标靶板进行跟踪，靶板图案采用一定宽度的黑色十字分划线。根据模板图案，选取了常见的两种方案提取模板图案中心。一是直线检测法检测直线交点提取中心，二是采用质心法提取中心。如图2、3所示。通过比较质心法检测速度更快，结果更为稳定，因此选择质心法检测模板图案中心坐标。

图2 质心法

图3 直线检测法

选取视频序列中任一帧图像进行归一化模板匹配，观察匹配相关度结果，仿真结果如图4所示。传统分层搜索过程中对最高层图像采用遍历搜索查找最佳匹配点，在本实验及算法中在最高处图像设置终止阈值，经计算发现待测图像模板匹配相关度大于0.8的像素点占整幅图像的千分之一，如图5所示。结合图1视频序列最大相关度曲线，跟踪过程中背景变化小但应考虑噪声干扰等因素不宜设置阈值过高，选用0.8作为匹配相关度的终止阈值满足所有视频序列。

图4 待测图像模板匹配相关度

图5 待测图像匹配相关度大于0.8

在初始图像中选取模板图像，提取初始图像中模板质心坐标用于之后的匹配搜索初始位置。传统模板匹配将待匹配图像左上角作为图像初始匹配点，进行遍历搜索。改进搜索策略将模板图像质心作为参考点[6]，在金字塔顶层图像上以模板质心坐标为初始匹配点，进行十字形搜索并引入自适应终止阈值，根据仿真分析将相关度值0.8作为当前帧的终止阈值。当归一化匹配结果大于这一阈值并且匹配点位于十字形搜索中心时，提前结束顶层金字塔图像匹配。将上层金字塔匹配点坐标作为下一层金字塔图像初始匹配点，然后重复上述步骤。最终在待测原图像得到匹配区域，进行质心提取。本帧图像的最佳匹配点即为目标质心点，计算目标质心脱靶量。将脱靶量转换角度信号输入到伺服系统中进行稳定跟踪。算法流程图如图6所示。

图6 跟踪算法流程

3 实验结果与分析

为验证该跟踪算法的有效性，将该算法用于高精度空间角度动态测量方法。该测量方法利用相位激光测距获得被测对象与目标靶板之间的空间距离，利用高精度伺服机构跟踪远处场景中的合作靶板，获得相对于目标靶板的空间角度信息。进而通过空间坐标变换，实现被测对象转角的精确测量。测量过程中靶板放置不动，光电跟踪系统随被测目标发生转动，该过程中相机拍摄靶板图像，并始终对准初始靶板中心。采用图像开源库OpenCV和C＋＋语言编程实现，搭建模拟实验，将光电跟踪系统夹持在位移台平板底座末端，距离光电跟踪系统约30m处立一个带有20cm×20cm十字分划的目标靶板。光电跟踪系统中的相机和激光测距机实现靶板十字分划图案的采集和测距，图7是实验装置示意图。

图7 实验装置示意图

整个测量过程中无目标遮挡且图像背景变化不大，且为提高跟踪精度与鲁棒性，选择了易识别的十字靶板图案。实验过程中图像配准精度以及伺服系统框架的控制精度直接影响到跟踪结果的准确性与稳定性。通过初始图像手动选取目标并开始跟踪。将小波金字塔分层搜索策略与十字形搜索策略相结合对待检图像进行模板匹配。检测目标图案质心并求得目标帧间偏移量，并将该偏移量送给伺服机构。伺服控制系统将其转化为角跟踪误差信号，通过位置和速度双回路反馈，控制双框架电机转动实现对目标的跟踪。图8为实验结果跟踪图像。

图8 跟踪结果图像

通过对跟踪区域位置进行中心提取，模板图案质心均被准确标记，可见跟踪过程稳定。选取100帧处理图像序列，通过提取目标质心坐标进行观察，如图9所示。

图9 图像质心坐标序列

100帧处理图像中心坐标平均值为(319.93, 370.12)，均方差为(1.73,1.49)。目标质心坐标基本在3个像素范围内波动，该跟踪误差与被测目标运动状态以及伺服系统跟踪精度有关。通过实验结果可认为该算法用于光电跟踪系统过程中跟踪稳定，精度高、鲁棒性好。同时对非合作目标进行跟踪实验比较实验结果，在距离30m左右选择路灯作为跟踪目标。转动二维转台使光电跟踪装置发生偏转，观察跟踪效果。实验跟踪结果图像如图10所示。

选取100帧处理图像序列，通过提取目标质心坐标进行观察，如图11所示。

从非合作目标跟踪序列观察来看，100帧图像中心坐标平均值为(339.01, 295.11)，均方差为(3.57, 3.15)，目标质心坐标基本在6个像素范围内波动。非合作目标跟踪虽然满足了跟踪要求，但与合作目标跟踪相比，十字靶板跟踪精度更高，稳定性更好。在两组跟踪实验中，背景变化不大，因为该算法主要用于满足以光电跟踪装置为基础的高精度检测需求。将光电跟踪装置与被测目标固定，被测目标移动时光电跟踪装置跟踪靶板，通过解算跟踪过程转动角度及变化关系，得到目标动态角度或方位信息。该方法可用于调炮精度检测等方面。该方法对跟踪精度要求较高。因此，本方法选用以合作目标十字靶板为跟踪目标的模板匹配跟踪算法。

图10 非合作目标跟踪图像

图11 非合作目标质心坐标序列

4 结论

本文为实现光电系统的高精度跟踪测量，采用去均值归一化互相关算法作为跟踪算法，传统归一化互相关算法具有较高的计算复杂度影响了算法实时性。为减少模板配准时间，将匹配公式进行改进减少不必要的计算，并采用和表法将公式中乘法运算简化为加减运算。为减少目标搜索时间，采用小波金字塔搜索策略，将图像通过小波金字塔分层，从高层到底层，以模板质心为参考点进行十字形搜索，并通过阈值提前结束搜索得到最佳匹配点。实验结果表明，去均值快速归一化互相关算法结合小波金字塔分层搜索策略在运动过程中可以稳定地跟踪十字靶板目标，通过质心法提取目标图案中心坐标，目标在跟踪中偏移量小于3个像素。可将该算法用于以光电跟踪装置为基础的高精度检测方法。本文介绍的图像跟踪算法在光电跟踪系统中具有较高的应用价值，基于靶板的目标识别跟踪算法，精度高但操作依赖合作目标，下步着重利用远场中的典型非合作目标实现高精度跟踪测量。

[1] 朱泓谕. 模板匹配技术在图像识别中的运用[J]. 电子技术与软件工程, 2021(5): 122-123.

ZHU Hongyu. Application of template matching technique in image recognition[J]., 2021(5): 122-123.

[2] Lewis J P. Fast normalized cross correlation[C]//, 1995: 120-123．

[3] 陈翔, 陈鹏. 基于改进模板匹配的目标跟踪算法[J]. 计算机应用, 2011, 31(z2): 127-128.

CHEN Xiang, CHEN Peng. Object tracking algorithm based on improved template matching[J]., 2011, 31(z2): 127-128.

[4] 谢维达, 周宇恒, 寇若岚. 一种改进的快速归一化互相关算法[J]. 同济大学学报(自然科学版), 2011, 39(8): 1233-1237.

XIE Weida, ZHOU Yuheng, KOU Ruolan. An improved fast normalized cross correlation algorithm[J].(Natural Science), 2011, 39(8): 1233-1237.

[5] 王斌, 何中市, 伍星, 等. 基于高斯金字塔的图像运动估计算法[J]. 计算机工程与应用, 2015, 51(7): 174-178.

WANG Bin, HE Zhongshi, WU Xing, et al. Image motion estimation algorithm based on Gaussian pyramid[J].s, 2015, 51(7): 174-178.

[6] 胡敏, 贺晓佳, 王晓华. 快速区域质心图像匹配算法[J]. 电子测量与仪器学报, 2011, 25(5): 455-462.

HU Min, HE Xiaojia, WANG Xiaohua. Fast image matching algorithm with area centroid[J]., 2011, 25(5): 455-462.

[7] YANG Zhuo. Fast template matching based on normalized cross correlation with centroid bounding[C]//, 2010: 224-227.

[8] 穆欣侃, 罗海波. 一种对亮度变化鲁棒的相关跟踪方法[J]. 红外与激光工程, 2012, 40(1): 255-260.

MU Xinkan, LUO Haibo. Correlation tracking approach robust to the variation of image brightness[J]., 2012, 40(1): 255-260.

[9] 徐一鸣, 顾菊平, 袁媛, 等. 基于改进归一化积相关算法的目标跟踪方法研究[J]. 南通大学学报(自然科学版), 2013, 12(2): 11-15.

XU Yiming, GU Juping, YUAN Yuan, et al. Research on target tracking method based on an improved normalized product correlation algorithm[J].(), 2013, 12(2): 11-15.

[10] WEI Shouder, LAI Shanghong. Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J]., 2008, 17(11): 2227-2235.

[11] Tsai D M, LIN C T. Fast normalized cross correlation for defect detection[J]., 2003, 24: 2625-2631．

[12] Gharavi-Alkhansari M. A fast globally optimal algorithm for template matching using low-resolution pruning[J]., 2001, 10(4): 526-533.

[13] 吴强, 任琳, 张杰. 快速归一化互相关算法及DSP优化实现[J]. 电子测量与仪器学报, 2011, 25(6): 495-499．

WU Qiang, REN Lin, ZHANG Jie. Fast algorithm of normalized cross correlation and optimized implementation on DSP[J]., 2011, 25(6): 495-499．

[14] 陈岳军, 孙广玲, 姚恒. 结合小波金字塔的空频域亚像素图像配准[J]. 上海大学学报(自然科学版), 2012, 18(4): 342-348.

CHEN Yuejun, SUN Guangling, YAO Heng. Hybrid spatial-frequency domain sub-pixel image registration with wavelet pyramid[J].(), 2012, 18(4): 342-348.

[15] 吴鹏, 徐洪玲, 宋文龙. 结合小波金字塔的快速NCC图像匹配算法[J]. 哈尔滨工程大学学报, 2017, 38(5): 791-796.

WU Peng, XU Hongling, SONG Wenlong. A fast NCC image matching algorithm based on wavelet pyramid search strategy[J]., 2017, 38(5): 791-796.

[16] 刘元琳, 宋春凤, 王玲玲. 基于金字塔的渐进分辨率匹配算法研究[J]. 电子制作, 2020(20): 27-29.

LIU Yuanlin, SONG Chunfeng, WANG Lingling. Research on progressive resolution matching algorithm based on pyramid[J]., 2020(20): 27-29.

[17] 张万绪, 吴佳丽, 赵丽平, 等. 改进的十字菱形搜索算法INCDS[J]. 西北大学学报(自然科学版), 2011, 41(2): 226-230.

ZHANG Wanxu, WU Jiali, ZHAO Liping, et al. Improved new cross-diamond search algorithm INCDS[J].(), 2011, 41(2): 226-230.

High-precision Template Matching Tracking Algorithm for Optoelectronic Tracking System

WU Hao1，ZHANG Yong2，LI Xin3，SI Minghua3，WANG Weiming3

(1.,,050003,; 2. 32181,050000,; 3.,,050043,)

To achieve high-precision measurements under the operating conditions of optoelectronic tracking systems and satisfy high-precision target matching in complex environments, in this study we adopted the average normalized cross-correlation algorithm. To improve the matching speed and real-time tracking, the computational complexity was simplified by using the sum table method to correlate the sum of images, squares, and the correlation of images. The wavelet pyramid method was used as the search strategy, and the center of the template was used as the reference point for cross-shaped search. A termination threshold was introduced, which reduced the number of mismatched points to increase the search speed. To verify the effectiveness of the algorithm, an optoelectronic tracking system was placed on a two-dimensional turntable in an experiment that used the algorithm to track a target. The experimental results show that the missed target was controlled within 3 pixels. The proposed algorithm can realize high-precision and stable tracking in optoelectronic tracking systems.

image matching, optoelectronic tracking system, normalized cross correlation, sum-table scheme, wavelet pyramid

O439；TP391

A

1001-8891(2022)12-1301-08

2018-06-20；

2022-11-18.

吴浩（1993-），男，河北辛集人，硕士研究生，研究方向为光电检测与图像处理。

张勇（1974-），男，河北邢台人，博士，高级工程师，研究方向为光电检测与图形图像处理。E-mail：bit10701159@163.com。

国家自然科学基金（51305455），陆军装备部资助课题（ZS2014070140A12002）。