基于自适应特征点校正的AR运动物体连续追踪算法

张量 金益 李金祥 刘媛霞 牛丽

摘  要：在增强现实（AR）中，为了将虚拟物体与真实世界无缝融合，需要实时地识别与追踪真实世界中物体的位置，即“跟踪注册”技术。它是AR的核心技术之一，但是受设备限制、环境光照、物体轮廓和纹理的因素影响，会使AR设备对物体的识别和追踪产生误差，从而导致生成的虚拟物体或信息在与真实世界的叠加中产生抖动。本文研究并讨论了一种利用刚体形状不变的特性，修正运动物体跟踪注册中特征点识别误差的方法。

关键词：增强现实;注册追踪;特征点识别;刚体运动

中图分类号：TP391.9      文献标识码：A 文章编号：2096-4706（2019）19-0093-03

Abstract：In augmented reality（AR），in order to seamlessly integrate virtual objects with the real world，it is necessary to identify and track the location of objects in the real world in real time，namely “tracking registration” technology. It is one of the core technologies of AR. However，due to the limitation of equipment，environmental illumination，object contour and texture，AR device will cause errors in object recognition and tracking，which will lead to the shaking of virtual objects or information generated in the superposition with the real world. This paper studies and discusses a method to correct the recognition error of feature points in tracking and registration of moving objects by using the invariant shape of rigid bodies.

Keywords：augment reality;registration tracking;feature point recognition;rigid body movement

0  引  言

增強现实（Augmented Reality，简称AR）是一种通过实时计算摄影机影像的位置及角度将虚拟的三维物体叠加到真实场景中的技术。增强现实技术能够同时体现出真实世界的内容和虚拟世界的内容或信息，并将这两部分内容以合适的方式相互叠加、融合。在基于视觉的增强现实应用中，需要一个具有透明玻璃镜片以及微型投影装置的头盔显示器，用户透过玻璃镜片可以看到真实的世界，而投影设备则将虚拟世界的信息投影到合适的位置，将两者无缝地重合在一起[1]。增强现实技术极大地提升了人与环境以及计算机的交互体验，其将虚拟信息与真实场景融合的交互方式能够应用到教育、医疗、娱乐、商务等诸多领域[2，3]。而其中一项核心问题是如何将虚拟物体精确稳定地融合到真实场景中，这需要实时地识别真实场景中的参考物体及其位置，从而计算出虚拟物体应当出现的相对位置，称之为“三维配准”或者“跟踪注册”技术。

1  研究现状

跟踪注册技术检测需要识别并跟踪的物体特征点的三维坐标信息。跟踪注册技术的好坏直接决定增强现实系统的成功与否，常用的跟踪注册方法有基于机器视觉跟踪注册、基于跟踪器以及预先空间标定的注册、基于无线网络的混合跟踪注册技术等[4-7]。目前较为稳定的商用AR技术中的跟踪注册方案主要是基于机器视觉的识别方案和基于三维空间标定的方案。基于机器视觉方案的主要有苹果AR Kit、谷歌AR Core以及Vuforia的方案。其技术均需通过实时识别视频流每一帧图像中参考物体及其特征点位置作为整个虚拟场景的参考坐标。如果前后帧序列图像中参考物体特征点识别有误差，就会造成整个参考坐标的不规则抖动，从而导致在此参考坐标系中叠加的虚拟物体也产生抖动，使得虚拟物体或者场景无法很好地与现实场景进行融合。基于三维空间标定方案的代表有微软HoloLens、Oculus等的方案。这类方案需要预先对所处的空间进行定位，然后在标定好的空间中追踪物体。在使用中无需实时判断参考物体位置，所以虚拟物体和场景不会抖动。然而空间虚拟坐标一旦标定，不能更改。如果空间场景、场景内物体或者标定传感器位置发生变化，就会导致整个虚拟空间位置错位，需要重新进行标定才能够恢复。国内也有一些自主方案，但多为针对特定场景的，其通用性和稳定性均略逊于前者。

2  特征点识别与追踪

AR设备通常通过一个摄像头获取视频（图像帧序列），通过识别参考物体的特征点（），来确定参考面Ƥ的位置，进而计算出放置在参考面Ƥ上的虚拟物体Obj的相对位置。当AR设备发生移动时（比如顺时针转过一个角度θ时），可以认为相当于参考平面Ƥ向相反的方向旋转了相同的角度  ，进而可以推得，放置在其上的物体Obj也旋转了角度  。因此，只要将虚拟物体旋转角度  即可保持Obj与参考平面Ƥ的相对位置不变，从而达到将虚拟物体Obj与现实中的参考平面Ƥ相融合的效果。平移的处理方式类似，不再赘述。

然而，在实际应用中，由于参考物体形状轮廓、表面纹理的差异、AR设备摄像头素质的高低以及环境、光线等的影响，会导致识别到的特征点出现误差。只要一帧图像的特征点出现误差，就会导致计算出来的虚拟物体位置产生相应的偏差，最终导致虚拟物体无法正确地贴合在真实世界的参考平面Ƥ上，这样的情况在每一帧图像序列的参考面特征识别中都有一定的几率（τ）发生，从而导致计算出来的虚拟物体也会以τ几率发生偏移，以至于产生的虚拟物体的相对位置产生抖动。

要避免这种抖动，必须避免参考面特征点的识别误差。为了达到这个目的，目前的AR方案大多要求被识别的参考物体应当尽量是平面，或者具有十分明显而丰富的特征细节（可识别的特征点），即要求其轮廓或者纹理有明显的拐点，并且纹理颜色不能相近。但实际应用中，大多数现实中的参考物体，都有着圆润的轮廓，纹理颜色也不能保证有丰富的可识别的细节，从而导致目前AR的应用场景受到了很大的限制。

3  基于剛体运动的特征点校正

本文采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，能够避免参考坐标因为识别误差而产生抖动，提升AR应用中虚拟物体与现实世界融合的稳定性。基本思想是利用刚性物体形状不变的特性来修正同一个刚体上特征点位置的偏差。由于现实世界中的参考物体是刚体，不会产生扭曲和形变，所以在AR应用将虚拟物体和现实世界融合的过程中，参考物体上的所有特征点均应当满足统一的刚体运动特征。

算法设计：假设图像序列中前后两帧的特征点向量集合分别为U= 与 = ，根据经典刚体运动原理，参考物体运动应符合刚体运动模型，如式（1）所示：

是位移系数。算法通过以下五个步骤实现，流程如图1所示。

至此，所有 ∈U均符合统一的刚体运动特征，因此保证了参考平面和虚拟物体运动的稳定性，消除了虚拟物体抖动现象。

4  结  论

在基于单摄像头的AR设备上进行三维坐标的跟踪注册会受到设备分辨率、环境光照、物体轮廓和纹理等诸多因素的影响而导致不稳定，从而使得生成的虚拟物体位置产生抖动。这种情况在复杂场景和运动物体追踪中更为明显。利用刚性物体在运动中形状不变的特性，可以在很大程度上过滤同一刚体部分特征点识别误差带来的抖动，从而提高AR跟踪注册的精确程度。解决在运动中可形变物体的跟踪注册将是下一步研究的方向。

参考文献：

[1] 吴骞华.增强现实（AR）技术应用与发展趋势 [J].通讯世界，2019，26（1）：289-290.

[2] 关媛元，王喆.增强现实技术发展及应用综述 [J].计算机产品与流通，2019（1）：98.

[3] 王孜琦.增强现实专利技术综述 [J].科技经济导刊，2018，26（17）：98.

[4] 蒋大为.基于AR系统实现三维物体目标跟踪 [J].科技创新导报，2018，15（31）：102-103.

[5] 郭阳阳，孙涵.基于单目AR环境下的目标识别与跟踪算法 [J].计算机技术与发展，2018，28（10）：8-12.

[6] 郑晓萌，张德海.基于有效特征点的运动目标匹配跟踪算法 [J].电子设计工程，2018，26（20）：59-64+71.

[7] 郭蓓.增强现实中虚实融合技术研究 [D].西安：长安大学，2018.

作者简介：张量（1982-），男，汉族，江苏苏州人，讲师，硕士，研究方向：虚拟现实与增强现实技术。