某型军用电源装备的增强现实训练系统研究*

焦楷哲，程培源，程月蒙，王景辰

(空军工程大学防空反导学院，陕西西安 710051)

0 引言

目前，虚拟训练系统在军事领域得到了广泛的研究，并且有很多研究成果已经应用到军队院校教学和部队日常训练当中。这些虚拟训练系统凭借其代价低、效率高、训练方便等优势逐渐受到各军事强国的重视，并成为竞相发展的训练手段之一。

虚拟训练系统的操作过于依赖计算机的操作系统，需要借助鼠标、键盘等计算机的配套硬件来模拟作战操作过程，与操作现实装备相比较，大大降低了操作人员的操作感受，很大程度上影响了训练效果，同时也缺乏真实战场环境的模拟。所以，寻求一种可以增强操作人员的真实操作感受和建立真实战场环境是十分必要和迫切的。

1 某型军用电源装备虚拟训练系统的总体结构设计

1.1 系统的总体结构

为使该虚拟训练系统的效果达到最佳，某型军用电源装备虚拟训练系统在设计上遵循实用性、逼真性、模块化的原则。系统由总体控制模块、训练模块、视景仿真模块、通信模块、评价模块以及数据库模块等构成。某型军用电源装备虚拟训练系统的总体结构如图1所示。

1.2 系统的分层模型

根据系统的功能要求和总体结构，将系统划分为人机交互层、数据管理层、视景绘制层、通信层、数据存储层。系统的分层模型如图2所示。

(1)人机交互层

人机交互层为训练人员提供友好的人机交互界面，负责接收用户的操作指令，并发送给训练系统，完成人机交互。根据不同的控制功能和用户对象，该层分为总体控制、虚拟训练和训练评价3个模块。

(2)数据管理层

对人机交互层的输入进行处理，管理训练场景、模型数据库以及训练数据。

(3)视景仿真层

根据训练要求，从场景数据库和模型数据库中调用环境模型数据和实体模型进行场景绘制并添加场景特效，最后根据训练科目调用相应的控制面板。

(4)通信层

通信层负责进程间的实时通信和数据传输。

(5)数据存储层

数据存储层用于存储各类数据，包括:装备模型、阵地模型、训练人员信息、训练时间、训练科目、训练人员的操作过程和评价结果等内容。

图1 某型军用电源装备虚拟训练系统总体结构Fig.1 A type of military power equipment virtual training system

图2 某型军用电源装备虚拟训练系统分层模型Fig.2 A type of military power equipment virtual training system hierarchical model

2 某型军用电源装备虚拟训练系统的增强现实技术研究

2.1 增强现实的发展

20世纪60年代，计算机图形技术领域的先驱者伊万·萨瑟兰和学生共同开发出了最早的增强现实(augmented reality，AR)系统模型。20世纪90年代初期，波音公司的Tom Caudell和他的同事在他们设计的辅助布线系统中提出了“增强现实”这个名词［1－2］。

与传统虚拟现实技术所要达到的完全沉浸的效果不同，增强现实技术致力于创造一个虚实结合的世界。它将计算机生成的物体叠加到真实景物上。通过诸如光学透视式头盔显示器(S-HMD)、配有各种成像原件的眼镜、投影仪、普通显示器、甚至是手机屏幕等多种设备，为用户实时的提供一个由虚拟信息和真实景物组成的混合场景。增强现实系统的结构如图3所示。

2.2 增强现实系统的关键技术

增强现实系统大致分为2类:视频透视式增强现实系统和光学透视式增强现实系统。AR应用系统开发的三大关键技术是虚实物体配准、显示技术、真实感绘制技术。在三大关键技术中，虚实物体配准是前提，因为只有高效、实时恢复出场景的虚实物体配准，才能进行精确的光照恢复，才能得到具有强烈真实感的绘制结果。

图3 增强现实系统的结构图Fig.3 Enhanced reality system structure diagram

注册技术是增强现实系统最为关键的技术之一，注册实际上就是将计算机生成的虚拟物体和真实环境中景象“对齐”的过程。注册必须先确定虚拟物体与观察者之间的关系，然后通过正确的几何投影将虚拟物体投影到观察者的视野中。

增强现实系统注册过程一般包含4个基本步骤:①场景信息获取;②真实场景和位置信息分析;③虚拟物体生成;④虚实融合显示。用于某型军用电源装备虚拟训练系统的具体过程如图4所示。

图4 增强现实注册流程图Fig.4 Augmented reality registration flow chart

目前国内外研究人员采用的注册方法主要有:①基于方位跟踪设备的跟踪注册;②基于计算机视觉的跟踪注册;③基于视觉－方位跟踪设备的混合跟踪注册。跟踪的主要目的是记录真实世界里观察者的方向和位置，以便保持虚拟空间和真实空间的连续性，实现精确的注册。基于视觉的注册是通过给定的一幅或者多幅图像来确定摄像机和真实世界中目标的相对位置和方向。目前基于计算机视觉的注册技术研究在增强现实领域处于主导地位，其中包括标志点注册和无标志点注册［3－4］。

2.3 某型军用电源装备增强现实训练系统的开发和应用环境

目前增强现实系统模型的构建，大多基于ARTOOLS的应用平台。该型增强现实系统的开发同样是通过ARTOOLS软件平台。通过该软件对某型电源装备的控制面板进行虚实物体注册，需要进行注册的控制部分包括产生电能，变换电能，传输电能，分配电能，以及总遥控的各个部分。然后通过头盔式显示系统对真实的物体增加注册之后的效果信息，同时在数据库模块中对需要存储的信息进行存储，进而得到该型增强现实系统的最终效果。

该型增强现实系统的应用环境为真实的装备内，用于操作真实装备，但是需要借助于头盔式的显示系统，与肉眼看到场景不同的是会显示数据库内已经注册的信息，例如对于操作的流程的指示，以及各个操作按钮或者开关的功能介绍等。

3 某型军用电源装备增强现实训练系统虚实物体配准的实现

在虚拟训练系统中，视景仿真层面的主要实现途径为场景加载，特效绘制以及面板的调用，所以虚拟训练系统的真实感仅仅是在计算机显示器以内的框架中进行升级用户的感受，并不能给虚拟训练系统的真正操作者带来与操作真实装备的相同或相近操作感受和操作环境。真实感不足的主要体现为:①虚拟训练系统的图像采集为计算机虚拟面板的制作和平面图像的使用;②虚拟训练系统的操作过程中显示的信息多为平面图像信息，缺乏现实中的立体环境。综合上述虚拟训练系统的不足，将增强现实技术应用到模拟训练系统的研究上，希望能够解决虚拟训练系统的不足，得到预期效果。

要解决上述的2个不足，就是要完成增强现实模型中的虚实物体注册的问题，目前多采用无标识点注册算法进行解决。

增强现实的无标志点注册算法是不需要在真实环境中添加任何其他辅助标识，提取真实场景中的点、线、面等图像特征，通过分析和计算来确定摄像机的位置，从而完成虚拟物体在真实环境中的注册过程。虚实物体注册的原理如图5所示。

根据虚实物体注册的原理图即可得到实现增强现实系统的必要步骤［5－6］:

(1)系统首先通过运动摄像机拍摄到序列图像;

(2)通过特征提取技术从序列图像提取自然特征完成图像间特征匹配;

(3)通过摄像机分层标定与特征重建技术，在具有系统噪声和测量噪声的情况下，从统计的意义上对运动目标参数作出精确的估计，计算虚拟对象在真实场景中的位置和姿态信息;

(4)依据场景信息从虚拟对象库中选取合适的虚拟对象，根据位姿信息对虚拟对象进行变换和渲染;

(5)通过显示设备视频/光学透视式头盔将虚实融合的增强信息显示给用户。

通过上述步骤即可实现某型军用电源装备增强现实训练系统虚实物体的配准。

在某型军用电源装备增强现实训练系统虚实物体配准的实现中，重点对图像特征的提取匹配与物体结构的三维重构和运动信息2个部分进行分析研究。

3.1 虚实注册算法流程图

虚实物体注册算法的流程图，如图6所示。

3.2 图像特征提取和匹配

在图像特征提取之前，需要对采集到的图像进行阈值分割和边缘检测。

图5 虚实注册原理图Fig.5 Schematic diagram of registration

图6 虚实注册算法流程图Fig.6 Registration algorithm flow chart

阈值分割［3，7］中的阈值T的选择是关键。阈值选择过高，则部分物体像点会被误划分为背景像点;阈值选择过低，则部分背景像点会被误划分为物体像点。为了使图像的阈值分割有效，需要用适当的阈值选择方法，选择正确的阈值。

综合p－参数法、状态法、微分直方图法、判别分析法、可变阈值法等常用的阈值选择方法的优缺点，选择了能够给定图像直方图的状态法，如图7所示。

图7 根据状态法进行阈值选择Fig.7 According to the method of threshold selection

图7中的的2个峰值对应于对象图形和背景，可以在这2个山峰中间谷的地方决定阈值T。

边缘检测则可通过提取边缘算子来完成，即局部区域内图像特征的差别明显，它表现为图像的灰度值突变，纹理结果的突变以及色彩的变换。

基于自然特征的增强现实系统，其图像特征提取可分为点特征提取和线特征提取，与之相对应的匹配为图像对应点匹配和图像间直线匹配。在此详细介绍点特征的提取与匹配。

3.2.1 点特征提取与匹配

点特征的提取，不仅仅是提取简单的几个点，而是要符合真实场景中的运动规律，该增强现实系统采用全局图像描述子，通过对全局点特征的提取，分析以及分类，不需要特征匹配，只需进行对应点的匹配即可完成，算法鲁棒性更好，更简单［8－9］。

空间物体上一特征点，运动前在t时刻位置为Q(t)，在图像平面上的投影点为q(t)，灰度为f(t);运动后在t+Δt时刻位置为Q(t+Δt)，在图像平面上的投影点为 q(t+Δt)，灰度为 f(t+Δt)，R(t，Δt)与T(t，Δt)分别表示从时间t到t+Δt的旋转和平移。运动方程写为

结合三维运动分析，由式(1)得

式中:Ω(t)为瞬时角速度向量;v(t)表示在t时刻沿x，y，z 3个方向的瞬时平移速度。

对得到的参数进行透视投影模型分析，(x，y)为图像中q点的坐标值，(X，Y，Z)为物体空间点Q在摄像机坐标系下的坐标值，F为摄像机焦距［8］:

把式(3)代入式(2)得

式中:(μx，vy)为特征点在图像平面上的运动速度。

n个点特征图像雅可比矩阵为

利用特征点光流约束方程，每个点可给出2个方程，因此构造图像雅可比矩阵至少需要3个点。当特征点个数n＞3，图像雅可比矩阵的行数大于列数，图像雅可比矩阵(5)的伪逆为

将式(6)代入(4)就可以由图像平面上像素的速度求出运动刚体的速度向量。

图像点的匹配不需要特征匹配，只要进行对应点的匹配即可满足要求。对应点的匹配就是将一幅图像中的像点映射到另一幅图像中位置，它是实现三维重构的基础。基本理论依据是对极线约束、唯一性约束、相似性度量和连续性假设等。

3.2.2 线特征提取与匹配

线特征的提取与匹配相较于点特征，不同之处在于进行线特征提取的过程当中运用的是Canny边缘检测［10］，而不是点特征的雅克比矩阵。

相适应的匹配是根据Hough变换的点线对偶性原理，将在图像平面中对直线的跟踪转化为在Hough空间中对点的跟踪。在Hough空间ρ－θ中，一条直线变换为一个点，如果把这个点看成Hough空间的特征点，就可以按照特征点的跟踪算法来进行。

3.3 物体的三维重构和运动信息

物体的三维重构和运动信息是计算机视觉的重要研究内容。目前应用最为广泛的一种方法是奇异值分解法，因为这种方法可以同时处理多帧图像序列的测量矩阵，保证了算法的鲁棒性和精确性。

奇异值分解法的基本思想是:在秩约束的条件下，运用奇异值分解法把由特征点组成的测量矩阵直接分解为旋转矩阵和模型矩阵。同时考虑到在正交约束下，可能会造成结果的歧义性，引进了基约束来解决这种歧义性。

3.3.1 图像的模型矩阵S和旋转矩阵R

已知特征点Q(uij，vij)，n个特征点组成测量矩阵W2m×n(其中m为图像帧数，n为一幅图像的特征点数)。假设非刚体的三维模型是基础模型的加权组合，则有

式中:ωil为加权系数;Sl为模型基;K为模型基个数。当K=1，ωil=1时，对应刚性物体的情况。

为了简化计算，将图像坐标的原点置于图像像点的中心，这样就不用考虑平移向量。得到弱透视模型下的方程［11］:

式中:Ri2为旋转矩阵R的前两行。

把m帧图像叠加起来且变形，则有［12］

3.3.2 转换矩阵P的确定与旋转矩阵R和加权系数ωil的求解

根据秩约束条件，旋转矩阵R单位正交，可运用线性最小二乘法求得转换矩阵P。继而得到运动矩阵，模型基矩阵

运用奇异值分解法对矩阵M进行进一步分解，即可得到旋转矩阵R和加权系数ωil，根据旋转矩阵和加权系数，由式(7)最终求得模型矩阵S。最终完成物体的三维重构和恢复运动信息。

经运用上述算法解决了图像特征的提取与匹配，三维物体重构等问题，实现了增强现实训练系统的虚实物体注册，效果如图8所示。

图8 某型军用电源装备增强现实训练系统虚实注册Fig.8 A type of military power equipment to enhance practical training system of registration

在解决了虚拟训练系统的图像采集和立体环境的真实感不足之后，目前增强现实技术在提高用户的触觉感受方面有了质的飞跃，在真实装备上提取操作过程中需要的压力信号，之后压力信号通过压力传感器传输到人体的触觉组织，得到相应的触觉感受，这项技术还在研发论证阶段。

4 结束语

本文在虚拟训练系统模型的基础上，提出了优于虚拟训练系统的增强现实系统模型，并结合某型军用电源装备进行了研究。首先对采集的图像进行阈值分割和边缘检测等前处理;其次运用点特征的雅克比矩阵等进行图像的特征提取与匹配;最后用奇异值分解法、最小二乘法等方法恢复物体的三维重构和运动信息，实现了虚实物体注册，解决了训练系统真实感不足，操作环境依赖计算机等不足，验证了增强现实训练系统的有效性和实用性。为部队训练系统的设计提供了一条创新性的思路，发展前景很大。

［1］ MIZELL D.Boeing's Wire Bundle Assembly Project，Fundamentals of Wearable［C］∥Computers and Augmented Reality，2001:447－467.

［2］ 边晶，杜威.基于构架重用的虚拟操作训练领域仿真系统的研究［J］.制造业自动化，2011，33(10):16－21.BIAN Jing，DU Wei.Automation of Virtual Operation Training Simulation System Based on Framework Reuse［J］.Manufacturing Industry，2011，33(10):16－21.

［3］ 熊友军.基于增强现实的遥操作关键技术研究［D］.武汉:华中科技大学，2005:18－22.XIONG You-jun.Research on the Key Technology of Teleoperation Based on Augmented Reality［D］.Wuhan:Huazhong University of Science and Technology，2005:18－22.

［4］ 王国辉，邓威，李向荣.基于虚拟现实的自动装弹机虚拟维修训练系统［J］.火炮发射与控制学报，2011(3):16－21.WANG Guo-hui，DENG Wei，LI Xiang-rong.Virtual Reality Virtual Repair Autoloader Training System［J］.Journal of Gun Launch ＆ Control Based on September，2011(3):16－21.

［5］ 赵新灿.增强现实维修诱导系统关键技术研究［D］.南京:南京航空航天大学，2007:27－28.ZHAO Xin-can.Research on the Key Technology of Augmented Reality Repair Induction System［D］.Nanjing:Nanjing University of Aeronautics ＆ Astronautics，2007:27－28.

［6］ 徐君明，赵红超，李国林，等.模拟训练系统中虚拟仪表设计的方法学研究［J］.航天控制，2010，28(6):37－42.XU Jun-ming，ZHAO Hong-chao，LI Guo-lin，et al.Methodology Research of Virtual Instrument Design in Simulation Training System ［J］.Aerospace Control，2010，28(6):37－42.

［7］ 杜承烈，陈进朝.虚拟试验软件平台技术的研究与展望［J］.计算机测量与控制，2011，19(3):490－494.DU Cheng-lie，CHEN Jin-chao.Research and Prospect of Software Platform for Virtual Experiment Technology［J］.Computer Measurement＆ Control，2011，19(3):490－494.

［8］ 贾云得.机器视觉［M］.北京:科学出版社，2000:32－37.JIA Yun-de.Machine Vision［M］.Beijing:Science Press，2000:32－37.

［9］ 王金华.武器跟踪随动系统视景仿真［J］.火力与指挥控制，2010，35(8):11－16.WANG Jin-hua.The Weapon Tracking Servo System Simulation［J］.Fire and Command Control，2010，35(8):11－16.

［10］ Canny.A Computational Approach to Edge Detection［J］.IEEE Transactions on Patern Analysis and Machine Intelligence，1986，8(6):679－698.

［11］ 石信增，汪亚明.基于图像序列的非刚体三维运动恢复［J］.计算机应用与软件，2011，28(9):216－218.SHI Xin-zeng，WANG Ya-ming.Non-Rigid Object 3-D Motion Restoration Based on Image Sequence［J］.Computer Applications and Software，2011，28(9):216 －218.

［12］ BREGLER C，HERTZMANN A，BIERMANN H.Recovering Non-Rigid 3D Shapefrom Image Stream［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2000:690－696.