增强现实交互技术在历史博物馆中的应用

吕淘沙，汤 汶，万韬阮，朱耀麟，武 桐，田 蓉

（1.西安工程大学 电子信息学院，陕西 西安710047；2.提赛德大学 计算机学院，英国 米德尔斯伯勒；3.布拉德福德大学 媒体与信息学院，英国 布拉德福德，BD7 1DP）

0 引 言

在20世纪60年代，Ivan Sutherland［1］就提出将计算机生成的信息直接加到真实世界中的想法.直到90年代，增强现实技术被波音公司的Tom Caudel提出［2-3］.增强现实系统可将计算机技术和可视化技术生成的3D虚拟物体，通过数字化处理计算后精确地叠加在真实环境中已经标定好的位置上，最后通过显示设备将虚实融合的场景展现出来，给参观者带来新的视觉冲击［4］.

早期，研究人员通过向真实场景中添加人为的已经标定好的标志物来获取完成虚实注册所需的摄像机位置和姿态信息.即基于标志物的注册技术［5-9］.以美国华盛顿大学的ARToolKit，德国政府资助研发的ARVIKA以及国内北京理工大学的彩色标志点方法［10］和华中科技大学的ARDK为代表［11］，以上方法能在一定程度上解决注册问题，但同时也存在一些缺陷.比如，在系统运行的过程中人为添加且已经标定好的标志物需要始终位于参观者的视线范围之内或必须在摄像机的视角范围内对真实场景中已标定好的标志物持续跟踪，如果超出参观者视线范围或标志物一旦被遮挡，则不能正确预估其位置，系统就无法正常运行.此外，在人类认知范围内的博物馆一般是以文物为基础，利用橱窗、玻璃灯箱和说明牌等刻板的方式进行文物的展出.展览方式枯燥单一，展品数量虽多，但传达的信息量却很少，许多展品背后所蕴藏的信息被忽视.

针对上述问题，本文采用Vuforia特征点检测匹配方法实现秦兵马俑人机交互系统，利用相似比算法将虚拟按键由二维坐标转化到三维坐标，根据真实秦兵马俑坐标信息制作的幻影模型导入计算机，最后通过手指触发虚拟按键产生相应的指令.该方法也使展览的趣味性增加，以往乏味陈旧的参展方式也逐渐变为多感官的互动方式，实现博物馆的多元化［12］.

1 基于标志物的三维注册

在文物展示中，要达到虚拟特体与真实场景的无缝结合，并实时显示，则系统需要进行精准的三维注册［13-15］.该系统采用基于标识物的计算机视觉的三维注册技术，与无标识跟踪方法相比，有标识物的视觉跟踪方法通过设置标识物减少对目标物体的跟踪时间，实时性较好.

1.1 标志物的选取

为了便于识别和分析，标志物通常采用方形标识物，标志物上的图案对应不同的虚拟内容.Vuforia图像识别无需特别的黑白识别码.检测和追踪到图片本身的可识别点，通过对比识别数据库里的识别数据和摄像头捕捉到的图片上的识别点是否吻合来达到特征点匹配［16］.

选取AR标志物是系统实现的关键之一，本系统中Vuforia使用彩色标志物如图1所示，且标志物满足以下几点：

（1）图片上细节丰富，特征点明显，避免柔和或圆滑的形状.

（2）图像对比度强烈.

（3）图片无相似的重复图案，选取非对称的图案，尽量有很多不同的角度.

（4）图片格式必须为8bit或24bit的PNG或JPG图片，2M以内.JPG图片必须是RGB模式或者灰度模式（不能使用CMYK模式）.

图1 系统所选用的标志物及特征点在线提取Fig.1 The marker of AR system and feature points extraction online

本系统选取的图像作为辨别标志物，如图1所示，具有实时性强，稳定性高等优点.将所选取的标志物上传到在线的Target Manager创建设备数据库，在线创建设备数据库即对用户上传的图片进行特征提取，用于之后的识别跟踪，计算标识坐标系与相机坐标系之间的关系.

1.2 真实场景中标志物的位置获取

Vuforia通过QCARManagerImpl类获取图像，并进行图像识别，跟踪物体，得到目标物体的位姿.主要使用到的相关的数据结构有

（1）ImageHeaderData 图 像 头 结 构 体；（2）FrameState结构体，它包含了识别跟踪到的数据.其中有找到跟踪目标的个数，虚拟按键的个数，帧的索引号，跟踪结果数据，虚拟按键跟踪结果；（3）TrackableResultData结构体，它包含了图像识别跟踪的数据.位姿数据，跟踪状态以及目标的ID号；（4）PoseData结构体，它包含了姿态.其中有位置和旋转量.目标物体位姿的具体程度如图2所示.

2 交互技术

交互是指两个或两个以上物体之间相互影响以及相互作用的过程.交互技术内容包括人机交互，人与所处真实场景之间的交互，以及真实世界中的物体与计算机生成的虚拟物体之间的交互.与虚拟物体的交互主要体现在用户对虚拟物体的控制或编辑上［17］.

2.1 增强现实交互系统模块及工作流程

现实世界与虚拟信息交互比较困难，系统使用外形简单，易于识别的特制工具作为虚拟按键，通过按键可以触发一些系统事件，利用Vuforia进行增强现实系统的建立.系统通过虚拟按键对兵马俑模型进行控制，用户通过手指点击虚拟按键更换不同的兵马俑3D模型并控制它们平移旋转等动作，如图3所示.

2.2 虚拟按键坐标的计算

标志物二维坐标系原点在标志物的左上角，Y坐标为竖直方向，X坐标为水平方向.像素为（1500，1050），按键尺寸为（200，75）.Vuforia SDK使用右手坐标系，以标志物的中心点坐标（0，0，0）定义一个三维坐标系.坐标X向右为正，坐标Y在标志物平面向上为正，坐标Z垂直于标志物平面以中心点向上为正.表1中原始像素坐标分别为按键矩形框中的左上角和右下角的坐标值.

图2 相机得到目标物体位姿的程序流程图Fig.2 The program flowchart of getting object pose

图3 基于标识的交互系统工作流程Fig.3 The flowchart of interaction system based on the markers

表1 虚拟按键二维坐标到三维坐标的转化Table 1 The transform of virtural buttons′2Dcoordinate and 3Dcoordinate

以红键为例，利用相似比计算出表1中二维坐标转化成三维坐标系后的X值和Y值.即90／750=（123.5-X）／123.5，X=108.68

同理计算Y值，判断正负，转化后的坐标值为（-108.68，-53.52）.表1中三维坐标数据即为原始坐标系转化成三维坐标系得出的值.

2.3 系统实现及效果展示

图4 手指触发Red和Blue按键出现的虚拟模型效果图Fig.4 The result of touching the Red button and the Blue button

利用Vuforia特征点检测匹配算法，通过计算识别并检测出图像中标志物的位置及其ID，并在标志物上生成相应的虚拟信息，使参观者在使用增强现实文物展示系统时，可通过按键的选择对展品进行参观，其中包括展品的选择，展品的运动，展品的文字信息等等.

本系统设置了4个按键，参观者通过触碰相应的按键对其进行对应的控制，如图4所示.当参观者按下“Red”按键或者“Blue”按键时，标志物上将显示对应的跪俑和站立俑模型，参观者按下“Yellow”按键时，可控制跪俑旋转，而参观者按下“Green”按键时，可控制站立俑平移，如图5所示.系统解决以往使用的未改进的ARToolKit在遮挡标志物的一部分信息时出现的虚拟物体消失的问题.即使参观者的视野不全部在标志物范围内，仍能显示虚拟物体，更接近人眼观察，而未经改进的ARToolKit达不到该效果.该优点能很好地适用于博物馆当中.此外系统的实时性较好，在运行过程中，虚拟物体的产生未出现延迟现象.

图5 触发Yellow及Green按键出现的虚拟模型效果图Fig.5 The result of touching the Yellow and Green button

3 结束语

本文利用Vuforia特征点检测匹配的方法实现虚拟世界和真实世界的虚拟按键交互系统，分析了标志物的选取原则，采用彩色标志物，增强图片对比度，或者选择一些看起来更锐利的图片更有利于被识别.避免图片内容形状简单，过多圆形内容以及模糊、压缩过度的图片和重复图案.介绍了虚拟按键的设置以及利用相似比算法实现虚拟按键二维坐标到三维坐标的转化.系统设置4种不同颜色的按键，分别控制文物的呈现与运动.参观者手指控制能正确地反映到交互过程中.无须标志物完全显示在摄像机视野范围之内，参观者同样可以看到虚拟文物，更加接近人眼观察效果，带给参观者更逼真的沉浸感.在博物馆大场景范围中进行文物展示，摄像头识别标志物之间的距离还可以进一步增加，使之更远.

通过该增强现实虚拟按键交互系统的效果展示，反映出在博物馆中增强现实技术有其独特的应用价值和应用前景，对增强现实技术的发展和应用提供参考价值.增强现实技术在近几年的发展很快，逐渐深入人们的生活中，该技术在文化遗产保护方面的应用也将成为趋势.

［1］ SUTHERL I.The ultimate display［J］.Proceedings of IFIP，1965，65（2）：506-509.

［2］ CAUDEL Tom.AR at boeing［EB／OL］.http：／／www.ipo.tue.nl／hom.epages／mrauterb／presentations／HCI-history／tsld096.html，1990／2014.

［3］ Boeing Inc Augmented Reality［EB／OL］.http：／／www.boeing，com／denfense-space／aerospace／training／instruct／augmented.html，1990／2014.

［4］ 石刚，田洪波.基于增强现实的户外导航系统的设计与实现［J］.苏州大学学报，2010，26（3）：44-47.SHI Gang，TIAN Hongbo.Design and implementation of outdoor navigation system based on augmented reality［J］.Journal of Suzhou University，2010，26（3）：44-47.

［5］ KOLLER D，KLINKER G，ROSE E.Real-time vision-based camera tracking for augmented reality applications［C］.In Proceedings of ACM Virtual Reality Software And Technology Conference，1997：87-94.

［6］ 陈烁.增强现实中实时跟踪技术的研究［D］.沈阳：沈阳工业大学，2014：30-40.CHEN Shuo.Research of real-time tracking in augmented reality［D］.Shenyang：Shenyang University of Industry，2014：30-40.

［7］ 范利君.增强现实系统中注册方法的研究与实现［D］.武汉：中南民族大学，2013：13-22.FAN Lijun.Research and realization of registration method for augmented reality system［D］.Wuhan：South-Center U-niversity for Nationalities，2013：30-40.

［8］ 彭涛，李世其，王峻峰，等.基于增强人机交互技术的虚拟装配［J］.计算机辅助设计与图形学学报，2009，21（3）：354-361；368.PENG Tao，LI Shiqi，WANG Junfeng，et al.Virtual assembly based on augmented human-computer interaction technology［J］.Journal of Computer-Aided Design &Computer Graphics，2009，21（3）：354-361；368.

［9］ HAND C.A survey of 3Dinteraction techniques［J］.Computer Graphics Forum，1997（5）：269-281.

［10］ 李玉，王涌天，刘越.基于彩色标志点的增强现实注册算法研究［J］.系统仿真学报，2008（3）：654-656；661.LI Yu，WANG Yongtian，LIU Yue.Study of color fiducial based registration algorithm for augmented reality［J］.Journal of System Simulation，2008（3）：654-656；661.

［11］ 管涛，李利军，王乘.增强现实开发工具ARDK的研究与应用［J］.计算机工程与应用，2006，19：84-86；89.GUAN Tao，LI Lijun，WANG Cheng.Research and application of augmented reality development kit［J］.Computer Engineering and Applications，2006，19：84-86；89.

［12］ 李文霞，司占军，顾翀.增强现实技术在博物馆中的应用研究［J］.电脑知识与技术，2014（1）：160-162；184.LI Wenxia，SI Zhanjun，GU Chong.Study on application of augmented reality technology in museum［J］.Computer Knowledge and Technology，2014（1）：160-162；184.

［13］ 王涌天，刘越，胡晓明.户外增强显示系统关键技术及其应用的研究［J］.系统仿真学报，2003，15（3）：329-333.WANG Yongtian，LIU Yue，HU Xiaoming.Study on key technique and application of outdoor AR system［J］.Journal of system Simulation，2003，15（3）：329-333.

［14］ 王涌天，林倞，刘越，等.亦真亦幻的户外增强现实系统——圆明园的数字重建［J］.中国科学基金，2006，20（2）：77-78.WANG Yongtian，LIN Jing，LIU Yue，et al.Outdoor augmented reality system-digital reconstruction of the old summer place［J］.Science Foundation of China，2006，20（2）：77-78.

［15］ YUAN M L，ONG S K，NEE A Y.Registration using natural features for augmented realility systems［J］.Visulization and Computer Graphics，IEEE，on，2006，12（4）：569-580.

［16］ 刘嘉敏，陈烁，段勇，等.基于多色彩标识的跟踪及交互方法［J］.系统仿真学报，2014，12：2928-2933；2938.LIU Jiamin，CHEN Shuo，DUAN Yong，et al.Method for tracking and interaction based on multiple color makers［J］.Journal of system Simulation，2014，12：2928-2933；2938.

［17］ 纪连恩，张凤军，付永刚，等.虚拟环境下基于语义的三维交互技术［J］.软件学报，2006，17（7）：1535-1543.JI Lianen，ZHANG Fengjun，FU Yonggang，et al.3Dinteraction techniques based on semantics in virtual environments［J］.Journal of Software，2006，17（7）：1535-1543.