增强现实辅助维修系统的评价方法研究

赵守伟，王　凯，张　勇，王伟明，于　明

(1.河北工业大学 信息工程学院，天津　300401；2.军械技术研究所，河北 石家庄　050000；3.石家庄铁道大学 电气工程学院，河北 石家庄　050034)



增强现实辅助维修系统的评价方法研究

赵守伟1，王凯2，张勇2，王伟明3，于明1

(1.河北工业大学 信息工程学院，天津300401；2.军械技术研究所，河北 石家庄050000；3.石家庄铁道大学 电气工程学院，河北 石家庄050034)

增强现实技术应用于复杂装备维修，可增加维修保障工作信息量与对复杂维修任务及维修过程的理解能力，提高维修保障效率。针对增强现实辅助维修现有评价方法缺乏指标的完备性与系统的验证手段，为定量分析增强现实辅助维修系统性能优劣，在实验室条件下搭建了一套增强现实辅助维修原型系统，提出直观度、舒适度、满意度及故障排除时间等主客观评价指标，结合主观评价试验，对照传统的基于装备维修手册的维修方法，考察了增强现实辅助维修系统的有效性，为进一步优化增强现实辅助维修系统设计、改进人机交互手段提供了评价手段。

信息处理技术；增强现实；辅助维修；评价；满意度；故障排除时间

增强现实(Augmented Reality, AR)借助计算机图形图像与数据交互技术，将虚拟信息实时映射到真实场景中，两种信息相互补充，增加了人类感知真实场景的信息量与理解程度。将AR技术应用于复杂装备维修，研制开发的增强现实辅助维修系统(Augmented Reality System to Assistance Maintenan-ces, ARSAM)利用三维注册技术、图像识别技术以及人机交互技术，实现了图像采集、立体显示、三维注册以及虚实融合等功能，可辅助操作使用人员开展新型复杂装备维修，对提高维修效率，解决维修人员少、技术资料海量等问题具有重要的参考价值[1-2]。

为定量描述AR技术应用于复杂装备维修效率，需开展增强现实辅助维修评价方法研究，相关文献[3-4]只是在研制增强现实辅助维修系统过程中，对传统意义上的维修与增强现实辅助维修进行了粗略比较，缺乏指标的完备性与系统的验证手段。笔者利用实验室条件下搭建的增强现实辅助维修系统，提出直观度、舒适度及满意度等主观评价指标，结合主观评价试验，与传统的基于纸质材料的维修方法进行对照，考察了增强现实辅助维修系统的有效性，为进一步优化增强现实辅助维修系统设计，提高复杂装备维修保障效率提供了评价手段。

1　ARSAM原型系统

利用实验室搭建的ARSAM原型系统考察增强现实辅助维修效率。ARSAM硬件主要包括视频透射式头戴系统、内置增强现实软件和维修引导数据库的计算机。视频透射式头戴系统主要由自由曲面 (Free-form-surface, FFS) 棱镜、OLED显示组件、CMOS摄像机及支架组成。自由曲面棱镜可解决无中继镜系统的小视场问题，同时可满足头戴显示器轻量化要求。自由曲面光学系统为平面对称的复曲面，方程可表示为[5]

(1)

式中:cx是曲面xz平面内x方向的曲率半径;cy是曲面yz平面内y方向的曲率半径;kx是曲面x方向的二次曲线系数;ky是曲面y方向的二次曲线系数;Ai是4,6,8,10，…，2n阶非球面系数，关于z轴旋转对称;Pi是4,6,8,10，…，2n阶非旋转对称系数。

OLED显示组件置于自由曲面棱镜焦平面处并可做前后微调以适应不同用户的视度差异。CMOS摄像机采集维修场景视频序列经处理后，结合增强现实软件实时生成的虚拟对象一并送至OLED显示组件并投影在人眼中，实现增强现实“虚实融合”的立体显示。图1是自由曲面棱镜设计图与视频透射式头戴系统外观图。

ARSAM控制软件主要包括了自然特征识别模块和随机手势识别控制模块。自然特征识别模块基于维修过程，利用积分直方图进行目标区域分割，结合被识别维修对象先验知识实现不同维修对象的自动识别。利用3DS MAX、Creator、Solid- Works等虚拟仿真建模软件构建3D虚拟模型的图形图像及动画视频。利用Open VRML开源工具将3D虚拟模型转换为VRML格式供ARSAM控制软件调用。根据自然特征识别结果获得转换矩阵，实现维修场景的虚实融合[6]。随机手势识别控制模块根据维修进程实现增强现实人机交互功能。利用肤色累计背景实现手势分割，根据随机手势位置、形状等状态信息区分静态手势和动态手势，静态手势以NMI和Hu七阶不变矩作为特征向量，动态手势以方向编码序列作为特征向量，将特征向量送入SVM分类器实现不同维修状态下的手势识别[7]。

ARSAM工作流程图如图2所示。首先通过CMOS摄像机拍摄维修人员感兴趣的局部维修场景图像，并将视频图像传输至维修引导数据库中，利用ARSAM软件对场景中的维修对象进行识别，找出目标的空间位置并确定当前维修状态，然后调出与之对应的虚拟维修引导信息(包括文字、图像、三维动画等)，利用跟踪注册模块将维修引导信息叠加到真实场景之中，形成虚实结合图像在计算机的VGA端口输出并送至头戴显示器的OLED显示器件，最终显示立体的虚实结合图像。

2　评价试验设计

在此提出满意度、直观度、舒适度及故障排除时间4个主客观评价指标考察传统维修方法与ARSAM之间的性能差异。满意度(Customer Satisfaction Degree, CSD)定义为用户需求被满足后的愉悦感，是用户对产品的事前期望与实际使用后得到实际感受的相对关系[8]；直观度(Customer Intuition Degree, CID)定义为用户通过具体的维修活动对产品的直接接触而获得的感性认识的程度[9]；舒适度(Customer Comfort Degree, CCD)定义为用户对产品从生理与心理方面所感受到的满意程度而进行的综合评价，在ARSAM使用过程中，主要指佩戴增强现实头戴显示系统后头部及眼睛的舒适程度[10]；故障排除时间(Fault Maintenance Time, FMT)定义为用户为解决某种故障，从开始排除到排除结束所用的时间。

评价分数的确定采用李克特量表(Likert Scale)[11]，即分别对5级态度“很满意、满意、一般、不满意、很不满意”赋予“5，4，3，2，1”的分值。表1是评价分数确定原则。

为使主观评价结果在统计上有意义，参评人数不易过少，另外参评人员在年龄、职业、受教育程度及专业背景上应保持相对一致。采用对照组试验方法，即一组参评人员使用ARSAM(定义为A组)，另外一组采用纸质维修手册辅助下的传统维修方法(定义为B组)。试验开始阶段均对两组人员进行初步训练，帮助参评者理解测试目的和评价分数的确定。

选择某型轴线检测设备开展增强现实辅助维修评价。为确保该设备能正常有效发挥技术指标性能，需开展相应的预防性维修(Preventive Maintenance, PM)和修复性维修(Corrective Maintenance, CM)。预防性维修主要指通过对产品的系统性检查、设备测试和更换以防止功能故障发生，使其保持在规定状态所进行的维修活动[12]，涉及各种擦拭保养、电池充放电、保险丝更换、机械活动部件检查等；修复性维修主要指在产品性能下降或发现故障后，为使其恢复到原有性能，并能完成对其所要求的功能而进行的维修活动[13]，涉及光学系统光路调整、电路板功能故障排除、无线传输图像信号检测等。

参评人员共10人，其中6名男性，4名女性，年龄在23至35岁之间，他们都有相同的专业背景，且都参与过类似设备的实际维修活动，将10人随机编为A、B两组。预设5个故障科目，包括3个预防性维修和2个修复性维修，故障科目如表2所示。试验过程中统计每个故障科目的排除时间，试验结束后每位参评者给出ARSAM和纸质维修手册的满意度、直观度和舒适度评价分数。

表2　故障科目

以序号PM1的预防性故障科目为例，ARSAM软件首先将虚拟信息菜单按钮布置在屏幕中间靠上位置，当用户手指进入维修场景后，根据手势检测激活维修菜单，当虚拟维修菜单被激活后，根据手势信息在需要进行的维修项目列表中选择相应的维修活动，当用户进行维修活动时，系统载入到第一个步骤并隐藏菜单，维修活动中检测到维修对象时，控制软件激活维修菜单并进行下一步骤的维修工作。针对序号PM1的预防性故障排除过程如图3所示。进入控制软件主程序后，根据ARSAM“主菜单”提示，选择“预防性维修”子菜单，然后选择其中的“检查电源按钮”故障科目，选择完成后，菜单颜色由红色变为绿色并闪烁2次，提示用户完成了该项操作。当控制软件完成电源按钮的特征识别后，程序加载虚拟图像，并将虚拟的“电源按钮”图像显示在屏幕一侧，同时提示电源按钮位置、连线、安装拆解等信息。

针对序号CM2的修复性故障排除过程如图4所示。根据ARSAM“主菜单”提示，选择“修复性维修”子菜单，然后选择其中的“十字分划虚像”故障科目，ARSAM利用虚拟图像提示用户按照既定的操作步骤进行设备分解并指示分光棱镜安装位置，当用户找到分光棱镜时，ARSAM根据分光棱镜进行识别并以虚拟图像和文字信息提示用户检查分光棱镜安装位置是否出现松动、变形等情况，结合设备主光学系统成像检测流程，排除“十字分划虚像”故障。

利用实验室搭建的ARSAM原型系统进行的预防性维修和修复性维修流程图如图5所示。

3　评价结果与分析

A、B两组主观评价平均分值比较如表3所示，可见传统维修方法在CSD指标上明显低于ARSAM，说明ARSAM对预防性维修和修复性维修均展示了良好的辅助维修能力，但ARSAM的主观评价平均分值介于“一般”和“满意”之间，说明实验室搭建的ARSAM原型系统还需在跟踪注册和人机交互等方面优化完善；A、B两组在CCD指标的主观评价平均分值差异较小，一方面说明参评人员对基于纸质维修手册的传统维修方法具有传统意义上的适应性；另一方面也说明了ARSAM用于复杂装备维修还需在头戴系统质量、体积及观察视场方面做进一步优化设计，同时做好维修人员培训。

为确保评价结果具有代表性和有效性，利用标准差系数(Coefficient of Variation, COV)观察数据的波动范围，标准差系数反映了变量之间的离散程度，是测度数据离散程度的相对指标，可表示为：

(2)

对A、B两组CSD、CID及CCD的主观评价分值进行的均值和标准差系数统计如图6所示。图6中横坐标为3个主观评价指标，纵坐标为对应的主观评价分值均值，纵向波动范围是标准差系数，可见ARSAM的CSD和CID指标较为稳定，可以作为衡量增强现实辅助维修系统的评价依据，而CCD指标因参试人员个体差异而呈现较大的波动范围，说明结合具体维修任务，研制符合操作使用人员维修习惯、满足一定普适性的人机交互特点的增强现实辅助维修系统将是下一步研究的重点方向。

传统维修方法和ARSAM针对5个故障科目的故障排除时间比较如图7所示，可见在预防性维修科目中，A、B两组之间的故障排除时间差异较小，说明ARSAM的辅助维修能力体现不明显，而在修复性维修科目中，对于较为复杂的故障科目，故障排除时间差异较大，说明在处理复杂装备维修中ARSAM比传统维修方法更具优势。

4　结论

笔者结合实验室搭建的增强现实辅助维修系统，提出直观度、舒适度、满意度及故障排除时间等主客观评价指标，对照传统维修方法，考察了ARSAM的维修效率。由于目前针对ARSAM并没有公认的评判依据，因此笔者设计的主观评价试验方法会受到参评人员数量偏少、故障样本设置不具有广泛代表性等因素的影响。另外，参评人员是否能够熟练操作ARSAM、维修引导数据库构建策略，以及人机交互手段是否完备等因素也是影响试验结果的重要因素，但不失一般性，笔者得出的试验结果仍对优化增强现实辅助维修系统设计有促进作用。具有启发性的试验结论包括：一是相对于传统方式维修，利用ARSAM进行简单故障排除，辅助维修效率提高程度不明显；二是满意度和直观度指标稳定性好，可用于ARSAM性能评价；三是舒适度指标受个体影响较大，且稳定性较差，可作为改进ARSAM头戴显示器的参照依据。

References)

[1]赵守伟, 马东玺, 张勇, 等. 增强现实辅助维修技术研究进展[J]. 图学学报, 2014, 35(4): 648-654.

ZHAO Shouwei,MA Dongxi,ZHANG Yong, et al.Progressing of augmented reality to assistance maintenances technology[J].Journal of Graphics,2014,35(4):648-654. (in Chinese)

[2]NEE A Y C, ONG S K, CHRYSSOLOURIS G, et al. Augmented reality applications in design and manufactu-ring[J].CIRP Annals-manufacturing Technology, 2012, 61(2): 657-679.

[3]ZHU J, ONG S K, NEE A Y C. An authorable context-aware augmented reality system to assist the maintenance technicians[J]. The International Journal of Advanced Manufacturing Technology, 2013, 66(9): 1699-1714.

[4]HENDERSON S J, FEINER S K. Augmented reality in the psychomotor phase of a procedural task[C]∥Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. Basel: IEEE, 2011: 191-200.

[5]杨波, 韦晓娜, 张薇, 等. 大出瞳自由曲面头盔显示器光学系统的设计[J]. 光子学报, 2011, 40(7): 1051-1054.

YANG Bo, WEI Xiaona, ZHANG Wei, et al. Design method of a free-form HMD system with large pupil size[J]. Acta Photonica Sinica, 2011, 40(7): 1051-1054. (in Chinese)

[6]ZHAO Shouwei, WANG Weiming, ZHANG Yong. Fast object tracking with particle filter and compressive sensing[J]. ICIC Express Letters, 2015, 9(8): 2233-2240.

[7]ZHAO Shouwei, ZHANG Yong, ZHOU Bin, et al. Research on gesture recognition of augmented reality maintenance guiding system based on improved SVM[C]∥ ZHANG Yudang,GAO Wei.7th International Symposium on Advanced Optical Manufacturing and Testing Technologies. Harbin: SPIE, 2014,9282: 92822L1-92822L8.

[8]JANUSZKA M,MOCZULSKI W.Augmented reality system for aiding engineering design process of machinery systems[J].Journal of Systems Science and Systems Engineering,2011,20(3):294-309.

[9]ATANASSOV K. Intuitionistic fuzzy sets[J]. Fuzzy Set and System, 1986, 20(1): 87-96.

[10]曾卫平, 于春江, 吴志鹏, 等. 虚拟维修人体模型态舒适性评估库的设计与开发[J]. 直升机技术, 2014(4): 39-44.

ZENG Weiping, YU Chunjiang, WU Zhipeng, et al. Virtual maintenance body model posture comfort evaluation library design and develop[J]. Helicopter Technique, 2014(4): 39-44. (in Chinese)

[11]段振华, 郭建胜. 航空装备预防性维修工作确定与优化[J]. 火力与指挥控制, 2011, 36(2): 119-121.

DUAN Zhenhua, GUO Jiansheng. Study on determination and optimization of the aviation equipment preventive maintenance[J]. Fire Control and Command Control, 2011, 36(2): 119-121. (in Chinese)

[12]毛一岚, 康锐, 马麟, 等. 装备修复性维修工作项目确定方法[J]. 北京航空航天大学学报, 2011, 37(8): 1039-1043.

MAO Yilan, KANG Rui, MA Lin, et al. Determination of corrective maintenance task item for materiel[J]. Journal of Beijing University of Aeronautics and Astronautics, 2011, 37(8): 1039-1043. (in Chinese)

[13]BENBELKACEM S, BELHOCINE M, BELLARBI A, et al. Augmented reality for photovoltaic pumping systems maintenance tasks[J]. Renewable Energy, 2013, 55(4): 428-437.

Study on Evaluation Method of Augmented Reality to Assistance Maintenances

ZHAO Shouwei1, WANG Kai2, ZHANG Yong2, WANG Weiming3, YU Ming1

(1.Information Engineering College, Hebei University of Technology,Tianjin300401, China;2.Mechanical Technology Institute, Shijiazhuang050000, Hebei, China;3.Electrical and Electronic Engineering College,Shijiazhuang Tiedao University,Shijiazhuang050034, Hebei, China)

Augmented Reality (AR) in the application of complex equipment maintenance is apt to increase the information content of maintenance support and the comprehensive capability of maintenance operation, which apparently improved maintenance support efficiency. Aimed at the problem of the existing method lacking in the completeness of evaluation indexes and the systemic verification method to Augmented Reality Assistance Maintenance Prototype System (ARSAM), a set of ARSAM prototype system was built under lab conditions in order to realize the quantitative analysis to the efficiency of ARSAM. Provided were three subjective evaluation indexes including customer satisfaction degree, customer intuition degree and customer comfort degree and the objective evaluation indexes including fault recovery time. A group of subjective assessment experiment was designed to observe the maintainability of ARSAM compared with the traditional maintenance method based on the equipment maintenance service manual. The experimental results were beneficial to the optimized design of ARSAM and the improved measure of interactive action.

information processing; Augmented Reality; assistance maintenance; evaluation; customer satisfaction degree; fault recovery time

10.19323/j.issn.1673-6524.2016.02.017

2015-09-09

总装科技创新人才团队资助基金(XX20090515)；总装备部基金资助(XX20130301)

赵守伟(1971—)，男，高级工程师，博士研究生，主要从事增强现实辅助维修技术方面的研究。E-mail：bit10701159@163.com

TJ07

A

1673-6524(2016)02-0082-06