虚拟现实技术在航空智能制造中的应用思考与展望

（中航工业成都飞机工业（集团）有限责任公司，成都 610092）

智能制造（Intelligent Manufacturing，IM）已成为我国制造业新一轮产业技术变革的主要方向，它集合了人工智能、柔性制造、虚拟制造、系统控制、网络集成、信息处理等学科和技术的发展[1-2]，由智能装备、智能控制和智能信息共同组成的人机一体化制造系统，能够实现各种制造过程自动化、智能化、精益化、绿色化，是传统产业转型升级发展的重要途径。

人机结合、虚实融合的新一代智能界面是智能制造的一个显著特征，主要体现在物理世界与虚拟世界、人与机器之间的界限进一步模糊。虚拟现实技术作为一种高级人机交互技术，将在智能制造系统（Intelligent Manufacturing System, IMS）中负责提供人与智能设备之间传递、交换信息的媒介和对话接口。随着智能制造的向前发展和虚拟现实技术的不断成熟和进步，虚拟现实必将逐步深入工业应用，充分发挥其“智能之窗”的作用。

面向航空制造实际需求，结合研究团队对智能制造规划的思考，本文分别从工艺设计、车间执行及管理3个方面详细阐述虚拟现实技术在智能制造中的应用思考与展望。

虚拟现实技术概述

1 虚拟现实

虚拟现实（Virtual Reality，VR）概念最早由美国VPL Research公司创始人之一的Jaron Lanier在1989年提出，目前在业界得到了广泛应用。虚拟现实描述为由交互式计算机仿真组成的一种媒体，能够感知参与者的位置和动作，替代或增强一种或多感官反馈，从而产生一种精神沉浸于或出现在仿真环境（虚拟世界）中的感觉[3]。虚拟现实应用计算机技术创造出了一个包含三维物体的三维环境，对用户而言，三维环境中的物体具有强烈的空间存在感，用户与三维物体之间的交互感和与图片或电影的感知是完全不同的。虚拟现实包含4个关键要素：虚拟世界、沉浸感、感觉反馈以及交互性[4]。根据用户参与程度和沉浸感的不同，通常将虚拟现实系统分为：桌面式虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统[5]。

虚拟现实技术目前已广泛应用于各类领域。在工业应用虚拟环境中，通过虚拟现实交互外设进行3D仿真试验，以避免潜在问题，获得最优方案，指导实际系统的实施。图1所示为CAVE虚拟仿真环境中的加工生产线仿真评估，系统提供一个较大的封闭空间，用户与虚拟世界进行交互时，不会受到外界的干扰，是较为完善的虚拟现实系统[6]。

2 增强现实

图1 虚拟仿真环境中的加工生产线仿真评估Fig.1 Simulation and evaluation of machining production line in virtual environment

增强现实技术（Augmented Reality, AR）来源于虚拟现实技术，是虚拟现实技术的扩展。增强现实技术将虚拟信息与真实场景相融合，通过计算机系统将虚拟信息通过文字、图形图像、声音、触觉方式渲染补充至人的感官系统，用以增强用户对现实世界感知的技术。增强现实技术并没有使用户完全沉浸在虚拟环境，使人能够看到的是虚拟物体合成于真实环境中的双重世界，扩大人类的感知能力。AR技术的关键在虚实融合、实时交互和三维注册。“增强现实”是在1990年初就由波音公司Caudell和Mizell创造的，他们开发出试验性的AR系统，如图2所示，头戴眼镜上显示电路图像和导线类型，用以在工人组装线路时提供辅助[7]。同样，AR可用于复杂机械维护和修理[8]。

3 混合现实

Milgram和Kishino在1994年发表的文章中提出的混合现实概念，源自于对虚拟-现实连续统一体的描述[9]，如图3所示，真实环境和虚拟环境(Virtual Environment,VE)在两端中间是混合现实(Mixed Reality, MR)，包含增强现实、增强虚拟（Augmented Virtuality, AV）。混合现实结合真实世界和虚拟世界创造了新的可视化环境，可以实现真实世界与虚拟世界的无缝连接。

图2 波音公司开发的AR布线试验系统Fig.2 AR wiring test system developed by Boeing company

图3 虚拟-现实连续统一体Fig.3 Virtual - reality continuum

目前，混合现实技术的应用多处于研发阶段，采用了混合现实的方法实施数据可视化或操作引导，从而减少实物模型的制作，减少时间和成本。Fan等将MR技术引入汽车内饰评估，通过将汽车车身模型和仪表板模型与真实汽车方向盘座椅融合，进行A立柱视野评估[10]。

虚拟现实在航空智能制造的应用

1 航空智能制造

针对未来飞机快速研制周期和降低生产成本的需求，笔者结合工厂实际对智能制造进行了相关研究与思考，如图4所示。首先，开展具有动态感知、实时分析、自主决策、精准执行为特征的智能制造使能技术研究，结合物联网、大数据和云计算等新一代信息技术，围绕核心价值链进行智能制造重点布局，研究智能工艺设计与虚拟验证、智能工装、数字化测量、智能物流、生产线/单元/执行终端的智能感知与执行、智能生产管控、大数据深加工与决策分析等方面的关键技术；再以先进工艺方法为主线，既重视自动化生产终端与物流系统研究，又解决集成与交互问题，将现场重构与管控的多层级技术同步研究，引领以流程驱动的装配、复材、导管、热表等专业的智能生产单元/生产线/车间的建设，建设形成成套的智能制造标准、规范，实现人、产品、机器/装备的深度融合，提升公司核心技术能力，实现飞机未来快速研制和低成本制造。

虚拟现实技术的应用贯穿于飞机智能制造的整个业务流程，从制造的上游顶层工艺设计延伸到车间执行端，并拓展到管理维度。下面从制造流程与管理方法两个维度，详细阐述虚拟现实技术在航空智能制造中的应用思考。

2 VR/MR/AR在工艺设计层的应用

图4 航空智能制造规划思考Fig.4 Research of aerospace intelligent manufacturing

飞机制造的核心是工艺设计，车间的安排及管理是围绕着这个看不见的手——工艺优化来安排和实施的。有了标准化的工艺，整个实施过程才得以有序而可控。自动化的实施过程是企业制造工艺在标准化、工艺流程可控、可拓展的前提下进行的；自动化工艺是围绕制造工艺实施的，即：自动化仅仅是实施的手段，但不是最终的目的。因此，工艺设计是智能制造的核心，通过把VR/MR/AR技术深度应用于工艺设计过程，以提高工艺设计的质量与效益。

VR/MR/AR在工艺设计层的应用如图5所示，主要应用于工艺设计、工艺评审、工艺仿真及特设试验3个方面，即沉浸式工艺设计（Immersive Process Design，IPD）、沉浸式工艺评审（Immersive Process Review，IPR）、沉 浸 式 工 艺 仿 真（Immersive Process Simulation，IPS）、沉浸式虚拟试验（Immersive Virtual Environment，IVE）。

2.1 沉浸式工艺评审（IPR）

飞机装配工艺评审主要是针对设计图样、数模、文件等进行工艺性审查，协调解决工艺性审查中与设计部门产生的不同意见，在生产实施前，通过工艺性审查开展工艺准备工作。目前，对产品的工艺审查仅靠人工审查，虽然能很好地理解设计规则，但存在着审查遗漏点多、效率低等弊端。引入虚拟现实技术进行工艺评审，工艺人员完成沉浸在虚拟环境中，与虚拟对象进行自然、直接的交互，从而能够对设计和制造过程进行仿真，可以改变传统的耗时费力的审查方式，提高工艺审查效率和准确性，缩短工艺准备周期。波音787工艺评审应用场景如图6所示。

2.2 沉浸式工艺仿真（IPS）

飞机工艺设计由“传统的以经验为主的设计模式”向“基于建模和仿真的科学设计模式”的转变是其发展的必然趋势。作为先进的仿真技术手段，虚拟现实技术与系统仿真方法相结合，既可以发挥仿真工具的预测能力，同时用户也可置身于虚拟世界中，将感受到的信息经过思考和分析，从而把人的经验融合到仿真过程中，以更好地预知和决策。

通过集成虚拟现实技术与工艺仿真软件，可构建多源信息融合的具有沉浸性、交互性和构想性的系统仿真环境，实现工艺设计人员完全沉浸到该虚拟环境中进行工艺设计过程中的各种仿真分析活动。典型应用包括飞机工艺数字样机的运动机构模拟、空间分析与漫游，飞机全要素虚拟装配、飞机装配过程人机工程评估、工艺布局仿真与优化、交互式虚拟试验等内容。Yang等[11]将VR技术引入船舶工艺设计中，通过对船舶管系进行装配过程虚拟仿真，实现管系装配的装配干涉检测、路径规划、人机工学评估等，该实践对飞机工艺设计具有重要的借鉴意义。

图5 VR/AR/MR在工艺设计层的应用Fig.5 Application of VR/AR/MR in aerospace maufacturing process planning

图6 波音787飞机工艺评审Fig.6 Process review of Boeing 787

沉浸式仿真平台的一般方案如图7所示，包括输入、输出设备，仿真软件以及虚拟现实引擎。虚拟现实引擎是任何虚拟现实系统的关键部分，它从输入设备中读取数据，访问与任务相关的数据库，执行任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈给输出显示设备。虚拟现实引擎种类繁多，开源引擎如Open Scene Graph，商业虚拟现实引擎如Unity 3D等。目前，虚拟现实引擎大多都不支持直接读取CAD数据，需要相应的转换接口，导致其不能直接与仿真软件进行交互，极大程度上阻碍了虚拟现实在工业仿真中的深度应用。

3 VR/MR/AR在车间执行层的应用

3.1 智能增强操作手册（ARIM）

目前的操作手册普遍以文档为中心的信息组织方式，采用静态文字或 2D 图形为主进行描述，形成电子技术手册（IETM）。IETM替代了传统的纸质出版物，有效地解决了资料的存储问题，加快了信息检索的速度，但未能从根本上改变传统作业过程中使用信息的方式。

随着高级人机交互技术的发展，信息的使用方式也将发生根本性的变革，AR技术即是近几年发展起来的先进人机交互技术之一。AR最大的特点在于虚实的实时融合，既提供虚拟信息，同时也保留了用户对现实环境直观透明的观察，所以使用AR技术对真实环境进行辅助增强，就可以在不干扰原环境信息的前提下，给予用户最直观舒适的感官体验。

在生产现场，针对飞机制造过程中复杂、易出错的操作，引入AR技术建立智能增强的三维操作手册（AR- Intelligent Manual，AR-IM ），例如可将装配要求、制造要求以及操作指引信息、三维动画等实时叠加到物理对象上，解放作业人员的双手，帮助作业人员理解工作任务，增强作业人员认知能力，进而提高操作效率，减少操作差错，节约制造成本。ARIM的应用场景如图8、图9所示，其中图8为货物运输AR-IM，通过实时引导运输车行进方向，提示货物放置信息，实现将货物快速准确地放到指定位置。图9为复杂装备测试AR-IM，通过操作信息的虚实注册与远程在线指导相结合，实现机电系统的快速测试。

3.2 智能机器人系统虚拟监控

随着航空制造自动化程度逐渐提高，先进飞机智能机器人系统类型与数量也日益增多（例如智能机器人制孔与焊接系统、智能机器人搬运系统、智能机器人涂胶系统、智能机器人喷漆系统、智能对接装配系统、智能柔性支撑系统、智能自动钻铆系统等）。智能机器人系统的大量引入对监控技术与手段提出了新的要求，由原来分散式的临场监控逐渐向集中式的远程监控发展，即物理世界的监控逐渐向虚拟世界的监控转变，并最终实现二者的完全融合。

图7 沉浸式仿真平台一般方案Fig.7 General scheme of immersive simulation platform

图8 货物运输AR-IMFig.8 Cargo transportation with AR-IM

图9 复杂装备测试AR-IMFig.9 Complex equipment test with AR-IM

虚拟现实技术的发展为监控技术注入了新的活力。虚拟现实系统作为高级的人机交互方式，其特有的沉浸感和交互性特征能满足现有数字化装备远程监控系统在模拟呈现上的不足。通过将虚拟现实技术和远程监控技术相结合，构建基于虚拟现实的远程监控系统，用户可以身临其境地对整个系统进行实时的监测与控制：实时监测数字化装备运行状态，基于现场数据进行虚拟仿真，根据仿真结果对装备进行交互式在线控制。此外，通过虚拟监控场景中引入实时碰撞检测，设定被监控对象之间的碰撞安全距离，可实现对现场碰撞事故的提前预警。

智能自动钻铆系统的虚拟监控应用场景如图10所示，面向系统关键部件，进行状态监测和故障诊断，通过网络化传感器系统，实时采集系统运行过程中的振动、电流、噪音等信息，对信息进行分析处理，实现对关键部件健康状态的预警；系统工作前对其工作过程进行虚拟仿真，确认无误后用户对钻铆系统进行交互控制，钻铆系统按照控制指令进行工作。

3.3 基于AR的全息索引（ARTII）

飞机生产现场，不论是装配车间还是零件制造车间，都存在大量的数字化装备、工装夹具以及零部件。如果工程师需要立即知道某个零件全部信息（如材料信息、加工信息、表面处理信息、检验信息等），则需要根据零件编号到PDM、ERP等系统手动查询；同理，如果工程人员在现场需要立即知道某数字化装备的运行状态、采购时间、使用时间、故障履历等，则需要多个系统查询才能获取全部信息，耗时耗力。

引入基于AR的全息索引（ARTotal Information Index，AR-TII）技术，即通过AR技术，将用户需要的物理对象信息，采用文字、动画、图表等方式，放到物理世界中合适的位置，实现在物理世界直接“观看”虚拟世界。随着信息物理融合的不断推进，未来的车间乃至整个工厂中每一个物理对象，都将其纳入互联网，其在虚拟世界中存在唯一的身份，从而可通过AR-TII实现整个工厂物理对象信息的快速、便捷、实时及完备获取，帮助工程人员快速做出决策。图11为AR-TII的设备运行状态信息、电路图等设计信息直接叠加到装备上，实现维护人员对设备快速诊断和维护。

图10 智能自动钻铆系统的虚拟监控应用场景Fig.10 Intelligent automatic drilling and riveting system based on virtual supervisory

3.4 基于VR/AR/MR的操作培训

（1）基于VR的操作培训系统（VR-TS）。和课堂教学、现场培训相比，VR-TS具有明显优势：具有立体、系统、客观、可重复性的特点，可实现沉浸式操作演示、交互式操作体验和技能考核等功能。通过VRTS，培训人员可提高感性认识和实际操作动手能力，以最少的可重复利用的物质投入，实现系统化的全面的人员培训，对一些复杂装配操作以及数字化装备的操作培训等。

（2）基于AR的诱导式培训系统（AR-TS）。目前，纯虚拟现实系统在力等触觉反馈方面仍处于研究阶段，对于强调触觉、力反馈的操作，可以采用AR技术来构造诱导式的培训系统。图12为上海交通大学系统仿真与虚拟现实实验室（SS&VR）开发的诱导式培训系统，培训人员根据预置的工艺指令，逐步操作，操作过程中通过虚实注册技术将虚拟对象放置在真实世界中的正确位置，并同时提供操作辅助信息，引导培训人员进行操作。

图11 基于AR的全息索引Fig.11 Entire manufacturing information index based on AR

（3）基于MR的操作培训系统（MR-TS）。图13为SS&VR实验室开发的基于MR的行车虚拟操作培训系统，系统采用半实物仿真方案，控制部分采用真实装置，显示部分采用虚拟现实技术，即操作装置为真实操作装置，行车虚拟操作培训训练场景为3D虚拟环境，培训人员通过在不同虚拟场景中反复训练，通过考核后方可进行实际操作，极大地降低了培训成本的同时，提高了培训质量和效率。

4 VR/MR/AR在管理层的应用

基于信息互联（CPS）的智能管控平台是智能工厂的“大脑”，工厂内部所有资源、数据的运行和使用均通过“大脑”进行分析、判断、管理和控制。智能管控平台包括智能制造执行管理、智能物流管理及智能生产监控，其构建的基础是企业资源管理系统（ERP）、制造执行系统（MES）、生产计划系统（PPS）、产品数据管理系统（PDM）等的建立，以实现对工厂内部设备运行数据、生产资料状态数据、物流系统运转数据实时监控，对工厂内部系统运转过程中面临的生产资源调配、设备故障预警、设备运转效率、工厂经营指标等开展统计、分析、优化、决策；另一方面，智能管控平台还将不断获取真实工厂的运行信息来驱动虚拟工厂的运行，将依据虚拟工厂的运行反馈情况来决策对真实工厂的控制。

图12 基于AR的诱导式培训系统Fig.12 Induction training system based on AR

图13 基于MR的行车虚拟操作培训系统Fig.13 Virtual operation training system of bridge crane based on MR

目前，国内部分单位已开发了车间级的智能管控中心雏形，构建了与现实车间同步运行的虚拟车间，实现对车间内部设备运行数据、生产状态数据的实时监控，从而对生产资源数据、设备运转效率、工厂经营指标等开展统计、分析，并正在逐步引入VR技术构建虚拟工厂与物理工厂之间的人机交互智能接口，朝着智慧工厂更近一步发展。基于VR技术构建的智能管控平台应用场景如图14所示。

虚拟现实在航空智能制造中的应用实践

面向智能制造的发展趋势，研究团队在虚拟现实技术在工艺仿真方面的深度应用方面进行了相关的实践。通过建立“人在回路”的沉浸式装配仿真平台（Immersive Assembly Simulation Platform, IASP），将该平台与装配相关的仿真软件工具结合，构建多源信息融合的具有沉浸性、交互性和构想性的系统仿真环境，实现工艺设计人员完全沉浸到该虚拟环境中进行工艺设计过程中的各种仿真分析活动，提升工艺设计水平。未来，IASP通过与机器人等数字化装备进行虚实融合，研究航空数字化装备的智能化远程虚拟监控技术；通过该平台与生产大数据融合，研究飞机生产过程中的智能管控技术，最终提高公司的智能制造水平。

图14 智能管控平台应用场景Fig.14 Intelligent control platform based on VR

图15 IASP总体方案Fig.15 IASP overall plan

面向航空制造的IASP平台的总体方案如图15所示，它有别于一般的沉浸式仿真，主要区别体现在IASP不需要虚拟现实数据转换接口，可实现CAD数据直接应用。IASP采用单通道主动立体技术，结合航空制造广泛采用的设计与仿真软件CATIA、DELMIA，对其虚拟现实模块进行相应的二次开发，将其直接作为虚拟现实引擎，同时它又是装配工艺仿真的主要软件，从而实现虚拟现实引擎与仿真软件完全融合，避免了各种繁琐的数据转换，最终实现虚拟现实技术在装配工艺仿真上的深度应用。

IASP详细设计方案如图16所示，虚拟现实立体投影系统为单通道正投主动立体方式，采用主动立体投影机实现主动立体显示，主动立体方式通过投影仪以120Hz的刷新率交替显示左右眼图像，通过发射器发射信号控制眼镜液晶层开关信号状态，让3D眼睛和屏幕之间实现精确同步以实现左右眼两幅图像的交替显示，从而产生立体效果。

结束语

随着两化融合的逐步深入，不可避免地引入虚拟现实技术助推智能制造迈向虚拟完全融合的终极目标。本文正是从智能制造的角度出发，论述了虚拟现实在智能制造系统中作为“智能之窗”的基础支撑作用，并结合智能制造规划，从技术与管理两个维度，工艺设计与车间执行两个层次，阐述了虚拟现实技术在航空智能制造中的应用思考与展望。

图16 IASP详细方案Fig.16 IASP detailed design

[1]SETOYA H. History and review of the IMS (Intelligent Manufacturing System)[C]//Prcoceedings of 2011 International Conference on Mechatronics and Automation (ICMA). IEEE Computer Society, 2011:30-33.

[2]朱剑英. 智能制造的意义、技术与实现[J]. 航空制造技术, 2013 (S2):1-6.ZHU Jianying. The significance, technology and realization of intelligent manufacturing[J].Aeronautical Manufacturing Technology, 2013(S2):1-6.

[3]BURDEA G C. 虚拟现实技术[M]. 北京:电子工业出版社，2005.BURDEA G C. Virtual reality technology[M]. Beijing: Publishing House of Electronics Industry, 2005.

[4]WILLIAM R S. 虚拟现实系统：接口、应用与设计[M]. 北京:电子工业出版社, 2004.WILLIAM R S. Virtual reality system:interface, application and design[M]. Beijing:Publishing House of Electronics Industry, 2004.

[5]庄春华. 虚拟现实技术及其应用[M].北京:电子工业出版社, 2010.ZHUANG Chunhua. Virtual reality technology and its application[M]. Beijing:Publishing House of Electronics Industry, 2010.

[6]DOROZHKIN D V, VANCE J M,REHN G D, et al. Coupling of interactive manufacturing operations simulation and immersive virtual reality[J]. Virtual Reality, 2012,16(1):15-23.

[7]AZUMA R T. A survey of augmented reality[J]. Presence Teleoperators & Virtual Environments, 1996, 6(4):355-385.

[8]DANGELMAIER W, FISCHER M,GAUSEMEIER J, et al. Virtual and augmented reality support for discrete manufacturing system simulation[J]. Computers in Industry, 2005,56(4):371-383.

[9]MILGRAM P, KISHINO F. A taxonomy of mixed reality visual displays[J].IEICE Transactions on Information & Systems,1994(12):1321-1329.

[10]QIU S, JING X, FAN X, et al. Using AR technology for automotive visibility and accessibility assessment[C]// Prcoceedings of 2011 international conference on virtual reality and visualization. IEEE Computer Society,2011:217-224.

[11]YANG R D, FAN X M, WU D L, et al.Virtual assembly technologies based on constraint and DOF analysis[J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(4):447-456.