复杂机电产品线缆虚实融合装配体系构建及其关键技术

王发麟，郭 宇，查珊珊



复杂机电产品线缆虚实融合装配体系构建及其关键技术

王发麟，郭 宇，查珊珊

(南京航空航天大学机电学院，江苏 南京 210016)

针对传统的基于实物样机的线缆模拟装配实验方法造成的效率低、精确度低、装配质量和可靠性难以得到保证等问题，提出一种面向复杂机电产品的线缆虚实融合装配方法。首先在分析了增强现实技术应用于线缆装配的优势基础上，构建了基于增强现实的线缆虚实融合装配体系；其次，对装配体系中涉及到的关键技术进行了介绍，重点对线缆三维注册技术、线缆虚实遮挡技术、线缆虚实光照技术以及相机标定与跟踪技术等关键技术进行了阐述；最后介绍了线缆虚实融合装配研究内容，给出了基于增强现实的线缆虚实融合装配系统运行流程。

线缆虚拟装配；增强现实；体系结构；复杂机电产品

复杂机电产品的内部结构一般较为复杂，包含了大量的刚性结构件、柔性线缆、电子元器件等若干零部件，这些零部件按照一定的装配序列和装配路径装配成一个复杂结构的装配体，具有质量要求高、装配周期长、制造成本高等特点[1-2]。线缆作为一种柔性件主要用于能量和信号的传输，在航空、航天、船舶等各类复杂机电产品中应用较多，是电子设备与各分机模块之间的连接纽带。在众多评价产品整机性能和可靠性的重要指标当中，线缆的装配质量显得尤为重要[3-4]。线缆本身由于属于柔性体并且存在捆扎、固定等特殊要求，连接器数量较多、布线空间狭窄、导线分布集中、布线操作比较困难。线缆拓扑结构的复杂性以及线缆在装配操作中的柔性特性，使得目前线缆的装配操作在很大程度上依赖于工作人员的经验，这一特点严重影响了产品总装的装配效率[5]。因此，提高复杂机电产品线缆的装配效率已经 成为复杂机电产品装配过程中一个亟待解决的 问题。

目前，复杂机电产品的线缆装配主要采用基于实物样机的模拟装配实验方法，该方法具有如下缺点[6]：①线缆装配操作依赖于操作工人的经验，最终的布线方案需要经过多次模拟和修改才能确定，效率较低；②布线设计需要在产品实物样机制造出来之后进行，属于典型的串行设计；③产品结构设计问题如线缆敷设空间的预留是否足够、电连接器的安装位置是否合理等难以早期发现，需要等到线缆模装时才能暴露出来；④线缆在产品中的总体布局规划因串行设计而较难确定。针对线缆模装实验带来的问题，文献[7]提出了基于产品数字样机的线缆虚拟装配方法，其主要思路为：依托于虚拟设计及装配系统，产品数字化样机的设计以产品设计规范、线缆布线规范等为设计约束条件，刚性结构件的装配设计和柔性线缆的布线设计并行开展。刚性结构件的装配设计模块按“刚性结构件的装配设计→刚性结构件的装配规划→刚性结构件的装配组装”步骤开展，柔性线缆的敷设模块按“柔性线缆三维布线设计→线缆三维路径规划→线缆敷设及仿真”步骤开展，以并行设计的方式完成结构装配设计和线缆布线装配设计。基于产品数字样机的线缆虚拟装配方法，由于其借助虚拟装配技术将设计人员“沉浸”在计算机中完成虚拟线缆模型的装配，虽然对于产品开发前期的整体设计、装配及验证有重要作用，但对于现场线缆的实际装配操作的支持还存在局限性。郭洪杰等[8]研究了飞机管线交互式虚拟装配技术，在借助数据衣、数据手套、ART(advanced realtime tracking)摄像头和头盔显示器等人机交互设备的基础上完成了飞机管线的装配仿真，简化了人机仿真流程，比传统仿真效率提高了65% 以上。

线缆虚拟装配的实现需要解决的另一个关键问题是虚拟装配环境的感知技术。复杂机电产品模型和线缆装配工艺的复杂性(单芯、多芯；低频、高频等)使得线缆虚拟装配场景高度复杂，主要表现为虚拟装配环境缺乏智能感知能力和对交互情景的分析能力[9]。情境感知装配是结合上下文感知计算理论[10]而提出的一种虚拟装配感知技术，采用该技术的目的在于分担用户对虚拟场景信息的认知负担，以便用户在虚拟场景中可以准确、便捷地进行交互操作。如侯文君[11]引入了面向装配体的小情境模型，给出了不同场景对象间的消息响应模式和虚拟装配环境的情境感知机制。宋晨和刘惠义[12]则为解决虚拟装配系统普遍存在的人机交互不够友好、配置文件复杂等问题，提出了一种多Agent的情境装配模型。该模型通过综合考虑零件模型的状态、位置、用户操作历史等情境信息，更全面地识别用户意图，从而对装配活动进行引导。

增强现实(augmented reality，AR)技术[13-15]作为虚拟现实(virtual reality，VR)技术的一个重要分支，将计算机生成的虚拟信息(图形、文字注释等)叠加到用户所处的真实的装配环境中，对人的视觉系统进行影像增强或扩张，从而达到支持人们获得丰富信息、辅助工作的目的。自上世纪90年代早期开始，AR技术就被使用于装配支持系统原型和试验应用程序中[16]，但其仍处于概念验证应用阶段，尤其是在用户与工件交互的方式上还存在较多限制。近些年来，情境感知在线误差检测AR系统受到了较多关注[17]。日本大阪大学的KHUONG等[18]认为许多基于AR的装配支持系统很少在每一阶段实时跟踪装配状态和自动识别装配误差及完成情况，并提出了两种AR可视化模式：一种直接将引导信息叠加在物理模型上，另一种将引导信息渲染到与真实模型相邻的虚拟模型上，据此形成基于AR的情境感知装配支持系统。为理解在装配情境下系统如何更好地辅助用户，作者还对该系统在上述两种AR可视化模式下的试验效果进行了评估。澳大利亚科廷大学的HOU等[19]使用AR技术辅助管道装配，任务完成时间、装配误差等均减少50%，以证实通过AR技术可降低用户对虚拟场景信息的认知负荷而使得装配率及其绩效得以提高。

美国波音公司的CAUDELL和MIZELL[20]首次将AR技术应用到线缆的实际装配中，在布线系统中将线缆的路径走向与文字注释信息等内容叠加到布线工人的视野中，以辅助操作工人完成布线任务，这也是在装配领域AR应用最为著名的案例之一。欧洲航空防务与航天公司利用由德国教育研究部资助研发的Arvika系统对欧洲某型战斗机进行布线成为一个经典案例，虚拟装配信息通过专门设计的语音调用装置提供给线缆装配人员，据此提示信息逐步完成面板上高密度的布线工作[21]。芬兰国家技术研究中心(Valtion Teknillinen Tutkimuskeskus，VTT)则开发了一个增强装配原型系统，用户的装配操作动作在系统提示信息的指导下可逐步完成[22-23]。文献[24]将AR技术应用于机械产品的早期设计阶段，真实装配环境和虚拟零件通过所设计的AR接口融合在一起，从而辅助设计人员完成装配特征的设计。国内彭涛等[25]从提高人机交互效率角度出发，提出了基于增强人机交互技术的虚拟装配方法，其主要围绕视觉、信息和操作3个方面进行研究，取得了一定效果。王峻峰等[26]建立了面向增强装配过程的统一信息模型，装配文字提示信息、装配特征信息、产品几何信息通过该模型集中管理，并结合注册位置方式在装配视频环境中叠加相关引导信息，方便了现场工人的装配操作。宋荆洲等[27]为弥补场景图在AR装配应用中的不足，提出了一种将层次着色Petri网与图灵机模型相结合的方法，将虚拟手的手势代号与位姿矩阵作为所构建系统模型的输入、输出具体操作事件更新场景图，记录系统的当前内部状态并根据用户输入给出下一步的操作响应。林一等[28]则提出了一套基于心智模型的VR与AR混合式移动导览系统，该系统可以实现VR与AR之间的切换，丰富了用户的互动体验方式。张国亮等[29]则对虚拟物体和物理实体的配准误差问题进行了研究，采用统计学和概率论的数学模型来提高配准的稳定性，通过简单视觉标记降低了配准模块误差。

综合上述国内外的研究现状可知，国外较早开展了基于AR的产品布线技术的研究，并开发了可用于实际线缆布线的系统，取得了显著效果。国内该领域研究起步较晚，但也取得了一定的成果。然而，国内的研究主要围绕产品的刚性件进行增强装配和维修，而对于基于AR的柔性线缆虚实融合装配技术的研究则开展得非常少。鉴于上述原因，开展基于AR的复杂机电产品线缆虚实融合装配技术的研究，对于提高线缆的装配精度和效率、缩短产品的研发周期、提升产品的市场竞争力等都有重要的意义。本文在分析了AR技术应用于线缆装配的优势的基础上，提出了基于AR的线缆虚实融合装配体系，并对其中涉及到的研究内容和关键技术进行了阐述。

1 传统的线缆装配流程及其问题

线缆的装配是一项复杂的工作，在整个布线设计过程中涉及大量的元器件、插件、不同类型线缆(线缆尺寸、长度、直径、扎折弯角度等)的设计和线缆在设备内部的空间布局，需要保证结构件装配要求及线缆的空间位置合理，同时连通各种部件、接插件和元器件，满足设备的电气和电磁兼容等性能指标要求。复杂机电产品的线缆装配需要遵循各种布线规范，满足各环节的基本要求，如布局设计、敷设工艺、线缆功能、整机性能、维修以及检测等，受到的物理约束主要是机械性能和电气性能。传统的布线设计与线缆装配方法如图1所示。

1.1 原理图及线束分叉图的生成

布线设计需要遵循相应的电气原理，而且产品整机是由各分机模块组装而成。利用AutoCAD软件完成分机级原理图、分机级线路图、分机级线束分叉图以及整机级线束分叉图等的设计。在设计过程中需要参考相应的电气设计规范、电气设计原理，确定电器设备连接关系、各分系统互连关系、选择正确的接插件属性和线缆属性，通过减小整个线缆电路中的分布电容、杂散电感和杂散电磁场来满足电磁兼容性要求。

1.2 设备目录及接线表的生成

现场的线缆装配工人需依据接线表的连接关系完成布线操作。利用Excel软件生成原理图设备目录、分机级接线表、分机级导线表以及整机级接线表，为线缆模装实验做准备。接线表包括：线缆号、线号、电路特性、线缆(导线)型号、线缆(导线)规格、接出端Ⅰ(项目代号、端子代号、长度等)和接入端Ⅱ(项目代号、端子代号、长度等)。

图1 传统的布线设计与线缆装配流程

1.3 线缆模装实验及更改

为完成线缆路径规划、卡箍设置等任务，先按照1︰1的比例制造出产品实物样机，然后布线操作工人根据分机级和整机级接线表进行线缆装配。若装配过程中发现问题，还需要返回到前期设计阶段进行相应的更改。产品设计规范、设计原理、设计参数等是产品结构设计时要考虑的因素，同时产品的技术性能、经济指标、可靠性和可维修性等也必须满足相应的要求。进行线缆模拟装配时，需要参考设计布线序列准则、线缆路径规划准则、卡箍设置准则以及线束防护准则等。

上述传统的布线设计与线缆装配方法除了具有文献[6]中的一些缺点外，电气属性不能在设备连接关系中得到反映也是其问题所在。因此，传统的布线设计与线缆装配方法严重制约着产品的研发速度和质量。

以沉浸性(immersion)、交互性(interactivity)和构想性(imagination)为基本特征的VR技术通过模拟人的感觉器官功能(如触觉、视觉、听觉等)来实现人与虚拟环境的实时交互[30]，而AR技术除了继承VR技术的3I特性外，还具有虚实结合、三维注册等新的特点。在进行柔性线缆的布线设计和装配仿真过程中，良好的人机交互环境是提高线缆敷设效率的一个前提条件。借助AR技术创建的三维沉浸式环境，布线设计人员在有限的装配空间和布线规范约束下完成对线缆敷设路径的规划、线束分支布局、线缆捆扎和固定方式的确定等任务，并且在可视化的状态下对不同的线缆敷设方案进行评估，据此选择最佳的线缆敷设方案。

由文献[7]可知，传统的线缆装配操作主要是基于模装实验方法，由于结构紧凑、线缆数量多等特点，对于新的布线操作工人来说，布线难度比较大，往往布完后的效果达不到预期的要求。用实际现场的布线方法对新的布线操作人员进行培训，成本较高且耗时，培训效果也不是很理想。通过AR技术实现对新员工的布线培训操作，可弥补这方面的不足。因为在虚拟布线环境中，布线人员可以完全沉浸其中，通过交互的方式来完成布线操作，使得培训人员能够更为直观地了解线缆的敷设状况对整机功能的影响，并达到快速培训的效果。同时，对于一些细微的布线区域，布线人员可以通过自身的构想来布出在现实环境中难以实现的一些效果，充分地表达出布线设计人员的真正设计意图。

2 基于AR的线缆虚实融合装配体系

基于AR的线缆虚实融合装配体系框架如图2所示。

2.1 线缆增强装配辅助平台

该平台主要包括各种开展线缆虚实融合装配所不可少的基础软件系统，如CAD软件(如Pro/E、CATIA、UG等)，主要用于创建刚性结构件、柔性线缆零件、管路零件等装配对象；装配工艺规划软件(如CHS等)，主要完成装配序列规划、装配路径规划、确定工装夹具使用方案等；用于进行线缆平面分支图的生成、材料清单的生成、装配工艺的可行性验证等装配过程仿真软件(如IC.IDO等)；用于进行线缆虚实融合装配各种工艺数据管理的软件(如PDMLink/Intralink等)。该平台主要用来进行前期的线缆布线设计、模拟安装、可装配性验证、操作工具的可达性检查等。

图2 基于AR的线缆虚实融合装配体系框架

2.2 线缆增强装配关键技术

线缆虚实融合装配实现的前提条件之一是虚拟景物和真实景物要能够精准地融合，包括将虚拟零部件(虚拟线缆、虚拟结构件等)融入到动态或静态的真实装配场景中，以及将动态或静态的真实景物融入到虚拟装配环境中。其关键技术的突破需要解决以下技术问题：①虚实融合装配零件的三维注册技术，主要是通过坐标系间的转换实现虚拟线缆与真实装配场景的正确融合；②摄像机标定与跟踪技术，摄像机的位置和朝向在线缆增强装配过程中必须得到精确估算，虚拟的装配对象和摄像机获取的视频图像与跟踪器的姿态信息实现精确配准；③增强装配对象虚实遮挡处理技术，主要解决待装配虚实对象的正确遮挡关系问题；④虚实融合装配实空间的建模技术，主要解决几何一致性和光照一致性的问题，实现真实装配对象与虚拟装配对象的光照效果融合。

2.3 线缆增强装配引导信息的叠加

装配信息是线缆增强装配过程中非常重要的环节。其主要可以分为线缆的几何信息(如线缆的空间位置姿态、线缆分支特性、不同分支的空间路径分布、线缆截面形状和大小等)、线缆拓扑信息(如主干线缆与分支线缆的拓扑关系、单根导线与主干线缆的拓扑关系、单根导线与分支线缆之间的拓扑关系等)和线缆管理信息(如线缆名称、线缆代号等)。通过建立一个面向线缆增强装配引导的信息模型，在增强装配场景中叠加文字注 释等信息，引导布线工人将线缆零件装配到目标位置。

2.4 线缆虚实融合装配操作

线缆虚实融合装配操作主要是在虚实融合装配场景中，布线工人借助相应的装配工具在装配引导信息的辅助下将线缆正确地装配到目标位置上。叠加的装配引导信息包含了布线的路径、文字注释等信息。

图3~4展示了AR技术在实际中的应用情况。其中，图3为Metaio公司提供的汽车线缆AR解决方案，当汽车线缆(线束)发生故障时，工人只需用iPad对着故障区域，在iPad上就会直接给工人演示该如何操作[31]。图4则通过AR技术将产品装配的引导信息叠加在工人的装配环境中，装配工人根据叠加在眼前的装配引导信息完成装配任务[21]。

图3 汽车线束故障诊断案例

图4 虚实融合装配案例

3 线缆虚实融合装配的关键技术

VR技术给予用户一种在虚拟世界中沉浸、封闭的效果，用户(布线设计人员)所操作的对象完全是虚拟的，布线设计人员仍旧需要根据线缆虚拟敷设的过程和结果在现场对真实产品的结构件进行线缆装配，所装配出来的结果与虚拟环境下的线缆装配效果并不是完全一致的。AR技术则将虚拟对象带入到用户的物理世界中，其依靠计算机技术构建出文字、线缆拓扑图片、装配视频、装配过程解说音频、企业内部网站链接、三维模型、三维动画、全景信息等和物理世界的结合，让物理世界和虚拟对象合为一体。线缆敷设人员可以使用手部动作与手势控制所读出的三维模型移动和旋转，以及通过语音、眼动、体感等多种方式与虚拟对象交互，所装配完的线缆即为实际产品线缆敷设结果。

AR技术的基础包括：①虚实融合技术，对虚实环境进行准确地配准，实现遮挡、阴影和光照一致性，同时支持自然的交互；②跟踪定位技术，实时检测观察者的位置、视域方向、运动的情况，帮助系统决定显示何种虚拟对象；③系统显示技术，AR系统设计最基本的问题就是实现虚拟信息和物理世界的融合；④用户交互技术，实现用户与物理环境中的虚拟对象之间更自然的交互。

为了详细阐述AR技术用于线缆虚实融合装配仿真需要解决以下4个关键技术。

(1) 虚实融合装配零件的三维注册。虚拟装配对象在真实环境中的相应位置上要实现精确地配准，必须在线缆虚实融合装配系统中建立虚拟空间与真实空间坐标系之间的转换关系。虚实融合装配零件的三维注册能够计算虚拟线缆在真实装配环境的映射位置，为虚拟装配环境与真实装配环境之间的空间关联关系及虚实融合效果奠定了基础。注册误差达到一定数值会导致错误的结果，线缆的最终装配效果也会受到布线人员的观测视差影响。因此，虚实景物的准确三维注册 是实现线缆虚实融合装配要解决的一个关键技术问题。

(2) 线缆虚实遮挡一致性的处理。遮挡一致性是AR系统中实现线缆虚实融合的一个重要方面，布线人员对线缆增强装配环境的信服程度以及在合成场景中是否获得合乎自然的空间感知直接取决于线缆遮挡关系的正确与否。在不考虑虚实遮挡关系的线缆增强装配环境中，只是简单地将虚拟线缆零件叠加在真实装配场景图像上，将会造成虚拟线缆零件始终遮挡真实装配场景中的情况，使布线人员易产生错觉。因此，线缆虚实装配对象遮挡关系的正确处理具有重要意义。

(3) 线缆虚实融合光照的一致性处理。零件的三维注册主要解决真实装配对象与虚拟装配对象的空间位置关系问题，而两者之间的光照效果融合则需要靠线缆虚实融合光照的一致性处理来实现。为使布线工人在感官上确信虚拟线缆对象是周围环境的组成部分，则需要解决几何一致性和光照一致性的问题。阴影和光照一致性要能够实时的适应真实装配环境的光照变化，同时考虑真实零件和虚拟线缆零件之间的阴影，使得虚拟线缆零件产生如同真实线缆零件一样的光照和阴影效果。

(4) 相机标定与跟踪技术。实现柔性线缆目标的准确跟踪需要对摄像机的位置及朝向进行 精确估算。相机跟踪注册可建立二维图像(相机 连续观测获得)与虚拟三维场景之间空间投影 关系，完成虚拟眼睛的位置和姿态的实时参数 估计。线缆的主要特点之一是柔性大变形，在拖拽的情况下，线缆主体及其分支线束会在空中呈现出各种形状，对于这种可变形物体的位姿跟踪技术难度更大。研究具有实时性的摄像机标定和跟踪技术，在真实的装配场景中嵌入虚拟线缆等零件，是实现线缆虚实融合装配的又一重要关键技术。

虚拟物体和物理实体精确配准是评价AR系统的一个重要指标，配准的精确度反映了虚拟模型叠加到现实世界的真实程度[29]。从上述对线缆虚实融合装配关键技术的阐述可知，解决虚拟物体模型和真实装配对象或实时场景的图像配准问题是众多关键技术中的核心问题。由图2可知，虚拟模型的空间变换(坐标系间的转换)是实现图像配准首先需要解决的问题，包括模型视角变换、投影变换以及视口变换(图中的相关坐标系为摄像机坐标系、成像平面坐标系、虚拟线缆坐标系)。其次是虚实图像配准稳定性的增强。在对非确定的装配环境采用计算视觉进行检测和识别时，检测设备和环境的微小变化等因素的存在会使得最终的检测结果呈现出不稳定的变化，直接影响到系统的配准精度[29]。在解决虚拟模型空间变换和虚实图像配准稳定性增强问题后，需要将虚实融合后的效果输出到显示设备，虚拟模型的渲染是该阶段需要解决的一个主要问题。

4 线缆虚实融合装配研究内容及系统运行流程

4.1 线缆虚实融合装配研究内容

基于AR的线缆虚实融合装配借助VR技术来构建线缆虚拟装配场景和人机交互界面，同时为了显示静态的布线图片或实时的线缆敷设视频，在所生成的虚拟装配场景中再增开一个真实装配场景窗口。通过引入AR技术，实现将虚拟场景中的虚拟零件模型(待装配的柔性线缆、刚性结构件、管件等)、几何特征模型、线缆装配路径、线缆装配文字指导信息等实时地叠加到真实装配场景中并同步显示，在视觉体验与装配导航方面为布线工人提供虚拟和真实的双重感知。线缆虚实融合装配研究的内容主要包括以下3大部分：

(1) 线缆虚实融合装配场景构建。线缆虚实融合装配场景是由布线工人看到的真实装配场景和叠加于真实装配场景上的计算机生成的虚拟对象(虚拟零件模型、布线路径、指导性文字注释信息等)组成，虚拟的装配对象会对真实的装配场景起到增强效果，布线人员对于真实装配场景的感知和认识将会得到提高。在线缆虚实融合装配场景中，大量的真实环境信息蕴涵其中，处在虚实融合装配场景中的布线人员在各自的感知和交互区域中往往会呈现出不同的视点和交互形式，从而使得线缆虚实融合装配场景需要描绘不断变化的多方位真实环境。主要包括：获取真实装配环境的多方位信息，在此基础上对所获取的信息进行表示，利用多个视频序列描绘线缆虚实融合装配场景的真实环境，最终构建面向布线人员操作的虚实融合装配场景。

(2) 线缆虚实融合装配场景实时融合绘制。在虚实融合装配场景中，深度信息的差异是线缆零件等装配对象所固有的，布线工人视点的位置变化会造成装配对象之间出现不同的遮挡关系。在线缆虚实融合装配系统中，所绘制的每一个虚拟线缆零件在场景中的位置均需要被准确地计算，同时与其他的零部件装配对象进行交互，确保正确地遮挡关系和交互关系。正确地遮挡关系能够产生令布线工人信服的线缆增强装配环境，并能够使其在合成场景中获得合乎自然的空间感知。主要包括：线缆增强装配场景的虚实融合注册技术，获取场景中虚拟零件物体与周边不同物体的深度信息并对场景深度作出实时估计，实现有效地遮挡处理和渲染绘制。

(3) 线缆增强装配引导信息模型建立与叠加。装配操作的顺利进行离不开信息，装配信息在线缆增强装配过程中具有非常重要的作用。布线工人与系统在进行人机交互时，要想对整个装配任务实现更为准确地理解，需要在虚实融合装配场景中叠加所需的装配信息，以引导布线工人进行线缆装配。主要包括：建立一个面向线缆增强装配引导的信息模型，在虚拟线缆零件注册信息的基础上，叠加虚拟线缆零件的几何模型；通过建立布线文字模型、三维信息框和文字贴图的形式实现文字信息的叠加；叠加装配特征信息，以帮助布线工人识别场景中的装配约束，引导其将线缆零件装配到目标位置。

4.2 线缆虚实融合装配系统运行流程

线缆虚实融合装配的实现主要借助AR技术构建虚拟装配场景和人机交互界面，同时在该场景中增开一个用于显示静态线缆敷设效果图片或实时线缆装配视频(含解说声音)的真实装配场景窗口。通过引入AR技术，将虚拟场景中的虚拟零件模型(柔性线缆、管件、刚性结构件、工具等)、相关几何特征模型、线缆布线空间路径、装配指导文字信息等实时地叠加到真实装配场景中并同步显示，在视觉体验与装配导航方面为布线工人提供虚拟和真实的双重感知。基于AR的线缆虚实融合装配系统运行流程如图5所示，主要包括装配环境场景信息采集模块、虚拟场景生成模块、相机跟踪注册模块、线缆虚实融合模块、人机交互与显示模块等。

装配环境场景采集模块主要利用真实摄像机对真实线缆装配环境进行信息的采集，如采集外部装配环境的图像及视频信息等，并利用图像/视频处理器对所采集的信息进行后处理，并将结果供虚实融合模块调用。虚拟场景生成模块主要完成虚拟线缆模型及其坐标系的信息采集，获取虚拟线缆的空间姿态和空间位置，实现虚拟线缆的空间位姿定位。相机跟踪注册模块主要完成对布线人员头部方位和视线方向的跟踪，进而实现虚实相机坐标的对齐和虚实对象的配准。虚实融合模块基于上述装配环境场景采集模块、虚拟场景生成模块以及相机跟踪注册模块所生成的结果完成虚实场景的配准，建立面向线缆虚实融合的增强装配系统。人机交互与显示模块主要面向现场的布线人员，通过交互设备实现人与装配场景的互动，最终完成线缆的装配操作。

需要指出的是，线缆虚实融合装配系统通过在虚拟空间坐标系与真实空间坐标系之间建立正确的转换关系，使得虚拟线缆能够合并到真实装配场景的正确位置上。由于在装配过程中，布线工人的位置会不断变化，系统要实时地根据布线工人的视场重建坐标系的关系，相机跟踪注册模块通过跟踪布线人员头部方位和视线方向来完成上述任务。线缆的三维敷设路径和装配过程的文字信息提示是叠加在布线人员视野中的主要内容，布线人员根据所提供的上述信息完成线缆的装配工作。

图5 线缆虚实融合装配系统运行流程

5 结束语

复杂机电产品的线缆装配需要考虑多项因素，如有限的装配空间、柔性线缆的固定和捆扎、不同类型的电气元器件的分布情况等，整个装配过程耗费大量的时间和人力。当前线缆的装配主要借助布线工艺人员制定的表格化指导文件来完成布线任务，其容易导致线缆装配随意性较大，前后一致性和产品的可维护性差，在装配质量和可靠性方面都未能得到保证。本文在对传统的布线设计与线缆装配方法进行分析的基础上，提出了基于AR的复杂机电产品线缆虚实融合装配方法，给出了线缆虚实融合装配的体系框架和系统的运行流程，并对该方法涉及到的研究内容和关键技术进行了详细阐述。本文方法为线缆装配的研究提供了一种新的思路，下一步将在已有线缆敷设研究的基础上，对本文所列出的研究内容和关键技术展开深入研究。

[1] 钟掘. 复杂机电系统耦合设计理论与方法[M]. 北京: 机械工业出版社, 2007: 1-4.

[2] 张根保, 曾海峰, 王国强, 等. 复杂机电产品质量特性解耦模型[J]. 重庆大学学报, 2010, 33(5): 7-15.

[3] 宁汝新, 刘检华, 唐承统, 等. 虚拟装配技术及其应用[J]. 国防制造技术, 2009, 4(2): 22-29.

[4] 尚炜, 宁汝新, 刘检华, 等. 复杂机电产品中的柔性线缆装配过程仿真技术[J]. 计算机辅助设计与图形学学报, 2012, 24(6): 822-831.

[5] 王同苏, 杜宝瑞. 虚拟环境下飞机线缆装配技术研究[J]. 航空制造技术, 2015(19): 52-55.

[6] 王金芳. 基于Pro/E的线缆装配规划系统的研究与设计[D]. 南京: 南京航空航天大学, 2008.

[7] 王发麟, 廖文和, 郭宇, 等. 线缆虚拟装配关键技术研究现状及其发展[J]. 中国机械工程, 2016, 27(6): 839-851.

[8] 郭洪杰, 石延波, 赵建国, 等. 飞机管线交互式虚拟装配技术研究及应用[J]. 航空制造技术, 2015(Z1): 77-80.

[9] 靳宇, 侯文君, 杨福兴. 基于多Agent的虚拟装配环境中情境感知的机制[J]. 东华大学学报：自然科学版, 2010, 36(4): 366-370, 396.

[10] 王立才, 孟祥武, 张玉洁. 上下文感知推荐系统[J]. 软件学报, 2012, 23(1): 1-20.

[11] 侯文君. 基于情境感知的智能虚拟装配系统若干关键技术研究[D]. 北京: 北京邮电大学, 2010.

[12] 宋晨, 刘惠义. 一种多Agent的情境装配模型[J]. 计算机集成制造系统, 2016, 22(5): 1205-1210.

[13] AZUMA R, BAILLOT Y, BEHRINGER R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[14] 朱淼良, 姚远, 蒋云良. 增强现实综述[J]. 中国图象图形学报, 2004, 9(7): 3-10.

[15]赵沁平. 虚拟现实综述[J]. 中国科学(F辑): 信息科学, 2009, 39(1): 2-46.

[16] VAN KREVELEN D W F, POELMAN R. A survey of augmented reality technologies, applications and limitations [J]. The International Journal of Virtual Reality, 2010, 9(2): 1-20.

[17] MILLER A, WHITE B, CHARBONNEAU E, et al. Interactive 3D model acquisition and tracking of building block structures [J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(4): 651-659.

[18] KHUONG B M, KIYOKAWA K, MILLER A J, et al. The effectiveness of an AR-based context-aware assembly support system in object assembly [C]//IEEE Virtual Reality Conference. New York: IEEE Press, 2014: 57-62.

[19] HOU L, WANG X, TRUIJENS M. Using augmented reality to facilitate piping assembly: an experiment-based evaluation [J]. Journal of Computing in Civil Engineering, 2013, 29(1): 5014007-1/12.

[20] CAUDELL T P, MIZELL D. Augmented reality: an application of heads-up display technology to manual manufacturing processes [C]//Proceedings of the 25th Hawaii International Conference on System Sciences. Washington D C: IEEE Comput Society, 1992, 2(7/8/9/10): 659-669.

[21] SCHWALD B, DE LAVAL B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG, 2003, 11(1): 425-432.

[22] SALONEN T, SÄÄSKI J, HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the 6th ACM International Conference on Image and Video Retrieval, CIVR 2007. New York: ACM Press, 2007: 120-123.

[23] SALONEN T, SÄÄSKI J, WOODWARD C, et al. Data pipeline from CAD to AR based assembly instructions [C]// Proceedings of the ASME/AFM 2009 World Conference on Innovative Virtual Reality. New York: ASME, 2009: 165-168.

[24] PANG Y, NEE A Y C, ONG S K, et al. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2013, 26(1): 34-43.

[25] 彭涛, 李世其, 王峻峰, 等. 基于增强人机交互技术的虚拟装配[J]. 计算机辅助设计与图形学学报, 2009, 21(3): 354-361, 368.

[26] 王峻峰, 徐迟, 李世其. 增强现实环境下的产品装配引导技术[J]. 图学学报, 2012, 33(4): 114-120.

[27] 宋荆洲, 马铁军, 孙汉旭, 等. 基于分层着色Petri网的增强现实装配系统建模[J]. 计算机集成制造系统, 2012, 18(10): 2166-2174.

[28] 林一, 陈靖, 刘越, 等. 基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计[J]. 计算机学报, 2015, 38(2): 408-422.

[29] 张国亮, 吴琰翔, 王展妮, 等. 基于视觉标记的增强现实系统建模及配准误差问题研究[J]. 计算机科学, 2015, 42(6): 299-302, 321.

[30] BURDEA G C, COIFFET P. Virtual reality technology [J]. Teleoperators and Virtual Environments, 2003, 12(6): 663-664.

[31] Metaion. 苹果公司收购增强现实领军企业Metaion,或将改变我们的未来生活[EB/OL]. [2017-05-10]. http://video.tudou.com/v/XMjQxMzE4NjU4NA==.html.

Assembly System Construction and Its Key Techniques of Cable Harness under Virtual and Real Scene Fusion for Complex Mechatronic Products

WANG Falin, GUO Yu, ZHA Shanshan

(College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing Jiangsu 210016, China)

In view of the problems of low efficiency, low accuracy, and assembling quality and reliability are difficult to guarantee which caused by the traditional cable simulation assembly experimental method based on physical prototype, this paper proposes an assembly method of cable harness under virtual and real scene fusion for complex mechatronic products. Firstly, we analyze the advantages of the augmented reality technology applied in the cable harness assembly, and construct the assembly system of cable harness under virtual and real scene fusion based on augmented reality. Secondly, we introduce the key technologies involved to the above assembly system, and elaborate the technologies of cable harness 3D registration, cable harness occlusion, cable harness illumination, and camera calibration and tracking. Finally, we introduce the research contents and give the assembly system running process of cable harness under virtual and real scene fusion based on augmented reality.

cable harness virtual assembly; augmented reality; architecture; complex mechatronic products

TP 391

10.11996/JG.j.2095-302X.2018010075

A

2095-302X(2018)01-0075-10

2017-05-12；

2017-07-27

国家自然科学基金项目(51575274)；国防基础科研项目(A2620132010)

王发麟(1986–)，男，江西吉安人，博士研究生。主要研究方向为数字化制造技术、线缆虚拟装配。E-mail：wj54nh@sina.com