基于空间增强现实的辅助装配系统研究

秦玉波，穆欣伟，邹 方

（中国航空制造技术研究院，北京 100024）

增强现实技术（Augmented reality，AR）是一种实现虚拟世界与真实世界相互融合的技术，通常采用HoloLens等头戴式、iPad等手持式、投影仪等空间式的显示设备实现。其中采用投影仪的空间增强现实技术（Spatial augmented reality，SAR）是一种在真实世界物体表面直接呈现虚拟信息的增强现实方法[1]，该特性也使其很适合应用于飞机装配过程中，即将虚拟的装配引导信息准确地叠加在飞机工件表面，进而以沉浸式的方式引导工人完成飞机装配任务[2]。相对于头戴式和手持式的增强现实方式，在飞机装配中SAR具有以下优点： （1）更符合工人的操作习惯，避免增加额外负载； （2）更适合长时间作业的需要，不会给人眼带来眩晕感； （3）更符合实际工业现场需求，适合多人协同作业[3–4]。但是SAR没有真实的数字显示面，且SAR设备通常固定位置安装，因此其虚拟信息的渲染效果和灵活性不如前两种方式。SAR更适合应用于需要多人、长时间协同作业的大场景、固定位置、虚拟引导信息简单的手工装配场景，如飞机机翼壁板紧固件装配等。20世纪90年代，美国飞机制造商波音公司首次将“增强现实”理念引入飞机装配中，辅助工人完成飞机线缆布置任务，使得装配效率和准确率得到了显著提升。此后欧洲空客公司基于增强现实技术开发了“MOON”系统，将产品数字样机中提取CAD虚拟信息准确地绘制在平板电脑摄像头采集实时图像上，操作人员根据平板电脑屏幕指示逐步完成空客A400M的装配任务[5]。目前，国外较为成熟的空间增强现实辅助装配系统有法国Diota和美国ProjectionWorks三维光学投影系统，此类设备可以将装配信息、检测信息等辅助信息直接投影到飞机工件表面上，并通过形状、文字、图像等方式呈现；根据工艺流程投影对应的引导信息，辅助工人完成飞机装配任务。达索飞机制造公司采用Diota系统将产品全生命周期管理（Product lifecycle management，PLM）中铆钉的安装位置、型号等信息直接投影在真实的机翼壁板上，从而优化阵风战机机翼壁板铆钉装配过程。美国诺斯罗普·格鲁曼公司从2015年开始正式采用基于“Projection Works”设备的紧固件插入实时链接系统（Enter fastener installation live link system，EFILLS）进行F–35复合材料蒙皮紧固件装配。

目前国内对于该技术的研究还处于起步阶段，主要工作还处于基础性研究。陈祥辉[6]对引导信息建模与信息表达进行了研究，将引导信息分为零件层、装配层和引导层信息。刘邈[7]对基于数字面阵投影技术的投影标示原理进行了分析，并搭建验证系统实现复合材料的放样和敷贴位置投影显示、飞机机身蒙皮铆钉阶差测量投影显示。刘诺石等[8]利用投影仪将装配作业过程直接呈现在工作台表面，辅助完成飞机机载机电设备的手工装配任务。西飞、成飞等主机厂将三维激光投影技术用于飞机装配中零件定位、紧固件制孔等任务中[9–10]。目前国内还没有成熟的商业产品能达到国外先进水平，且高昂的价格极大限制了该技术在飞机装配中大规模应用，因此对于该技术的应用也局限于小批量引进国外设备。随着我国各类飞机研制进程加快，飞机部件装配、复合材料制备、航空线缆安装等方面都对该技术有着大量需求。

针对飞机装配过程中人工装配存在的效率低、质量不稳定等问题以及国内航空制造业对此类设备的需求，中国航空制造技术研究院工业网络与自动化实验室开发了基于空间增强现实的投影引导辅助装配系统（Projection-guided auxiliary assembly system，PGAAS），以实现全流程的增强现实辅助装配应用。该系统可以快速、准确地将虚拟引导信息（如装配工艺信息、零件信息、工具工装信息和测量信息等）投影在工件表面的对应位置上，使装配人员可以按照投影信息一步一步地完成复杂的装配任务，降低劳动强度，提高作业效率和装配质量。例如在复材机翼壁板手工制孔铆接过程中，PGAAS可以直接将制孔位置、孔深测量数据、铆钉信息投影在壁板表面上，从而避免繁琐的手工划线操作，以及查阅装配工艺手册所消耗的时间。基于空间增强现实的辅助装配系统对于解决目前飞机制造中人工装配存在的问题具有重要现实意义，同时也是实现数字化装配的重要手段。

1 投影引导辅助装配系统构成和基本原理

1.1 系统构成

PGAAS主要由投影仪–相机系统、投影仪计算模块、相机计算模块、引导信息编辑系统、定位系统和投影系统组成，系统构成如图1所示。

图1 投影引导辅助装配系统构成Fig.1 Projection-guided auxiliary assembly system components

1.2 基本原理

投影仪–相机系统是PGAAS重要的硬件组成（其中相机采用基于TOF（Time of flight）技术的深度相机），系统分别由投影仪计算模块和相机计算模块控制，可以实现任意图像投影和场景三维重建；在对投影仪–相机系统标定后，可以实现投影仪坐标系和相机坐标系间相互转换。引导信息编辑系统可以将待投影对象CAD数模上以几何特征、文字特征标注的装配工艺信息提取成点云形式的引导信息，并可以编辑信息颜色和线宽等，同时可以在CAD数模上设置投影图像、动画的显示区；基于实际装配工艺流程，设置每道工序所需的引导信息，编排成引导信息集。定位系统利用跟踪配准技术确定待投影对象在相机坐标系下的三维空间坐标，再根据投影仪–相机系统标定结果，确定其在投影仪坐标系下的三维空间坐标。利用工序的引导信息集和待投影对象的定位结果，投影系统基于三维机器视觉算法生成每道工序的引导图像，并在投影图像、动画的显示区内插入相应显示内容。投影仪投影该引导图像，从而将CAD数模上标注的装配工艺信息投影叠加在真实装配对象表面。

2 投影引导辅助装配系统相关技术研究

2.1 跟踪配准技术

在增强现实辅助装配应用中，需要利用跟踪配准技术建立虚拟空间坐标系与真实空间坐标系的转换关系，从而将虚拟的装配引导信息叠加在真实场景工件表面。目前应用较多的跟踪配准方法有基于IMU（Inertial measurement unit）、UWB（Ultra wide band）、GPS（Global positioning system）、电磁及超声波等传感器，基于二维图像特征，基于三维点云等方法。其中基于传感器的跟踪配准方法易受环境的干扰，定位精度受限于使用环境和定位对象；基于二维图像特征的跟踪配准方法中包含自然特征和人工特征两部分，其中自然特征如ORB（Oriented fast and rotated brief）、SURF（Speeded up robust features）和SIFT（Scale invariant feature transform）等不需要在工件表面做标记，但是检测的稳定性和精度受工件表面材质、纹理影响较大；人工特征（如ArUco（Augmented reality university of cordoba）、ARTag等）二维码标记需要固定在工件或工件的工装夹具上，此类标记可以在真实环境中被快速准确地识别，但是需要事先确定二维码标记坐标系与工件实际坐标系关系，增加了系统复杂度[11]；基于三维点云的跟踪配准是对真实场景中的工件进行三维重建，并在此基础上利用重建结果与数模点云配准从而定位，该方法受环境影响较小，配准定位精度较高，且不需要在工件表面做标记。PGAAS采用基于三维点云的跟踪配准建立虚–实坐标系转换关系，该方法对实际现场待投影对象进行三维重建，将重建后的点云与CAD数模点云进行ICP（Iterative closest point）配准，从而求解待投影对象相对于相机坐标系的转换关系。由于配准对象间的初始相对位置矩阵对ICP算法配准精度影响较大，因此在CAD数模上设置理论配准基准点，同时在重建后的点云上选取理论基准点附件的点作为实际配准基准点，利用理论配准基准点和实际配准基准点计算较准确的初始相对位置矩阵，代入后续的ICP算法中，从而完成待投影对象的跟踪配准，如图2所示。

图2 基于点云的跟踪配准Fig.2 Tracking registration based on point cloud

PGAAS采用投影仪作为虚拟信息的显示设备，因此需要进一步建立虚拟装配引导信息与投影仪坐标系的转换关系。通过对PGAAS中坐标系分析，PGAAS包含投影仪坐标系、相机坐标系和待投影对象坐标系（即为虚拟装配引导信息坐标系），如图3所示。可见，待投影对象坐标系与投影仪坐标系间存在转换矩阵D，如式（1）所示。

图3 投影引导辅助装配系统坐标系转换关系Fig.3 Projection-guided auxiliary assembly system coordinate system conversion relationship

式中，B矩阵可以通过上述跟踪配准算法求解，而M矩阵需要通过投影仪–相机系统标定获得。

2.2 投影仪–相机系统标定技术

投影仪–相机系统标定精度对辅助装配信息的投影精度起着至关重要的影响，标定参数包括投影仪内参{fp，up，vp，k1p，k2p，k3p，p1p，p2p}、相机内参{fc，uc，vc，k1c，k2c，k3c，p1c，p2c}以及投影仪和相机之间的空间转换关系，即

式中，f为焦距；u、v为主点坐标；{k1，k2，k3}为径向畸变；{p1，p2}为切向畸变；Rcp为投影仪–相机间的旋转矩阵；Tcp为投影仪–相机间的平移矩阵。

投影仪通过DMD（Digital micromirror device）芯片向外反射光线实现投影，而相机是通过感光元件CCD或CMOS芯片接收光线实现成像。因此，可以将投影仪的光路看作相机的反向光路，进而采用张正友棋盘格标定法对投影仪进行参数标定。采用该方法对投影仪标定的前提是需要确定棋盘格角点的三维坐标和其在投影仪像素坐标系下成像点的二维坐标[12]。棋盘格角点的三维坐标可以根据棋盘格的尺寸直接获得；但是投影仪本身没有成像能力，不能直接获得棋盘格角点成像点二维坐标，因此采用结构光技术，即对投影仪全像素格雷码编码，再对相机拍摄到的投影了格雷码条纹的图像中的棋盘格角点解码，从而间接获得棋盘格角点在投影仪像素坐标系下成像点；同时为提高角点处灰度值检测精度，投影正向和反向格雷码条纹，通过计算角点处两次灰度值差值大于0或小于0，从而得到角点处的格雷码值，求解流程如图4所示。

图4 相机与投影仪像素坐标系对应关系Fig.4 Corresponding relationship between camera and projector pixel coordinate system

在获取多组不同姿态的棋盘格角点在相机和投影仪像素坐标系下坐标值后，利用张正友标定法分别计算出投影仪、相机的内参以及每组图像拍摄时的外参{pi，i=1，2，…，n；cj，j=1，2，…，n}。而相机外参ci和投影仪外参pi存在关系pi M=ci，利用式（3）求解M矩阵。

3 试验验证

在上述内容研究的基础上，搭建PGAAS试验样机，如图5所示。其中，投影仪选用PT–WX4201投影仪，采 用DLP（Digital light processing）投影技术，具有1024×768分辨率；相机选用Azure Kinect DK深度相机，具有100万像素深度传感器和1200万像素高清摄像头；控制单元选用2台小型NUC计算机；系统硬件安装在带有液压云台的三脚架的连接支架上。软件方面，PGAAS软件部署在Ubuntu18.04操作系统上，使用Python语言进行开发，基于Open3D、OpenCV等开源算法库，同时支持MQTT协议通信。PGAAS基本性能参数如表1所示。

表1 投影引导辅助装配系统基本性能参数Table 1 Projection-guided auxiliary assembly system performance parameters

图5 投影引导辅助装配系统试验样机Fig.5 Experiment prototype of projection-guided auxiliary assembly system

以某航空试验件的紧固件装配为例，进行PGAAS应用验证试验和投影精度验证试验。该试验件形状和尺寸如图6所示，具有73个安装孔，需要分别装配φ4mm、φ5mm、φ6mm 3种紧固件，用红、蓝、黑3种颜色表示。在传统的人工装配过程中，工人通过比对装配工艺手册或提前在工件表面做标记分3个工序完成3种紧固件装配，但由于3种紧固件安装孔排布不规律，使得整个装配过程效率较低，且容易出现错装、漏装现象。

图6 试验件表面紧固件安装孔分布Fig.6 Distribution of fasteners holes on surface of test piece

采用PGAAS引导工人完成该试验件的紧固件装配任务，首先需要完成试验件的引导信息编辑，根据实际辅助装配需要，将该试验件的引导信息分为紧固件孔位信息、紧固件尺寸信息以及紧固件图像信息。将试验件CAD模型导入PGAAS引导信息编辑系统中，在软件界面中选取数模上的特征并保存成三维点云形式的引导信息。再根据装配工艺流程需要，对各工序所需引导信息进行编排形成该工序的投影信息集，引导信息编辑系统操作流程如图7所示。

图7 PGAAS引导信息编辑系统操作流程Fig.7 PGAAS guide information editing system operation process

在完成引导信息编辑后，对试验件进行空间定位以确定其在投影仪坐标系下的位姿，试验现场如图8所示。PGAAS增强现实辅助装配验证试验见图9。结合空间定位结果、投影仪标定参数以及工序的引导信息集，PGAAS动态生成每道工序在虚拟空间中的引导图，如图9（a）、（c）和（e）所示；最后，PGAAS根据投影指令将每道工序的引导图像投影在试验件上，实际现场引导信息投影效果如图9（b）、（d）和（f）所示。

图8 投影引导辅助装配系统试验现场Fig.8 Experimental site of projection-guided auxiliary assembly system

图9 PGAAS增强现实辅助装配验证试验Fig.9 PGAAS projection augmented reality assisted assembly verification experiment

装配应用验证试验采用被试间设计方式，每组5人，共3组，均没有该试验件的装配经验，分别采用查阅工艺手册指导、在工件表面做标记以及PGAAS 3种装配方法完成该试验件紧固件装配任务。对比装配过程所需时间、错装率以及表面影响3个因素，其中错装率表示紧固件错装个数占总紧固件装配个数的比例，试验结果如表2所示。可以看出，采用PGAAS可以显著提高装配效率和准确性，相对于前两种传统装配方式，PGAAS大幅度缩短了试验件紧固件装配周期，同时在试验过程中没有出现错装、漏装现象，且不损伤零件表面。

表2 装配效果对比Table 2 Assembly effect comparison

同时，为验证PGAAS实际投影精度，对试验件上73个紧固件安装孔同时投影，如图10所示。可以看出，PGAAS投影出的紧固件安装孔轮廓与实际试验件上的紧固件安装孔轮廓有一定的偏差，通过测量每个安装孔投影轮廓与实际轮廓的最大偏差，最终统计得出PGAAS实际投影精度小于2mm。根据HB/Z 223—2003[13]中对紧固件位置精度的要求，PGAAS投影精度满足航空制造中紧固件手工装配的精度需求。

图10 PGAAS投影精度验证试验Fig.10 PGAAS projection accuracy verification experiment

4 结论

飞机装配过程日趋复杂化、综合化，对装配人员的专业知识、认知水平及操作熟练度的要求越来越高，但人工装配自身存在的局限性，极大限制了飞机装配效率和质量。本研究针对人工装配效率低、质量不稳定等问题，基于空间增强现实技术开发了一套全流程投影引导辅助装配系统，该系统基于待投影对象CAD数模提取引导信息，可以为多种飞机零部件生产中的装配环节提供准确的虚拟引导信息；将繁琐的装配工艺流程文件以形状、文字、图片、动画等形式呈现在装配现场，提高了装配工艺文件的可读性，简化了装配流程；与传统人工装配方式相比，可以大幅度提高装配效率，缩短装配时间，提高装配质量。

同时PGAAS可以结合人工智能、机器学习、多传感器融合等先进技术手段，实现对装配前零件识别、装配中位置检测、工人行为检测，以及装配后质量检测等应用。