面向制造现场的产品质量信息传递方法*

（河海大学物联网工程学院，常州213000）

1 引言

近年来，基于模型的设计(Model Based Definition,简称MBD)在制造业得到了广泛的关注与青睐[1]，因此现在的产品制造现场通过一些便捷式移动设备来可视化产品的MBD模型上所携带的产品质量信息(Product Manufacturing Information,简称 PMI)，以此来指导加工、质检等工作。但是，这种可视化方式要求操作人员将注意力沉浸到虚拟的环境中，导致其精神负担较重;并且这种方式需要操作人员将注意力在零件的物理模型和数字模型之间进行频繁切换，效率较低。因此，如何实时、准确、有效地将零件数字模型携带的PMI传递到零件制造现场，是提高产品检测效率与质量的一个亟需解决的问题。

增强现实(Augmented Reality，简称AR)是对真实环境的增强，将计算机生成的虚拟信息实时、准确地叠加到真实场景当中。其中基于无标记的跟踪技术在制造业得到了广泛的运用[2-4]。Daewoon Kim[5]等提出了基于AR的将3D CAD数据增强到真实船模块图像中的方法，该方法通过使用基于3D模型的方法，选用点线特征组成矩形作为图像特征，估计出初始姿态，但是该方法对于有着复杂结构的产品的点线特征选择存在问题；Marchand[6]等提出了基于2D-3D模型的视觉跟踪方法，它通过估计三维模型的运动踪迹来找到正确的转换模型，将CAD模型叠加到图像上，使姿势估计误差最小化，然而对于CAD模型上特征点的选择是此法的一个难点。Stefan Hinterstoisser[7]等提出了一种梯度响应图的方法用于实时无纹理对象的检测，该方法不需要耗时的训练阶段，利用梯度响应图，使得其系统更加鲁棒和能够快速正确检测目标对象。

综合考虑上述模型，提出一种面向制造现场的产品质量信息传递方法，用以阐述以制造特征为载体的产品质量信息提取；同时采集不同视角下目标对象的场景图像集，为场景图像集与制造特征之间建立关联关系；最后给出面向制造现场的AR框架，并以具体的零件对该方法进行实验验证。

2 模板数据库构建

模板数据库的构建包括：提取目标对象基于制造特征的产品质量信息，生成在不同视角下目标对象的场景图像集，以及模板场景图像集与制造特征的关联关系。

2.1 产品质量信息提取

在构建MBD模型的过程中，产品质量信息与三维CAD模型中的几何元素(点、线、面)及制造特征相关联[8]，而三维标注依附于几何元素，若干个几何元素构成一个制造特征。即制造特征通过几何元素实现了与三维标注的关联。其模型表达式如下：

其中S(H)表示制造特征与产品质量信息的关联关系，H表示制造特征，Gj表示产品质量信息关联的几何要素，包括几何形面Gf、几何区域Gr、边Ge、点Gv等；Lk表示制造特征的标注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr、注释Note等；表示几何要素与标注之间的映射关系，当Lk依附于Gf时，或者Gf约束于 Lk时，mij等于 1，否则 mij等于 0。

2.2 场景图像集生成

如图1所示，利用一个虚拟的球面来生成2D图像。这里，目标对象的三维CAD模型放置于球心，球表面上的每一视角点代表着一个虚拟相机，此时可沿着球面进行视角点采样，来生成一定数量的目标对象三维CAD模型图像。

图1 模板图像生成模型

在图像生成过程中，根据3个自由度(距离d，经度φ，纬度φ)来确定虚拟相机在3D空间的位置。通过经度和纬度可以确定虚拟相机的方向，之外再引入另一个自由度，即虚拟相机到3D模型的距离d。在这三个自由度下，虚拟相机在3D空间中的位置可被唯一确定。然后通过设定自由度参数的范围，来确定视角点位置及采样点数量，即虚拟相机的位置和模板图像的数量也被确定，表示为其模型表达式如下：

2.3 场景图像集与制造特征之间的关联

在模板图像生成过程中，构建制造特征和模板图像之间的映射关系，以实现操作人员从不同视角下对零件不同特征进行检测。假设某一时刻相机视角方向法向量为α，那么在该视角方向下模型中一些特征是不可见的。如果模型中所属制造特征的面法向量为β，当α和β同向，则此时刻此制造特征不在相机的视角范围内，即该模板图像与此制造特征无关联；同理，当α与β反向时，二者关联。具体的模型表达式如下：

其中P(H)表示制造特征与场景图像的关联关系，Ii表示第i幅模板图像，Hj表示第j个特征，nij表示模板图像Ii和制造特征Hj的关联映射关系，向量a表示模板图像Ii对应的相机视角方向的法向量，向量b表示制造特征Hj所在面的法向量；当nij=0时，模板图像Ii和制造特征Hj无关联关系，nij=1时，模板图像Ii和制造特征Hj相关联。

3 面向制造现场的AR构建

如图2所示为面向制造现场的产品质量信息传递AR框架。由图中可见，其创建过程为：首先，摄像头捕捉真实场景信息，真实场景信息被转换为图像或视频流；其次，再通过将模板数据库中的模板场景图像与捕捉到的制造现场图像进行匹配，匹配成功后，AR系统根据最相似的模板图像在模板数据库中查找相应的注册信息；最后，通过所获得的摄像机的姿态，实现虚拟产品质量信息与真实场景的虚实融合，并将虚实融合的视频流输出到显示设备展现给用户观看。

图2 面向制造现场的增强现实框架

3.1 制造现场图像与模板图像匹配

通过梯度响应图的方法进行图像匹配，利用公式(1)来计算模板图像和制造现场图像之间的匹配相似度：

其中ori(T,r)表示模板图像位置r的梯度方向的弧度，同样地，ori(I,c+r)表示制造现场图像位置r移动了c个位置的梯度方向的弧度，P表示模板图像所有特征的位置。

在图像匹配的过程中，遍历模板图像集I，利用公式(1)来获得匹配相似度集{εi}，并求得最大相似度设定一个匹配阈值λ，如果最大相似度小于匹配阈值，则不存在匹配，其原因包括用户离开了场景或者摄像机离模型太远，这样就需要重新获取图像。当最大相似度大于或等于匹配阈值时，场景匹配成功，获得最大相似度对应的模板图像ID，并根据匹配结果求得转换矩阵M。

3.2 产品质量信息传递过程

利用匹配阶段获得的最相似图像ID，根据模板图像和制造特征之间的关联关系P(H)与制造特征和产品质量信息之间的关联关系S(H)，可从离线阶段构建的外部数据库中读取3D模型、产品质量信息等数据。因此，产品质量信息的传递过程可以表示为：

其中，{Hq}表示模板图像ID所关联的制造特征集合，q表示关联的制造特征个数，PMI表示q个制造特征关联的产品质量信息。

3.3 虚实融合

增强现实系统的注册过程是确定虚拟物体在真实场景中的正确位置的过程。首先需要知道摄像机与真实场景之间的位置关系，包括二者之间的相对位置和方向；然后根据此关系确定虚拟信息在真实世界中准确的位置和方向；最后完成三维注册。摄像机与真实场景之间的位置关系通过坐标变换来描述，即摄像机坐标系和世界坐标系之间的转换关系。具体如公式(2)。

其中，TlC为产品质量信息在摄像机坐标系下的坐标，TlW为产品质量信息在世界坐标系下的坐标；M是4×4矩阵，为世界坐标系到摄像机坐标系的位姿转换矩阵；R是3×3旋转矩阵，表示摄像机在世界坐标系下的方向；t是3×1的平移矩阵，表示摄像机在世界坐标系下的位置。

4 实验结果与分析

首先采集零件在各自场景中不同视角下的图像集。图像分辨率都是640×480，渲染的虚拟模型和零件的产品质量信息采用商业CAD软件完成，导出的三维模型的格式统一为OBJ格式。实验参数设置为相机和零件的距离d是150mm～170mm；经度φ是 0°～350°；纬度 φ 是 40°～80°；距离的间隔设置成10mm；经度和纬度的间隔设置成10度。φ

图3显示了在四个不同的视角下，目标零件处于复杂环境下尺寸信息叠加的效果，表明了在复杂环境下，依然能够实现产品质量信息的准确传递。图3中同样显示了当用手遮挡了目标零件的一部分边缘时，依然能够准确完成产品质量信息的传递，说明系统具有良好的鲁棒性。

图3 零件不同视角下的跟踪效果

图3中(a)、(b)、(c)和(d)的左边为整体的跟踪注册效果，确保是正确的叠加；然后隐藏虚拟模型，如图3中(a)、(b)、(c)和(d)的右边所示，实现显示尺寸叠加效果。从图中可以看出尺寸信息能够正确叠加到目标零件上，并且看起来非常直观、清晰。

5 结束语

为实现一种面向制造现场的PMI传递方法,以制造特征为载体提取三维CAD模型的PMI,采集待测模型的模板图像集，构建了模板图像与制造特征之间的关联关系，并与实时获取的场景图像匹配。匹配成功后，根据建立的外部数据库，实现了产品质量信息的注册。该方法适用于无纹理的零件，算法的鲁棒性良好，可有效解决操作人员在实际产品检测过程中效率低下的问题，满足企业的应用需求。