基于视觉引导的单粒子效应试验平台

王诗宇，林 浒，郑飂默，刘信君，孙树杰

(1.中国科学院大学，北京 100049；2.中国科学院沈阳计算技术研究所，辽宁 沈阳 110168；3.沈阳中科数控技术股份有限公司，辽宁 沈阳 110168；4.烟台大学 机电汽车工程学院，山东 烟台 264005)

0 引言

空间辐射引起的单粒子效应会使宇航器件上的各种载荷组件性能严重退化，威胁在轨航天器的运行安全，目前国内各航天研发单位通过重离子加速器试验终端对航宇器件进行单粒子效应检测[1-2]。由于航宇装备具有小批量、多种类等特点，辐照测试环节难以建立标准统一的试验流程。单个辐照对象上往往有多个待辐照目标，现有试验平台仍主要采用人工手动方式装配对点，由于单粒子射线的辐射效应，在对每一个辐照目标进行辐照试验前都需要人工闭合粒子束流开关，进入辐照现场手动标定辐照位置，工作效率低下，需要一个高自动化程度的辐照试验平台来提高试验效率，减少航天研发单位进行辐照试验的等待周期。

视觉引导技术能够提升工业机器人的智能化程度和环境适应能力，是当前机器人领域的研究热点[3]。在机器人结合视觉系统的应用领域，国内外许多研究机构均开展了机器人视觉系统的相关课题，例如SHEN等[4]利用机器视觉结合空间模型与优化技术对工业机械手臂进行运动避障规划；HERRERO等[5]采用特征检测与3D CAD匹配的方法控制工业机器人进行装配作业；在国内，张轶等[6]利用加权奇异值分解算法克服视觉引导机器人砂带打磨过程中的手眼标定误差；季旭全等[7]综合应用双目视觉与机器学习等技术实现了对星载设备的精确装配；万国扬等[8]基于视觉定位与轨迹规划实现了机器人对铸件打磨全过程的自动化作业。

本文以空间辐射引起的单粒子效应为背景，设计基于机器人与视觉引导的自动化辐照试验平台，其目的是利用视觉系统反馈信息引导机器人末端位姿，使重离子加速器试验终端完成对目标位置的精确辐照。试验平台先通过人机交互界面实时确定辐照目标，再采用单目相机结合激光测距装置搭建视觉系统[9-10]来采集辐照目标参数；然后采用图像匹配原理识别待辐照对象，确认当前对象的辐照参数，根据辐照参数中的目标深度信息设置合理的束流强度，并通过机器人手眼标定完成视觉空间下辐照参数到机器人运动空间的坐标映射，引导机器人末端运动至参数对应的位置，完成对选定目标区域的束流照射；最后对整体试验平台进行调试验证，自动化完成辐照试验流程。

1 试验平台设计及流程

1.1 平台组成

单粒子效应试验平台主要由视觉系统、6自由度关节机器人系统、料库中心和重离子加速装置组成。用于确定辐照参数的视觉系统搭建在远离辐射环境的远程控制室内，料库中心、机器人系统、目标识别工位和重离子加速装置则集中分布于辐照作业室的辐射环境下，整体分布如图1所示。

1.2 平台工作流程

试验平台主要针对处于研发阶段的航宇芯片进行单粒子效应测试。在测试过程中，平台需要根据测试反馈实时调整辐照参数和测试内容，因此辐照对象在被送至辐照作业室进行辐照操作之前，需要通过图2a所示的视觉系统确定每一个待辐照对象上的辐照参数，即印刷电路板(Printed Circuit Board, PCB)上多个待辐照电子器件三维坐标信息的组合，平台的数据库系统记录每个待辐照对象的图像及对应的辐照参数信息。

确定过参数信息的待辐照对象被批量运送至图2b所示辐射工作环境下的料库中心，机器人抓取料库中心内的待辐照对象运动到目标识别工位进行图像信息比对，确认当前待辐照对象所对应的辐照参数信息，然后再运动到辐照区域，按照辐照参数引导完成辐照试验。

辐照对象完成辐照试验后，由机器人放回料库中心。机器人抓取下一个辐照对象重复上述过程，直至料库中心内所有待辐照对象均完成辐照试验。单粒子效应辐照试验平台工作流程如图3所示。

2 试验原理与方法

2.1 辐照参数采集

试验平台采用工业相机结合激光测距装置来采集待辐照目标的三维信息。其中工业相机用于建立像素坐标系所处成像平面与世界坐标系下目标所处平面之间的映射关系，完成对待辐照目标二维坐标信息的确认，并以此引导激光测距装置对目标深度信息进行采集，生成辐照环节所需的三维坐标信息。

相机成像过程可以看作小孔成像模型，在视觉系统搭建过程中，令所建立世界坐标系的xwoyw平面与待辐照目标所在平面重合，并保证相机的光轴垂直于xwoyw平面；将相机光轴作为zc轴建立相机坐标系xcyczc；相机光轴同时垂直通过图像坐标系xoy的原点，即成像平面与目标平面之间的坐标映射关系可以看作为两个平行平面之间的旋转平移变换。然而，试验平台通过工业相机获得的数据信息是成像平面像素坐标系下的像素序列，需要利用相机传感器在各方向上的单位尺寸建立物理坐标与像素坐标间的变换关系。因此，成像平面上以图像左上方位置为初始点建立像素坐标系xp-yp，反映到远程控制室显示器端的各方向像素序数即为目标在像素坐标系下的像素坐标。综上，试验平台视觉模块搭建过程中各坐标系需要满足的对应关系如图4所示。图中f为焦点与透镜光心的距离，在数学模型中表示相机坐标系平面与成像坐标系平面间的距离。

目标在显示器屏幕上的像素坐标与其在世界坐标系下的坐标可以通过旋转和平移来建立映射关系，数学表达为

(1)

式中：参数s为屏幕显示区域与实际所需像素范围的尺度比例系数；M为工业相机的内参数矩阵，r和t分别对应旋转和平移变换。用H表示两个平面之间的映射关系，其包含了目标投影到成像平面的物理变换过程和工业相机的内部参数[11]，

(2)

由于齐次坐标系可以进行任意尺度缩放，需要对单应性矩阵添加约束条件，这里将矩阵的模置1，即

(3)

利用4对以上点对求解出单应性矩阵后，视觉系统根据单应性矩阵将在远程控制室显示器上选定的目标位置转换为世界坐标系下的坐标。将二维机械装置放置于工业相机与待辐照目标平面之间，建立同目标平面坐标一致的运动平面(如图2a)，然后根据单应性变换得到的二维坐标引导激光测距装置完成对目标位置深度信息的采集，并将图片信息和位置参数信息存储在工控机内的数据库中。

2.2 目标识别

航宇器件的研发制造过程具有特殊性，不同试验对象间集成的电子器件各不相同，因此待辐照对象均拥有自身独立的辐照参数信息。多个待辐照对象被送到料库中心后，机器人每次抓取一个待辐照对象，根据当前待辐照对象的辐照参数完成最终的辐照操作。

为满足自动化生产需求，现有PCB会印刷一些用于辅助定位的标识，然而试验对象上的各种载荷组件一般处于研发阶段，不具备满足规模生产所需的辅助条件，因此试验平台通过目标识别方法获取与当前待辐照对象相应的辐照参数信息，这一过程可以作为目标的实例检测，即利用图像匹配识别特定的试验对象。机器人抓取当前对象后运动到视觉系统下，通过比对视觉系统与之前记录的图像信息，在数据库中正确提取与当前试验对象对应的辐照参数，如图5所示。

识别已知目标最简单的方法就是度量模板图像在目标图像中相同区域内灰度分布的相似性，但灰度特征受环境影响较大[12]。选择稳定性更好的点特征代表目标物体能够更好地克服环境因素对识别过程的干扰，因此本文采用特征点匹配原理对目标进行识别。

2.2.1 特征提取表达

在常用的点特征中，基于梯度特征的局部特征描述方法——尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)[13]是目前最好的局部特征检测方法之一，在其基础上也衍生了许多优秀的特征检测方法，其中ORB(oriented fast and rotated brief)就是一种快速的特征提取和描述方法[14]。相比于SIFT在尺度变化和旋转方面的鲁棒性，ORB在实时性方面更有优势，为了满足试验平台的实时性，同时考虑到辐照试验匹配过程不存在明显的旋转和尺度变化情况，选择ORB方法对点特征进行提取和描述。

2.2.2 特征匹配差异分析

图6所示为将模板和目标图像进行特征粗匹配的模型，由于光照及环境噪声等因素的影响，匹配结果中一定会存在错误匹配信息。

两幅图像中对应的匹配区域可以看作为同一目标分别在不同视角下的表达，代表同一目标特征的对应点对应该满足相同的空间约束关系。通过统计分析匹配结果，将错误匹配信息分为错误区域匹配和正确区域间的错误匹配两种类型，例如图6中区域R1和R3间以及区域R1和R2间具有明显非一致性的匹配。对于如何排除匹配结果中的错误信息，目前广泛应用的图像配准参数模型有M估计模型(M-estimation)、最小中值模型(LMedS)和随机抽样一致性(RANdom SAmple Consensus，RANSAC)算法。当错误匹配信息占比较大时，会对M-estimation模型和LMedS模型造成干扰，使模型无法正常工作；RANSAC模型可以通过迭代获取最优参数模型，然而大量的错误信息会使迭代次数呈指数增长[15-16]。

2.2.3 显著性目标区域划分

在匹配过程中，集成在电路板上的芯片组件被认为具有重要的特征信息，为了保证目标识别的准确性，应尽量减少背景等无关因素对匹配过程的干扰，突出目标特征。目标电子器件与背景区域在空间分布上截然不同，电子器件大多远离电路板边界，背景区域则相反，这与视觉显著性机制[17]非常吻合。在图像中，采用候选区域得分机制量化对目标区域的判断：

Score(pixel)=

(4)

式中：pixel为图像像素；RC为候选区域；B为图像边界，其直观的几何意义是将候选区域显著性量化为候选区域与图像边界相接触部分占整个候选区域方根的比例，分值越低，候选区域显著性越强。由于计算机无法像人一样计算图像的边界L和面积S，ZHU等[18]用超像素块[19]在CIE-Lab颜色空间中构造相似度指标，对候选区域面积进行表示，然后用式(5)获取显著性目标区域。

(5)

之后对显著性图像进行二值化填充和形态学滤波，避免候选区域出现不连通或虫洞现象。再将二值图映射到[0,1]区间，与原图像进行与操作，获得排除背景干扰后的目标特征图像。图7模拟了包含4个目标区域的图像利用显著性机制排除背景无关因素、保留目标区域特征的完整流程。

2.2.4 基于区域分布差异的特征匹配

当前特征点匹配结合错误排异模型排除错配信息的方法对于辐照试验平台的目标识别过程稍显冗余，且效果并不理想。本文针对辐照试验匹配目标间不存在明显旋转和仿射变换的情况，将两幅图像集中在同一坐标系下，利用匹配点对在不同目标区域间的分布差异，排除非对应区域间的错误匹配信息，将匹配点对间的匹配向量作为特征点匹配一致性评价参数。

两幅图像中的对应区域间会存在大量相似的匹配点对，错误匹配信息由于不满足相同的空间约束关系，其周围很少会出现具有相似匹配关系的特征点对。若将区域内每一个特征点的匹配状态作为一个独立事件，则每一个特征点都有匹配到正确区域和错误区域两种可能，假设这两种匹配情况满足不同的二项分布形式

XT～B(m,PT)，

(6)

XF～B(m,PF)。

(7)

式中：m为模板图像中当前区域内的特征点数；下标T和F分别表示正确和错误的区域匹配。采用贝叶斯原理[20]分别计算两种情况的分布概率：

PT=p+m′(1-p)/N；

(8)

PF=m′(1-p)/N。

(9)

式中：p为每个特征点进行正确匹配的概率；m′为对应匹配区域内的特征点数；N为特征分布的区域数量，可以理解成一个中间量，由图像中特征点分布的区域数量决定。由式(8)和式(9)可知，上述两种情况满足不同的二项分布形式，因此可以利用特征分布的差异来对排除错误区域间的匹配信息。

正确匹配点对间的匹配向量具有一致性，在同一坐标系下，匹配向量的斜率和大小分别为[21]：

(10)

(11)

将匹配向量转换成坐标(k,d)的形式能够比较容易地判断对应匹配区域间的匹配一致性，对于匹配到正确区域的错误匹配信息，则通过比较匹配点对间的匹配向量来排除杂乱无序的错误匹配信息。

2.3 手眼标定模型

视觉系统获取的辐照位置参数同机器人末端执行机构在机器人基坐标系下的相对位置关系构成试验平台的手眼标定问题。视觉系统将辐照参数发送给机器人控制器，控制器根据手眼关系矩阵将辐照参数转换为机器人基坐标系下的坐标信息，来控制机器人末端执行机构。手眼标定精度对辐照试验结果具有重要意义。

如图8所示，粒子束流垂直打到待辐照目标平面。以束流发射端口为原点、束流发射方向为z轴建立坐标系，使待辐照区域相对于束流发射端口的坐标偏移与视觉系统采集到的辐照位置参数一致。标定过程中用激光束代替粒子束流，控制机器人根据辐照位置参数将待辐照目标夹持到辐照区域，使激光束打在辐照参数C对应的位置上，并在示教器上读取此时机器人末端在机器人坐标系下的坐标CB。标定过程记录了n组测量数据，每组对应的坐标间应满足同一手眼关系矩阵T，即

(12)

矩阵T由旋转矩阵R和平移矩阵t组成。标定过程主要依靠人类视觉观测光束中心位置，试验环境下的光线、机械振动等因素均会对此产生干扰，最小二乘法非常适用于估计两组坐标系下的手眼变换关系。因此，本文利用标定过程记录多组数据，通过奇异值分解(Singular Value Decomposition, SVD)算法[22]求解式(13)中初始旋转和平移矩阵的最小二乘解。

(13)

(14)

根据各组测量数据设置权重函数

(15)

为了保证测量数据的完整性，式中a取测量数据中最大误差emax与平均误差¯e的向下取整，且a≥2。权值设置使测量数据误差越小，该组测量数据的权重比例越大，反之亦然，从而排除了显著偏离误差分布区间的离群数据。采用带有权值的测量数据再次求取手眼关系矩阵T的最小二乘解

(16)

然后根据新的误差更新权值，迭代上述过程直至手眼标定误差收敛于合理区间，完成手眼标定过程。

3 实验结果与分析

3.1 目标匹配实验

采集图像所用设备为德国映美晶公司DFK 33系列工业相机，图像分辨率最大支持2 592×1 944像素，图像处理模块采用配置为32 G内存、Intel i7 3.19 GHz CPU及Nvidia 1080 Ti GPU的工作站；模板图像和目标图像均在真实环境下由工业相机采集得到；由于数据采集与识别过程分处不同环境，实验过程设置了光照干扰条件；特征提取和表达过程均采用ORB算法，并将特征点最多的提取数量设置为默认值500。实验首先对两组图像用暴力匹配法(Brute Force, BF)进行特征点粗匹配，在其基础上采用RANSAC模型剔除错误匹配信息，最后与本文基于特征点区域分布差异的匹配方法进行对比。

3.1.1 相同目标匹配

图9所示为同一目标在不同工位环境下所采集图像的匹配效果。图9a表明，虽然两幅图像为同一目标，但是仍然会产生大量非一致性错误匹配点对；图9b的匹配结果表明，RANSAC算法通过迭代获得了匹配点对间的最优参数模型来剔除错配点对，但是仍然会剩余少量错配情况，而且剔除了部分正确匹配信息；图9c通过特征点区域分布规律排除错误信息，在显著减少错误匹配信息的同时能够获得更多的一致性匹配信息。

3.1.2 不同目标匹配

图10所示为不同目标间的匹配效果。其中，图10a因为两幅图像为完全不同的匹配目标，所以将全部匹配点对作为错误匹配结果；图10b通过RANSAC算法对错误匹配结果进行剔除后，仍然有少量错误匹配信息；图10c采用特征点区域分布差异方法完全排除了非对应区域间的错配信息，而且没有产生错误匹配点对。

3.1.3 匹配结果分析

正确匹配点对具有一致性。由图9和图10所示的两组实验结果可知，无论匹配目标是否相同，原有匹配方法都会产生错误匹配点对，错误匹配点对会对目标识别结果造成干扰，因此难以通过匹配特征点对数量来判断目标识别结果是否正确。本文匹配方法对相同目标进行匹配时很容易产生大量一致性匹配点对，而对不同目标则极难产生匹配结果，因此视觉系统很容易识别对应的图像，进而获取相应的辐照参数。

表1和表2所示分别为相同目标和不同目标采用不同匹配方法所得结果的比较。

表1 相同目标匹配结果比较

表2 不同目标匹配结果比较

为了验证本文方法的稳定性和泛化性，对10组不同测试对象进行匹配实验，统计获取到的匹配点对数量及正确的匹配结果，如图11所示。

由表1、表2和图11的匹配结果可知，BF虽然获得了最多的匹配点对数，但是其中包含大量的错误匹配点对；RANSAC算法虽然在对相同目标进行匹配时取得了较好的匹配效果，但是对不同目标匹配时也产生了大量匹配点对；本文匹配方法相比BF具有更高的匹配准确率，相比RANSAC算法，在保证匹配准确率的同时能够获得更多的匹配点对数量。综合实验结果，本文方法具有更好的匹配效果。

3.2 标定实验

手眼标定过程采用标定板和激光束作为标定工具来获取测量数据。首先通过人机交互界面选取实验点(如图12)，实验点的选取应尽量覆盖完整的辐照区域。

参数采集过程将屏幕上的像素坐标转换为相对于参考位置的辐照坐标后，驱动机器人末端夹持标定板至基坐标系下的对应位置，使固定激光束的圆心覆盖于所选取的实验点上，并记录此时基坐标系下机器人末端的位姿参数。实验过程记录了300组对应的坐标点对，用来优化试验平台的手眼关系矩阵。迭代次数与最大标定误差及平均误差的分布状态如图13和表3所示。

表3 手眼标定误差数据 mm

由图13和表3可知，经过3次加权迭代后，手眼标定结果的最大误差和平均误差值的变化均不再明显。试验平台的真实束流半径ε=5 mm，平均标定误差收敛于0.60 mm左右，最大标定误差收敛于1.34 mm左右，手眼标定误差范围满足

(17)

束流半径完整覆盖了误差范围，使待辐照区域处于粒子束流的辐照范围内。图14所示为使用激光束流模拟粒子束流，对图12中选取的实验点进行辐照测试，结果显示激光束流准确覆盖了目标位置，验证了试验平台的辐照精度。

3.3 整体试验效果

最后对整体辐照流程进行测试，单个试验对象上多个辐照目标的辐照操作可以在2 min内完成，辐照效果如图15所示。

在辐照作业过程中，相比于现有辐照试验平台每改变一次辐照位置都需要人工重新对点的方式，本文设计的辐照试验平台利用视觉引导系统，辐射环境外的远端视觉系统可以同时预先采集多组试验对象的辐照参数，并通过目标识别调用相应的辐照参数，引导机器人完成辐照操作，在保证辐照精度的情况下能够明显地缩短单个试验对象的工作时间。

图16所示为本文试验平台与原有平台设备使用效率的对比情况。可见由于辐射环境的影响，传统辐照平台作业方式的设备使用率很低，资源浪费严重；自动化辐照平台仅占用设备运行周期内的小部分时间装载试验目标，辐照试验工作效率提升得非常显著。

4 结束语

本文针对当前粒子辐照试验平台的不足，设计了一套基于机器人与视觉引导的自动化试验平台。平台通过视觉系统实时设置辐照参数，并根据试验环境提出基于区域分布差异的特征匹配方法，来完成辐照目标识别并调取辐照参数。另外，利用标定误差为测量数据分配权重，不断优化机器人手眼关系模型。实验结果表明，本文所提匹配方法具有更好的匹配效果，机器人手眼关系模型能够保证辐照试验精度，验证了所提方法的有效性。

本文设计的试验平台显著提升了辐照试验效率和自动化程度，然而部分试验环节仍然需要人工干预，如辐照试验对象的运送、装载等。同时，本文匹配方法并未重点考虑正确匹配区域间的错误匹配情况。后续研究将探索试验对象的标准化和规范化，集成更加可靠的辅助引导形式，进一步提升试验平台的自动化程度和识别算法的稳定性。