月球表层采样样品智能确认方法

郑燕红，邓湘金，姚 猛，金晟毅，赵志晖，史 伟

(北京空间飞行器总体设计部，北京 100094)

0 引 言

从地外天体获取土壤样品在原位进行分析或返回地球开展研究，是人类研究地外天体起源与演化的重要途径，我国目前正在开展月球采样返回任务研制工作，将利用表层采样方式获取月球土壤样品，开展表层采样过程智能化研究，将提升月球探测器的月面工作效率和处理采样过程复杂问题的能力，也可为未来远距离行星、小天体采样探测或采样返回任务奠定基础。

美国已成功实施多次地外天体无人表层采样，凤凰号采样机械臂在火星表面11个不同位置完成了53次铲挖[1]，在多模组补光灯支持下，臂载相机进行了铲挖样品的远、近场成像与状态确认[2]；好奇号采样机械臂通过采样铲开展了火星土壤的采集工作，利用高分辨率臂载相机进行铲挖前、后成像分析，利用桅杆相机进行铲挖过程监视与确认[3]。欧空局猎兔犬着陆器配置的采样探测机械臂，试图在相机支持下完成火星土壤研磨与分析[4]。俄罗斯福布斯-土壤采样机械臂也携带了全景相机辅助实施采样点选择[5]。中国嫦娥三号巡视器机械臂进行原位科学探测过程中，避障相机进行了成像监视[6]。可见，相机图像在地外天体土壤样品采集过程中，具有重要的过程监视与状态确认作用。然而，已实施的这些原位采样或科学探测任务在轨寿命周期均超过3个月，利用相机图像进行状态确认的及时性、快速性要求相对宽松，而对于在地外天体表面工作时间较短的探测任务，如何在无人参与情况下智能、高效、准确地完成识别与确认工作就显得较为重要。

本文针对月球表层采样过程中样品识别的智能化进行了研究，分析了铲挖过程中相机图像特点，提出了样品智能识别流程，构建了一类深度卷积识别网络，详细推导了正反向传播过程，并结合月面表层采样地面试验数据，开展了试验检验工作。

1 表层采样铲挖过程

铲挖是月球表层采样获取土壤样品的重要手段，采样器通常在多自由度机械臂的带动下运动至目标采样点上方[7-8]，通过臂载相机、采样器的采样铲相互配合完成土壤样品采集与状态确认。铲挖采样过程如图1所示，铲挖前采样铲在电机驱动下转动至预定角度，与月壤表面保持一定距离，铲挖采样过程中，采样铲反向转动实现土壤挖掘，获取月球样品，随后采样铲携带样品运动至闭合位置。

获取样品是铲挖采样的直接目标，受机械臂定位精度、采样点地形、月壤及岩块特性等影响，每次铲挖采样可能获取足量样品，也可能无法获取样品。若获取足量样品，采样流程将转入样品转移环节，若未获取足量样品时，采样流程将重新回到铲挖采样环节。可见，每次铲挖采样的结果状态将影响采样流程的流向，对采样策略的制定有重要影响。

在典型的地外天体表层采样任务中，臂载相机通常可以对铲挖过程进行监视，采样铲及样品进入视场后，臂载相机可对铲挖动态、到位静态进行连续成像，如图1所示，这为器上自主或器地协同提供了状态确认的信息源。利用臂载相机在铲挖过程中的图像，同步完成样品采集状态智能识别，介入时机早、信息获取快、机构无附加动作、不依赖操作人员，可提高采样工作效率。

2 臂载相机图像特点

臂载相机图像质量受光照环境的影响，在铲挖过程中，臂载相机横向活动范围局限在几平方米的可采区内，纵向范围控制在与月面距离分米级甚至厘米级的高度空间中，其具有活动范围小、距离月面近、易受外部影响的特点。从外部环境来看，月球探测器在月面的着陆高度、着陆姿态存在一定的不确定性，而表层采样的可采区通常位于探测器一个或两个侧面的邻近区域，具有一定体积的探测器将给臂载相机的成像光照带来一定的不确定性；另一方面，月面地形较为复杂，凹坑、石块分布不均，目标采样点附近较高的坑沿、大石块也可能改变邻近月面的臂载相机光照环境。可见，臂载相机成像环境光照难以完全预知，难以准确建模，图像质量不可避免地存在一定的差异性，因此，识别方法需具有智能性，对复杂的光照环境具有较好的适应性。

臂载相机图像内容随铲挖场景动态变化，不同的采样点有不同的环境信息，识别目标进入视场的时刻也存在波动性(土壤阻力矩的不确定性)，具有场景多变、动目标采集位置波动的特点。如图2所示，铲挖采样前图像中呈现的是采样点邻近区域状态，其随采样点、地形的变化而改变；铲挖过程中，采样铲、样品进入视场，其在图像中的形状、大小均处于动态变化中。可见，臂载相机的成像内容动态多变，既有到位后的静态，也包含具有一定波动性的动态，因此，识别方法需在相对陌生的背景中智能、准确地识别动、静结合的采样铲与样品。

图2 铲挖测试中臂载相机图像(局部)

臂载相机图像中的有效识别目标是样品，样品的形态由采样铲铲挖深度与速度、月壤相对密度与颗粒分布、工作环境重力场等共同影响形成，具有形态多样、易于流动的特点。如图3所示为地面试验过程中采样铲到位后臂载相机图像中的样品，其形态各异，当样品量较少时，样品将在重力影响下从采样铲铲尖向底部空腔内滑落，极端情况下从到位后的臂载相机图像中难以发现样品，需利用采样铲运动过程中的拍摄图像来分辨。另一方面，采样铲内部形态与特定形态的样品具有相似性，具有一定粗糙度的表面状态也与月壤的离散颗粒特性接近，加之光照环境的影响，采样铲本身足以成为样品识别的干扰之一。可见，臂载相机图像中的样品形态多样、流动性强、扰动恒存，因此，识别方法需智能地对不定态样品具有精准的分辨能力。

图3 地面试验中样品形态示意

3 智能识别问题分解

从前面分析可见，利用臂载相机图像对样品自主识别，需要识别方法具有智能性，其简单描述如图4，输入为臂载相机图像，输出为是否有样品存在，识别过程中无人参与。

图4 样品智能识别问题示意

然而，从表层采样铲挖过程和臂载相机图像特点来看，智能识别面临光照环境的不确定性、工作场景的差异性、动静过程的复杂性、样品形态的多样性等问题，在同一层次上对所有制约因素进行考虑难度较大。考虑有人参与场景，人通常会先搜索采样铲是否出现，确认采样铲当前状态，进而分析采样铲中是否有样品，最后给出判定结论。从该过程可见，人是将识别处理过程分阶段、分层次进行处理的，因此，无人参与情况下可参考该过程将问题进行分解，如图5所示，通过层次表示分化处理。

图5 样品智能识别分解

臂载相机图像经预处理进入识别流程后，首先实施采样器状态判别，未发现采样铲时，表明尚未实施铲挖；若发现采样铲，表明铲挖已开始。确认铲挖开始后，分析采样铲动、静状态，处于运动状态时，启用运动样品识别流程；当处于到位静态时，则启用静止样品识别流程。

可见，智能识别问题从一个复杂的分类问题，被分解为采样器状态识别、动态样品识别、静态样品识别3个子问题。采样器具有较为鲜明的外形特征，通过采样器状态子分类处理可降低场景差异的影响，运动过程中的样品受运动与重力场影响，样品的流动性表现更明显，将动态与静态识别分开进行，有助于降低过程特征的复杂度而提升个性特征。

4 深度卷积识别网络

卷积神经网络是重要的深度学习网络之一，在图像分类处理方面取得了良好的效果[9-12]。月球采样探测任务研制过程中，开展了大量不同光照、不同地形、不同着陆状态、不同模拟月壤下的试验验证工作，积累了丰富的铲挖采样臂载相机图像数据，通过具有一定深度的卷积神经网络对典型工作环境下样本进行自主特征提取，建立图像空间到识别标记空间的映射模型，实现臂载相机图像在轨图像快速识别，为器上自主或器地协同创造条件。

针对前述采样器状态识别、动态样品识别、静态样品识别问题，可构建3个如图6所示的同型深度卷积神经网络进行解耦处理，输入均为臂载相机的图像(局部感兴趣区域)，每个网络内的特征提取层级数可根据需要进行调整。深度卷积网络由卷积层(Conv)、归一化层(BN)、线性整流层(ReLU)、池化层(Pooling)、全连接层、Softmax层组成。卷积层、归一化层、线性整流层、池化层组成特征提取级，可进行多级级联，实现臂载相机图像向特征空间的映射；全连接层、归一化层、线性整流层、Softmax层实现特征空间向标记空间的映射，对每个子分类问题，通过这种具有一定深度的网络结构，自主完成特征提取，实现分类识别。

图6 样品确认深度卷积网络

4.1 网络正向传播

从图6可见，特征提取过程中进行了多次卷积、归一化、线性整流、池化运算，每一级特征提取具有相同的结构。不失一般性，以第X级特征提取为例进行分析，设其前级批量输出(首次特征提取为输入图像)为PX-1∈Rhv×wv×dv×mb，mb为批处理图像数量(样品确认时为1)，hv,wv,dv分别为图像高度、宽度和深度；卷积滤波器WX∈Rhx×wx×dv×dk，hx,wx为其高度和宽度，dk表示特征图数量，以X,sa作上标分别表示所处层级、批内序号。设滤波器滑动步长为1，逐层计算时不进行边沿填充，采用最大值池化，则图像空间到特征空间的正向传播过程可表示为：

(1)

其中,BN-X层运算涉及参数表示如下：

(2)

(3)

式中:m=mb(hv-hx+1) (wv-wx+1)。

(4)

其中,Softmax层净输入SS,sa可表示为：

SS,sa=WS·RFc,sa+BS

(5)

综上可见，通过式(1)级联可实现从图像空间向特征空间的正向传播，通过式(4)可实现从特征空间向标记空间的正向传播。

4.2 网络反向传播

从图6结构及正向传播过程可见，卷积层滤波器、归一化层参数、全连接层与Softmax层权值及偏置决定了图像到标记空间的映射关系，本文采用有监督学习方式，反向传播是通过代价函数在训练样本监督下进行参数寻优的过程。为降低网络的复杂度，代价函数引入权值衰减，采用如式(6)的交叉熵函数为代价函数：

(6)

(7)

ReLU-F、ReLU-X层均采用φ(x)=max(0,x)作为激活函数，其导函数为：

(8)

式(7)中全连接层偏置灵敏度计算所需的Δk,Ωk根据链式法则，可表示如下：

(9)

根据前面的描述，样品确认问题可转化为分类问题，可对分类标记采用独热(one-hot)编码[16]，则有：

(10)

根据式(7)、(10)单神经元相关计算，可得各层灵敏度矩阵如下：

(11)

式中：∘为Hadamard积。由于ReLU-F层未设置调节参数，根据多层网络最速下降规则[17]，结合批处理进行平均与权值衰减，由式(11)可得Softmax层、全连接层权值与偏置梯度为：

(12)

由于BN-F层与批内各样本均发生联系，根据式(4)求导，可得尺度与偏移参数梯度：

(13)

(14)

(15)

(16)

(17)

同理将式(17)扩展为矩阵形式，可得：

(18)

ReLU-X层向BN-X层继续反向传播，其尺度与偏移参数梯度与BN-F层类似，根据式(1)、(18)有：

(19)

BN-X层向Conv-X层反向传播，卷积层卷积操作后看作进行了线性激活，即净输入等于其输出，根据式(1)、(3)可得卷积层偏置灵敏度为：

(20)

(21)

根据式(6)，单样本的卷积层权值梯度为：

(22)

结合批处理进行平均，根据式(22)可得卷积层权值梯度矩阵形式为：

(23)

式中：Rπ(·)表示将矩阵逆时针旋转180°。

由于图6所示网络中可能存在特征提取层级联，后级卷积层前级为池化层。反向传播时，与前处理类似，将池化层最大值池化操作看作激活前运算，净输入与输出相同，则前级池化层灵敏度为：

(24)

根据式(24)，将其扩展为矩阵形式有：

(25)

5 训练与检验

以月球表层采样地面试验数据为基础，选取多工况下臂载相机图像，进行样品智能识别训练与预测。由于臂载相机与采样器相对位置固定，铲挖过程中采样铲、样品在图像中的出现区域可提前预知，如图2主要集中在左部区域。为加快计算速度，在网络训练或预测前，根据采样铲运动路径进行区域图像裁剪，并采用金字塔降采样[18]处理，作为采样器识别、动态样品识别网络输入；通过掩模处理提取采样铲内样品可能出现区域，作为静态样品识别网络输入，按照图5所示流程利用Matlab编程语言实现前述正、反传播关系，网络参数如表1所示：

表1 深度卷积网络结构参数

注:f表示滤波器大小，n表示神经元数量，3个网络训练的部分样本来自同一图像

设置各网络初始学习率η=0.03，Softmax层偏置及归一化层参数采用零初值，各层权值采用文献[19] 所述均匀分布进行初始化，利用各参数的批平均梯度，采用Adam方法[20]对权值及偏置进行更新，选取c1=0.9，c2=0.999，即：

(26)

式中：θ表示前文各层权值矩阵W或偏置矩阵B，t表示迭代次数，第一动量项初值M(0)=0，第二动量项初值V(0)=0。归一化层平移、尺度参数采用初始学习率更新，即：

(27)

式中：ρ表示归一化层参数向量β，γ。

利用前述各层正、反向传播关系，结合上述超参数设置及更新方法，对采样器识别网络、动态样品识别网络、静态样品识别网络进行有监督训练学习，学习过程中代价函数及正确率变化曲线如图7所示。从图中可见，采样器识别网络进行了96次迭代，动态样品识别网络进行了60次迭代，静态样品识别网络进行了64次迭代，训练样本的识别正确率均不小于94.5%，训练获得的主要参数结果(为增强对比，值扩大5倍)如图8、图9、图10所示：

图7 样品智能识别网络训练过程曲线

图10 静态样品识别网络主要参数结果示意

图8 采样器识别网络主要参数训练结果示意

图9 动态样品识别网络主要参数训练结果示意

从图中可见各卷积核参数均处于合理范围内，训练过程无梯度爆炸或消失现象。为分析三个识别网络学习特征，对其分别输入如图11(a)、图12(a)、图13(a) 的图像。采样器识别网络须识别无采样器、采样铲运动、采样铲静止、采样器关闭4类情景；动态样品与静态样品识别网络均须识别有样品、无样品2类情景。经过网络后，卷积层特征图分别如图11(b)、(c)，图12(b)、(c)，图13(b)、(c)、(d)所示：

图11 采样器识别网络特征图示意

从图11、图12、图13各卷积层对不同状态输入生成的特征图可见，第一级特征提取后，采样铲、(模拟)月壤的边缘轮廓特征较为清晰，第二级特征提取后，特征图中明暗对比更为明显，特征不再局限于边缘轮廓信息，活性通道数量增加，变得更为复杂抽象。

图13 静态样品识别网络特征图示意

图12 动态样品识别网络特征图示意

采样器识别网络与动态样品识别网络输入图像形式相同，对比图11(b)、图12(b)可见，由于采样器识别网络目标集中在采样铲，动态样品识别网络目标集中在样品，第一级特征提取也存在差异，采样器识别网络中采样铲开口边缘轮廓在3个通道中清晰可见，而在动态样品识别网络中采样铲开口边缘则相对弱化，体现了学习过程的智能性。

表层采样过程中，臂载相机图像序列反映了采样器从无到有、样品从动到静的变化，静态样品识别是确认的最后环节，其网络输入图像相对采样器识别、动态样品识别更为精细，从图13(b)、(c)、(d)三级特征提取来看，随着特征表示层次的增加，特征图的明暗色调对比更为明显，第三级对(模拟)月壤样品的几何形状及表面细节纹理有一定程度的刻画。

为统计前述表层采样样品智能确认方法的识别概率，将24次月球表层采样地面试验臂载相机图像作为训练样本获取网络模型，将另24次试验的图像作为测试数据验证该方法的泛化能力，48次表层采样过程获得共计3366幅各状态臂载相机图像，其中有样品图像2036幅，无样品图像1330幅，识别过程中臂载相机图像以序列形式进入智能识别网络，以单幅确认结果作为识别结果，如表2所示：

表2 样品智能识别验证情况结果

由表2可见，通过采样器识别网络、动态样品识别网络、静态样品识别网络协同工作，月球表层采样样品智能确认过程中对测试图像的误识别率约为8.1%，动态样品识别环节误识别率相对突出一些。48次采样样品识别过程中误识别179幅图像，有样品图像为103幅，无样品图像为76幅，两种状态下发生误识别的占比分别为5.06%、5.71%，误识别发生情况相对均衡。

为检验层次解耦的月球样品智能识别方法的实时性，从臂载相机图像中选取无采样器出现、采样器处于动态、采样器处于静态、采样器完全关闭(此时样品不可见)四种可能的状态各100幅图像，在普通PC机环境中(CPU四核，内存4G，无GPU加速，未采用并行计算)，利用训练后的三个深度卷积网络模型进行智能识别，结果如表3所示：

表3 样品识别耗时情况统计

表3中实测时间为100幅图像的识别总耗时，单幅时间为折算的平均时间，单幅网络耗时为100幅图像识别过程中对涉及的识别网络的最大、最小耗时实际统计。根据图5识别流程可知，对于采样器未见、采样器关闭两种状态，识别过程仅利用采样器识别网络，其单幅时间、单幅网络耗时均相当；对于采样器动态，识别过程将利用采样器识别、动态样品识别两个网络，从单幅网络耗时来看大约为采样器未见、采样器关闭过程中的2倍；对于采样器静态，识别过程将利用采样器识别、静态样品识别网络，由于静态样品识别网络图像输入像素点约为采样器识别、动态样品识别网络输入的10倍，因此在时间消耗上也为10倍左右。从统计数据可见，对来自臂载相机的单幅图像进行表层采样样品识别的平均时间约0.7 s，其中深度卷积网络耗时不大于0.4 s，可以满足月球样品识别的实时性要求。

6 结 论

月球表层采样铲挖过程中完成样品识别对制定采样策略、提升采样工作效率具有重要意义。臂载相机图像为同步识别提供了直接信息，光照环境的不确定性、工作背景的差异性、动静过程的复杂性、样品形态的多样性对月球样品识别提出了智能化要求。本文模仿有人参与识别过程，将无人参与智能识别过程分解为具有一定层次关系的分类问题，利用深度学习方法，构建了一类深度卷积识别网络，完整地描述了图像、特征、标记在网络中的正、反传递关系，结合月球采样地面试验数据进行了训练与验证，结果表明对不同光照、不同背景、不同过程、不同形态下的样品，采用智能识别处理，具有较好的泛化能力，误识别率可控制在8.1%，单幅图像样品识别平均时间约0.7 s，可高效支持月球表层采样任务实施。