智能化舰船要害检测、轨迹预测与位姿估计算法
2023-03-18李晨瑄李湉雨李梓正曾维贵胥辉旗
李晨瑄,李湉雨,李梓正,曾维贵,胥辉旗
(海军航空大学岸防兵学院,烟台 264001)
舰船要害部位的精确打击能力是精确制导的关键技术之一。全方位的态势感知能力、高精度的目标检测能力,能够有效提升末制导段反舰导弹毁伤效能,具有重大研究意义。
舰船姿态、命中点位置严重影响反舰导弹对敌舰毁伤概率。反舰导弹不断接近舰船目标的过程中,舰船轮廓细节逐渐放大,基于角点检测[1]、特征匹配的目标检测方法易出现跟踪目标漂移,无法适应剧烈变化的舰船目标检测任务;不同的攻击进入角下,导引头探测所得舰船投影一致性差,基于局部特征提取的检测算法精度有待提升。由于卷积神经网络具有强大的特征提取能力,基于深度学习的目标检测技术一经提出,在辐射源识别、舰船目标检测[2]等领域得到广泛应用。文献[3]提出的舰船检测网络使用密集注意力特征聚合获取高分辨率特征图,通过密集连接与迭代融合提高网络泛化性能;文献[4]利用感兴趣区域改进YOLO(you only look once)网络,提取舰船候选特征,改善了高分辨率卫星图中的舰船识别精度。针对小尺度密集舰船检测精度低等问题,文献[5]结合YOLOv3-tiny网络与特征映射模块,增强了预测层获取重要特征的能力,取得了较高的检测精度;文献[6]提出了基于多层卷积特征融合的舰船检测网络,融合深层与浅层特征图,提升了多尺度船舶的检测效果。文献[1-6]中算法在不同任务场景下,均能较好实现舰船目标检测任务,但仍存在一定不足:①仍将舰船作为整体目标识别船型,无法准确检测舰船要害部位,细粒度特征利用不充分;②无法结合要害部位特征预测要害打击点轨迹,利用时空特征推断打击点运动趋势有利于提升毁伤概率;③算法仅输出二维图像检测结果,无法结合舰船三维结构改善导引误差解算精度。
基于关键点检测的人体姿态估计算法[7]通过给定图像,确定人体行为与动作。人体姿态估计算法DeepPose[8]引入卷积神经网络处理姿态估计问题,无需设计特征提取器,是深度学习用于人体姿态估计的里程碑;Tompson 等[9]结合图像模型预测关键点热力图,提升了关节定位鲁棒性;卷积姿态机[10]对网络特征层输出进行中继监督,改善了网络加深导致的梯度消失问题。将人体姿态关键点检测算法创新性运用到舰船要害部位检测任务中,利于提升反舰导弹对舰船要害打击点的检测准确度。空间目标的位姿测量技术[11]是航空航天、自动化领域研究的重要课题。光纤陀螺仪价格昂贵,精度漂移误差大,利用计算机视觉解决位姿估计问题,测量精度高,成本低廉。空间三维结构比二维平面具备更精确的打击点导引信息。反舰导弹突防过程中,利用舰船要害时序运动信息实现打击点的轨迹拟合与预测,有利于弹载控制系统及时调整飞行姿态,进一步提升毁伤概率。
准确估计导引头三维位姿,有助于导引误差的准确解算。综合分析精确制导反舰导弹作战需求,本文提出一种基于深度学习的舰船要害关键点检测、打击点轨迹预测与导引头位姿估计(ship key pointslong shor t termmemory,SHKP-LSTM)算法。所提算法不依赖目标检测框,利用热力图直接回归关键点特征,引入了SoftPool 池化获取细粒度特征图,改善多尺度多角度舰船要害部位的检测精度;结合舰船三维结构信息与PnP(perspective-n-point)算法,估计导引头(相机)的三维位姿,利于当前命中点与任务打击点导引误差的精确解算;结合时空信息准确预测要害打击点的运动轨迹,能够进一步提升控制系统解算效率与反舰导弹的毁伤概率。实验结果表明,所提算法对舰船要害部位检测精度高,位姿估计较准确,要害打击点轨迹拟合与预测效果较好,利于反舰导弹对舰船要害精确打击任务的实现。
1 所提算法实现与优化
将舰船要害部位定义为关键点,直接检测关键点特征,不依赖整体舰船检测框,提升检测精度与实时性的同时,降低了算法超参数;根据关键点检测结果可推算舰船整体预测框,结合舰船三维结构解算导引头位姿,利用检测所得舰船要害关键点的时空序列特征,合理预测要害打击点运动轨迹,利于导弹飞行姿态的及时调整。精确解算当前命中点与任务打击点的导引误差,能够显著提升末制导段反舰导弹对敌舰毁伤概率。
所提算法流程如图1 所示。将导引头捕获的舰船视频数据输入SHKP-LSTM 算法,检测得到关键点像素坐标及关键点可见性;反舰导弹接近舰船过程中,舰船要害关键点检测信息具有时序性,长短期记忆网络[12](long short-termmemory,LSTM)能较好地处理时序数据,可利用检测结果实现要害打击点的轨迹预测,预测精度较高;结合舰船坐标系下要害部位三维坐标,将检测的关键点像素坐标与三维坐标建立投影映射,通过PnP 算法解算舰船坐标系下导引头三维位姿;最后,输出舰船要害关键点检测信息、预测轨迹及导引头三维位姿。将解算结果输入弹载计算机综控系统,有利于反舰导弹对舰船要害部位打击精度的提升。
图1 所提算法流程Fig.1 Proposed algorithm flow chart
1.1 所提算法框架
不依赖预选框(Anchor-Free)的检测网络无需处理冗余锚框与非极大值抑制等,直接利用网络生成的热力图回归关键点特征。将基于Anchor-Free网络的人体姿态估计算法用于舰船要害部位的关键点检测,直接分析特征参数定位与回归要害部位,检测精度与实时性较好。轻型反舰导弹突防过程中,视场内舰船要害部位具备多尺度成像特性,且不同角度的要害部位成像差异大。综合权衡检测精度与速度,本文提出一种融合深层语义信息与浅层定位信息的Anchor-Free 舰船要害关键点检测、轨迹预测与导引头位姿估计SHKP-LSTM 算法。所提算法结构如图2 所示。
SHKP-LSTM 算法利用卷积神经网络提取特征,将生成的关键点热力图输入检测结构,检测结构回归得到舰船要害关键点类别与位置;输入图像为I∈RW×H×3, 关键点信息为 ϕ ∈RW×H×N,经特征提取网络生成目标中心点热力图,关键点热力图,其中,R为 尺寸缩放比例,N为检测关键点个数,c为检测目标数,W、H分别为图像的宽和高。如图2 所示,所提算法将卷积处理后的特征热力图输入检测结构,关键点预测分支用于检测热力图目标中心与关键点中心,尺度预测分支用于检测舰船目标的宽与高,预测框基于目标中心点生成,关键点偏移量预测分支用于回归关键点中心的偏移量。
图2 SHKP-LSTM算法结构Fig.2 Structure of SHKP-LSTM algorithm
通过成像分析与实验测试,选取CenterNet-DLA[13]作为主要特征提取网络。CenterNet-DLA 网络能够较好的融合深层语义信息与浅层定位信息,对投影一致性较差的舰船要害检测鲁棒性较好。针对图像特征剧烈变化导致检测精度较低的问题,利用SoftPool 改进最大值池化,获取具备更多特征信息的细粒度特征图,可提升舰船要害关键点检测精度。卷积神经网络挖掘要害关键点空间依赖关系,LSTM 分析动态轨迹数据的时序依赖关系。轨迹预测模块使用LSTM 处理检测所得具有时序特征的要害关键点信息,挖掘其时间与空间运动趋势实现轨迹预测。结合PnP 算法建立要害点二维检测结果与三维坐标的映射,解算导引头的三维位姿,获取更精确的导引信息,利于弹上综控系统及时调整导弹飞行姿态,从而进一步提升精确制导导弹的毁伤概率。
1.2 SoftPool 池化
池化操作可用于降低特征维度,缓解网络过拟合风险,使池化内核中有用信息得以保留。原CenterNet-DLA 网络利用最大值池化实现下采样,最大值池化保留池化内核中的局部最大值,部分舰船要害特征相似度较高,最大值池化易损失重要区分信息导致误检,检测剧烈变化的舰船图像同样需要高质量的细节特征。SoftPool[14]较好的结合softmax 加权与指数函数特点,使池化内核中的重要属性分配到更大权重。在局部激活区域中,SoftPool 为每个激活因子ai分配了相应的权重wi,如式(1)所示,非线性变换对池化内核中的所有激活因子实现了加权求和,由激活因子ai与 相应权重wi共同实现。
式中:i为SoftPool 处理的第i个激活区域;j为激活区域相关领域内的第j个像素特征;exp 为底数为e 的指数。
SoftPool 池化原理如图3。在正向与反向传播期间,池化内核的激活梯度均得到更新。综合利用了池化内核中所有激活因子,仅增加了极少的内存,最大程度降低了特征损失,获取到高质量的细粒度特征图,能够提升舰船要害关键点检测精度。
图3 SoftPool原理Fig.3 Principle of SoftPool
1.3 损失函数与梯度累加
依据SHKP-LSTM 算法原理与舰船要害部位检测任务需求,定义损失函数。
关键点预测损失。关键点对应的中心点唯一,目标背景易产生较多负检测点,改进的Focal Loss损失函数可改善样本不均衡问题,关键点预测损失函数为
式中: α和β 为损失函数惩罚系数;N为关键点个数;Yxyc为 真实标签值;为预测标签值。下标xyc表示第xy个 像素点,其归属为第c类目标。
关键点偏移量预测损失。分析热力图中各关键点特征,将检测特征图与关键点真实坐标建立映射,利用偏移量预测损失提升定位精度,关键点偏移量预测损失为
式中:l为第l个 关键点;为R倍下采样关键点坐标真值;为关键点预测坐标;为关键点真实坐标偏移量;为关键点预测坐标偏移量。
舰船尺度预测损失。舰船包围框由关键点坐标生成。为提升算法训练效果,利用关键点预测损失与舰船尺度预测损失同时训练。舰船尺度预测损失为
各个预测损失函数分别与相应权重相乘,得到总体损失函数为
式中:Lloc为关键点中心预测损失函数;Loff(keyp+bcent)为关键点中心预测损失与关键点偏移量预测损失,均由要害关键点定位与舰船中心检测准确度计算。
检测数据对预测分支惩罚系数影响较小,设置关键点预测分支逻辑回归惩罚系数 α=2、β=4,关键点与目标中心点偏移损失权重 λoff=0.1,检测尺度损失权重 λsize=0.1。
细粒度特征图可有效提升舰船要害关键点检测精度,GPU 显存及批训练量(batchsize)同样影响训练效果,较大的batchsize 有助于算法收敛。计算多个损失函数要求计算机同时存储多个计算图,易导致训练过程硬件内存不足。梯度累加可使计算机在保留较少计算图的同时,实现多任务共同训练,有效扩充内存,促进算法收敛。
1.4 基于LSTM 的打击点预测
先进制导环境感知系统要求能够预测打击目标运动轨迹,可为反舰导弹等精确制导进行路径规划与决策控制提供数据支撑。传统轨迹预测算法多基于运动模型,无法适应剧烈变化的战场态势,难以满足自主突防弹载感知的实际需求。LSTM对时序轨迹数据分析挖掘能力较强,在轨迹预测[15]与自动驾驶等领域应用广泛。
LSTM 是具有反馈连接的循环神经网络(recurrent neuralnetwork,RNN),其特殊的网络结构极大改善了传统RNN 的梯度消失和梯度爆炸等问题。LSTM结构如图4 所示。
图4 LSTM元胞结构Fig.4 Structure of LSTM cell
LSTM 元胞门限与变量间的转换关系如下:
式中:xt为t时 刻元胞的输入;ht和mt分 别为t时刻元胞输出和元胞状态; σ为sigmoid 激活函数; tanh为tanh激活函数;ft为 遗忘门;it为输入门;ot为 输出门;G为各门限的权重矩阵;Yt为门限输出;b为偏置量。
根据权重矩阵与偏置项,遗忘门ft决 定了t时刻mt中 所包含t−1时 刻元胞状态mt−1的比例,同理,LSTM 通过输入门it控制xt对mt的影响程度,状态更新由mt−1与 当前状态共同确定;输出门ot控 制t时刻元胞状态mt, 确定输出ht包含的状态比例,门限与反馈结构使得LSTM 能够保存较长时序信息。LSTM结合关键点检测网络,可充分利用检测所得时序信息,实现要害打击点轨迹预测,极大扩展了传统舰船目标检测算法的功能。
1.5 基于PnP 的导引头位姿估计
单目视觉位姿测量算法原理简单、系统成本低、实时性好,广泛用于计算机视觉中的空间定位任务。末制导段,舰船图像尺度、角度变化较大,灭点理论、逆透视变换等方法直接用于导引头位姿估计,测量误差较大。当位姿多角度变化时,PnP 算法具有较好的计算精度与解算速度,在已知相机内参的情况下,可利用多对三维与二维点的投影映射关系,求解导引头(相机)在相应坐标系下的位姿。
相机标定得到内参矩阵K,控制点像素坐标为{ξr} (r=1,2,···),则
式中:(ur vr1)T为控制点像素坐标;为控制点在舰船坐标系下的齐次坐标;ze为尺度因子,即相机坐标系中控制点的z轴坐标值。
依据式(10)计算导引头(相机)绕x轴、y轴、z轴的旋转角 θx、 θy、 θz:
PnP 算法至少需要4 对控制点及像素点。当关键点检测网络输出可见关键点个数为n(n≥4)时,为提升准确度,依据排列组合在n个舰船要害关键点中,依次选取4 个点计算三维位姿,计算次取平均值作为位姿估计结果。
2 实验设置
2.1 实验数据与实验环境
2.1.1 舰船要害关键点检测数据
末制导段,轻型反舰导弹多以低空掠海姿态飞行。执行对敌舰精确打击任务时,导引头视角以侧舷为主。文献[16]结合迁移学习[17]理论,论证了民船等相似舰船图像可作为正样本扩充数据集,辅助军舰等小样本数据的检测任务实现。由于实际战场环境采拍局限性较大,实验室利用高仿真度舰船模型实现海战场战法推演,根据反舰导弹突防作战与精确打击任务需求,打击雷达可阻碍舰船对来袭目标的探测能力,打击舰船火力设施可大幅削弱舰船战斗力,打击水线可有效击沉舰船,结合反舰导弹突防与精确打击任务需求,设定炮台、天线、驾驶舱等重要军事设施为舰船要害,标注舰船要害关键点如图5 所示。原始数据囊括船模与实测舰船,视频数据为每秒20 帧,单个视频时长约2m in。标注后的图像数据共6 672 张,按照8∶1∶1 划分训练集、测试集、验证集。
图5 舰船要害关键点Fig.5 Key-points of warship
根据舰船三维结构,以舰首与舰尾中点连线为y轴,垂直于舰面的舰船天线延长线为z轴,依据右手坐标系确定x轴,x轴平行舰面并垂直于yOz所在平面,以舰船为中心建立坐标系如图6 所示,并获取要害关键点在舰船坐标系下的三维坐标。
图6 舰船坐标系Fig.6 Coordinate system of warship
2.1.2 实验环境
合理设置输入图像的降采样率,在保留较多细节特征的同时引入较少运算负担。实验测试R=4时,所提算法兼具较高的检测精度与检测速度。训练优化器为Adam,设置训练学习率逐步衰减,初始学习率为 5×10−4,初始迭代轮数为100,在第30 轮、第45 轮下降为先前的1/10,batchsize 为8。实验环境 如 表1 所 示,其 中,IDE (integrated development environment)为集成开发环境。
表1 实验环境Table 1 Experimental environm ent
2.1.3 LSTM 参数 设 置
合理设置LSTM 网络参数能够以最小的时间消耗,达到最优的轨迹预测精度。如图7 所示,隐藏层节点数增加将导致时间成本上升,隐藏层节点数过多会损害网络泛化能力,过少的节点数无法有效学习时序特征,导致预测精度较低。基于反舰导弹突防作战实时性要求,采用4 层LSTM 实现轨迹预测,经实验测试,权衡响应时间与预测精度后,设置LSTM 隐藏层节点数为40,初始学习率为0.005。
图7 隐藏层节点数测试Fig.7 Testing on hidden layer node
合适的输入输出对轨迹预测实际应用影响显著。与长期时序相比,短期时序对数据的时间依赖关系捕捉能力更强。如图8 所示,计算序列的增加需要的响应时间更多,较短的输入序列导致特征学习不充分,较长的序列使得累计漂移误差较大,均可能导致预测误差的增加。输入序列长度为10 时,轨迹预测性能更优,设定训练与预测序列比例为7∶3。
图8 输入序列长度测试Fig.8 Length testing on input sequence
2.2 评估指标
1)舰船要害关键点检测评估指标。选取关键点相似度(object keypoint sim ilarity,OKS)评价检测效果:
式中:g为检测类别;u为关键点标识;dgu为关键点真实值与预测值的欧式距离;Sg为预测目标的尺度因子; µu为 第u个关键点的归一化因子,对数据集中所有真实值计算标准差得到;vgu为关键点的标志位。OKSg取值介于[0,1]之间,预测值越接近1,表征预测效果越好。
分别计算OKSg=0.5,0.55,···,0.9,0.95 时的检测准确度,计算平均准确率的均值(mean average precision,mAP)评价算法检测精度,如式(12)所示,m AP 越大,检测精度越高。引入每秒处理的图像帧数(frame per second,FPS)评价算法检测效率,FPS 越大,表征算法检测速度越快。
式中: AP@s为 当设定不同的阈值s时,计算得出的平均准确率的值; mean为对计算结果取平均值。
2)轨迹预测评估指标。以平均位移误差(average displacement e r r o r,ADE)与最终位移误差(f i na l displacementerror,FDE)评估预测轨迹与真实轨迹的拟合程度。ADE 计算单个时间步的预测结果与真值之间的欧氏距离(L2),如式(13)所示。FDE 由最终时刻的预测结果与真值之间的距离计算,如式(14)所示。
式中:M为预测轨迹的累计帧数;B为单个时间步长; ()为 舰船要害关键点预测坐标; (xi,yi)为关键点坐标真值。
ADE 与FDE 越小,表示利用已知要害时序特征预测得到的关键点运动轨迹与真值误差越小,预测轨迹越精确。
3)位姿估计评估指标。舰船要害检测视频数据由无人机搭载实验导引头同型相机掠海飞行捕获。将无人机记录的飞行数据,与利用投影映射模型解算所得舰船坐标系下的三维位姿对比,计算位姿估计结果与真值的相对误差,误差越小,解算精度越高。
3 实验结果与分析
3.1 舰船要害关键点检测
为更好评估SHKP-LSTM 算法对舰船要害关键点检测效果,分别使用残差网络[18](ResNet)、残差网络与可变形卷积[13](Res-DCN)、深浅层聚合网络[19](Deep Layer Aggregation,DLA)、深浅层聚合网络与可变形卷积[13](CenterNet-DLA)、沙漏网络[20](Hourglass)作为对比实验,测试结果如表2 所示,DLA34表示网络共34 层。
表2 舰船关键点测试结果Table 2 Test results of warship’s key-points
由表2 可知,ResNet、Res-DCN、DLA34、CenterNet-DLA、Hourglass 网络关键点检测结果mAP 分别为63.8%、63.4%、81.8%、84.4%及87.4%,所提算法mAP为87.7%,分别提高23.9%、24.3%、5.9%、3.3%、0.3%。Hourglass 网络层数较深,算法复杂度高,并加入了中级监督模块,因此检测精度高,检测速度仅为13 FPS,无法满足任务需求。所提算法利用卷积与反卷积提取特征,有效聚合深层语义信息与浅层定位信息,改善多分辨率特征图映射过程中的信息缺失,采用SoftPool 改进最大值池化,较好保留了细粒度特征,对多尺度舰船要害检测具有鲁棒性,性能提升明显。由于所提算法需处理更高质量的特征图,运算量的提升导致检测速度降为27 FPS,仍高于DLA34 与Hourglass 网络,满足实时性要求。
较低的算法复杂度与模型规模更利于舰船要害关键点检测模型在移动端的部署。ResNet 网络结构简单,参数量较低;由于DLA 有效聚合了多分辨率特征信息,深浅层特征聚合导致模型复杂度增加,可变形卷积引入偏移量,对不同尺度下的舰船要害部位特征要素描述更清晰,具备更优的检测特性,故CenterNet-DLA 模型复杂度更高,模型规模更大。Hourglass 实现了多尺度特征图的级联,各分辨率特征图间设置了中继监督模块,增强了算法的学习能力,但模型参数量与复杂度过高,检测速度仅为13 FPS,实时性无法满足。SoftPool 能够改善深浅层特征聚合过程中,特征图下采样导致的重要信息损失,不同角度、不同尺度下的舰船要害关键点细粒度特征得到保留,提升检测准确率而不引入过多的模型参数,改进后的算法复杂度显著低于Hourglass 网络,检测速度可达27 FPS,保证检测速度的同时具备较高的检测精度。
改进前后的算法对舰船要害关键点检测结果如图9 所示。图9(a)~图9(e)第1 行表示原CenterNet-DLA 检测结果,第2 行表示所提算法检测结果,第1 列为检测效果图,第2 列为要害关键点热力图,第3 列为舰船中心点热力图。图9(a)~图9(c)为舰船模型检测结果,图9(d)和图9(e)为舰船实际场景检测结果。
由关键点热力图可知,所提算法对具有相似特征的舰船关键点区分度更好,生成的关键点热力图定位精度更高;由图9(e)可知,本文算法对距离较远的小尺度要害关键点检测性能提升显著,论证了所提算法对多尺度舰船要害关键点具有较好的检测鲁棒性;由舰船目标中心点热力图可知,拍摄距离越近的舰船热力图中心点越大,距离远的热力图中心点较小,所提算法对不同尺度、不同姿态的舰船均可实现要害关键点精确检测与中心点准确定位。图9 测试结果同时证明了,融合深层语义信息与浅层定位信息能够提升关键点定位精度,SoftPool改进最大值池化保留的细粒度特征更多,对尺度、角度变化剧烈的舰船要害部位检测任务适应性更好,检测结果更准确。
图9 舰船关键点检测结果Fig.9 Detection results of warship’s key-points
神经网络中的池化处理能够显著降低卷积层输出的特征参数实现降维,改善由于网络加深可能导致的过拟合问题,广泛应用于各类卷积神经网络结构中。不同池化方式对所提算法进行改进的测试结果如表3 所示。
由表3 可知,最大值池化仅保留池化内核中的局部最大值,运算简单但对于具有相似特征的舰船要害部位区分度不足;随机采样池化计算池化内核中特征的概率值,依据概率随机保留特征参量;空间金字塔池化依据特征图尺度调整计算参数,对不同尺度的特征图处理方式更灵活,mAP 高于最大值池化与随机采样池化,但定位与检测准确性有待提升;SoftPool 池化能够在不增加较多模型复杂度的同时,较好保留重要特征,正向与反向传播期间梯度权重均得到更新,最终池化结果由激活区域中的特征共同决定,SoftPool 池化与最大值池化、随机采样池化、空间金字塔池化相比,mAP 分别提升了3.3%、2.3%、1.8%。SoftPool 池化算法检测速度为27 FPS,满足实时性要求,检测精度较高。由图2 与图10 可知,所提算法较好融合了深浅层特征,并利用SoftPool 使细粒度的特征信息得以保留,多尺度下的要害关键点定位精度显著提升,良好的收敛效果与较低的损失函数值证明了所提算法改进的有效性。
表3 不同池化方式测试结果Table 3 Test results of different poolings
损失函数变化曲线如图10 所示,可知,所提算法损失函数值低于ResNet、Res-DCN、DLA、CenterNet-DLA、Hourglass,特征学习能力更强,收敛速度更快,在训练50 轮后,损失函数值基本稳定在1.76 左右。可变形卷积相对于常规卷积增加了偏移,训练复杂度增加,故迭代初期损失与曲线波动性较大。
图10 损失函数曲线Fig.10 Curve on loss function
3.2 三维位姿解算
基于图6 舰船坐标系下的关键点三维坐标,结合检测所得关键点像素坐标,采用PnP 算法解算导引头(相机)在舰船坐标系下的三维坐标及旋转角。
导引头三维位姿解算是以舰船为中心,基于所建立的舰船坐标系计算旋转矩阵与平移矩阵。由实测数据可知,海战场环境下的军舰持续受到自身横摇与纵摇影响,气流变化同样导致导引头视场内舰船中心位置不断变化。对于图9(d)与图9(e)海面上的真实军舰而言,为提升导引头对舰船要害部位打击精度,需在相对舰船距离较远时准确检测要害关键点,而距离较远时,导引头(相机)相对舰船坐标系的x、y轴坐标值远大于z轴坐标值。实际战场环境采拍时,获取准确的导引头相对舰船坐标系的旋转角较为困难,由PnP 算法中旋转矩阵与平移矩阵的转换关系可知,旋转矩阵与平移矩阵之间的准确度具有耦合性。考虑到实际数据与设备测试的局限性,实验利用无人机内置飞行控件记录的数据与激光测距仪得到导引头(相机)相对舰船的坐标真值,计算相对误差作为导引头三维位姿估计的评价指标。图9(a)~图9(c)位姿解算结果如表4所示,采用最大误差绝对值(maximum absolute error,MAE)与均方误差(mean square error,MSE)评估准确度。
表4 位姿估计测试结果Table 4 Test resu lts of pose estimation
由表4 可知,舰船模型位姿估计结果MAE 为4.14cm,MSE 可保持在3.5 cm 之内。实测舰船位姿估计结果MAE 为343cm,MSE 可保持在3 0 0 cm之内。舰船成像特征信息量同样影响位姿估计结果,船模拍摄距离近,细节特征丰富,实测舰船距离较远,故船模位姿估计结果精度高于实测舰船的位姿估计结果。导引头位姿估计准确度与关键点检测结果密切相关,关键点检测精度越高,位姿解算越准确。当导引头获取的舰船图像中,部分关键点较为密集时,可能造成位姿估计结果准确度降低。图9(b)舰船图像细节更多,特征更清晰,因而图9(b)位姿解算误差小于图9(a)和图9(c)。此外,相机径向与切向畸变可能导致关键点检测位置偏移;相机的架设位姿与关键点空间分布同样可能导致位姿估计误差。总体而言导引头(相机)位姿估计较为准确。
3.3 舰船要害点轨迹预测
导引头接近舰船的过程中,舰船要害空间尺度与位移同时发生变化,不同要害关键点运动轨迹存在差异,为更好评估LSTM 轨迹预测准确性,选取卡尔曼滤波(Kalman Filter)算法、差分自回归移动平 均 模 型(autoregressive integrated moving average model,ARIMA)算法作为对比。输入为视频序列中,动态变化的要害关键点像素坐标。LSTM 与其他算法在舰船要害关键点检测数据上的测试结果如表5 所示。
表5 第1 行同时给出了视频序列关键点检测结果、真实轨迹的平均位移误差(average displacement error,ADE)和最终位移误差(final displacement error,FDE)。对比实验设定Kalman Filter 算法方差为1 ×10−4;ARIMA 算法依据贝叶斯信息量(Bayesianin formation criterion,BIC)准则进行模型定阶,由舰船要害关键点时序数据确定自回归项数为6,差分阶数为1,滑动平均项数为5,用最小二乘法确定初值,并结合极大似然法实现ARIMA 轨迹预测。
如表5 所示,相同实验环境测试,LSTM 轨迹预测精度优于其他算法。Kalman Filter 算法对运动模型与量测模型依赖性较大,且预测效果与试验参数设定密切相关,准确度较低;ARIMA 预测效果优于Kalman Filter 算法,需根据BIC 准则设定实验参数,舰船要害关键点运动趋势剧烈变化时适应性不足,轨迹预测精度有待提升;LSTM 对时空特征学习能力强,对初始预测的不确定性及传入测量的不确定性适应性更好,对剧烈变化的舰船要害关键点具有更优的轨迹预测准确度。
表5 轨迹预测算法对比Table 5 Com parison of trajectory prediction algorithm s
文献[21]指出多维坐标独立预测比多维同时预测的精度更高,为更直观地分析预测准确度,以视频帧数为横坐标,随机抽取3 段视频中,舰船要害关键点单维度的运动轨迹,将运动轨迹可视化测试后的结果如图11 所示。
如图11 所示,导引头视场内的舰船要害关键点坐标呈现无规律波动,小范围连续波动运动趋势拟合是轨迹预测的难点。Kalman Filter 算法测试曲线与真值变化趋势相符,但平滑程度高,无法准确拟合要害关键点小范围连续波动的轨迹,预测误差较大;ARIMA 比Kalman Filter 算法预测结果更接近真实值,但曲线波动性较大,且具有一定的滞后性,当舰船要害关键点位置剧烈变化时,ARIMA 预测结果与真值偏差较大,预测准确度有待提升。LSTM能够较好拟合剧烈变化的要害关键点运动轨迹,对呈现无规律性的时序轨迹预测鲁棒性较好,特征学习能力强,预测结果与真值误差更小。
图11 轨迹预测结果Fig.11 Results on trajectory prediction
随机抽取视频序列中,帧数为100~200 与帧数为400~480 时的要害关键点运动轨迹,如图12 所示。由表5 与图12 可知,与其他算法相比,LSTM预测值与真实值之间的差异更小。LSTM 轨迹预测曲线能较好的反映舰船要害关键点运动趋势,出现小范围连续剧烈波动时,仍能够依据检测数据准确预测轨迹,与标注真值之间的误差更小,精度提升明显。LSTM 拟合的曲线中,影响预测精度的轨迹突变点更少,更加贴近实际轨迹。
图12 轨迹预测细节分析Fig.12 Detailed analysis of trajectory prediction
4 结 论
反舰导弹对舰船要害部位的精确打击能力是精确制导的关键技术之一。针对现有算法无法准确检测舰船要害部位,导引误差解算精度不足等问题,本文提出的SHKP-LSTM 算法,构建了舰船要害部位检测数据进行实验,可实现动态变化下的多尺度舰船要害部位检测与轨迹预测,算法鲁棒性强,解算精度高,精确制导的研究思路得到扩展。
1)针对检测特征利用不充分的问题,融合深浅层特征可提高检测精度,SoftPool 可改善最大值池化导致的重要信息损失,获取的细粒度特征图提升了相似特征关键点的区分度,mAP 提升了3.3%。
2)LSTM 算法对时序特征学习能力较强,轨迹预测准确度与实时性较好。利用时空维度特征准确预测舰船要害打击点运动轨迹,有助于提升精确制导反舰导弹的毁伤概率。
3)PnP 算法利用舰船三维结构特性与关键点检测结果解算导引头三维位姿。相对于二维像素坐标而言,利用三维信息解算所得当前命中点与任务打击点导引误差更精确。
如何针对遮挡或视野缺点中的舰船要害部位进行精确检测与轨迹预测是后续工作研究重点。