“会学习”运载火箭的制导控制技术

马卫华 禹春梅 路坤锋 柳嘉润 司文杰 李文婷

1.北京航天自动控制研究所，北京100854 2.宇航智能控制技术国家级重点实验室，北京100854 3.航天智能技术创新中心，北京100854

0 引言

随着航天科技的迅猛发展，空间站计划、登月计划和深空探测的展开，大型卫星和小卫星多星发射的需求以及激烈的市场竞争，对运载火箭的安全性、可靠性和低成本等性能提出了更高的要求。其中，运载火箭所涉及的控制理论和技术是当今飞行器控制领域研究的热点和难点,具有前沿性、基础性和综合性，已成为支撑中国航天事业未来发展的核心关键领域之一[1-4]。

在国内外航天史上，火箭发射失利时有发生。其中，动力系统故障较为频发。据统计，到20世纪70年代，美国发射了上千枚中远程导弹及运载火箭，其中，由于增压输送及发动机系统故障造成的飞行失败约占50%[5]。在1990年～2015年年底之间，国外火箭由于动力系统故障导致失败的共有64起，占全部发射失败的51%[6]。2015年～2017年，国外火箭发射失利共7起，推进系统引起的有5起[7]。据统计，在1990年～2000年期间，约42.5%的欧美、日本及前苏联/俄罗斯运载器的发射失败都有可能利用先进导航制导与控制技术补救挽回，继续完成任务或者降级完成任务。

航天智能控制系统正在走向智能化[8]。通过智能控制技术提高火箭性能，增强火箭主动适应能力。通过智能技术赋能火箭“会学习”，将具有重要的理论与工程应用价值。

1 “会学习”运载火箭的特征

“会学习”运载火箭制导控制技术就是将智能技术引入导航、制导及控制等各个任务环节，使运载火箭变得更聪明、更自主，通过学习和训练，弥补程序化控制策略带来的局限性，增强运载火箭适应复杂飞行环境及应对突发事件的能力，确保成功完成任务。“会学习”运载火箭的特征内涵如下：

1.1 “边飞边学”特征

“会学习”的运载火箭控制系统充分利用箭载多源信息，在飞行过程中，使火箭实现飞行状态与环境在线辨识、运载及控制能力在线评估，轨迹在线规划、控制在线重构、目标在线变更等功能。基于深度学习、机器学习等智能控制技术[9]，使运载火箭具备个体强适应、任务快响应，飞行自学习、系统高自主，硬件可演化、算法能泛化，机制类人化、控制强智能等能力，实现“边飞边学”。

1.2 “终身学习”特征

“终身学习”的运载火箭控制系统能够充分利用全生命周期中所产生的数据，包括控制系统寿命模型中的结构特性、参数、环境条件及历史数据等，以大数据、智能分析技术等为基础，实现模型智能修正、模型智能建立、方案与参数智能优化等功能，持续进行自我学习和改进，实现知识的深度挖掘、迁移应用和决策评估，使控制系统能够适应不同的载荷、内部不确定以及外部环境的扰动。控制系统通过一次设计延伸整个型号的生命周期，实现火箭“越飞越聪明”和“越飞越自信”。

“边飞边学”与“终身学习”两大能力特征相辅相成、相互促进。运载火箭“边飞边学”积累的经验和数据支撑其“终身学习”；反过来，通过运载火箭“终身学习”的训练与优化、算法自进化促进“边飞边学”更智能。“会学习”运载火箭的制导控制技术框图，如图1所示。

图1 “会学习”的运载火箭控制技术

2 “会学习”运载火箭的能力需求

2019年中国完成34次宇航发射任务，为全球第一。中国运载火箭已取得举世瞩目的成就,在世界商用航天发射市场占有一席之地,并通过了高密度发射的考核,但是面对越来越复杂多样的飞行任务和飞行工况，需要更“聪明”、“会学习”的运载火箭。运载火箭对制导控制技术的发展也提出了更多能力需求。

2.1 飞行状态在线辨识与感知能力

运载火箭结构安装存在误差，弹性、晃动、未知环境扰动等因素都会对控制系统产生影响，需要运载火箭对自身及飞行状态具有实时感知能力。动力系统典型非致命故障时有发生。需要运载火箭具备上升段主发动机推力下降、高空飞行段姿控喷管常开、常闭、极性等非致命故障在线快速、准确辨识的能力，做到“自知者明”。

2.2 制导控制在线重构能力

基于在线辨识、感知和能力评估结果，实现目标在线变更、轨迹在线规划，控制在线重构等功能。使运载火箭具备对环境突变、箭体自身结构参数不确定、典型动力系统故障、任务变更等需求的强适应能力，确保复杂飞行条件和故障情况下运载火箭飞行稳定，并能够进入半长轴最大椭圆轨道或者进入安全停泊轨道，最大程度发挥自身能力、完成飞行任务，做到“精明能干”。

2.3 经验知识自学习能力

历次航天发射任务积累了大量的设计与试验(飞行、仿真、测试等)数据。将数据进行统筹、规范管理，挖掘“数据宝藏”，从数据中提取信息、获取经验知识(规则)，基于经验知识和智能控制技术使运载火箭具备自学习能力，不断提升运载火箭的“临床经验”，促使运载火箭神经中枢—控制系统越飞越智慧，做到“能谋善断”。

2.4 自主适应与进化能力

未来运载火箭将面对飞行环境复杂化、任务多样化、控制高品质化的需求。飞行中存在的突发态势的影响，需要运载火箭不断自我学习和改进，保证运载火箭控制系统具备一次设计便能覆盖整个型号生命周期的能力，“一次设计，终身适用”的“终身学习”能力。大幅提升运载火箭自主性与适应性，做到“攻无不克”。

2.5 箭上强计算能力

未来运载火箭是多功能高集成的智能综合产品，控制计算产品需要具备在线诊断与重构、在线自学习与健康智能管理等新功能，对控制系统算力提出了更高要求，需要其具备分布式异构跨核高速信息交换以及多元异构内存共享调度管理的能力，支撑运载火箭“边飞边学”和“终身学习”能力实现，做到“驾轻就熟”。

3 “会学习”运载火箭的技术探索与应用

“会学习”运载火箭“边飞边学”、“终身学习”的特征需要相应的技术支撑来实现。当前，针对“会学习”运载火箭控制技术的研究方向做了如下探索与应用。

3.1 “边飞边学”的技术探索与应用

“会学习”运载火箭要实现“边飞边学”，需要研究典型动力系统故障在线辨识与重构控制技术，同时基于运载与控制能力在线评估技术，稳定裕度在线辨识的参数重构控制技术，实现目标的在线变更，轨迹在线规划等功能。

3.1.1 典型动力系统故障在线辨识

1)上升段主发动机推力下降故障辨识

针对运载火箭主发动机推力下降故障，分别采用基于在线扩张状态观测器(ESO)估计和神经网络决策树技术对发动机推力进行辨识。其中，基于在线ESO估计的推力下降故障辨识技术如下：飞行过程中，基于惯组敏感的箭体系视加速度和角速度信息，以及伺服摆角指令，利用ESO估计得到角加速度，通过含遗忘因子的最小二乘算法对发动机的推力进行辨识，实现主发动机推力下降故障辨识。

基于神经网络决策树技术的主发动机推力下降故障辨识：利用仿真数据，结合飞行试验数据，获取训练集与测试集，采用反向传播(BP)神经网络技术，基于梯度下降的最优拟合算法，通过调节网络连接权值保证网络输出误差极小，对主发动机推力下降故障进行辨识。

2)高空飞行段姿控喷管故障辨识

针对运载火箭高空飞行段姿控喷管故障辨识，分别采用基于解析解的运载火箭喷管故障辨识和基于深度学习的运载火箭喷管故障辨识。其中，基于解析解的运载火箭喷管故障辨识，需要利用火箭控制系统惯性测量装置信息，提炼故障模式与动力学参数之间的关系，形成刚体/晃动组合模态下箭体运动与角加速度之间的理论公式，解决高空飞行段常开、常闭和极性三类典型姿控喷管故障辨识的问题。

基于深度学习的运载火箭喷管故障辨识，需要通过仿真数据，提取能够表征或者反映故障发生的物理量，设计故障诊断智能方法，将姿控喷管的故障诊断问题转化为一个对火箭姿态角误差及控制量变化曲线的图像分类识别的问题。设计相应的卷积神经网络(CNN)对火箭误差变化曲线进行分类识别，实现火箭姿控喷管故障诊断。

3.1.2 典型动力系统故障控制重构

1)上升段主发动机推力下降故障控制重构

基于发动机推力故障下降辨识结果，分档设计控制器，在每一推力下降档位，设计标称控制器和重构控制器或补偿器，根据在线辨识的故障信息，切换控制器或自适应调整控制器参数，实现针对上升飞行段主发动机推力下降故障的自适应控制。

2)高空飞行段姿控喷管故障控制重构

针对高空飞行段姿控喷管极性故障，控制重构相应通道。以俯仰通道为例，根据第1次得到的辨识结果决定是否重构。如果无极性故障，则继续极性辨识；如出现极性故障，则反向重构故障喷管指令，辨识确认一次控制效果。重构仅进行1次，然后继续后续的极性故障辨识。

3.1.3 基于凸优化的轨迹在线规划

在故障条件下，运载火箭存在无法将载荷继续送到目标轨道的可能。为确保火箭进入半长轴最大椭圆轨道或进入安全停泊轨道，可采用在线任务降级或轨迹在线规划。火箭轨迹规划问题中存在动力学、控制以及入轨终端等各种非凸约束。利用无损凸化与变量替换技术，凸化控制量约束和终端状态约束。将非凸的火箭轨迹规划问题转化为凸规划问题。然后，利用凸优化求解算法实时求解。将火箭轨迹规划问题转化为求解最优的推力矢量，使火箭在满足运动学方程、推力大小约束、端点约束、燃料约束以及过程约束等条件下，进入安全停泊轨道或半长轴最大的椭圆轨道。

3.1.4 基于稳定裕度在线辨识的参数重构控制

运载火箭助推飞行段，燃料消耗导致质心的变化会影响控制效果。通过对闭环系统施加激励，采用频域辨识方法，由输入输出数据求解系统的频率特性函数，得到系统的稳定裕度。基于稳定裕度在线辨识结果，采用自适应调参控制，实现运载火箭控制重构，保证运载火箭高品质飞行。

3.1.5 基于机器学习的目标在线优化变更

采用机器学习中的支持向量机(SVM)、概率神经网络(PNN)等分类算法对目标进行在线优化，SVM方法通过一个非线性映射，将原来样本空间中非线性可分问题转化为在特征空间中的线性可分问题。PNN方法的优势在于用线性学习算法完成以往非线性学习算法所做的工作，同时保持非线性算法的高精度等特性。利用仿真软件生成训练和测试样本，选用有监督学习方式，开展算法训练与测试。以测试准确率不低于90%为评价标准，实现目标在线变更。

3.2 “终身学习”的技术探索与应用

为实现“会学习”运载火箭的“终身学习”能力，需要对试验数据进行管理与梳理，挖掘其中内在关联信息，通过持续训练与优化，改进运载火箭的控制策略和设计。

3.2.1 基于关联规则算法的数据管理与挖掘

针对历次飞行、仿真、测试及设计数据，采用数据统一化管理方法，实现试验数据自动存入数据库。基于领域规则，实现对数据的清洗、优化等功能。利用多维数据分析与挖掘技术，从不同角度挖掘数据特征，探寻数据及参数间的潜在关联规则或影响规律，提炼形成经验。快速有效地归纳出科学化的经验数据，进而形成判断和策略，为“会学习”运载火箭控制系统自我学习、自我更新提供技术支撑。

3.2.2 基于全生命周期数据的控制系统自我学习

针对运载火箭飞行环境复杂、不确定性强等特点，采用智能辨识与估计算法，在已有火箭控制模型的基础上，根据在线飞行数据，实时自主修正火箭模型。在智能修模基础上逐步升级，从弱模型依赖控制升级为无模型自适应控制。采用数据驱动控制、神经网络、深度学习、模糊逻辑等算法，从离、在线飞行、仿真等运载火箭全生命周期产生的数据中，有效提取模型信息。通过对网络连接权值学习，逼近系统模型，达到智能建模的目的，实现火箭的持续自我学习。

3.2.3 基于自学习自演化的控制系统持续优化

“会学习”运载火箭是多功能、高集成的智能综合系统，为了满足智能控制系统对设计参数和设计方案的优化等需求，基于不断改进与演化的系统模型，利用遗传算法、蚁群算法、粒子群优化等集群智能算法对系统设计参数进行优化，以满足预定的飞行效果，达到实时自主优化系统设计参数的目的。同时利用专家经验及飞行数据建立专家库，训练设计方案以及设计参数，达到设计方案与设计参数自主调整优化的目的，实现火箭的持续自我优化。

3.2.4 基于对抗博弈思想的控制系统决策评估

“会学习”运载火箭控制系统对环境、本体与任务的偏差和突变等状态异常进行的对抗博弈，采用深度强化学习和蒙特卡罗树搜索方法，基于价值网络和行为网络进行能力评估和策略权衡。在广义对抗的界定下，控制系统需要对抗外部环境、火箭本体与具体任务所产生的随机性偏差和突变等异常状态。飞行动态过程中的状态信息繁多、关系复杂，连续行为的控制策略解空间尤为深广。利用深度强化学习生成价值网络和行为网络，在蒙特卡罗树搜索框架下，实现对运载火箭连续复杂状态与连续复杂行为的估计、评价、权衡与决策。

3.3 “会学习”运载火箭能力特征的内在联系

依托箭上控制算法推理实现能力(软硬件加速功能)，运载火箭“边飞边学”积累的全生命周期数据和经验，支撑其实现“终身学习”的能力；通过运载火箭“终身学习”持续进行自我学习和改进，促使“边飞边学”更智能，飞行品质越来越好。

“会学习”运载火箭研制与发射任务积累的全生命周期试验数据，包含了运载火箭“边飞边学”的本体特征和飞行状态，其对性能分析、状态评估等具有重要意义。从数据中提炼形成的经验，为控制系统自我学习能力的持续优化与设计提供支撑，实现火箭“终身学习”。

“会学习”运载火箭的“终身学习”具有自适应复杂飞行环境和突发事件的能力，能够自主适应新环境、新态势和新需求。通过不断自我进化，提升运载火箭飞行品质。依托具备软硬件加速、算力共享和动态调配能力的箭上产品，进一步促进运载火箭“边飞边学”能力提升。

4 “会学习”的运载火箭控制技术思考与展望

在过去的研制历程中，我国运载火箭设计理念和设计方法逐步完善，形成了基于偏差的设计方法和基于有限故障的设计方法，并在我国现役运载火箭工程设计中得到了成功实践。面对当前火箭型号研制周期短、发射任务密集等需求牵引，传统运载火箭控制技术存在应对动力系统故障能力较弱、在线调整规划能力有限以及设计工作周期长等问题。发展航天控制+智能技术，打造“会学习”的运载火箭，形成“边飞边学”、“终身学习”的能力特征，是破解当前各类困境，实现设计模式升级、产品跨越发展的有效途径。

4.1 运载火箭智能控制系统架构是“会学习”火箭的基础

为提高运载火箭控制系统在故障情况下的适应能力，实现复杂飞行环境下飞行目标在线变更、轨迹在线规划等功能，需要智能化的导航、制导与控制技术。这些智能控制技术对控制系统架构设计提出了新需求。未来运载火箭控制系统架构将更方便、灵活地集成不同功能部件，实现大容量数据存贮和强大、快速智能的信息处理能力，支撑箭上各类资源的优化与灵活组合。运载火箭智能控制系统架构是“会学习”火箭的基础。

4.2 基于全生命周期数据的智能控制算法是“会学习”火箭的核心

60余年以来，积累了大量的设计与试验数据，包括飞行、仿真、测试等数据。利用全生命周期中所产生的数据，管理与挖掘数据，实现知识的深度挖掘和迁移应用。基于数据的智能控制技术是促使运载火箭不断自我学习和进化，提升其智能化水平、加快研制更新迭代进程的有效途径。基于数据(离线、在线)的智能控制算法是赋能运载火箭“会学习”的核心。

4.3 基于智能算法的强计算能力是“会学习”火箭的载体

未来运载火箭是多功能高集成的智能综合产品。航天控制引入智能技术，使控制系统对算力的需求增大，甚至会呈现指数级增长模式；智能控制算法需要提升分布式异构跨核高速信息交换以及多元异构内存共享调度管理的能力；同时，需要开发通用分布式多核异构并行计算框架，提升算力功耗比。为控制系统虚拟化技术提供强算力支撑是实现各种主流智能控制算法应用的必由之路。而基于智能算法的箭载强计算能力是“会学习”运载火箭的载体。

5 结论

“会学习”运载火箭具备“边飞边学”和“终身学习”2个特征。本文梳理了“会学习”运载火箭制导控制技术具备的5个能力需求，重点讨论了飞行状态在线辨识与感知、制导控制在线重构、经验知识自学习、“终身学习”和箭上强计算能力。针对“会学习”运载火箭控制技术的研究方向做了深入探索与应用。在“边飞边学”方面，重点研究与分析了在线辨识与控制重构、轨迹在线规划、目标在线变更等技术；在“终身学习”方面，重点研究与分析了数据挖掘、自我学习、持续优化和决策评估等技术。最后，对“会学习”运载火箭的智能控制技术进行了思考与展望，提出了运载火箭智能控制系统架构是基础，基于全生命周期数据的智能控制算法是核心，基于智能算法的强计算能力是载体。