线性回归方法在实时测控系统参数估计中的应用*

王鹏宇 项树林 张必彦

（91550部队 大连 116023）

1 引言

实时测控系统在飞行试验过程中，主要完成对各类遥测、外测装备数据的采集、传输、处理，为装备提供实时引导数据，为指挥人员提供直观的飞行轨迹曲线、飞行器关键系统遥测参数及指令信息，以便于掌握飞行器状态而做出指挥决策，完成航区安全控制［1～3］。

面对海量遥、外测数据，测控系统采集并记录了试验过程中飞行器的全部定位测元、动力及控制系统传感器数据、运算单元性能参数、内外部环境等相关信息，这些信息不仅用于飞行品的质量评价，还为关键参数评估及故障预测提供丰富的数据源［4～5］。传统测控系统实时软件，仅利用以上数据源完成基于模型的参数估计，即通过建立精确的物理或数学模型实现结果参数的计算［6～7］，例如通过卡尔曼滤波预测飞行轨迹，完成对测量装备的引导；在忽略复杂气象条件下，通过积分方式完成飞行器落点经纬度参数的估计。当待估计参数与因变量之间关系非常复杂，无法事先通过精确模型进行推导，一般采用事后处理及人工辅助判决方式进行分析，例如飞行器发生故障且测控系统丢失原始测元时的落点估计；受百余个部件参数影响的某动力系统工作状态估计。然而，尤其是在飞行器未按理论状态完成飞行时，更需要实时处理系统为指挥员提供更多参数的估计信息，为判断飞行状态是否正常提供决策信息。如何充分利用实时数据（包括历次飞行的历史实时数据），挖掘更多有效信息成为当前实时测控系统的重点研究方向。

线性回归模型是一种有效的数据处理方法，在工业、农业、军事、生物医疗等领域被广泛应用，是定量分析研究中最流行的估计预测方法［8～9］。本文结合飞行器试验实际需求，设计了基于线性回归方法进行参数估计的系统组成，建立回归模型，并给出不同应用条件下的求解方法，通过实际应用，取得了良效果。

2 基于回归模型的参数估计系统设计

在飞行器试验中，本文已将基于回归模型进行参数估计方法应用到以下两方面。一是对飞行器轨迹进行预测，包括正常飞行情况下的引导外推轨迹估计及故障情况下测控系统丢失目标后的落点预测；二是某些复杂的飞行器控制或动力系统工作状态参数由系统内上百个单元部件状态共同决定，无法建立系统与各部件的精确模型，尤其是飞行器故障情况下，可通过回归模型预测系统工作状态，提前为指挥员提供决策依据。

基于回归模型的参数估计系统组成如图1所示。遥、外测分系统分别实时采集相应装备的原始数据。外测处理分系统对测量装备数据进行质量检查，剔除异常值，并根据装备布站几何解算所有测量方案，优选精度最高的方案结果作为最终轨迹定位，输出给显示系统［10］。由于轨迹特征及外部环境不断变化，对当前时刻t之后n1个时间戳轨迹的估计取决于t到t之前n2时刻的所有轨迹定位及气象数据，回归模型的参数不断变化，所以需要对模型系数实时更新并解算，结果用于对装备进行引导及对故障情况下的落点预测。而对于遥测处理分系统，估计飞行器某系统运行健康状态，需要全面考虑系统内近百个传感器的参数，这种因果关系具有一定规律但很难通过具体公式进行表达，仅依靠一次飞行中的实时数据也无法准确计算回归模型的系数，本文将全部遥测数据存入数据库，通过数据清洗、特征分析、构建训练数据集对线性回归模型进行训练，通过训练好的回归模型对本次飞行器某系统状态进行估计将具有较高的精度。

图1 基于回归模型的参数估计系统框图

3 线性回归模型的建立与求解

3.1 线性回归方程的建立

线性回归是利用最小平方函数对一个或N个自变量和因变量之间关系建模的一种回归分析，由于该模型易于拟合，运算速度快，自变量和因变量间统计特性容易确定，工程实践中广泛应用于对目标参数的预测或者变量之间相关性强弱的判断［11］。模型的一般形式如式（1）：

对式（1）的写法进行简化：

3.2 线性回归方程的求解

εi服从均值为0，方差为σ的标准正态分布：

利用m个处理周期的数据求解系数θ，则θ的对数似然函数为

去除无关项后，求似然函数的最大值转化为对新的目标函数J(θ)求极小值问题，J(θ)也可称为损失函数，即寻找最优的θi组合使得损失最小：

求极值可采用两种方法，一是J(θ)对θ求导，通过寻找驻点求解θ；二是通过梯度下降方式分别求解 θi。

J(θ)对θ求导方式如下：

解得θ=(XTX)-1XTY，其中X，Y是m个处理周期对应的x1，x2…xn， y的矩阵表达形式。对于特征较少、n较小的情况，XTX一般逆阵存在且计算速度快，可以通过实时完成计算；当特征维度达到几十至上百时，工程应用中无法求解逆阵，一般通过梯度下降方式，利用历史数据对回归模型进行训练，实时处理中直接使用训练完成的模型对参数做估计。

梯度下降求θi方法如下：

式（7）中α为学习率，是一个超参数，需要根据实际需要进行设定，通过每个处理周期获得的xi，yi带入式（7）对每个系数 θi进行训练，使得目标函数J(θ)沿梯度以最快速度向极值方向移动，当 J(θ)到达极值点时，每个θi的取值即为最优值。对于学习率α，设置过大训练速度会明显提升，但容易造成J(θ)无法到达极值点；如果设置过小，J(θ)一定会达到极值点，但极值点可能是局部最优点。通过历史数据对模型训练时，可以先设置较大α值，再减小α做精细化训练。

3.3 添加惩罚因子的线性回归模型

在实际应用中，传统线性回归极易产生过拟合现象，尤其是高阶回归模型中θi的取值会很大，造成模型复杂度提高。在建模过程中，可以通过对目标函数添加合适的惩罚因子避免过拟合发生，同时由于加入惩罚因子可以改变θi的求解公式，避免XTX矩阵不可逆造成方程无解问题。

1）Ridge回归模型

该模型通过在传统线性模型目标函数J(θ)项上添加系数θ的平方和作为惩罚因子，新的目标函数如下，β与式（7）中的α作用一样，是一个超参数：

一般过拟合发生时某些系数θ的取值会很大。通过对目标函数的优化，当θ过大时，惩罚因子也也会很大，最终造成J(θ)过大。求解θ的过程是通过寻找最优系数组合使得损失函数J(θ)尽可能小，所以过拟合的系数组合不再为最优解。

经推导，Ridge回归模型通过求导方式的解如下，I是一个单位阵：

通过对XTX添加βI正则项后，可以保证二者加和后的矩阵为正定阵从而逆阵可求，保证系数θ可解。

2）Lasso回归模型

该模型通过在传统线性模型目标函数J(θ)项上添加系数θ的绝对值和作为惩罚因子，同样可以防止过拟合现象发生。

由于Lasso回归的惩罚因子含有绝对值项，所以该损失函数导数不可求，求导方式或梯度下降方法的解算不适用该模型。工程中可采用坐标下降法求解，该方法首先选择n个系数中的1个系数在其坐标方向上移动，同时固定其他n-1个系数不变，使损失函数J(θ)达到局部最优，而后再通过同样方式选择另一个系数移动，不断迭代调优。该模型在实际应用中，调优过程较为复杂，但最终确定的模型具有特征选择能力，即通过n个变量估计参数时，模型可以筛选掉某些与被估计参数无关的变量，从而排除干扰项，简化模型的使用。

4 实验验证

本节仿真实验数据来自某次飞行数据，y轴表示飞行器在地心系下Y方向的坐标，t轴代表该坐标对应的飞行时刻，为了脱密处理，对两个坐标轴数据进行了坐标变换及缩放处理。本节分别用传统回归模型、Ridge回归模型、Lasso回归模型的不同阶数建模，旨在说明不同模型用于参数估计的特点，为实时数据处理中针对不同应用场合的模型选定奠定基础。

图1 传统线性回归模型参数估计曲线

如图1所示，圆点代表不同时刻下实测得到的Y方向的坐标值，使用实测值作为训练集，建立1阶、4阶、7阶传统回归模型，不同阶数的模型分别对应3条曲线方程，目的是利用得到的模型估计五角星对应时刻的Y方向坐标值。图中R2是用于评价模型在训练集上对数据估计精度的指标，含义如式（11）所示：

传统线性回归1阶模型相比高阶模型能够较好的对预测值进行估计，虽然R2指标不如4阶和7阶模型，但高阶的传统线性回归模型在训练集上发生了严重过拟合，对预测值的估计严重偏离真实值。

Ridge回归模型对参数估计的仿真曲线如图2所示，一阶模型指标比传统回归模型略低，但高阶模型的过拟合现象得到了明显改善，4阶模型能够较好对参数进行估计，7阶模型对参数的估计也出现了较大偏差。

图2 Ridge回归模型参数估计曲线

Lasso回归模型对参数估计的仿真曲线如图3所示，一阶模型指标比传统回归模型和Ridge回归模型略低，但高阶模型没有出现过拟合现象。高阶模型能够较好地对参数进行估计。其高阶模型不但未发生过拟合，且具备因变量的特征筛选能力，在本实验中，7阶模型系数由低到高具体值如下：

传统回归模型：893.1019118，-2474.51590507，2700.65540618，-1524.84168369，484.33477594，-87.24870329，8.31906527，-0.3260465。

Ridge回归模型：-6.65877795 ，-2.94753851，2.98787303，4.05447172，-5.40431877，2.16563164 ，-0.36345725，0.02215715。

Lasso回归模型：-4.02115909，-2.00128272，0.28952598，0.06216481，0.00613826，0.00019961，-0.00007596，-0.00002436。

可见传统回归模型为了在训练集达到较好的拟合效果，系数取值非常大，发生了严重过拟合；Lasso回归模型排除了3阶以上系数，能够帮助分析人员在不能明确掌握模型表达式下，排除干扰自变量的影响。

图3 Lasso回归模型参数估计曲线

综上，如果使用一阶模型对参数进行估计，传统线性回归模型不但计算量小，且模型评价指标最高，在实际应用中，估计效果也是最好的。如果使用高阶模型，Lasso回归效果最好，但模型系数的确定需要较大运算量，不适于在实时处理中训练模型。Ridge回归相比Lasso回归的模型训练计算量小，可以应用在实时参数估计中，为了避免过拟合，不宜采用较高阶数。

5 实时数据处理任务中模型的选择

1）对引导参数的估计。对引导参数估计一般以t作为当前时刻，利用t-n1个时刻的轨迹结果数据预测第t+n2个时刻的轨迹。对轨迹预测的参数仅包含目标在地心下的坐标，这些参数的因变量可以取时间t的一阶或多阶组合，另外可考虑风速作为因变量。由于该模型因变量简单，XTX在实际使用中不存在不可逆情况，选用传统线性回归，模型简单、运算速度快，适用于模型的实时训练与实时估计。为让预测轨迹平滑，变量t可选取2～3阶，训练样本n1根据实时飞行测量数据质量选取，如果某段飞行轨迹精度较高，可选取前40或更多个处理周期数据来训练回归模型。

2）对落点参数的估计。如果飞行器工作正常，必须采用高阶回归模型使估计轨迹平滑，一般3阶以上。为避免出现过拟合，选取带有惩罚因子的模型，由于Lasso模型需要耗时较多的迭代运算来计算回归系数，难以通过实时运算对参数进行估计，所以选取Ridge模型。

如果飞行器出现异常，且测控系统丢失测量元素前飞行器面向地表飞行，则采取1阶不带惩罚因子的回归模型，估计其到达地表时的经纬度。

3）对系统工作状态的估计。飞行器某系统工作状态是否正常，是由系统内大量部件协调工作决定的，由于很难推导精确的关系模型，相关部件参数值都可作为系统工作状态的自变量。因为自变量较多，回归模型复杂度高，所以采用事后处理方式训练模型，通过综合分析历次记录在数据库中的数据，不断优化模型，在实时处理中直接使用最优模型进行系统工作状态估计。为了避免过拟合，采用带有惩罚因子的回归模型，Lasso模型经实际应用具有较好的特征选择能力，可以排除没有因果关系的部件参数，其对应的系数θ通常接近零值，在很大程度上可以帮助分析人员掌握产品特点。

6 结语

线性回归模型在参数估计、分类预测等方向有着广泛应用，尤其是机器学习、人工智能飞速发展，大量软件平台和第三方库函数可以直接加以利用，用于对回归模型进行训练［12］。本文利用实测数据训练回归模型，针对系统的实时性要求给出了不同模型的求解与应用方法，并根据测控系统中不同应用场合，提出了模型选取方案。本文提出的方法，相比传统实时测控系统，不仅实时性得到保障且在参数估计的准确性方面能够获得更好效果。