最优控制算法综合分析

万 琦 闫若冰 肖静文

（西南石油大学，四川 成都610500）

1 最优控制理论基本概念

利用最优控制算法能解决的问题是：按照控制对象的动态特征，选择一个容许控制，使被控对象按照技术要求运行，并使给定的性能指标函数达到最优值。然而，解决最优化问题的主要方法有：变分法、最小值原理以及动态规划这三种方法。在此方法上前人已经有着较为成熟的技术来研究最优化问题，但是，在未来的技术中，最优控制将会在算法上寻求更大的突破。

1.1 最优控制问题的一般提法

系统的状态方程。在解决一个最优控制问题时都会给定一个状态方程公式（1）：

其中f(x(t),u(t),t)对x于t满足李氏条件。系统的状态方程给出了系统内部状态随系统控制输入的变化关系，即内部状态的一种约束关系。

状态方程的边界条件，对于前面给出的状态方程，会有相应的约束条件，从来求得不同条件下的最优解。端点条件一般有三种类型：固定端、自由端和可变短。

容许控制,在实际的控制系统中，控制输入u是有一定限制的：0≤u≤umax或≤c，此时的u为容许控制。

性能指标，即系统的目标函数。在最优控制问题中，都会给出一个衡量控制系统优劣的数量指标，它决定于最优控制所要达到的目标，一般表示为公式（2）：

综上所述，一个最优控制问题便是由以上四个方面综合决定的，尤其是系统的性能指标，它决定了一个系统的优劣。

1.2 最优控制问题的一般解决方法

最优控制所要解决的问题是，按照控制对象的动态特性，选择一个容许控制，使被控对象按照标准运行，并使给定的性能指标达到最优值。因此，在最优控制问题提出时，便形成了下列三种方法：

1.2.1 古典变分法

古典变分法即求取函数的极值，使得泛函取得极小值。它只能解决无约束或简单的有约束的一类的最优控制问题。而在工程实践中所遇到的确实容许控制属于闭集的一类最优控制问题，这样就促使了新的方法的产生。

1.2.2 最小值原理

最小值原理是庞特里雅金在古典变分法的基础上发展而来的，它为解决带有闭集约束的最优控制问题提供了有效的方法，但是，它仍旧是不完整的，在闭集约束的问题上它只是一个必要的条件。

1.2.3 动态规划

动态规划又称为多级决策理论，是由贝尔曼提出的一种非线性规划方法。它为闭集约束的最优控制问题提供了充分条件，由于连续系统的哈密顿-雅可比方程难于求解，因而不能满足实际的需求，因此人类仍旧需要寻求新的充分条件来弥补这种不足。

2 最优控制的计算方法

随着各种最优控制问题的发现，在原来的方法上也演变出了许多更精确的算法。目前，主要有以下两种算法，确定性算法（如梯度法、拟牛顿法、高斯-牛顿算法等）求解目标函数的梯度进行寻优计算，即共轭梯度法，速度较快，但是不能保证能够得到全局最优值。随机性算法（如遗传算法、模拟退火算法等）利用非线性函数预测进行寻优，可以得到全局最优值,但求解速度缓慢。

2.1 最优控制数值算法

2.1.1 牛顿法

牛顿法是一种线性化方法，是求解多元函数极值问题的常用方法。处于需计算性能指标的二阶导数，又被称为二阶变分法。其优点是收敛速度快，缺点是需要计算倒数值，计算量较大且有时候导数的计算较困难。

2.1.2 拟牛顿法

在牛顿法中，它的主要突出优点是收敛速度快，但需要计算二阶偏导，为了克服这一缺点，人们提出了拟牛顿法。它是求解非线性优化问题最有效的方法之一，通过在试探点附近的二次逼近来引进牛顿条件来确定搜索方向。

2.1.3 共轭梯度法

共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜素，求出目标函数的极小点。由于共轭梯度法的收敛速度比最速下降法要快的多，同时也避免了牛顿法中对海塞矩阵的计算，以此有点赢得了大多数人的青睐，在许多的工程应用中大多数的采取这种算法。

这是最优控制数值算法上运用的较多的三种方法，在常见的文献中均将这三种算法作为基础进行改进或者发散。除此以外还有梯度法、打靶法以及Bang-Bang控制算法等，随着最优控制问题的计算方法的不断改进和增多，最优控制问题已经在不同的研究领域中得以更深入的研究。

3 部分最优控制问题研究现状及应用

3.1 鲁棒控制与最优控制结合

对不确定的系统，我们现在采用的最佳控制策略是鲁棒控制。鲁棒优化，其实这也是一种基于梯度的算法。它是运用梯度优化得到一个伴随的过程，即H∞，其实这也是频域内的最优控制，从而得到优化。鲁棒控制与最优控制相结合可以解决许多以前不能解决的问题，例如，线性二次型控制、采样控制和电机调速等实际问题。这些均是不确定性系统，需要通过鲁棒控制的特性来解决。

3.2 遗传算法与最优控制结合

遗传算法是一种根据生物界的进化规律演化而来的随机化搜索方法。将自然界优胜劣汰的法则运用到了算法中的一种基本优化算法。遗传算法的主要特点是直接对系统的结构对象进行操作，不会存在求导和函数的极限的限定，不需要确定的规划就能自动的进行全局搜索。遗传算法能更好的求出系统的鲁棒性、随机性和全局性。但是由于遗传算法的复杂性，也局限了其本身的应用。

将遗传算法和最优控制相结合，主要是运用来解决电机优化设计以及受时间约束的最优控制等问题。

3.3 神经网络优化

神经网络是由人工神经元广泛互连而成的复杂网络系统。它是智能控制领域的一个新的分支，主要用于解决复杂的非线性、不确定性系统的控制问题。

神经网络优化的基本原理就是利用最优控制理论来改善控制系统的精度，寻求全局收敛的快速学习算法，以达到我们所期望的值，即最小值。此处的最小值即神经网络能量函数的极小值，这样我们就能够通过求解系统的平衡点来求解能量函数的极小点。使函数的运动轨迹朝着整个系统能量函数减小的方向偏，逐渐达到所期望的最小值。

3.4 SPSA算法与最优控制结合

SPSA算法即同时扰动随机逼近算法，它主要通过估计目标函数的梯度信息来逐渐逼近最优解，这样就避免了对于复变函数的梯度进行精确地计算。将SPSA算法与最优控制相结合的应用已经在石油行业有了初步的研究，特别是在油藏的优化上，在最优控制模型的建立下通过SPSA算法来达到NPV（净现值）的最优效果。

3.5 最优控制理论在预测控制中的应用

预测控制属于一种基于模型的一类新的优化控制算法，它的基本原理主要归纳为三点：模型预测、滚动优化和反馈校正。

对于模型预测来讲，只注重预测模型的功能，而不注重预测模型的形式，它主要是根据模型的历史信息和未来输入，来预测未来输出。在滚动优化这个环节上，则是运用到了最优控制理论的思想。它的最主要的特征是在线优化，通过某一性能的最优来确定未来的控制作用，即性能指标的最小值。由于实际的模型存在非线性、时变、模型失配、跟干扰等因素，因此需要反馈校正对预测模型的不足进行预测以及补偿，这便是预测控制的第三个因素反馈校正。

4 总结

最优控制理论在最优控制问题上有着显著地研究成果以及应用，特别是在航天和过程控制等方面。但是最优控制理论中最基础、最成熟的部分是线性控制领域部分。但是现实中的问题大多数是非线性问题，在近几十年内，人们对非线性问题进行了更加深入的研究，也取得了一定的成果，但是因为系统的复杂性，仍旧没有一套完整的理论体系，需要更加深入和完整的研究。对于非线性的优化，一种方法可以把非线性进行线性化，但是这样就造成了模型的不准确性，需要后期对模型进行校正。除掉此种方法对非线性进行优化也可以采用求导的方法，即梯度法进行优化也可以，因此梯度法是现今最优控制算法中应用的很广泛也很有用的一种算法，在后来人们的探求中，还对梯度法进行了改进出现了共轭梯度法等改进的方法，这就使得研究更近了一步。

［1］池荣虎.SPSA算法及其在函数寻优与控制中的应用研究[D].青岛科技大学,2012.

［2］孙增圻,等．智能控制理论与技术[M]．北京:清华大学出版社,1997．

［3］邓子辰.最优控制理论的发展及现状[J].大自然探索,1994,13(2):33-35.

［4］张莉,杨国华.最优控制理论及其在电力系统中的典型应用[J].宁夏机械,2009(3).