拟牛顿法与非线性共轭梯度法的优劣

程江丽

(河南师范大学数学与信息科学学院，河南 新乡 453000)

假设最优化问题的模型是：

minf(x),

s.t.x∈

一、基本思想

(一)拟牛顿法的基本思想

在求解n维无约束优化问题时，用迭代点的梯度和Hesse阵Gk的某个近似矩阵Bk对目标函数进行二次函数近似，然后把二次函数的极小点作为新的迭代点[1]。

(二)非线性共轭梯度法的基本思想

在求解n维非线性问题时，用当前点的负梯度方向与算法的前一个方向的线性组合作为当前的搜索方向，在非精确线搜索条件下经过有限步终止[2]。

二、数值计算

(一)小型优化问题

对于小型无约束优化问题，比如：

minf(x)=4(x12-x2)2+3(x1-1)2,x∈R2

表1 拟牛顿法的数值结果

表2 非线性共轭梯度法的数值结果

通过表1和表2可以看出，拟牛顿法的迭代次数和运行时间都少于非线性共轭梯度法的迭代次数和运行时间，而目标函数值方面，拟牛顿法精确度更高一些。

(二)大规模优化问题

对于大规模的无约束优化问题，比如：

其中，n取1000.同样选取相同的初始点，编程计算得出拟牛顿法和非线性共轭梯度法的数值计算结果，如表3和表4所示：

表3 拟牛顿法的数值计算结果

buzy表示计算器繁忙，一直不显示结果。

表4 非线性共轭梯度法的数值结果

通过上面的结果比较可以发现，在大规模无约束优化问题中，非线性共轭梯度法的迭代次数和运行时间明显少于拟牛顿法的迭代次数，并且拟牛顿法中对于某些与精确解较远的点无法计算出数值解，所以，非线性共轭梯度法明显优于拟牛顿法。

三、总结

在实际科学计算中，往往遇到的更多的是大规模计算问题，而此时的非线性共轭梯度法比拟牛顿法的效率更高一些，当然，在小规模的计算问题中，也可以采用拟牛顿法，因为它具有二阶收敛速度，收敛性更好。在以后的学习和工作中，我们也应不断地观察发现新问题，以不断探索新的知识。