卷积神经网络的方程组求解

周伟 陆玉稳

摘要：通过迭代求解方程组的解，提出了一种基于卷积神经网络求解线性方程组的病态方程组的方法，由于条件数过大，影响求解的精度，将求解方程组的过程转换为神经网络学习的过程。通过神经网络学习同目标数据形成一种映射关系，用最小化误差来实现参数优化，把方程组求解的问题进而转换成参数的优化问题，求得目标解。卷积神经网络的参数共享机制在高维的矩阵计算中减小了计算量，提高了计算效率。

关键词：卷积神经网络；病态方程组；参数优化；线性方程组；条件数

中图分类号：TP183文献标志码：A文章编号：1008-1739（2018）22-69-4

0引言

方程组的求解是科学与工程计算中的基本问题，在众多的工程计算和控制领域，以及医学领域有着广泛的运用，众多的算法提出也为问题的解决提供了较为有力的支持，例如预处理共轭梯度法、奇异值分解法、遗传算法及BP算法等，但是传统的方法仍存在一些问题，比如传统的方法基本上都是建立在串行的基础上进行，但是并行运算比较困难，而人工神经网络可以提供一种并行计算的方法，卷积神经网络的出现在一定程度上可以解决存在的问题。提出了基于误差反向传播的卷积神经网络算法[1]，以2层神经网络对方程组进行求解来达到目的[2]。

1基于卷积神经网络的方程组求解

1.1卷积神经网络

卷积神经网络是一种人工神经网络，在众多的领域被广泛运用，例如图像处理、视频分析、目标追踪、自然语言处理及人脸识别等，卷积神经网络同传统意义上的人工神经网络有所区别，它采用了权重共享机制，通过权重共享机制大大减少了权重的数量，从而降低了计算过程中的复杂程度，卷积神经网络的优良特性归功于它的網络结构，该网络由输入层、卷积层、池化层、全连接层和输出层组成。

1.2卷积神经网络模型

病态方程组的求解设计，充分地考虑了输入与输出的映射关系，该网络具有以下特点：

①输入与输出：网络结构接收来自系数矩阵的原始数据，并在不改变数据大小以及数量的前提下对系数矩阵的大小维度进行了重新定义。虽然未将系数矩阵的维度直接输入，但是在计算系数矩阵维度时所耗时长可以忽略不计，输出层的输出就是经过卷积神经网络的多次训练后得到的预测的值与真实数据相近，而非真值[3]。

②线性映射：线性映射又叫线性变换，线性变换就是线性代数的一个研究的对象，在数学中，线性映射是在2个向量空间的函数，对于线性变化的讨论可以借助矩阵来实现。

1.6参数的选择与优化

（1）优化器的选择

在Tensorflow中，存在着多种优化器可以选择。①标准梯度下降法：汇集了样本的总误差，然后根据总误差更新权值。②随即梯度下降法：随即抽取一个样本的误差然后更新权值，但是存在的问题可能会造成误差增大。③批量梯度下降法，选取一个批次来更新权重，此外还有momentum，NAG，Adagrad，RMSprob，Adadelta及Adam等，这些优化器并不常用，在本文中选择了Tensorflow这一框架，并且用Tensorflow提供的AdamOptimizer优化器，使用这一优化器来控制学习速度，会将之前衰减的梯度以及梯度的平方保存起来，使用RMSprob和Adadelta相似的方法更新参数。AdamOptimizer通过使用动量（参数的移动平均数）来改善传统的梯度下降，促进超参数的动态调整，每次梯度调整后使得每次迭代学习率都有固定的范围，使得参数较为平稳，为不同的参数计算提供不同的自适应学习率，适用于大多非凸优化问题。

而传统的梯度下降存在较多的问题，比如容易造成梯度的消失等一系列的问题，不利于本文采用的神经网络的训练，因此在这里并未采用传统的梯度下降法。

（2）学习率的选择

传统的学习率选择都将会采用一个固定值，依据先验知识，一定范围内对数值进行取值，不断实验。根据训练的结果好坏做参数调整，最终找到一个合适的学习率。在本文中学习率的选取并不是一个数值不变的常数，而且本文的学习率的选择中是在每100次训练后，对学习率进行动态调整，将学习率的取值在每100次后除以3，经过200次训练，也就是对学习率进行2次调整，最终实现超参数最优，即权重最优。

（3）权重的选择

权重的初始化对于神经网络的训练非常重要，如果权重一开始就很小，那么信号最后也会很小，如果权重很大，则信号也会变得很大，不合适的权值会使得隐藏层输入方差过大，因此这里对权重的初始化选择设置为符合正态分布的数值矩阵。

（4）正则化的约束

该方程的精确解为[1，-1]，且系数矩阵条件数为2.1932×106，是一个典型的病态矩阵[5]，求解的网络结构同图1的结构相似，定义了卷积核的大小为2×1，进行卷积计算。通过最小化卷积计算后的输出与目标输出的误差，经过多次训练迭代来优化权重直至找到适合网络模型的权重，最终求解正确率比较精确，结果为[1.0373，-1.0518]T，该解与精确解在2-范数下的绝对误差仅为2×10-3。在病态的方程组中求得最终解的准确率仍然较高，基本上达到预期结果。

3实验结果

深度学习发展迅速，卷积神经网络的运用及其广泛，可以将卷积神经网络与其他的领域相结合，比如医学领域，不仅是在医学图像处理领域更是会在三维重构得到较好的运用，方程中的是带有噪声的，可以依据卷积神经网络对噪声进行过滤进而重构出想要的模型。

4结束语

针对传统的线性方程组以及病态方程组的求解方法，采用了卷积神经网络对方程组进行了求解，结合多任务联合训练的方式对方程组进行求解，从最终的结果来看，不论是对一般的方程组还是病态方程组都有较好的求解，准确率达到预期，且本文的网络结构大大降低了计算的复杂度，卷积神经网络在深度学习中有着较好的运用，在图像处理、目标追踪及人脸识别等众多研究领域有着良好的运用，尤其是在特征提取运用很是广泛，而且大大减少了计算的复杂程度和参数，因此卷积神经网络的多功能性仍然值得继续挖掘，运用在众多的领域。

参考文献

[1]周笋，吉国力.基于改进BP算法的广义逆矩阵求解方法[J].厦门大学学报：自然科学版，2003（3）：386-389.

[2]韩立群.人工神经网络教程[M].北京：北京邮电大学出版社， 2006.

[3]李传朋，秦品乐，张晋京.基于深度卷积神经网络的图像去噪研究[J].计算机工程，2017，43（3）：253-260

[4]章云港，易本顺，玥吴晨，等.基于卷积神经网络的低剂量CT图像去噪方法[J].光学学报，2018，38（4）：123-129.

[5]李海滨，尚凡华.基于神经网络的病态线性方程组求解[J].辽宁工程技术大学学报，2007（6）：956-958.