基于深度学习的过完备字典稀疏表示的矩阵分析

卫小强

（洛阳师范学院，河南 洛阳 471934）

基于深度学习的过完备字典稀疏表示的矩阵分析

卫小强

（洛阳师范学院，河南 洛阳 471934）

本文从数学的角度探讨了外部输入信息与过完备字典之间的关系问题即相关性问题，研究了过完备字典与稀疏表示的内在联系，在此基础上对过完备字典进行分析和修正，以提高深度学习的层次且增加对环境的适应性，为今后对字典的设计奠定了基础。

机器学习；过完备字典；稀疏表示；OMP

1 前言

人类对客观世界的认识，得益于对自身大脑认知的理解。在此基础上，人工智能和人工神经网络的研究正是在此展开的。正如人类大脑理解的过程，人工神经网络对事物认识也是从低层次的具体明暗、颜色、深度、边缘等特征开始，而后在更高层次去提取事物更抽象的特征，即各种形式的具体的组合到更高层次的抽象概括的融合。其中伴随着认知深度的提高、分类等过程。所以人工网络一般由输入层，隐含层以及输出层构成。这些层次之间有极为复杂的相互联系。由于目前对于神经网络的技术尚在研究探索阶段，所以目前输入层主要功能是接收外部信息，隐含层作为网络的核心，通过对样本的训练，不断改变完善其相应的权值去适应匹配外部输入的信息，输出层是对外部信息进行最高级别的抽象概括的组合表示。隐含层的层次越多，可接收外部信息的能力和适应性也相应越强，但层次结构也会越复杂，极大增加了时间的开销。本文的核心在于隐含层的理解和分析，因为它承担了承上启下的功能，对于外部输入信息进行以智能的过完备字典形式的“特征学习”，通过它也可以进行特征表示空间之间的转换，这样才能使我们需要的某些特征更清晰地抽象概括分离出来，所以需对中间隐含层应承担的功能进行研究探讨和界定。

2 经典的人工智能模型的数学理解

人工智能的隐含层的核心功能是将信号从某一变换域转变为另一变换域空间，这种变换可以通过一个自适应的变换矩阵来实现。将一个高维的信号特征，转变为一个低维的相应的更抽象概括的特征。其中这个变换矩阵为一随外部环境信息的变化通过反馈而自适应修正的过完备字典。我们通过样本学习来求解这个凸优化问题的相关系数。上述的数学模型可用Y=AX的矩阵表达式进行描述。A为Rm×n的矩阵，其中m＜＜n，要求A为满秩矩阵。而X∈Rn，Y∈Rm，由矩阵分析理论，当m＜＜n时，这个矩阵方程是多解的。即X中的非零元的个数尽可能少。从以上分析，给定样本空间的过完备矩阵Am×n，m＜＜n，为了重构向量Y，则需对A进行研究分析其最佳拓扑结构，使得信号在经过隐含层的稀疏分解处理后，其函数表达式系数不包含较多相关和重叠的成份，即冗余部份。使稀疏分解后的信息主要成分并没有丢失而是更为集中。用以评价衡量稀疏程度的指标：①0-范数：X中的非零的个数。②稀疏因子：X中非零元与X行数之比的相对参数。③非线性逼近误差：评定能量的集中程度的指标。

3 过完备字典与稀疏表示的关系

输入信息经过过完备字典的分解处理也就是将信息在过完备字典相应矩阵的求解的数学处理过程，要获得稀疏系数，即通过一系列矩阵相关运算，找出在字典矩阵中与外部信号最匹配的几列向量，在此基础上用这几列向量和计算获得的稀疏系数两者去重构信号。上述这些要求：①过完备字典必须有与外部信号相关的原子（即列向量），外部信号与字典变换基相关性不大，得到的变换系数有可能不是稀疏系数，这关系到稀疏表示的准确性和高效性。②过完备字典自身的结构。若过完备字典列向量仅仅是两两相关，而非两两正交，这样的随后矩阵的运算中多次的迭代后会造成次优解的存在，即局部优解的存在。基于上述两点我们需要对过完备字典的选择进行规范：①根据外部信息的大体类型确定过完备字典类型，以便可通过字典矩阵分解获得稀疏系数表示。②在计算中，对过完备字典进行整合，使其矩阵列向量两两正交，标准化，即施密特正交化。以便在求解过程中可求得全局最优解，而非次优解。

4 对于过完备字典构成的算法研究

通过研究匹配追踪算法（MP）和正交匹配算法（OMP）来计算L-0范数矩阵求解问题可知，信号在过完备字典矩阵中的稀疏分解是核心环节。外部信号为Y，其长度为n，而过完备字典为D，矩阵D的每一列为字典的一个原子，必要条件是每一列向量的长度等于外部信号的长度。为了字典构成的最优化需要将所有列向量正交归一化，即||Xi||=1。将输入信号与字典矩阵每一列进行乘法运算，找出最大的一列作为与Y最匹配或相关的原子，再求出相应的残差值γ。经过多次学习，在算法上即经过多次迭代计算，直至达到预先设定的阈值结束。最后的输入信号Y可表示为与其最相关的线性组合加上残差值γ'。当γ'小于设定阈值时，则Y可由这些原子来线性表示。若选定的字典矩阵与外部输入信号有很好的相关性即匹配性，则重构效果较好，若选定的字典矩阵与信号相关性不大，则效果不佳。另一方面过完备字典矩阵太大，即包含原子数较多时，计算变得较为复杂，所以需要在字典构成上加以研究，对字典进行分类：通过将最邻近的样本分类，得到含有k个样本的分类集合，Y={yi}Ni=1(N≥k)，将再通过样本类的模糊分配，延伸至对与样本相关的字典分类，如k-SVD算法。用样本分类的实质是找到一个与之相关的字典，使其误差值E最小。即

其中，C为稀疏系数，对于某些k值，有∀i,xi=ek。相应算法如下：

①通过对大量样本进行分类，进一步分类过完备字典。使其也分成若干个字典矩阵，使某一子字典对应某一样本分类，在信号输入时，不需复杂的矩阵计算方法去验证是否与其中一类相关，只需凭借一些优化快速近似算法如滤波器去并行计算哪一些字典矩阵与输入信号相关性更大，即更能稀疏表示。这些过完备子字典均放置至数据库待选，以应对各大类输入信号。

②当选定一类与信号较为匹配的字典矩阵后，还需对该子字典矩阵进行更新。这些涉及到不仅更新子字典矩阵的列向量，还有其对应的稀疏系数，即

k积样本误差。在更新中，其中在一次迭代中第k-1项是固定不变的，仅一次更新第k项，一直到所有的字典原子列向量与相应的稀疏系数全更新完毕后，循环结束。

③避免次优值和过拟合方面的补偿算法。

在字典中对于累积到一定次数不用或相关性较小的列元素，则被认为是具有过紧结构的列向量，可进行移除，但需对相应位置用其他弱相关的信号元素来替代。此外算法中允许列的数目增加以加强对外部信息处理的适应性和相关性。

5 结束语

本文在对深度学习的字典稀疏表示的讨论中，重点分析研究了作为学习模型核心的过完备字典的矩阵构成，它是信号重构的关键。它不仅被要求与输入信号具有较强的相关性或匹配性，还要求具备一定的适应性，可以自我进化，根据输入信号进一步改进，提高其相关性即学习能力，同时其计算复杂度不宜太高。在今后的研究中需对次优解和过学习进一步研究。

[1]何艳敏，甘涛，陈武凡．基于稀疏表示的两级图像去噪[J]．电子信息学报，2012，34(9)：2268-2272．

[2]张春梅，尹忠科，肖明霞．基于冗余字典的信号超完备表示与稀疏分解[J]．科学通报，2006，51（6）：628-633。

[3]E．Cande’s and J．Romberg．Recovery of sparse signals via convex programming[J]．Technal，Pasadena，CA，Tech．Rep．，Oct，2005．

[4]MALLAT S，ZHANG Z．Matching pursuits with time-frequency dictionary[J]．IEEE transactions on Signal Processing，1993，41(12)：3397-3415．

[5]M Aharon，M Elad，and A Bruchstein．K-SVD：An Algorithm for Designing over Complete Dictionaries for Sparse Representation[J]．IEEE Transaction on Signal Processing，2006，54(11)：4311-4321．

[6]J．A．Tropp．Greed is good：Algorithmic results for sparse approximation．IEEE Trans Inf．Theory，2004(50)：2231-2242．

The MatrixAnalysis on Over-complete Dictionary and Sparse Representation Based on Deep Learning

Wei Xiaoqiang
(LuoYang Normal University,LuoYang 471934,Henan)

The paper inquiries into the relativity problem between input information and over-complete dictionary from the mathematical viewpoint and their inner relationships.On this foundation,we analyze and revise the over-complete dictionaries to enhance the level and adaptability of deep learning,and lay the foundations of the dictionary design in the future.

machine study;over-complete dictionary;sparse representation;OMP

TN911.7

A

1008-6609(2017)07-0097-03

卫小强（1972-），男，山西阳城人，硕士研究生，讲师，研究方向为计算机应用、彩色图像处理算法研究。