基于结构化多视图稀疏限定的监督特征选择算法研究

史彩娟，段昌钰，谷志斌



基于结构化多视图稀疏限定的监督特征选择算法研究

史彩娟，段昌钰，谷志斌

(华北理工大学，河北 唐山 063210)

为了有效利用多视图数据信息提升监督特征选择的性能，构建了一种结构化多视图稀疏限定，并基于该稀疏限定提出了一种监督特征选择方法，即结构化多视图监督特征选择方法(SMSFS)。该方法在特征选择过程中能够同时考虑不同视图特征的重要性以及同一视图中不同特征的重要性，从而有效的结合多视图数据信息，提升监督特征选择的性能。SMSFS目标函数是非凸的，设计了一个有效的迭代算法对目标函数进行求解。将所提结构化多视图监督特征选择方法SMSFS应用到了图像标注任务，在NUS-WIDE和MSRA-MM2.0图像数据库上进行了实验，并与其他特征选择算法进行了比较，实验结果表明该算法能够有效结合多视图数据信息，提升特征选择性能。

多视图学习；结构化稀疏限定；监督特征选择

近年，随着信息技术以及计算机视觉技术的迅猛发展，图像、视频等数据被表示为不同类型的特征，如形状特征、颜色特征、纹理特征等。每一种类型的特征都是从某一特定空间对图像及视频数据进行了描述，传统上把这种由不同类型特征组成的数据称为多视图数据[1]。然而，这些多视图数据中包含许多不相关特征，甚至是噪声，因此，如何有效去除多余特征及噪声，从而降低“维数灾难”的特征选择技术成为当前的研究热点。面对多视图数据，传统的单一视图特征选择算法已不能获得较好的特征选择效果，许多多视图特征选择方法被广泛研究和提出。其中，最直接的方法就是将多视图特征直接串接成一个长的特征向量，然后采用单一视图特征选择方法进行特征选择[2-3]。该方法思路简单，但将多视图特征直接串接为一个长向量之后再进行特征选择，破坏了不同视图特征间的潜在关联，同时也缺乏物理解释，使特征选择的性能受到了影响。

近年来，多视图学习被广泛应用到特征选择算法之中，利用不同视图之间的互补性及一致性来提升特征选择的性能[1,4-5]。然而，现有的多视图特征选择方法基本上是将一个视图数据看作一个整体，在特征选择过程中仅仅考虑每一个视图特征整体的重要性，而忽略了同一视图中不同特征的重要性，使特征选择性能受到影响。如果在多视图稀疏特征选择过程中，不仅考虑每一个视图的重要性，选择最具判别性的视图特征外，同时考虑同一视图中每一个特征的重要性，必将能够更好地结合多视图数据信息，从而提升特征选择的性能。文献[6]提出了组1范数(1-范数)，能够很好地判定同一视图中不同特征的重要性。文 献[7]通过引入组1范数(1-范数)提出了一种稀疏多模态学习方法来整合多视图异质特征。文献[8]基于1范数(1-范数)提出了一种新的非监督深度稀疏特征选择方法，特征选择性能得到了提升。

因此，为了更好地利用多视图数据信息，本文提出了一种基于结构化多视图稀疏限定的监督特征选择算法，即结构化多视图监督特征选择(structured multi-view supervised feature selection，SMSFS)。结构化多视图稀疏限定能够使SMSFS在特征选择过程中不仅考虑每一个视图的重要性，同时考虑同一视图中不同特征的重要性。SMSFS算法被应用到了图像标注任务中，并在图像数据库NUS-WIDE[9]和MSRA-MM 2.0[10]上进行了实验，结果表明该算法优于其他特征选择算法，能够更好地结合多视图数据信息来提升特征选择的性能。

1 相关工作

本文相关工作为多视图学习和结构化稀疏限定。

1.1 多视图学习

现实中存在许多多视图数据，如图像经常被表示为形状、颜色、纹理等不同的视觉特征，视频被表示为视觉特征及声音特征，网页被表示为网页内容及相关链接等等。每一个视图数据都具有一定的特征空间，具有特定的物理意义和统计特性。近年，多视图学习得到广泛研究，能够揭示多视图数据间的关联及有效地结合不同视图数据间的信息。根据多视图间信息结合方式的不同，可以将现有的多视图学习算法大致分成3类：①将多视图数据直接串接为一个特征向量，然后采用单一视图方法的多视图学习算法[11-12]。该算法实现简单，但不能有效揭示不同视图特征之间的关联及补充信息，既没有考虑不同视图特征的重要性，也没有考虑同一视图中不同特征的重要性。②将每一个视图特征看成一个整体，将同一视图中的所有特征赋予相同的系数。虽然该算法能够很好的利用不同视图特征之间的关联性和互补性[13-16]，但没有考虑同一视图特征中不同特征的重要性。③在学习过程中能够同时考虑不同视图的重要性以及同一视图中不同特征的重要性[7-8]。

1.2 结构化稀疏限定

近年来，多种结构化稀疏限定被广泛研究并被应用到特征选择算法之中。文献[17]对现有的特征选择方法进行了综述，根据所采用的两种不同的结构化稀疏限定1范数(LASSO)[18]和l，p(0<≤1)矩阵范数[17]，将特征选择方法分成了基于向量的特征选择方法和基于矩阵的特征选择方法。1范数作为惩罚项对特征选择系数施以约束，能够使被选择的特征尽可能稀疏，使训练的模型具有稀疏性和可解释性，因此被广泛应用到特征选择方法中。对于l,p(0<≤1)矩阵范数，当=2，=1，即为2,1范数[19]。NIE等[20]将2,1范数应用到了特征选择之中，该限定能够保证在特征选择过程中充分考虑不同特征之间的关联，联合的选取特征。WANG和CHEN[21]提出了2,p(0<≤1)矩阵范数，并指出当=1/2时，即2,1/2矩阵范数具有最好的性能。文 献[2]基于2,1/2矩阵范数提出了一种图拉普拉斯半监督稀疏特征选择方法。

2 SMSFS算法

本节提出一个新的基于结构化多视图稀疏限定的监督特征选择框架，既结构化多视图监督特征选择(structured multi-view supervised feature selection，SMSFS)。首先介绍结构化多视图稀疏限定，然后提出了SMSFS算法，最后给出求解目标函数的迭代算法。

2.1 结构化多视图稀疏限定

映射矩阵的组1-范数(1范数)定义为

映射矩阵的2,1/2矩阵范数定义为

因此，由2,1/2范数和1-范数构建的用于特征选择的结构化多视图稀疏限定可以表示为

结构化多视图稀疏限定中1-范数强调每一个视图的重要性，而2,1/2矩阵范数可以很好地考虑不同特征的重要性。因此，结构化多视图稀疏限定能够保证在特征选择的过程中不仅考虑每一个视图的重要性，同时考虑每一个视图中不同特征的重要性，更好地结合多视图数据信息，从而达到很好的特征选择性能。

2.2 SMSFS算法

特征选择框架一般可以表示为求解下面的最小化经验误差

本文损失函数选择最简单的最小二乘函数，正则项为结构化多视图稀疏限定，因此，本文提出的结构化多视图监督特征选择算法SMSFS的目标函数可以表示为

2.3 优化求解

由于2,1/2范数是非凸的，因此本文提出的结构化多视图监督特征选择框架式(5)也是非凸的，下面提出了一个有效迭代方法来求解目标函数。

此时目标函数式(5)可以写成

因此，可得到

算法1. SMSFS 算法给出了求解目标函数式(5)的迭代算法。

②重复计算对角矩阵

对于g(1≤≤)，

=+1；

直到收敛；

3 实 验

将SMSFS算法应用到图像标注任务中，并在两个大规模图像数据库NUS-WIDE[9]和MSRA- MM 2.0[10]上进行了实验。

3.1 数据库及实验设置

NUS-WIDE数据库包含269 648幅图像，81个概念；MSRA-MM2.0数据库包含50 000幅图像，100个概念。实验中对于两个数据库，均选用144维的颜色相关图、128维的小波纹理和73维(NUS-WIDE数据库)或者75维(MSRA-MM2.0数据库)的边缘方向直方图和3种底层视觉特征作为图像的3种视图特征。

实验中随机采样3 000个图像形成训练数据集，剩余数据作为测试集。随机进行10次试验，将10次结果平均作为最终的标注结果。目标函数式(5)中的正则化参数和设定为{0.00001，0.001，0.1，1，10，1000，100000}，采用交叉验证方法记录最好结果。

实验中将算法SMSFS与算法SMML[6]和SFUS[3]进行了比较。采用3种评估准则来评价算法性能，即平均准确率均值(mean average precision，MAP)，ROC曲线下面积AUC的两种情况MicroAUC和MacroAUC。

3.2 与其他特征选择算法的性能比较

实验中将本文算法SMSFS与另外两种监督特征选择算法SFUS和SMML进行了比较，在两个数据库上进行了实验，结果见表1，最好结果用黑体标识。

表1 不同特征选择方法性能比较

从表1可以看出，无论是基于MAP，还是MacroAUC和MicroAUC，本文算法SMSFS性能优于SFUS和SMML算法，说明SMSFS算法能够利用结构化多视图稀疏限定有效的结合多视图数据信息，从而选取更具判别性的稀疏特征，获得更好的特性选择性能。

3.3 选择特征个数的影响

本实验验证所选特征数目对标注性能的影响。设定所选特征数目分别为100、150、200、250和300以及全部特征(对于NUS-WIDE数据库是345维，对于MSRA-MM数据库是347维)。采用MAP作为评估准则，实验结果如图1所示。

图1显示了算法SMSFS标注性能随着所选特征数目变化而变化的情况。从图1可以看出：①当所选用的特征数很少时(如特征数为100)对应的MAP要低于不进行特征选择时(特征数为345或347)的MAP。这归因于选择的特征数很少时，一些有用信息被丢失。②当采用所有底层视觉特征(特征数为345或347)的时候，标注性能并不是最好，说明最初的底层视觉特征中包含一些冗余特征，影响了标注性能。③在两个数据库上，3种算法达到最好性能时所选用的特征数目均为250，但是算法SMSFS性能优于另外两种算法。因此，与另外两种特征选择算法相比，本文算法SMSFS能够有效结合多视图数据信息，选取更具判别性的特征，从而获得最好的特征选择性能，降低噪声影响。

图1 性能MAP随着选择特征数目的变化而变化情况

3.4 参数敏感性测试

在目标函数式(5)中存在两个正则化参数和，本节通过交叉验证的方式验证这两个正则化参数对特征选择性能的影响，其大小设定为{0.00001，0.001，0.1，1，10，1000，10000}。采用MAP作为评估准则，实验结果如图2所示。

从图2可以看出，不同的和组合对应不同的MAP结果，该算法对于参数和比较敏感。对于NUS-WIDE数据库，当=1000、=10时具有最好的性能；对于MSRA-MM数据库，当==10时性能最好。

图2 正则化参数敏感性分析

4 结束语

本文提出了一个新的基于结构化多视图稀疏限定的监督特征选择算法SMSFS。本文算法能够在特征选择过程中同时考虑不同视图的重要性以及同一视图中不同特征的重要性，有效结合多视图数据信息，从而提升特征选择的性能。其目标函数是非凸的，本文设计了一个有效的迭代算法对目标函数进行求解。将该算法应用到了图像标注任务中，并在两个图像数据库上进行了实验，结果表明该算法优于现有的特征选择算法，很好地实现了特征选择。

[1] FENG Y F, XIAO J, ZHUANG Y T, et al. Adaptive unsupervised multi-view feature selection for visual concept recognition [C]//11th IEEE Asian Conference on Computer Vision (ACCV), 2012. New York: IEEE Press, 2012: 343-357.

[2] SHI C J, RUAN Q Q, AN G Y, et al. Sparse feature selection based on graph Laplacian for web image annotation [J]. Image and Vision Computing, 2014, 32(3): 189-201.

[3] MA Z G, NIE F P, YANG Y, et al. Web image annotation via subspace-sparsity collaborated feature selection [J]. IEEE Transactions on Multimedia, 2012, 14(4): 1021-1030.

[4] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 33(41): 1-10.

[5] XU X X, LI W, XU D, et al. Co-labeling for multi-view weakly labeled learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016, 38(6): 1113-1125.

[6] WANG H, NIE F P, HUANG H, et al. Identifying disease sensitive and quantitative trait-relevant biomarkers from multidimensional heterogeneous imaging genetics data via sparse multimodal multitask learning [J]. Bioinformatics, 2012, 28(12): 1127-1136.

[7] WANG H, NIE F P, HUANG H, et al. Heterogeneous visual features fusion via sparse multimodal machine [C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. New York: IEEE Press, 2013: 3097-3102.

[8] CONG Y, WANG S, FAN B J, et al. UDSFS: unsupervised deep sparse feature selection [J]. Neurocomputing, 2016, 196: 150-158.

[9] CHUN T, TANG JH, HONG R, et al. NUS-WIDE: a real-world web image dataset from National University of Singapore [C]//Proceeding of the ACM International Coference on Image and Video Retrieval (CIVR), 2009. New York: ACM Press, 2009: 1-9.

[10] LI H, WANG M, HUA X S. MSRA-MM2. 0: a large-scale web multimedia dataset [C]//IEEE International Conference on Data Mining Workshops (ICDMW), 2009. New York: IEEE Press, 2009: 164-169.

[11] MA Z G, NIE F P, YANG Y, et al. Discriminating joint feature analysis for multimedia data understanding [J]. IEEE Transactions on Multimedia, 2012, 14(6): 1662-1672.

[12] LIU W F, TAO D C, Multiview hessian regularization for image annotation [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2676-2687.

[13] WANG S P, GUO W Z. Sparse multi-graph embedding for multimodal feature representation [J]. IEEE Transactions on Multimedia, 2017, 19(7): 1454-1466.

[14] XUE X W, NIE F P, WANG S, et al. Multi-view correlated feature learning by uncovering shared component [EP/OL]. [2-18-01-10]. https://aaai.org/ ocs/index.php/AAAI/AAAI17/paper/view/14439.

[15] JING X Y, WU FI, DONG X W, et al. Semi-supervised multi-view correlation feature learning with application to webpage classification [EP/OL]. [2018-01-20]. https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14582.

[16] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 41(C): 1-10.

[17] GUI J, SUN Z N, JI S W, et al. Feature selection based on structured sparsity: a comprehensive study [J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(7): 1490-1507.

[18] SCHÖLKOPF B, PLATT J, HOFMANN T. Sparse multinomial logistic regression via bayesian1regularisation [C]//Advances in Neural Information Processing Systems 19: Proceedings of the 2006 Conference. New York: MIT Press, 2006: 209-216.

[19] DING C, ZHOU D, HE X F, et al.1-PCA: rotational invariant1-norm principal component analysis for robust subspace factorization [C]//ICML’06 Proceedings of the 23rd International Conference on Machine Learning (ICML), 2006. New York: ACM Press, 2006: 281-288.

[20] NIE F P, XU D, HUNG T, et al. Flexible manifold embedding: A framework for semi-supervised and unsupervised dimension reduction [J]. IEEE Transactions on Image Processing. 2010, 19 (7): 1921-1932.

[21] WANG L P, CHEN S G.2, pmatrix norm and its application in feature selection [EP/OL]. [2018-01-08].

https://www.researchgate.net/publication/301850380_l_2p_Matrix_Norm_and_Its_Application_in_Feature_Selection.

Research of Supervised Feature Selection Algorithm Based on Structured Multi-View Sparse Regularization

sHI caijuan, DUANChangyu, GU Zhibing

(North China University of Science and Technology, Tangshan Hebei 063210, China)

In order to effectively utiliz the multi-view data information and enhance the feature selection performance, the structured multi-view sparse regularization was constructed, based on which a novel supervised feature selection method, namely structured multi-view supervised feature selection (SMSFS), was proposed. SMSFS could simultaneously consider the importance of each view features and the importance of individual feature in each view to combine the multi-view data information effectively in the feature selection process, and then to boost the supervised feature selection performance. Because theobjective function of SMSFS is non-convex, an effective iterative algorithm was proposed to solve the objective function. The proposed structured multi-view supervised feature selection method SMSFS was applied into image annotation task and extensive experiments were performed on NUS-WIDE and MSRA-MM2.0 image datasets. The proposed method SMSFS was compared with other feature selection methods and the experimental results demonstrated the effectiveness of SMSFS, which means that it could effectively utilize the multi-view data information to boost the feature selection performance.

multi-view learning; structured sparse regularization; supervised feature selection

TP 391.4

10.11996/JG.j.2095-302X.2018061036

A

2095-302X(2018)06-1036-06

2018-04-16；

2018-07-24

国家自然科学基金项目(61502143)；河北省自然科学基金面上项目(F2016209165)；华北理工大学杰出青年基金项目(JQ201715)；华北理工大学博士科研启动基金(201510)；河北省高等学校科学技术研究项目(QN2018115)

史彩娟(1977-)，女，河北丰润人，副教授，博士。主要研究方向为图像处理与分析、多媒体内容分析、计算机视觉、机器学习等。E-mail：scj-blue@163.com