基于聚类结构和局部相似性的多视图隐空间聚类

摘 要：随着数据获取方式的多样化发展，针对多视图领域的算法研究变得越来越重要，但大多数方法仅通过自表示属性或局部结构获取样本间的相似性关系，在此过程中忽略了整体样本的聚类结构和原始空间的噪声的影响，使得聚类结果存在较大误差。为解决此问题，提出了一种基于聚类结构和局部相似性的多视图隐空间聚类方法（multi-view latent subspace clustering with cluster structure and local similarity，MLC2L），通过隐表示融合不同视图上的共享信息并抑制噪声的存在。此外，通过探索隐空间内样本间的局部相似性关系和整体的聚类结构促进样本达到同类聚合、异类远离的目的；最后引入一个交替方向迭代优化算法来快速求解目标函数。实验结果显示，在六个真实数据集的实验中，MLC2L在MSRC-v1、UCI以及100Leaves上的五个评价指标均为最优，在3Sources、WebKB和Prokaryotic等数据集上的五个指标有四个最优，大量的实验分析也证明了融合局部结构和整体聚类结构的MLC2L在多视图聚类任务上的有效性。

关键词：多视图聚类； 隐空间； 聚类结构； 局部相似性

中图分类号：TP311.13   文献标志码：A

文章编号：1001-3695（2023）09-014-0000-00

doi：10.19734/j.issn.1001-3695.2022.12.0834

Multi-view latent subspace clustering with cluster structure and local similarity

Song Fei

（School of Information Technology， Jiangsu Open University， Nanjing 210017， China）

Abstract：In recent years， with the diversification of data acquisition， multi-view learning has become more and more important. Most multi-view clustering methods obtain the similarity between samples through self-representation or local structures. However， these methods dont consider the influence of noise and the clustering structure of the overall sample， which may lead to a large error in the clustering study. To address this issue， this paper proposed a multi-view latent subspace clustering with cluster structure and local similarity （MLC2L） ， which combined shared information on different views and suppresses the presence of possible noise through latent representations. Besides， it simultaneously explored the clustering structure and local similarity in the latent space， so the samples could be promoted to achieve the purpose of homogeneous aggregation and heterogeneous separation. Further， this paper introduced an alternate direction iterative optimization algorithm to quickly solve the objective function. The experimental results in six real datasets show that the proposed method is optimal for five evaluation metrics on MSRC-v1， UCI， and 100Leaves， and four out of five metrics on 3Sources， WebKB， and Prokaryotic datasets. Extensive experimental results demonstrate the effectiveness of the MLC2L， which combines local structure and overall clustering structure， in multi-view clustering tasks.

Key words：multi-view clustering; latent space; cluster structure; local similarity

0 引言

随着科学技术的飞速发展，描述对象的技术方式越来越多样化，相应的数据表示方式也各不相同［1，2］，如利用多个摄像头采集同一区域的行人信息［3］，用图片、音频和文字去描述一个物体［4］，此外还可通过人工提取图片的HOG特征、LBP特征等方式获得多视图数据。因此，如何有效利用来自不同采集设备的数据成为研究人员越来越重视的问题。此外，由于收集到的无标签数据越来越多，人工标注将耗费大量时间成本，研究人员也提出了对应的聚类方法［5，6］将数据分成不同的聚类簇。然而这些方法仅适用于单个视图数据，它们并不能很好地处理多视图的数据。为解决此问题，文献［7，8］將单视图方法推广到多视图领域以探究不同视图间的相互关系，并结合不同视图上的有效信息提升最终的聚类效果。

现有的多视图聚类学习方法的最终目的大多是为了获得共同的低维表示、亲和度图或聚类指示矩阵，并以此将原始数据分成不同的聚类簇。为达到上述目的，文献［9，10］直接从原始空间学习样本间的相似性关系中获得亲和度图，并通过一个共享的亲和度图融合不同视图上的信息。但原始空间中样本间的相似性关系易受空间维度、噪声等因素影响，学习到的亲和度图可能无法完整地表达多个视图上的共享信息。文献［11～13］基于子空间的多视图聚类方法将原始空间中的数据经过一个线性映射器投影到子空间中，之后在子空间中学习样本间的相似性关系；此外，这些算法在学习样本间关系的同时也融合了不同视图上的共享信息，并注意到不同视图间的重要性差异。然而这些方法并没有考虑到原始数据中可能存在噪声的事实，在投影过程中噪声依旧被带到子空间中继续影响模型的性能。文献［14，15］则通过自表示属性学习得到自表示系数矩阵，再通过自表示矩阵得到融合后的亲和度图，此外通过核范数、L1范数等措施获得样本的低秩、稀疏属性并降低原始数据中噪声的影响。文献［16，17］则通过一个隐表示融合不同视图间的共享信息并回避噪声的影响，假设不同视图上的数据均是由隐空间中的共享表示经过不同转换矩阵映射到相应原始空间并混合部分噪声生成的，然而这些文献并没有考虑到样本间的相似性关系，使得最终的实验性能无法达到最优。

为探究训练样本整体的分布关系，文献［18～21］在前人的基础上引出聚类结构约束，以便从全局直接学习到数据的内部结构和聚类指示矩阵。其中，文献［18］通过各自的视图相关生成矩阵将相应的原始视图表示投影到一个隐完整空间表示上，再将该隐完整空间表示分解成聚类结构和聚类指示矩阵；文献［20］则是通过自表示属性获得各自视图上样本的自表示矩阵，之后统合各个视图上一致性与差异性信息，最终将统一的自表示矩阵分解为聚类结构和聚类指示矩阵。可以发现，大多数研究均是从原始数据的学习表示上获得聚类结构和聚类指示矩阵，因此学习结果的好坏很大程度上受限于隐表示的学习。为解决此问题，本文提出了一种基于聚类结构和局部相似性的多视图隐空间聚类方法（multi-view latent subspace clustering with cluster structure and local similarity，MLC2L），通过一个隐表示融合不同视图上的共享信息并降低原始空间中可能存在的噪声干扰，之后在隐空间中同时学习隐表示的局部结构和聚类结构，以此促进学习到的隐表示能被更好地分为不同的聚类簇。此外，本文提出了一个有效的交替迭代求解方法，在多个真实数据集上的实验结果表明本文提出的方法达到或超过了最新提出的方法。

3 实验与分析

本章以丰富的实验结果展示MLC2L算法的实际性能。实验数据均来自网上公开真实数据集，实验结果将与新近提出的算法实验结果进行对比。为度量实验效果的准确性，所有实验均采用F-score、precision、recall、NMI（normalized mutual information）和ARI（adjusted Rand index）五个具体的聚类评估指标。所有结果均为多次重复实验所得。

3.1 数据集

a）MSRC-v1［30］，此多视图数据集共包括树、建筑、牛、人脸、自行车、汽车和飞机7类共210个图片样本。本文将使用该数据集中的四个视图数据，分别为CMT特征、GIST特征、LBP特征和GENT特征。

b）UCI Digit［31］，此多视图数据共包括手写体数字0～9共10类样本，每类样本200个。本实验所用三个视图均来自UCI数据库，三个视图分别为轮廓相关性特征（216维）、傅里叶系数矩阵（76维）、Karhunen-Love系数矩阵（64维）。

c）100Leaves［32］，此多视图数据共包括100种植物的叶子样本，所有样本共1 600个。所用三个视图包括形状描述子（64维）、精细尺度边距（64维）和纹理直方图特征（64维）。

d）3Sources［33］，此多视图数据集共包括6类416篇新闻数据，其中169篇文章来自三家不同媒体（BBC，Guardian，Reuters）。本文将使用来源于三家不同媒体的169篇新闻数据集，三个视图的维度分别为3560维、3068维和3631维。

e）WebKB［34］，此多视图数据包括4类共203个网页样本，所有样本收集于大学计算机科学实验室，每个网页均由网页内容（1703维）、超链接的锚文本（230维）和标题文本（230维）组成。

f）Prokaryotic［35］，此多视图数据共包括4类551个样本，所有样本均为异构多视图数据描述的原核微生物，包括文本数据和不同的基因组表示形式。该多视图数据包括文本描述（438維）、蛋白质组组成基因组（393维）和是否存在于基因库中的指示符（3维）。

具体数据集描述如表1所示。

3.2 对比方法

a）Co-regularized spectral clustering（Co-reg）［7］。Co-reg假设多视图数据上由单个视图通过谱聚类得到的聚类指示矩阵应趋于一致，为达到此目的，Co-reg通过增加协同正则化约束来减少不同视图上的聚类指示矩阵间的差异性。

b）Robust multi-view spectral clustering（RMSC） ［36］。RMSC通过引入标准的隐马尔可夫链至聚类过程中，并在亲和度图上引入秩约束和稀疏性约束，使得融合后的亲和度图更加能表示样本间的相似性关系。

c）Latent multi-view subspace clustering（LMSC） ［15］。LMSC引入隐表示融合不同视图上的共享信息，并在隐空间内利用样本的自表示属性获得系数矩阵。

d）Multi-view low-rank sparse subspace clustering（MLRSC） ［14］。MLRSC通过自表示属性在不同视图上建立各自的系数矩阵，并通过约束系数矩阵低秩、稀疏获得更好的表示，此外在学习的过程中也考虑到了不同视图间的差异性。

e）Graph-based multi-view clustering（GMC） ［9］。GMC在不同视图上各自学习到相似度图，之后通过一个共享的相似度图约束各个视图上的相似度图区域一致，在约束的过程中充分考虑到不同视图的不同重要性。

f）Latent representation correlation preserving（LRCP） ［37］。LRCP在原始空间获得各个视图的初始相似度图，并以此为基础学习得到一个共同的隐表示，之后在隐空间中保持样本间的互相关关系映射。

g）Self-weighting multi-view spectral clustering based on nuclear norm（SMSCN）［37］。SMSCN先在不同视图上获得初始的亲和度图，之后引入一个共同的亲和度图用于融合不同视图上的共享信息，同时引入核范数来探索各自视图上的独特信息。

表2～7展示了本文MLC2L算法与对比方法的实验性能。从具体实验结果可知，MLC2L在大多数数据集上均能获得超越现有方法的优良性能。具体地，在数据集MSRC-v1、UCI和100Leaves上，MLC2L在各项聚类指标上均获得了最优的实验结果，且在某些指标上MLC2L相比次优的方法提升较大，如在数据集MSRC-v1上，MLC2L所获得的NMI实验结果（0.848）相对于次优结果（0.812）提高了大约4.4%左右;在数据集UCI上，MLC2L所获得的Precision实验结果（0.921）相对于次优结果（0.889）提高了大约3.5%左右；在其余三个数据集上，MLC2L仅有一项聚类指标未能达到最优的实验效果分别为3Sources（recall）、WebKB（recall）和Prokaryotic（NMI）。综合来看，相比于算法，MLC2L在隐空间中共同学习样本间的局部相似性和整体的聚类结构后使得学习到的隐表示更加符合同类聚合、异类远离的实验目标。

由于在迭代求解过程中，λ2仅涉及到总的目标函数值的计算，实际并不参与求解W、Y、S、M、B五个未知变量，所以本文将先探索展示超参数λ1、λ3对整体目标函数的影响，其中λ1关乎局部结构的影响，λ3关乎整体聚类结构的影响。图1具体展示了超参数λ1、λ3与聚类指标NMI之间的关系，从图中可以看出在不同数据集上，λ1和λ3的不同取值对于聚类性能的影响是不同的，特别地在MSRC-v1和Prokaryotic数据集上，样本聚类性能对聚类结构λ3的变化更敏感；而在UCI和100Leaves数据集上，λ1和λ3的变化对于整体聚类性能的影响并不太敏感；而在剩余两个数据集上，聚类性能对于λ1和λ3的变化都很敏感。此外，在大多数数据集上λ1基本都会取到预设定的最大值，可以预见的是，若逐步扩大参数的筛选范围，本文方法可能获得更加优良的聚类性能。

图2展示了超参数λ2与NMI之间的关系。可以看出在各个实验数据集上，聚类性能指标NMI受超参数λ2的影响较小，在不影响精度的情况下可以将其设定为确定值以减少参数筛选所带来的时间消耗。

图3展示了隐表示维度d与NMI之间的关系。可以看出本文方法中隐表示的维度大多在100维以下便可达到最优的聚类实验性能，相比于原始多视图数据的高维维数，引入隐表示不但可以融合多视图数据获得一个共享的表示，同时也可用更低的维度表示原始数据以便下游分类、检测方法使用，此外也可抑制可能存在的噪声，以此提高样本聚类实验的性能。

图4展示了优化求解算法迭代轮次与NMI之间的关系，从各个数据集上的实验效果来看，本文方法基本可在前15轮求解轮次内达到目标函数收敛的目的，以此可从侧面证明本文方法的高效性能。

从上述聚类实验结果和具体参数分析来看，MLC2L通过引入隐表示融合不同视图上的共享信息，并在隐空间内同时学习样本的局部相似性和全局聚类结构，以此促进学习到的隐表示能获得更加合理的表示组成，并在隐空间内达到同类聚合、异类远离的分布结构。最后的目标函数迭代曲线也展示了所提出方法的收敛性。

4 结束语

本文提出了一种基于聚类结构和局部相似性的多视图隐空间聚类方法MLC2L，通过一个隐表示学习不同视图上的共享信息并降低原始空间中可能存在的噪声干扰，之后在隐空间中同时学习样本的局部结构和聚类结构，以此促进学习到的隐表示能获得更加合理的表示组成，并在隐空间内达到同类聚合、异类远离的聚类簇分布。在多个真实数据集上的实验结果

证明了MLC2L的优越性能，具体地，涉及到6个真实数据集上的30个结果指标，在8个对比方法中，有26个结果最高，4个结果次高。特别地，在MSRC-v1上，针对性能指标NMI，MLC2L相对于次优结果提高了4.4%左右，在UCI上，性能指標MLC2L，precision相对于次优结果提高了3.5%左右。此外，收敛性实验结果显示MLC2L方法在15轮迭代左右已经收敛。大量的实验结果证明了本文方法的有效性和收敛性。在未来的工作中将进一步考虑不完整视图中如何应用聚类结构。

参考文献：

[1]Fu Lele，Lin Pengfei，Vasilakos A V，et al.An overview of recent multi-view clustering［J］.Neurocomputing，2020，402（8）：148-161.

［2]赵博宇，张长青，陈蕾，等.生成式不完整多视图数据聚类［J］.自动化学报，2021，47（8）：1867-1875.（Zhao Boyu，Zhang Changqing，Chen Lei， et al.Generative model for partial multi-view clustering［J］.Acta Automatica Sinica，2021，47（8）：1867-1875.）

［3]Hussain T，Muhammad K，Ding Weiping，et al.A comprehensive survey of multi-view video summarization［J］.Pattern Recognition，2021，109（1）：107567.

［4]Baltruaitis T，Ahuja C，Morency L P.Multimodal machine learning：A survey and taxonomy［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2019，41（2）：423-443.

［5]Von Luxburg U.A tutorial on spectral clustering［J］.Statistics and Computing，2007，17（4）：395-416.

［6]Likas A，Vlassis N，Verbeek J J.The global K-means clustering algorithm［J］.Pattern recognition，2003，36（2）：451-461.

［7]Bickel S，Scheffer T.Multi-view clustering［C］//Proc of the 4th IEEE International Conference on Data Mining.Washington DC：IEEE Computer Society，2004：19-26.

［8]Kumar A，Rai P，Daumé H.Co-regularized multi-view spectral clustering［C］//Proc of the 24th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc，2011：1413-1421.

［9]Nie Feiping，Cai Guohao，Li Xuelong.Multi-view clustering and semi-supervised classification with adaptive neighbours［C］//Proc of the 31st AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017：2408-2414.

［10]Wang Hao，Yang Yan，Liu Bing.GMC：graph-based multi-view clustering［J］.IEEE Trans on Knowledge and Data Engineering，2020，32（6）：1116-1129.

［11]Wang Rong，Nie Feiping，Wang Zhen，et al.Parameter-free weighted multi-view projected clustering with structured graph learning［J］.IEEE Trans on Knowledge and Data Engineering，2020，32（10）：2014-2025.

［12]Wang Beilei，Xiao Yun，Li Zhihui，et al.Robust self-weighted multi-view projection clustering［C］//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：6110-6117.

［13]Gao Quanxue，Wan Zhizhen，Liang Ying，et al.Multi-view projected clustering with graph learning［J］.Neural Networks，2020，126（6）：335-346.

［14]Gao Hongchang，Nie Feiping，Li Xuelong，et al.Multi-view subspace clustering［C］//Procs of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015.

［15]Brbic＇ M，Kopriva I.Multi-view low-rank sparse subspace clustering［J］.Pattern Recognition，2018，73（1）：247-258.

［16]Zhang Changqing，Hu Qinghua，Fu Huazhu，et al.Latent multi-view subspace clustering［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：4333-4341.

［17]Chen Mansheng，Huang Ling，Wang Changdong，et al.Multi-view clustering in latent embedding space［C］//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：3513-3520.

［18]Huang Ling，Chao Hongyang，Wang Changdong.Multi-view intact space clustering［J］.Pattern Recognition，2019，86（2）：344-353.

［19]Zhang Zheng，Liu Li，Shen Fumin，et al.Binary multi-view clustering［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2019，41（7）：1774-1782.

［20]Si Xiaomeng，Yin Qiyue，Zhao Xiaojie，et al.Consistent and diverse multi-view subspace clustering with structure constraint［J］.Pattern Recognition，2022，121（1）：108196.

［21]Ding C，He Xiaofeng，Simon H D.On the equivalence of nonnegative matrix factorization and spectral clustering［C］//Proc of SIAM International Conference on Data Mining.［S.l.］：Society for Industrial and Applied Mathematics，2005：606-610.

［22]Nie Feiping，Wang Xiaoqian，Jordan M I，et al.The constrained Laplacian rank algorithm for graph-based clustering［C］//Pro of the 30th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：1969-1976.

［23]Grone R，Merris R，Sunder V S.The Laplacian spectrum of a graphs［J］.SIAM Journal on Matrix Analysis and Applications，1990，11（2）：218-238.

［24]Jeribi A.Spectral graph theory［M］//Spectral Theory and Applications of Linear Operators and Block Operator Matrices.Cham：Springer，2015：413-439.

［25]Fan K.On a theorem of Weyl concerning eigenvalues of linear transformations I［J］.Proceedings of the National Academy of Sciences of the United States of America，1949，35（11）：652-655.

［26]Gong Yunchao，Lazebnik S，Gordo A，et al.Iterative quantization：a procrustean approach to learning binary codes for large-scale image retrieval［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2013，35（12）：2916-2929.

［27]Huang，Jin，Nie Feiping，Huang Heng.Spectral rotation versus K-means in spectral clustering［C］//Proc of the 27th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2013：431-437.

［28]Xia Rongkai，Yan Pan，Du Lei，et al.Robust multi-view spectral clustering via low-rank and sparse decomposition［C］//Proc of the 28th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2014：2149-2155.

［29]Wang Siwei，Liu Xinwang，Zhu Xinzhong，et al.Fast parameter-free multi-view subspace clustering with consensus anchor guidance［J］.IEEE Trans on Image Processing，2022，31：556-568.

［30]Xu Jinglin，Han Junwei，Nie Feiping.Discriminatively embedded K-means for multi-view clustering［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：5356-5364.

［31]Multiple Features data set［DB/OL］.https：//archive.ics.uci.edu/ml/datasets/Multiple+Features.

［32]One-hundred plant species leaves data set［DB/OL］.https：//archive.ics.uci.edu/ml/datasets/One-hundred+plant+species+leaves+data+set.

［33]3 Sources dataset［DB/OL］.http：//mlg.ucd.ie/datasets/3sources.html.

［34]LINQ［DB/OL］.https：//linqs.org/datasets/.

［35]Brbic＇ M，Pikorec M，Vidulin V，et al.The landscape of microbial phenotypic traits and associated genes［J］.Nucleic Acids Research，2016，44（21）：10074-10090.

［36]Gui Zhongyan，Yang Jing，Xie Zhiqiang.Learning an enhanced consensus representation for multi-view clustering via latent representation correlation preserving［J］.Knowledge-Based Systems，2022，253（10）：109479.

［37]Shi Shaojun，Nie Feiping，Wang Rong，et al.Self-weighting multi-view spectral clustering based on nuclear norm［J］.Pattern Recognition，2022，124（4）：108429.

收稿日期：2022-12-06；

修回日期：2023-03-14

基金項目：国家自然科学基金青年科学基金资助项目（62206114）

作者简介：宋菲（1987-），女，安徽合肥人，讲师，硕士，主要研究方向为计算机视觉（609673251@qq.com）.