模糊系统建模综述

孙富春,罗敏楠

(1.清华大学计算机科学与技术系，北京 100084；2.西安交通大学电子与信息学院，陕西 西安 710049)



模糊系统建模综述

孙富春1,罗敏楠2

(1.清华大学计算机科学与技术系，北京 100084；2.西安交通大学电子与信息学院，陕西 西安 710049)

摘要：模糊系统的一致逼近能力和可解释性能使得其能够直观高效地描述复杂的非线性不确定系统。然而，复杂系统的模糊建模方法面临“规则爆炸”的挑战。该文首先回顾了模糊系统一致逼近性以及模糊系统逼近的充分条件和必要条件。在此基础上，综述了基于数据驱动的模糊系统辨识方法，并重点介绍了流行的稀疏表达思想在模糊系统辨识领域中的应用。

关键词：模糊系统；一致逼近；数据驱动模糊建模

0引言

1965年，Lotfi A.Zadeh通过引入“边界不明显的类”的概念，提出了一种分析复杂系统的新方法，即模糊集合和模糊逻辑。这种方法最大限度地模拟人的思维及推理方式，使用语言变量和模糊命题代替数值变量来描述系统行为，从而能更有效地处理不确定性信息。经过人们半个多世纪以来的不断努力，模糊理论和技术获得了长足的发展，并且广泛应用于工农业生产、工程技术、信息、医疗、气象等领域。二十世纪九十年代以来，很多学者对模糊系统的一致逼近能力进行了广泛而深入的研究，给出了模糊系统作为函数逼近器的充分条件和必要条件，证明了模糊系统作为一种万能逼近器能够在致密集上以任意精度逼近任意的非线性系统[1-15]。相比较其他的一致逼近器，例如人工神经网络和遗传算法(Genetic Algorithms)，模糊模型的优势还体现在它不是一个黑盒子模型。实际上，模糊模型使用语义化和可解释的模糊规则来描述一个系统，能够在监督过程中以定性与定量相结合的方式，简单透明地理解模型响应。模糊模型具有的直观高效地描述复杂非线性不确定系统的优势使得其在自动控制、模式识别、聚类分析等领域取得了成功的应用。特别是Takagi-Sugeno(TS)模糊模型以仿射函数作为模糊规则后件，通过将非线性系统分解为一系列局部线性系统，提供了一整套行之有效的T-S模糊系统逼近和辨识的框架，使得模糊系统在智能控制等领域得到了广泛的应用[16-19]。本文中，我们将从模糊系统的一致逼近性以及基于数据驱动的模糊系统辨识这两个方面综述模糊系统建模的进展。

1模糊系统的一致逼近性研究

模糊系统的一致逼近性质是模糊系统能够在表示复杂非线性系统并模糊控制等领域成功应用的基石。1992年，王立新教授首次使用Stone-Weierstrass定理，证明了采用高斯隶属度函数、乘积推理和中心平均解模糊法的一类模糊系统是万能逼近器[1]，随后一些学者陆续研究了其他各类模糊系统，并得到了相同的结果[2-15]。特别是，Zeng和Singh证明了当隶属度函数是伪梯形时，Mamdani模糊系统是一致逼近器[2-3]；李洪兴教授将模糊控制算法归结为某种插值算法以说明模糊系统的一致逼近性能[13]；还有一些学者借助径向基函数神经网络的通用逼近性以及其在函数上与模糊系统的等效性，证明了模糊系统的一致逼近性[14-15]。

1.1　模糊逼近的充分条件研究

给定待逼近的连续实函数，如何确定输入输出模糊集合以及模糊规则的个数以实现模糊系统达到给定的逼近精度？对这个问题的回答就是模糊系统逼近的充分条件。在这一问题的研究中，1994年，H.Ying首次通过建立模糊系统对任意多项式函数的一致逼近性，提出了单输入、多输入模糊系统在给定精度前提下，所需要模糊集合以及模糊规则个数的解析计算公式[4，20-21]。随后，Zeng进一步采用多项式函数的泰勒级数展开方法，推导了保守性更弱的模糊系统逼近的充分条件[2-3]。然而，这些方法都没有考虑模糊规则中隶属度函数的形式和待逼近函数的局部特性对模糊系统充分条件的影响，为此孙等人充分考虑到期望函数的局部特性，研究了全交叠三角形隶属函数时，模糊系统逼近的充分条件[22]，并在理论上证明了该方法构造的模糊系统，规则数减少一半以上。

在模糊系统逼近充分条件的研究中，一方面，随着给定逼近精度的提高，模糊模型所需要的规则个数急剧增长；另一方面，为了减少模糊规则的个数，提出的新方法所需要的计算量却越来越大。这一矛盾激发了学者们对于模糊系统逼近的必要条件的研究，即是否存在更优的系统配置来满足要求精度的模糊系统，最优的模糊系统应该具备哪些特性[23]？

1.2　模糊逼近的必要条件研究

目前对于模糊系统必要条件的研究还比较少，文献[24-26]对Mamdani模糊系统以及T-S模糊系统输出函数单调性的研究结果表明，模糊系统实现一致逼近性所需要的模糊规则数目与待逼近函数的具体形式没有明确的关联，而是随着待逼近函数极点个数的增加而增加。值得注意的是，这些研究结果仅局限于模糊模型精度趋于零的时候。当要求模糊系统逼近精度为给定值时，这些结论将不再成立。为此，孙等人深入研究了Mamdani型模糊系统在满足给定逼近精度的必要条件[24]，给出了给定逼近精度条件下构造模糊系统的必要条件。数值分析表明，该方法构造的模糊系统规则数较传统方法减少一半以上[2-3]。

2数据驱动的模糊系统辨识

在模糊系统建模研究初期，模糊规则主要来源于专家的知识和经验，称之为基于专家知识的模糊系统建模。但是随着信息量的增长和需求的变换，以及难免的专家知识缺乏，人们开始研究从大量数据中提取模糊系统建立所需要的知识，这就是基于数据驱动的模糊系统辨识。顾名思义，数据驱动的系统辨识是根据输入/输出样本点集合来进行的，具体到模糊系统，这种输入/输出映射关系的辨识表现为模糊规则的提取和优化。由于模糊模型对于复杂非线性系统的一致逼近能力和良好的可解释性，它能够帮助人们从大量纷杂的数据中提取知识，认识系统的本质。目前，基于数据驱动的模糊系统辨识已经成功应用于故障检测、图像分类、决策支持系统以及控制系统的辨识等领域。本节首先综述基于数据驱动的模糊系统辨识，然后介绍论文作者提出的一种新型块结构稀疏描述的模糊系统辨识方法。

2.1　数据驱动模糊系统辨识

目前已经有一些比较成熟的数值优化方法用于从输入/输出数据对中提取模糊规则，其中,J.S.R.Jang研究了一种类似于T-S模糊系统的神经模糊系统并使用反向传播技术优化模糊规则前件中的非线性参数，称之为基于自适应神经网络的模糊推理系统(ANFIS)[25]。J.Botzheim等研究了当模糊规则前件中的模糊语义描述为三角或者高斯模糊集合时，基于Levenberg-Marquardt优化算法的模糊规则提取[26]。基于遗传算法，同时考虑模糊系统精度和复杂性的模糊规则优化和提取方法[27-28]，以及基于模糊聚类的genfis2和genfis3[29-30]等方法。聚类方法被广泛的应用于输入/输出数据的划分和模糊规则前件的提取，例如k-means方法[31]、基于目标函数最优化方法，用隶属度描述每个数据点属于不同聚类程度的模糊c-means划分方法和模糊c-回归聚类方法[32-36]、向量量化方法[37-38]、山聚类和减法聚类方法[39]、能够自动地探测不同聚类的形状的GK(Gustafson&Kessel)模糊聚类算法[40]等。

由于大量高维数据的存在，在模糊系统的辨识中，一个很重要的问题就是模糊规则个数的确定。在缺乏足够的先验知识的情况下，为了达到较高的模型精度，往往不加挑选地使用所有的模糊规则，从而导致模糊规则的冗余和模型的过拟合问题。为了确定模糊系统中最优的模糊规则个数，一些学者致力于使用正交转换技术减少模糊规则，例如基于径向基函数(RBF)神经网络和模糊推理系统相似性的特征值分解方法[41]、考虑输入输出数据噪声时，基于无偏参数估计的全最小二乘方法[41-42]、给定分层结构的模糊规则库稀疏插值方法[43-44]、根据模糊系统点火强度矩阵的列转换正交向量集构造每条模糊规则可删减的偏差率，从而根据每条模糊规则贡献的大小，挑选模糊规则的正交最小二乘方法(OLS)、考虑模糊模型线性回归特质,根据人为设置的系统准确度阀值提炼模糊规则的奇异值分解(SVD)，以及由此推广的基于张量形式的高阶奇异值分解方法(HOSVD)和基于高阶奇异值分解的模型转换方法(TP)[45]等。

2.2　稀疏表达及其在模型辨识中的应用

2006年，美国科学家Candes和Donoho创造性的提出了压缩感知(Compress Sensing)的思想和概念[46]。稀疏表达的思想正是伴随着压缩感知理论发展起来的。顾名思义，稀疏表达思想就是通过在充分完备的原子字典中挑选较少的原子来重构原始信号，从而使得表示系数向量中非零元素的个数尽可能的少。稀疏表达及其相应的优化算法已经被推广到块结构稀疏表达、联合结构稀疏表达等多个方面，涌现了一系列比较成熟的理论研究成果[47-50]，并成功地应用于信号分解和编码、语音信号处理、自然图像特征提取和去噪，以及模式识别和神经网络等多个方面。

2010年，E.Lughofer等首次将稀疏表达的思想应用于基于数据驱动的模糊系统建模中[37-38]。这种方法通过给每一个模糊规则增加权重变量，将T-S模糊系统的辨识问题转化为基于模糊规则权重稀疏限制的非线性优化问题。从而通过对模糊规则权重的稀疏表示达到精简模糊规则的目的。2011年，L.Bako将线性切换系统中子模型的辨识问题形式化为组合的L0稀疏优化问题，并使用L1范数稀疏逼近方法进行求解[51]。2012年，D.Lin研究了基于稀疏表达的离散时间线性系统最小时间问题[52-53]，旨在于保证理想的状态向量序列中含有尽可能多的零元素；以及基于稀疏学习方法的马尔科夫跳线性系统。

然而，传统的模糊系统构造方法往往忽略了模糊系统内潜在的块结构信息，不加挑选地使用所有的模糊规则字典构造模糊系统，从而造成了模糊规则的冗余和模型的过拟合等问题。针对“如何挖掘模糊模型的结构性信息”、“如何降低模糊模型的规则数”这两个科学问题，我们充分考虑了模糊模型内在的块结构信息，提出了块结构稀疏编码的T-S模糊系统辨识方法[54-57]。一方面，我们研究了针对多输入单输出模糊系统辨识的块结构稀疏编码方法。这种方法通过将每一个规则后件参数向量定义为一个块结构，将多输入单输出模糊系统辨识问题转化为同时考虑模糊系统精度和模糊规则个数的块结构稀疏优化问题。这样，在保证系统精度的前提下，重要的模糊规则字典被挑选，冗余的模糊规则被淘汰。另一方面，我们研究了多输入多输出模糊系统的联合块结构稀疏编码方法。这种方法摒弃了传统建模方法将多输入多输出系统分解成多个多输入单输出模糊系统处理的技术，而是综合考虑多输出变量的各个分量，使得模糊规则后件每一维输出共享同一个模糊规则前件，进而将多输入多输出模糊系统的辨识问题转化为基于联合块结构稀疏描述的线性优化问题。这样的方法能够在同时考虑每一维模糊系统输出的基础上实现重要模糊规则的挑选和冗余模糊规则的剔除。通过大量实际输入/输出数据试验，并与现有的方法比较，我们的方法能够使用较少的模糊规则构造模糊系统。更重要的是，由于稀疏思想的引入，块结构稀疏描述的方法极大的减少了计算量。

3结论

本文综述了近年来人们在模糊系统建模领域研究的主要进展，包括了模糊系统作为函数逼近器的充分条件、必要条件和数据驱动的模糊系统辨识方法。稀疏表达和优化是面向高维大规模数据处理提出了一种高效的学习方法，其在语音信号处理、自然图像特征提取与去噪以及模式识别领域已经取得了成功应用。论文结合作者自己的研究工作，重点讨论了块结构稀疏描述的模糊系统辨识理论方法。此外，面向模糊系统的“维数爆炸”问题，目前已经有一些基于稀疏表达的模式识别方法，然而这还只是一个开始，仍有大量工作要做。

参考文献

[1]Wang L X.Fuzzy systems are universal approximators[C]//Fuzzy Systems，1992, IEEE International Conference on.San Diego：IEEE，1992：1163-1170．

[2]Zeng X J，Singh M G.Approximation theory of fuzzy systems-MIMO case[J].Fuzzy Systems，IEEE Transactions on，1995，3(2):219-235．

[3]Zeng X J，Singh M G.Approximation theory of fuzzy systems-SISO case[J].Fuzzy Systems，IEEE Transactions on，1994，2(2):162-176．

[4]Ying H.General SISO Takagi-Sugeno fuzzy systems with linear rule consequent are universal approximators[J].Fuzzy Systems，IEEE Transactions on，1998,6(4):582-587．

[5]Buckley J J.Universal fuzzy controllers[J].Automatica，1992，28(6):1245-1248．

[6]Castro J L.Fuzzy logic controllers are universal approximators[J].Systems，Man and Cybernetics，IEEE Transactions on，1995，25(4):629-635．

[7]Dickerson J A，Kosko B.Fuzzy function approximation with ellipsoidal rules[J].Systems，Man，and Cybernetics，Part B：Cybernetics，IEEE Transactions on，1996,26(4):542-560．

[8]Huang S H，Zhang H C，Sun S，et al.Function approximation and neural-fuzzy approach to machining process selection[J].Components，Packaging，and Manufacturing Technology，Part C，IEEE Transactions on，1996，19(1):9-18．

[9]Lewis F L，Zhu S Q，Liu K.Function approximation by fuzzy systems[C]//American Control Conference，Proceedings of the 1995.Seattle,WA：IEEE，1995，5：3760-3764．

[10]Mouzouris G C，Mendel J M.Nonsingleton fuzzy logic systems：theory and application[J].Fuzzy Systems，IEEE Transactions on，1997，5(1):56-71．

[11]Nguyen H T，Kreinovich V，Sirisaengtaksin O.Fuzzy control as a universal control tool[J].Fuzzy Sets and Systems，1996,80(1):71-86．

[12]Yen J，Wang L.Simplifying fuzzy rule-based models using orthogonal transformation methods[J].Systems，Man，and Cybernetics，Part B：Cybernetics，IEEE Transactions on，1999，29(1):13-24．

[13]李洪兴.模糊控制的插值原理.中国科学(E 辑)，1998，28(3):259-267．

[14]Jang J S R，Sun C T.Functional equivalence between radial basis function networks and fuzzy inference systems[J].Neural Networks，IEEE Transactions on，1993，4(1):156-159．

[15]Park J，Sandberg I W.Universal approximation using radial-basis-function networks[J].Neural computation，1991，3(2):246-257．

[16]Qin S J，Borders G.A multiregion fuzzy logic controller for nonlinear process control[J].Fuzzy Systems，IEEE Transactions on，1994，2(1):74-81．

[17]Marsili-Libelli S，Müller A.Adaptive fuzzy pattern recognition in the anaerobic digestion process[J].Pattern Recognition Letters，1996，17(6):651-659．

[18]Kim E，Park M，Ji S，et al.A new approach to fuzzy modeling[J].Fuzzy Systems，IEEE Transactions on，1997，5(3):328-337．

[19]Setnes M，Roubos H.GA-fuzzy modeling and classification：complexity and performance[J].Fuzzy Systems，IEEE Transactions on，2000，8(5):509-522．

[20]Ying H.Sufficient conditions on general fuzzy systems as function approximators[J].Automatica，1994，30(3):521-525．

[21]Ying H.Sufficient conditions on uniform approximation of multivariate functions by general Takagi-Sugeno fuzzy systems with linear rule consequent[J].Systems，Man and Cybernetics，Part A：Systems and Humans，IEEE Transactions on，1998，28(4):515-520．

[22]Sun F C，Zhao N.Universal approximation for Takagi-Sugeno fuzzy systems using dynamically constructive method-SISO cases[C]//Intelligent Control，2007.ISIC 2007.IEEE 22nd International Symposium on.IEEE，2007：150-155．

[23]Yang J，Sun F C，Liu H P.Necessary and Sufficient Conditions for General SISO Mamdani Fuzzy Systems on a Given Accuracy.In Proceeding of IEEE International Conference on Systems，Man，and Cybernetics.San Antonio：IEEE，2009：698-703.

[24]杨晋.Mamdani型模糊系统满足给定逼近精度的必要条件研究[D]，北京：清华大学，2009．

[25]Jang J S R.ANFIS：adaptive-network-based fuzzy inference system[J].Systems，Man and Cybernetics，IEEE Transactions on，1993，23(3):665-685．

[26]Burger M，Haslinger J，Bodenhofer U，et al.Regularized data-driven construction of fuzzy controllers[J].Journal of Inverse and Ill-posed Problems，2002，10(4):319-344．

[27]Cordón O，Gomide F，Herrera F，et al.Ten Years Of Genetic Fuzzy Systems：Current Framework And New Trends[J].Fuzzy Sets Systems.2004，141(1):5-31．

[28]Wang D，Zeng X J，Keane J.An evolving-construction scheme for fuzzy systems[J].Fuzzy Systems，IEEE Transactions on，2010，18(4):755-770．

[29]Yager R R，Fileu D P.Learning of fuzzy rules by mountain clustering[C]//Optical Tools for Manufacturing and Advanced Automation.International Society for Optics and Photonics，Boston：Society of Photo-Optical Instrumentation Engineers，1993：246-254．

[30]Babuška R.Fuzzy modeling for control[M].Boston：Kluwer，1998．

[31]Bezdek J C.Pattern recognition with fuzzy objective function algorithms.Boston /New York：Kluwer/Plenum，1981．

[32]Kiliç K，Uncu Ö，Türksen I B.Comparison of different strategies of utilizing fuzzy clustering in structure identification[J].Information Sciences，2007，177(23):5153-5162．

[33]Tsekouras G E.On the use of the weighted fuzzy c-means in fuzzy modeling[J].Advances in Engineering Software，2005，36(5):287-300．

[34]Tsekouras G，Sarimveis H，Kavakli E，et al.A hierarchical fuzzy-clustering approach to fuzzy modeling[J].Fuzzy Sets and Systems，2005，150(2):245-266．

[35]Gath I，Geva A B.Unsupervised optimal fuzzy clustering[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，1989，11(7):773-781．

[36]Gustafson D，Kessel W.Fuzzy clustering with a fuzzy covariance matrix[C]//1978 IEEE conference on decision and control including the 17th symposium on adaptive processes.San Diego：IEEE CDC，1978：761-766．

[37]Lughofer E，Kindermann S.SparseFIS：data-driven learning of fuzzy systems with sparsity constraints[J].Fuzzy Systems，IEEE Transactions on，2010，18(2):396-411．

[38]Lughofer E.Extensions of vector quantization for incremental clustering[J].Pattern Recognition，2008，41(3):995-1011．

[39]Chiu S L.Fuzzy model identification based on cluster estimation[J].Journal of intelligent and Fuzzy systems，1994，2(3):267-278．

[40]Yager R R，Filev D P.Generation of fuzzy rules by mountain clustering[J].Journal of Intelligent and Fuzzy Systems：Applications in Engineering and Technology，1994，2(3):209-219．

[41]Yen J，Wang L.Simplifying fuzzy rule-based models using orthogonal transformation methods[J].Systems，Man，and Cybernetics，Part B：Cybernetics，IEEE Transactions on，1999，29(1):13-24．

[42]Jakubek S，Hametner C，Keuth N.Total least squares in fuzzy system identification:an application to an industrial engine[J].Engineering Applications of Artificial Intelligence，2008，21(8):1277-1288．

[43]Yam Y，Kóczy L T.Representing membership functions as points in high-dimensional spaces for fuzzy interpolation and extrapolation[J].Fuzzy Systems，IEEE Transactions on，2000，8(6):761-772．

[44]Baranyi P，Kóczy L T，Gedeon T T D.A generalized concept for fuzzy rule interpolation[J].Fuzzy Systems，IEEE Transactions on，2004，12(6):820-837．

[45]Baranyi P，Yam Y.Case study of the TP-model transformation in the control of a complex dynamic model with structural nonlinearity[J].Industrial Electronics，IEEE Transactions on，2006，53(3):895-904．

[46]Candes E,Romberg J.Sparsity and incoherence in compressive sampling[J].Inverse problems，2007，23(3):969-985．

[47]Daubechies I.Time-frequency localization operators：A geometric phase space approach[J].Information Theory，IEEE Transactions on，1988，34(4):605-612．

[48]Elad M.Sparse and redundant representations:from theory to applications in signal and image processing[M].New York：Springer，2010．

[49]Huang J，Zhang T，Metaxas D.Learning with structured sparsity[J].The Journal of Machine Learning Research，2011，12：3371-3412．

[50]Gong P，Ye J，Zhang C.Multi-stage multi-task feature learning[C]//The 26th Annual Conference on Neural Information Processing Systems (NIPS 2012),Lake Tahoe,Nevada：Advances in Neural Information Processing Systems.2012：1988-1996．

[51]Bako L.Identification of switched linear systems via sparse optimization[J].Automatica，2011，47(4):668-677．

[52]Chen D，Bako L，Lecoeuche S.The minimum-time problem for discrete-time linear systems:A non-smooth optimization approach[C]//Control Applications (CCA),2012 IEEE International Conference on.Dubrovnik：IEEE，2012：196-201．

[53]Chen D，Bako L，Lecoeuche S.A recursive sparse learning method：Application to jump markov linear systems[C]//18th IFAC World Congress.Milan：IFAC，2011：TuA01.5．

[54]Luo M N，Sun F C，Liu H P.Hierarchical Structured Sparse Representation for T-S Fuzzy Systems Identification[J].Fuzzy Systems，IEEE Transactions on，2013，21(6):1032-1043．

[55]Luo M N，Sun F C，Liu H P，et al.A novel T-S fuzzy systems identification with block structured sparse representation[J].Journal of the Franklin Institute，2014,351(7):3508-3523．

[56]Luo M N，Sun F C，Liu H P.A dynamic TS fuzzy systems identification algorithm based on sparsity regularization[C]//Intelligent Control (ISIC),2012 IEEE International Symposium on.IEEE，2012：721-726．

[57]Luo M N，Sun F C，Liu H P.Joint Block Structure Sparse Representation for Multi-Input-Multi-Output(MIMO) T-S Fuzzy System Identification[J].Fuzzy Systems,IEEE Transactions on，2014，22(6):1387-1400．

A review of fuzzy system modeling

Sun Fuchun1， Luo Minnan2

(1.DepartmentofComputerScienceandTechnology，TsinghuaUniversity，Beijing100084，China；

2.SchooloftheElectronicandInformationEngineering,Xi’anJiaotongUniversity，Xi’anShanxi, 710049，China)

Abstract:The uniform approximation and interpretability of fuzzy system make it possible to describe complex nonlinear uncertain systems intuitively and efficiently. However， fuzzy modeling approach of complex systems faces the challenge of “rule explosion”. In this paper， we firstly reviewed the uniform approximations of fuzzy systems and the sufficient and necessary conditions of approximation property of fuzzy systems. On this basis， we summarizes identification approaches of fuzzy systems based on data driven， and focus onsparse representationin the application of fuzzy system identification．

Key words:Fuzzy Systems; Uniform Approximation; Data-driven Fuzzy Modeling

中图分类号：TP181

文献标识码：A

文章编号：1001-9146(2015)05-0001-06

作者简介：孙富春(1964-)，男，江苏人，教授，认知系统与信息处理，智能控制及机器人．

收稿日期：2015-09-06

DOI:10.13954/j.cnki.hdu.2015.05.001