基于颜色和纹理特征的面料图像情感语义分析

张海波 ，黄铁军 ，修 毅 ，刘 莉 ，姜 延

（1.北京服装学院计算机信息中心，北京 100029；2.北京服装学院服装材料研究开发与评价北京市重点实验室，北京 100029；3.北京大学 信息科学技术学院，北京 100871；4.北京服装学院 服装艺术与工程学院，北京 100029）

作为服装三要素之一，面料不仅可以诠释服装的风格和特性，而且直接左右着服装的色彩、造型的表现效果.服装设计可以说是以面料为材料、以人体为骨架的雕塑艺术[1].服装面料是一种物质，它的特性如质感、色彩、肌理等都影响着人的情感.当面料在设计师的手中产生时，就是艺术品，它就含有了自己的生命，含有设计师的情绪、设计师对社会的反映、对享有者的体贴和对自然、人体美的关注.所以说面料不只是物质，它含有美的灵魂，含有时代的信息，含有情感[2].随着信息技术和面料设计软件技术的发展，越来越多的设计师借助面料设计软件来设计面料图案.为了设计出更具有情感感知的面料图案，对数字化的面料图像进行情感判断是一个必不可少的环节；另外随着服装电子商务的快速发展，网购者也需要网站主办方提供一个服装情感的辅助判断软件对所售服装进行情感判断或识别.而由于目前技术条件的限制和情感的主观性，还没有一个比较成熟的系统能实现对面料图像的情感语义的识别，所以对服装面料图像的情感语义进行分析显得尤为迫切.作为图像的一种，目前对面料图像的情感语义分析的研究还不多见.Chen等[3]对织物图像的感性搜索进行了研究；贺静[4]对服装图像情感语义分类进行了研究；张海波等[5]对男西装图像的情感语义进行了分析.但对图像情感语义理解的研究比较多，如日本多所大学提出感性媒体研究，并实现了Art Meseum[6]和K-DIME[7]等情感图像检索原型系统；王伟凝[8]以艺术类图像为例研究了图像的情感语义分类和检索；Machajsik等[9]利用心理学和艺术学理论来提取图像功能特征从而实现图像情感分类；Dellandrea等[10]研究了基于离散三维情感模型的图像情感语义分类.以上研究在图像情感语义理解方面取得了一定的研究成果，但由于情感的主观性和建模的复杂性，“语义鸿沟”仍然历历在目，还需要做进一步的研究.本文对面料颜色、纹理特征和面料图像情感语义描述之间的对应关系进行了探讨，为后续的面料图像情感识别和检索打下基础.

1 面料图像情感因子空间模型

由于情感的主观性，一般情况下，给定某种面料，不同的人、不同的时间或不同的场合，对其情感的理解是不会完全相同的，甚至是相反的.所以本文在大量调查和测试的基础上[11]，通过数理统计的方法得出一个共性的规律，建立了面料图像情感语义模型[12].文献[12]通过统计分析将7维的情感语义归结为3个独立的因子，7对情感语义和3个因子的关系为:

f1、f2、f3这3个因子可以解释原7对情感语义变量总方差的90.488%（>85%）.

反过来，面料图像情感因子得分函数为:

根据因子得分系数矩阵，可以由每个图像样本的7对形容词评估值，计算得出3个因子的值.作为共同因子，各因子分别对应着不同的情感语义.这3个因子之间是相互独立的，且对初始7对情感语义形容词的解释程度高达90.488%，表明可以使用这3个因子来概括描述7对情感语义，且信息损失较小[12].

在以情感因子值估计为最终目的的面料图像特征提取过程中，需要抓住图像中与图像情感因子密切相关的本质特征.在目前图像检索的特征提取研究中，通常的方法都是先计算出较高维的图像特征（如颜色直方图、纹理、形状特征等），如果维数太高还需要进行降维处理，将最后得到的特征作为图像的特征描述.对这些降维后的特征所代表的具体含义则缺乏了解，到底哪些特征真正对图像的语义有贡献并不明确，所以，虽然目前提取图像低层特征的方法多种多样，但仍然很难从这些特征中推导出有意义的语义信息，从情感角度讨论的图像特征就相对更少了.另一方面，在对图像语义进行分类和提取的研究中，对于不同的语义类别需要侧重于不同的图像特征.

因此，需要根据人的心理效应和情感规律，从众多特征中找出那些与人的情感感知密切联系的特征，具体分析出各情感因素主要受哪些图像特征的影响，采用有针对性的图像视觉特征描述，以实现图像情感语义的推导.根据因子分析的结果发现，7维的情感语义主要由3个情感因子决定，每个因子分别对应了多个不同的形容词对.例如，第1个因子能较好的解释“高雅的—朴素的”、“华丽的—简约的”这2个词义；“丰富的—纯净的”、“强烈的—柔和的”与第2个因子相关程度高；“厚重的—轻薄的”、“温暖的—凉爽的”则主要与第3个因子相关.这说明，情感因子值与这些形容词之间存在很大的相关性，即引发这些情感语义的图像特征大致相同.因此，需要具体分析并构造与3个公共情感因子具有密切联系的图像特征，然后根据这些特征推导3个情感因子的值.

一般而言，彩色主要由亮度、色调、饱和度这3个要素构成[13].对于同一色调的彩色光，饱和度越高，颜色就越深、越浓.各种谱色光都是饱和度最高的彩色.亮度、色调、饱和度这3个要素不同程度的大小往往会给人不同的情感反应.例如暖色是温暖、兴奋、刺激、前进、活跃的象征；冷色给人凉爽、冰冷、理智、安静、冷漠的感觉；彩度高的令人兴奋、愉快，有外向、快节奏和很强的时代感；彩度低的显示朴素、悲哀、冷漠、沉静、内向和沉默寡言的表情.另外，纹理特征是表示图像的另一种重要的视觉特征，纹理结构反映图像亮度的空间变化情况，具有局部与整体的自相似性，纹理是由纹理基元按某种确定性的规律或某种统计规律排列组成的，在纹理区域内各部分具有大致相同的结构.

2 针对第1个因子的特征分析

从因子载荷矩阵中可以看出，与第1个因子关系比较密切的主要是“高雅的—朴素的”、“华丽的—简约的”这2个词义.作为同一个因子的组成成分，说明这些词义之间也存在着非常密切的联系.

根据色彩心理学理论，“高雅的—朴素的”、“华丽的—简约的”这一类词的情感感受，与图像色彩的纯度（饱和度）联系最为密切.低纯度的色彩给人以朴素、简单的感觉，如图 1（a）、（b）、（c）；高纯度的色彩则给人以鲜艳、高雅的感觉，如图 1（d）、（e）、（f）.

其次，色彩的冷暖也和“华丽的一简约的”具有一定关系，暖色调的色彩给人华丽的感觉，而冷色调的色彩给人朴素的感觉.如图 1（d）、（e）、（f）所示，图中包含很多红或黄等鲜艳的暖色，给人以华丽、艳丽的感觉，其对应的因子 1 的值较小；而图 1（a）、（b）、（c）中大部分是冷色调的灰色、暗蓝色，给人以朴素、简约的感觉，对应的因子1的值较大.另外，“高雅的—朴素的”则与色彩的对比度有较大关系，彩色对比度大的图像给人高雅、艳丽的感觉；对比度小的则给人以朴素的感觉.

图1 面料图像样本（因子1）Fig.1 Fabric image samples（the first factor）

对图1中面料图像特征的计算结果如表1所示.

表1 图1中面料图像的饱和度、色调和对比度值Tab.1 Values of saturation，tone and contrast of fabric image samples in figure 1

由表1数据可以看出，因子1大的图片饱和度较低，平均色调较大，对比度较低，反之则相反.因子1的值与图像的饱和度、冷暖关系、彩色对比度等密切相关，因此用于训练该因子的图像特征必须能够描述图像的饱和度、冷暖关系和色彩对比度.

本文采用饱和度—冷暖模糊直方图和色彩对比度值的综合特征作为估计第一因子的图像特征，具体描述如下:

2.1 饱和度描述

对图像中每个像素的饱和度值进行模糊化处理.这里只使用了3个隶属函数，分别计算饱和度值对“低饱和度”、“中饱和度”和“高饱和度”3个概念的隶属度.3个隶属函数定义如公式（6）所示，若一个像素的饱和度值为32，则它在低饱和度上的隶属度为0，在中饱和度上的隶属度为0.80，在高饱和度上的隶属度为0.20.比较对饱和度使用3个隶属函数与5个隶属函数的实验结果，发现使用5个隶属函数对结果并没有改善，这是因为人对饱和度的分辨能力并不如对亮度那么敏感所致，所以此处使用了3个隶属函数，如公式（6）所示，式中C为饱和度.

2.2 冷暖描述

冷暖本来是人体皮肤对外界温度高低的触觉，通过生活印象的积累，使人的视觉、触觉及心理活动之间产生了联系，色彩也就相应的会给人冷暖的感觉.色彩的冷暖与色调直接相关，红色、橙色、黄色等长波系列的色彩给人温暖的感觉，而短波的蓝色、绿色则给人寒冷的感觉.从色彩心理学来考虑，桔红的纯色定为最暖色，天蓝的纯色定义为最冷色，凡靠近暖极称为暖色，靠近冷极称为冷色，与两极距离相等的称为中性色.文献[14]和[15]对色彩情感的研究中，在印刷色样的情感主观调查基础上，采用回归分析等方法拟合出了描述色彩冷暖（warm-cold）的表达式，得到的表达式分别为:

式中:h为色调角度；B为亮度.

文献[14]和[15]都认为色调角在50°的时候为最暖，并使用色调值与50°的夹角的余弦cos（h-50°）来描述色彩的冷暖.参考该研究成果，文献[8]在色调值上定义暖色和冷色的隶属函数分别为:

其中，色调角度x的范围为[0，360°].若一个像素的色调值为70°，则它在暖色上的隶属度为0.934，在冷色上的隶属度为0.

综合饱和度与冷暖隶属函数，它们的组合类别共有6种，可以分别用“低饱和度暖色”、“中饱和度暖色”、“高饱和度暖色”与“低饱和度冷色”、“中饱和度冷色”、“高饱和度冷色”来描述，可以计算出一幅图像中每一个像素隶属于这6个类别的隶属度，若一个像素的饱和度值为32，色调为700，则该像素属于以上6类的隶属度分别为[0，0.74，0.19，0，0，0].

统计整幅图像中每个像素在这6个类别的隶属度之和，可以得到一个6维的饱和度—冷暖模糊直方图，该直方图能够较好的描述图像色彩的饱和度与冷暖的统计分布特性.图1中图片的饱和冷暖直方图如表2所示.

由表 2 可以看出，图 1（a）、（b）、（c）整体色彩比较单一，因此彩色对比度偏小，且整体偏向低饱和度或冷色调；图 1（d）、（e）、（f）整体偏向高饱和度或暖色调.上述分析与前面的分析大体一致，显示出它们在色彩饱和度和冷暖特征上的区别，能够较好的描述图像的饱和度和冷暖分布，有利于实现第一个情感因子的推导.

2.3 彩色对比度描述

此外，由于第一个情感因子还与图像的彩色对比度有密切联系，本文还定义了一幅图像的彩色对比度为ab_contrast，其表达式为公式（5）.

表2 饱和度—冷暖模糊直方图Tab.2 Saturation-cold-warm-contrast fuzzy histogram

综合饱和度—冷暖模糊直方图和图像对比度，并进行归一化处理后，可以得到一个7维特征，该特征中包括了对面料图像的饱和度、冷暖分布的统计描述和图像对比度的描述，与第1个因子中的情感描述之间具有密切联系，所以本文采用该7维特征作为第1个因子的图像特征.

3 针对第2个因子的特征分析

从公式（2）可以看出，与第2个因子关系比较密切的主要是“丰富的—纯净的”、“强烈的—柔和的”这2个词义.作为同一个因子的组成成分，说明这些词义之间也存在着非常密切的联系.

根据色彩心理学理论，“丰富的—纯净的”、“强烈的—柔和的”这类词的情感感受，与图像色彩对比度以及色彩的多样性联系最为密切.彩色对比度低且色彩单一给人以纯净的、柔和的感觉，如图2（a）、（b）、（c）所示；对比度高且色彩多的图片则给人以丰富的、强烈的感觉，如图 2（d）、（e）、（f）所示.

图2 面料图像样本（因子2）Fig.2 Fabric image samples（the second factor）

图片的彩色对比度可以用公式（5）进行描述，图2中各图像的彩色对比度如表3所示.

由表 3 可以看出，图 2（a）、（b）、（c）的因子 2 都较大，但是彩色对比度都很低；相反，图 2（d）、（e）、（f）的因子2都很小，但是彩色对比度都很大.

另外，从图2的6张图片中可以明显看出，图2（a）、（b）、（c） 中所包含的颜色种类比较少，整体给人很纯净单一的感觉，而图 2（d）、（e）、（f）中的颜色种类比较多，给人很丰富的感觉.

表3 彩色对比度表Tab.3 Values of color contrast of fabric image samples

灰度直方图是灰度级的函数，描述的是图像中该灰度级的像素个数或该灰度级像素出现的频率.即:横坐标表示灰度级，一般用r表示，纵坐标表示图像中该灰度级出现的个数或该灰度级像素出现的频率，用P（rk）表示.这个关系图就是灰度直方图，它反映了图像灰度分布的情况，计算公式如式（11）所示:

式中:N为一副图像中像素的总数；nk为第k级灰度的像素数；rk表示第k个灰度级；P（rk）则表示该灰度级出现的概率.因为P（rk）给出了对rk出现概率的一个估值，所以直方图提供了原图的灰度值分布情况.灰度直方图灰度级的分布可以提供图像信息的许多特征，为图像分析提供了一个有力的工具.例如，若直方图密集地分布在很窄的区域之内，说明图像的对比度很低；若直方图有2个峰值，则说明图像中很有可能存在2种不同亮度的区域.

通过以上分析可以得出，描述图像色彩的多样性可以从图像的颜色分布情况来查看，因此可以通过查看图像的直方图分布来做直观的分析，如图3所示.图3中6张图像分别代表图2中6张图像的灰度直方图.从上述直方图分布来看，图 2（a）、（b）、（c）由于色彩单一，因此直方图分布集中在少数灰度值上面，而图 2（d）、（e）、（f）色彩比较多，因此直方图分布相对较均匀.

在图3的直方图中，左上角的数值代表了灰度值最多的灰度级所占的比例.可以看出，（a）到（c）中最大的数值比（d）到（f）中普遍要大出很多.这又从定量的角度说明了（a）到（c）中灰度主要集中在少量灰度级上面，而相对的（d）到（f）则比较均匀，与上面定性分析的结果是一致的.

综上所述，可以将图像转换到灰度图空间计算直方图分布，并进行归一化处理作为256维的特征，加上彩色对比度总共257维的特征来描述图像与因子2的关系.

图3 图2中面料图像的灰度直方图Fig.3 Grayscale histogram of fabric image in figure 2

4 针对第3个因子的特征分析

从公式（2）中可以看出，与第3个因子关系比较密切的主要是“厚重的—轻薄的”、“温暖的—凉爽的”这2对词义.作为同一个因子的组成成分，说明这些词义之间也存在着非常密切的联系.

根据色彩心理学理论，“厚重的—轻薄的”、“温暖的—凉爽的”这类词的情感感受，与图像的平滑程度以及图像的冷暖色调最为密切，图像平滑且冷色调的图片给人以轻薄的、凉爽的感觉；如图 4（a）、（b）、（c）所示；图像粗糙且暖色调则给人以厚重的、温暖的感觉，如图 4（d）、（e）、（f）所示.

图4 面料图像样本（因子3）Fig.4 Fabric sample image（the third factor）

图像的平滑与粗糙程度可以用图像的纹理特征来表示.灰度共生矩阵法（GLCM，gray-level cooccurrence matrix）通过研究灰度的空间相关特性来描述纹理，是目前最常见、应用最广泛、效果最好的一种纹理统计分析方法.灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础，反映了图像中任意两点灰度的相关性，据此可进行纹理特征的抽取及分析.

对于一幅图像Gf（i，j），大小N×N，包含像素（动态范围为 G）的灰度级为{0，1，…，G-1}，它的灰度共生矩阵是一个二维矩阵C（i，j），每个矩阵元素表示在某一距离d和角度θ强度i和j联合出现的概率.按角度分一般可以分为4种情况:①水平相邻；②垂直相邻；③西北—东南方向相邻45°；④东北—西南方向相邻 135°.

不同的图像由于纹理尺度的不同其灰度共生矩阵会有很大差别.对于粗纹理图像，纹理尺度大，灰度较平滑，其像素趋于具有相同的亮度，所以共生矩阵的G（i，j）值较集中于对角线附近.而对于细纹理图像，纹理尺度较小，灰度值分布不集中，其共生矩阵中的G（i，j）值分散在各处.由此可见，共生矩阵可以反映不同灰度像素相对位置的空间信息.为了能更直观地以共生矩阵描述纹理状况，可从共生矩阵导出一些反映矩阵状况的参数，典型的有以下几种:

（1）能量（ASM）:是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布的均匀程度和纹理粗细度.如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大.当共生矩阵中元素集中分布时，此时ASM值大.ASM值大表明一种较均一和规则变化的纹理模式.ASM的计算公式如下:

（2）对比度（CON）:反映了图像的清晰度和纹理沟纹深浅的程度.纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊.灰度差即对比度大的像素对越多，这个值越大.灰度共生矩阵中远离对角线的元素值越大，CON越大.CON的计算公式如下:

（3）熵（ENT）:是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大.它表示了图像中纹理的非均匀程度或复杂程度.ENT的计算公式如下:

另外，图 4 中（a）、（b）、（c）都是蓝色、灰白等淡色调，而图 4 中（d）、（e）、（f）都是黄色、深红色等暖色调，也就是说因子3跟色彩的冷暖度也有关系，所以还采用图像的平均冷色调和平均暖色调来对图4中的图像进行定量分析.按照上述特征对图4中（a）到（f）图的参数进行计算，得到的数值如表4所示.

表4 图4中的图像共生矩阵参数和平均色调值Tab.4 Values of GLCM and average tone of images in figure 4

由表 4 可以看出，图 4 中（a）、（b）、（c） 的 ASM、CON、ENT 都较大，说明它们比图 4（d）、（e）、（f）更均匀并且更平滑清晰，分析的结果与上述理论一致.另外，图 4（a）、（b）、（c）的平均色调较大，约在 200～300之间，落在冷色调的范围之中；而图 4（d）、（e）、（f）的平均色调较小，大概范围在0～150之间，落在暖色调的范围之中，因此也与上述的分析保持一致.

综上所述，从定性和定量分析的角度都可以看出这些特征跟因子3的相关程度较高.因此，本文利用GLCM对图像进行纹理分析，然后求取ASM、CON、ENT，再计算出图像的平均色调，共采用4维特征来表征因子3.

5 结束语

面料图像情感因子空间中共有3个因子，第1个因子能较好的解释“高雅的—朴素的”、“华丽的—简约的”这2对词义；第2个因子主要解释了“丰富的—纯净的”、“强烈的—柔和”这2对语义；第3个因子则主要与“厚重的—轻薄的”、“温暖的—凉爽的”相关.通过本文的分析，第1个因子可以用7维特征（6维的饱和度—冷暖模糊直方图加1维的图像对比度）来表征；第2个因子可以用257维特征（256维的灰度图加1维的彩色对比度）来表征；第3个因子可以用4维特征（3维的灰度矩阵参数加1维的平均色调值）来表征.至此，本文对服装面料的图像情感语义低层特征进行了详细的分析，为下一步探索利用这些图像特征进行面料图像情感语义的识别和评价奠定了基础.

[1]刘楠，孙静.服装面料中的情感与服装设计[J].山东纺织经济，2009，149（1）:62－64.

[2]蔡成英.服装面料中的情感因素[J].装饰，2004，9（11）:11.

[3]CHEN Y W，SOBUE S，HUANG X Y.KANSEI based clothing fabric image retrieval[C]//Second International Computational Color Imaging Workshop（CCIW 2009）.Saint－Etienne:[s.n.]，2009:71－80.

[4]贺静.基于特征融合的服装图像情感语义分类研究[D].太原:太原理工大学，2007.

[5]张海波，刘瑞璞，刘莉.男西装情感因子空间研究[J].东华大学学报:自然科学版，2012，38（3）:292－296.

[6]YOSHIDA K，KATO T，YANARU T.Image retrieval system using impression words[C]//1998 IEEE International Conference on Systems，Man，and Cybernetics.San Diego:[s.n.]，1998:2780－2784.

[7]BIANCHI N B.K－DIME:A affective image filtering system[J].IEEE Multimedia，2003，10（3）:103－106.

[8]王伟凝.基于情感语义的图像特征提取、检索与分类研究[D].广州:华南理工大学，2005.

[9]MACHAJDIK J，HANBURY A.Affective image classification using features inspired by Psychology and art theory[C]//ACM 2010 International Conference on Multimedia.New York:[s.n.]，2010:83－92.

[10]DELLANDREA E，LIU N N，CHEN L M.Classification of affective semantics in images based on discrete and dimensional models of emotions[C]//International Workshop on Content－Based Multimedia Indexing（CBMI）.Grenoble:[s.n.]，2010:1－6.

[11]张海波，黄铁军，万飞飞.基于Web的服装面料图像情感测试系统[J]. 针织工业，2012（8）:55－58.

[12]ZHANG Haibo，HUANG Tiejun，LIU Li.Study on the emotion factor space of fabric[C]//International Conference on Kansei Engineering and Emotion Research.Taiwan:[s.n.]，2012:1174－1178.

[13]黄元庆.服装色彩学[M].5版.北京:中国纺织出版社，2010.

[14]OU Lichen，LUO M Ronnier，WOODCOCK Adree，et al.A study of colour emotion and colour preference[J].Pant I:Colour Emotions for Single Clolours，2004，29（3）:232－240.

[15]SATO T，KAJIWARA K，HOSHINO H，et al.Quantitative evaluation and categorizing of human emotion induced by colour[J].Advances in Colour Science and Technology，2000，3（3）:53－59.