数字人文视域下云锦图像本体识别模型构建及应用研究

卢 璐，袁高腾，梅 嘉，肖文美，李木子

（1 南京林业大学 图书馆，南京 210037；2 河海大学 计算机与信息学院，南京 211100；3 南京林业大学 继续教育学院，南京 210037）

0 引 言

近年来，得益于“人文记忆”研究的深入推进，面向图像的人文计算领域得到了越发广泛的关注。许慎在《说文解字》中提到“画成其物，随体诘诎”，意为文字和图像共同构成了文化表达、交流和传承的载体［1］。南宋郑樵认为，图文互文极具史料价值，曾在《通志》中写到“置图于右，索象于图。”［2］。司马相如《子虚赋》：“众物居之，不可胜图”［3］中的“图”即为事物的形象，文化内蕴的表征，而“象”为“圣人之意”，需要深度分析。欧文·潘诺夫斯基对图像和文化关系作了相当完备的阐述［4］。贡布里希认为，文化思想传播离不开图像。文字描述可以做思之抵达与言之切近，极具现实主义和浪漫主义色彩，而图像突破了不同文化语言的藩篱，避免文字表述间离性，拓宽了思维层面对文化分析的基本视域。

海德格尔阐述的“世界图像”［5］、米歇尔提出的“图像表征”［6］、“图像转向”［7］都在文化思考的逻辑关系上，代入对图像本质的阐释。詹姆斯·吉布森构建了现代社会对视觉文化交互方式［8］。西方学者认为，图像是特定文化存在和发扬的根底，在流传中可以直观呈现出本体的表象，蕴含的文化记忆从隐匿到澄明，揭示图像传递的情感和背后的隐喻，［9］通过图像表征的敞开域可以进行分析、分类和存储。

虽然图像信息丰富，但是大部分用户仍处于“图像孤岛”的困境，难以在第一时间进行图像资源的最优选择。多米尼克·洛佩斯论述的“图像再现”［10］的理论中提到，如果进行图像的优化需要着重关注图像“面”的差异导致的辨识模式上的差异，遂提出“识别的动态性”。

本文所涉“云锦图像”主要突出的是其作为“视觉史料”的身份，包括纹样、花色、材质、纹理、组织结构等类别特征［11］。目前，国内外很多作为史料展现的图像数字人文项目初见成效。如《蒙娜丽莎》数字化存储［12］、欧盟博物馆藏品分类［13］、敦煌艺术图像规范标准［14］、故宫博物院文物服务库、中世纪艺术索引等。但大部分图像项目局限于“冰冻式”的静态采集、存储与展现，只做了主题、时间和地域等大体分类，只有少数针对图像和语义结合进行了实体识别，但没有实现大规模应用，鲜有对图像本体纹样和组织结构深度挖掘和内源性关联研究。

云锦是中国丝织工艺的最高成就，迄今已有1600 多年的手工织造历史，享有“锦中之冠”的美誉。云锦的纹样题材具有托物言志深厚情感，作品与材质上的美术元素表现了创作者的气韵风骨［15］，使其纹样图必有意，意必吉祥，需要借助图像识别分类技术来探究源文化形态的本真状态，展现历史绵延性和强韧性，为云锦图像后续应用打下基础。

1 相关工作

云锦图像数据识别与存储涉及艺术、人文、情报、计算机等多个学科领域。笔者主要探究图像内在纹理特征提取和动态性演变，因此主要涉及两方面的知识背景：图像识别分类研究现状与云锦图像纹样特征提取研究现状。

1.1 图像识别分类研究现状

1.1.1 图像识别方法

目前，常见图像识别方法有：

（1）设置模糊集识别方法。常用来识别医学图像，分类匹配率精准度较高，但过于依赖图像的特征；

（2）人工神经网络方法。自动拟合非线性模型，避开人为操作主观性影响，客观且简化，但对图像样本、硬件性能和相关参数解释都要求很高，很难广泛应用；

（3）统计识别方法和识别结构方法。通过特征向量的数学提取或者子模型逐层识别还原，都可以对图像进行简单分类，但无法识别图像整体结构。

1.1.2 织物图像识别研究进展

织物的图像识别和分类是目前图像学领域的难关。由于织物具有纹理繁复、织线材质多样和组织结构复杂等特性，现面临数据预处理时颜色失真、模糊、噪声滤除困难、局部特征不易提取等困境。相关学者通过不同技术构建实例模型，李敏等［16］利用快速傅里叶变换和形态滤波，处理小提花织物纹样的周期特点，淡化一般性纹路，着重加工纹样特殊点，提高疵点检测精确度。张开生等［17］通过机器视觉算法和卷积循环神经网络（CRNN）技术，对磁性纤维加密图像进行特征提取。由于女红作品背景复杂繁多，存在图像特征不易提取且难以分割的问题，包萍萍等［18］采用阈值和字符图像分割的技术，将女书图像的背景进行去噪处理，取得了不错的滤除效果。

1.2 云锦图像纹样特征提取研究现状

图像纹理是人们视觉系统对自然界物体表面现象的一种感知，可描述和区分不同物体的重要特征。针对不同类别的云锦图像，可以采用频谱法提取图像的纹理特征，其本质是将基本纹理基元以及在图像区域中的不同形式出现的“副本”，用在不同尺度和方向上的子波能量分布表示出来。本文主要采用Gabor 纹理特征分析图像，选用了8 个方向、5 个尺度的Gabor 函数，对图像进行滤波提取图像特征，并对特征进行分析、分类。

云锦历史悠久、品种繁多，目前大体上分为“库缎、库锦、库金、妆花”4 类。同一件云锦作品上，纹样题材的选取、色彩的搭配、构图板式的风格都有定位。根据缠枝、寓意和均衡进行不同材质丝线的色相纯净度的调和，糅合变化更细腻绚丽，最终达到逐花异色，轩昂华丽的效果。云锦整个制作过程，贯穿了文化内涵的开发［19］，丰富了云锦图像美感。云锦图像和其它织物一样，都是由不同组织点构造，根据浮沉交织规律的不同，形成各异的组织结构。如，平纹是由经线和纬线相互一浮一沉的交织而成；斜纹是无数纬组织点围绕一个经组织点，反之亦然；缎纹各点是有规律散布且经纬线仅一个组织点。随着经纬纱重叠变化，不同织线沉浮规律交错，织成的图像色影丰富。织线材质不同，有的是孔雀羽毛和鸵鸟羽毛加捻而成，与金银线交织而成的织物层次多变。

云锦图像遵循“立象以尽意”的艺术特征［20］，从中提取的不同纹样处于相互缠绕、勾连和均衡之中，特征提取起来十分繁难。目前，四大品种结构分类见表1。

表1 云锦品种、纹样和组织结构分类表Tab.1 Classification of Yunjin based on varieties，patterns and organizational structure

2 数据来源与研究方法

2.1 数据来源

本文从南京市云锦博物馆收集了12 组尺寸为8 000*6 000 的云锦图像，根据博物馆官方花本集，对云锦类别进行标记，包括手工段和电机段两大部分，共计12 个类别。本文主要对12 个不同类别的云锦图案进行分析研究。其中包括：八宝底纹料、四合如意填花料、新百花料、普天同庆料、喜字并蒂莲料牡丹锦料、凝香富贵料、气象万千料和电机的龙纹料等。其中，八宝底纹料又包含多个颜色。如粉橘、深土和紫等。

本文对上述不同的云锦料进行收集，并完成云锦图案的分类识别。收集的云锦图像数据如图1 所示。

图1 不同类别云锦图像Fig.1 Different types of Yunjin images

本文主要对云锦图像进行纹理分析，提取不同类别云锦图像纹理特征，通过对不同图像特征的分析，构建云锦类别识别模型。构建步骤如下：

Step 1收集不同图像和不同品种的云锦（来自云锦研究所官方花本集），利用扫描器收集扫描云锦图像，并对云锦图像划分子区域，构建云锦图像数据集。

Step 2依据云锦类别，对图像添加标签构建数据样本；使用小波分析对云锦图像进行去噪，完成图像的预处理；使用Gabor 滤波器对云锦图像的子区域进行滤波，得到云锦图像的纹理特征。

Step 3使用机器学习中不同的分类器分析图像特征，对纹理特征进行分类，构建分类模型。

2.2 研究方法

本文提出的模型由数据预处理、纹理分析、特征选择、机器学习分类等部分组成。首先，对图像进行去噪，获取兴趣区域，并设置兴趣区域标签；其次对兴趣区域进行纹理分析，提取不同的纹理特征，依次比较不同的图像纹理，选择合适的纹理特征，并进行特征选择以降低特征的维度，压缩特征大小；然后对比不同的分类算法，包括SVM、KNN 等分类器对云锦图像特征进行自动分类。模型结构如图2 所示。

图2 模型结构整体框架Fig.2 The overall framework of the model structure

如图2 所示，数据预处理包括图像数据的读取、图像去噪等；纹理分析包括Gabor 滤波、特征采样组成；分类模型包括参数优化、特征选择、特征筛选等组成，构建好分类特征后使用多种分类器对特征进行比较分类，对比不同方法的分类精度和效率。

2.3 数据预处理

数据预处理的主要目的是完成图像的去噪，以及获取兴趣区域，方便构建分类模型。由于云锦图像是扫描仪扫描后的图像，受相机镜头和云锦样本的影响，图像会存在噪音。因此需要对原始图像进行降噪处理［21］。本文的主要目标是判断云锦图像的类别，考虑到不同云锦图像花纹有不同的边缘特征，去噪的目的是为了消除图像上离散的点，因此采用中值滤波的方式对图像进行滤波去噪［22］。

中值滤波抑制噪声，其基本原理是将云锦图像某点相邻域中各点值的中值代替该点，让周围的像素值接近真实值，从而消除孤立的噪声点的去噪方法，是非线性信号处理技术［23］。该方法是用一个二维滑动模板W，将图像在W内的像素值按大小进行排序，生成单调上升（或下降）的二维数据序列。相关公式如下：

式中，W为二维模板；f为原始图像；g为处理后的图像。中值滤波去噪后的图像如图3 所示。

图3 中值滤波去噪Fig.3 Median filter denoising

如图3 所示，图像（b）中细微的点较图（a）有所减少。完成图像的去噪任务之后，根据专业人员的标记，选择合适的兴趣区域。兴趣区域的大小为100*100，并依据标签构建数据集。由于一张云锦图像上有多个兴趣区域，需要构建合适的云锦图像数据。经过筛选，本文共采集到12 个类别576 幅云锦图像。图4 为筛选的部分云锦图像数据。

图4 云锦图像兴趣区域Fig.4 Interest area of Yunjin image

3 云锦图像纹理识别

3.1 Gabor 纹理分析

特征分析由图像纹理分析、特征处理、特征选择等内容组成。主要包括对12 个类型的云锦图像进行特征比较，根据不同样本类别之间的可分性，对特征进行排序、降维，得到关键的几个特征，并使用常用的分类器对特征进行分类，调节分类器参数，得到分类结果，以验证不同特征的分类效果。

以Gabor 小波为基础的多分辨率滤波器纹理分析称为Gabor 纹理分析。二维Gabor 滤波器能很好地描述哺乳动物大脑视觉皮层中可接收的信息域的分布，两者在空间、频域上均具有相似的局部特点。因此在对不同类别的云锦图像使用Gabor 滤波器有一定的优势。

在空间域中使用Gabor 滤波器组，对云锦图像的兴趣区域进行滤波分解。一个二维Gabor 滤波器是一个正弦平面波调制的高斯核函数。Gabor 滤波器的脉冲响应，可以定义为一个正弦平面波乘以高斯函数。由于乘法卷积性质，Gabor 滤波器脉冲响应的傅里叶变换是其调和函数的傅里叶变换和高斯函数傅里叶变换的卷积。Gabor 滤波器由实部和虚部组成，二者相互正交。二维Gabor 函数公式为：

式中：ω为高斯函数的复调制频率。

g（x，y）的傅里叶变：

以g（x，y）为母小波，通过对g（x，y）进行适当尺度变换和旋转变换，可以得到自相似的一组滤波器，称为Gabor 滤波器，即：

式中：x′＝a－m（xcosθ＋ysinθ）；y′＝a－m（－ xcosθ＋ysinθ）；θ＝；a－m为尺度因子；k为方向的数目。通过改变m和n，便可以得到一组方向和尺度都不同的滤波器组。

Gabor 滤波器组的非正交性，意味着滤波后的图像存在冗余信息。为了消除这些冗余信息，在设计滤波器时要确保Gabor 滤波器组的响应在频谱上半峰幅值能相互接触，并且互不重叠。可采用以下公式减少冗余信息：

式中：a＝；Uh和Ul分别为高频和低频的中心频率；S为尺度；k为方向个数。公式（3）中ω＝Uh。

图5 为一组a＝、n＝0、k＝8、m＝0，1，2，3…8 的Gabor 小波函数。由图可以得出，二位的Gabor滤波器能够在多个方向上获取特征。

图5 Gabor 小波函数提取特征1Fig.5 Feature extraction 1 from Gabor wavelet function

图6 为一组，a＝、k＝8、m＝0、n＝0，1，2，3，4 的Gabor 小波函数。由图可见，Gabor 滤波器能够在不同尺度下获取图像特征。

图6 Gabor 小波函数提取特征2Fig.6 Feature extraction 2 from Gabor wavelet function

依次选择由5 个尺度、8 个方向组成的40 组Gabor 滤波器组，依次对云锦图像兴趣区域进行滤波。滤波过程如图7 所示。

图7 滤波过程图Fig.7 Filtering process diagram

3.2 云锦特征分析

在对云锦图像兴趣区域的滤波后，得到相应的特征图像，需要对其进行分析。由于每个云锦图像都有40 组特征图像，每张图像的大小为100*100，依次将图像展开，得到大小为1*400 000 的特征序列。为了减少特征维度，以1 000 为单位依次对特征序列进行采样，所得到的采样效果如图8 所示。

图8 特征采样图Fig.8 Feature sampling diagram

如图8 所示，由于有12 个不同类别的云锦，在图像上显示较为复杂。为了对其进行有效区分，以两类为一组在图上进行比较，如图9 所示。初步分析可知，不同类别的云锦图案是能够通过Gabor 特征进行分辨的。

图9 特征对比Fig.9 Feature comparison

3.3 云锦特征选择

由于高维数据存在很多冗余或不相关的特征，因此需要对特征进行选择。通过分析特征的可分性，筛选出关键特征，完成特征的选择。

本文主要对特征的可分性进行判据排序，完成特征的筛选。对400 个属性的重要性进行排序，采用基于统计的可分性判据，计算每个属性的相对重要性，并选择不同数量的关键特征。其方法如下：

3.3.1 对特征数据进行归一化处理

由于采用不同尺度的Gabor 滤波器提取特征，则不同尺度下特征数值相差过大。因此，需要对特征数据进行归一化处理，减少实验误差。选用离差标准化方法将特征值映射到－1～1 之间，转换公式如下：

式中：x为原始的特征值；xmin为所有特征值的最小值；xmax为所有特征值最大值。

3.3.2 针对不同属性

由于同类物体内各样本之间存在共性，因此类内样本间属性距离应该比不同类样本间属性距离小。根据类内间距离对特征进行排序，计算公式如下：

式中：K为样本数量；｛ai｝为点集；aki为点集中i个点的第k个分量。

为了筛选出关键特征，需依次计算每个属性点到点集的距离，并依据距离值对属性进行排序。排序公式如下：

式中：β为设置的特征权重因子，dist为特征点到点集的距离。idx值越大，表明该属性分类效果越好。

3.4 云锦特征分类

通过对云锦图像的纹理分析发现，不同类别的云锦，纹理特征上存在差异。为了有效的区分不同类别的云锦图像，本文使用贝叶斯分类、k 近邻分类两种分类器对特征进行分类，并通过对分类器的调参获取较为精准的分类精度。

贝叶斯分类的基本思想为：对于给出的待分类项，求解在此项出现的条件下，各个类别出现的概率，其最大者，就认为此待分类项属于该类别［24］。贝叶斯分类结果的混淆矩阵如图10 所示。

图10 贝叶斯分类结果Fig.10 Bayesian classification results

如图10 所示，12 个类别的云锦，总体分类结果最高在38%左右。表明Gabor 纹理特征能够区分不同类别的云锦。

其次，选择K 近邻分类（KNN），对12 种类别的云锦纹理特征进行分类。KNN 算法是有监督学习分类算法，通过计算测试样本和所有训练样本的距离。根据最近的K个训练样本的类别，通过多数投票的方式进行预测。该算法具有不需要参数，训练时间短等优点。

利用Gabor 纹理分析获取图像特征，并通过特征筛选，获取不同数量的特征，并通过调节KNN 算法的K值，验证最佳分类精度。KNN 分类结果的混淆矩阵如图11 所示。

图11 KNN 分类结果Fig.11 KNN classification results

如图11 所示，K值为4 时精度最高，分类精度为56.31%。由此可见，使用KNN 算法对Gabor 纹理特征进行分类是有效的。

本文对不同类别的云锦进行纹理分析，并完成了纹理特征的分类。由于不同类别的云锦料之间的差异较大，因此分类结果也存在较大误差。因此，对12 类云锦料的分类精度只在57%左右，但也证实了不同的云锦料在图像上存在差异。

4 结束语

本文通过使用Gabor 滤波器对不同材质肌理、色彩和纹样意象的云锦进行滤波，以及纹理特征增强，精细化纹理疏密、虚实、冷暖对比，抑制同质化纹理特征，提高了不同云锦料的分类精度。结果表明，不同材料的云锦图像，可以利用纹理间的差异进行区分。

本文算法实现了首次运用到云锦这类工艺繁复意蕴深厚的非遗物质文化遗产的图像资源上，取得不错的实验精度。但在准确度和扩展度方面仍有较大的提升空间。在后续研究中，考虑扩展更细粒度的肌理纹样及样本规模，进一步实现实体识别优化。同时，将结合云锦图像资源的语义信息抽取技术，以便于实现本体知识元的关联和推理，更好展现云锦魅力，讲好中国故事，为探索基于数字人文视域下纹理分类研究提供新的研究思路和方法。