采用多角度成像技术的纺织品三维轮廓重建算法

孟 想， 辛斌杰， 李佳平

(上海工程技术大学 服装学院， 上海 201620)

传统的纺织品外观检验以主观评判(eye-brain evaluation)作为主要检测手段，参照AATCC、ASTM、GB等国际和国家纺织类标准，依赖检验人员的知识和经验做出判断。由于检验人员的参与，造成测试结果具有一定的主观性，且耗费大量时间重复做相同的工作，易导致测试人员疲惫而降低测试效率和准确性[1]。

在“中国智造2025”和“工业4.0”战略背景下[2]，现代纺织工业正逐步走向自动化与智能化，计算机图像处理、人工智能等高端科技逐步被应用于纺织品质量检测，实现纺织品质量的自动检测与评估，相关工作已成为当前学术研究和应用开发的热点课题。

本文结合纺织品自身特点，利用多角度成像技术，开发完成1套可用于纺织品外观检测的三维轮廓重建系统，通过成像参数优化、算法优化，实现纺织品三维模型的精细重建。其研究意义在于应用计算机视觉技术的相关理论，搭建1套适用于纺织品外观检测的三维轮廓重建系统，尝试解决纺织品三维轮廓重建的复杂问题，以期为纺织品三维展示、逆向工程、宏观指标测量等应用奠定技术基础[3]。

1 三维重建技术在纺织中的应用

计算机视觉(计算机图像分析技术)具有识别精度高、数据处理量大、反应速度快、结果展示直观等优点。计算机图像分析技术的应用使纺织品检测朝着客观化、自动化、智能化的方向发展，在建立测试评价体系的同时将人们从单调乏味的人工测试中解放出来[4]。

近二十年来，随着半导体以及通信技术的发展，集成电路的研究、发展也逐步展开，这些都为计算机图像处理技术提供了良好的硬件支持，使其在纺织领域的应用得到了进一步拓展[5]；因此，利用计算机图像分析技术提高纺织检测技术的智能化、数字化、网络化程度，是纺织测试技术发展的必然趋势[6]。

Marr[7]提出机器视觉的分层重建理论框架，能够由二维逐层重建至三维，并且不需要预先构建三维模型，为应用计算机视觉来进行三维轮廓的重建技术打下基础。在此基础上，Lowe[8]提出了主动视觉理论框架，逐步完善了非被动式机器视觉理论。 借助逐步完善的机器视觉理论，杨晓波等[9]研制开发了1种褶皱测试仪来测评织物起皱，该仪器内搭载的软件根据织物高度、表面倾斜度和经密纬密等几何参数来定义起皱，但其准确率不理想。随后又有一批学者展开了相关研究，Galuszynski[10]进一步开发了2种装置，但其很难适用于表面有凸起的织物；因此，杨晓波[9]借鉴Sugeno等[11]基于模糊聚类的结构识别方法以及Woodham[12]的光度立体视觉技术对织物进行识别。

国内学者利用计算机视觉技术也开展了相关研究工作，为纺织品外观数字化检测做了很多有益的尝试，其中较为代表性的研究成果有：

1)沙莎等[13]利用织物物理模型、线圈模型和纱线真实感3个方面介绍国内外纬编针织物外观轮廓的三维模拟技术研究历程。分析了国内外学者多年的研究结果，以及织物三维模拟技术从单一外观轮廓模拟发展到多物理属性耦合的动态模拟过程。总结了现有织物三维模拟技术的优缺点，最后分析认为织物三维模拟技术会朝着应用范围多样化、线圈类型多元化、模拟方法物理化3个方向发展。

2)织物三维模型还原不仅限于针织物方面，程杰等[14]利用1套织物三维激光扫描系统，通过分析织物组织循环图、调整扫描范围和光照环境的方法来提高碳纤维织物表面原始点云的密集程度和质量。结合梯度约束条件和点云约束条件构建得到新尺度独立的屏蔽约束条件，并将得到的屏蔽约束条件加入到经过分类处理和预处理后的原始点云中，便可重建出碳纤维织物表面较为理想的三维模型。实验显示采用该方法重建得到的模型与真实纱线宽度的平均测量误差为0.12 mm。

3)在得到织物的三维模型后，部分学者利用模型数据尝试对纺织品特征进行表征，张雪等[15]以三维扫描技术为基础，提出一种直观且方便的织物成型评价方法。首先利用顶球使织物起皱，通过扫描得到织物的三维数字模型，接着利用相关软件对织物的三维模型进行处理运算得到相关指标。采用该方法处理10块试样后发现，织物成型性可用织物的体积空隙率表征。此方法引入织物三维模型的概念，为评价和表征织物的成型能力开辟了一种新的思路。

2 织物三维轮廓重建系统

2.1 基本硬件配置

本文自行搭建了一种基于多角度成像技术成像的纺织品三维轮廓重建的数字化图像采集平台，如图1所示。平台底部设置可旋转支撑底座，底座上方设置一面光源，面光源四周有校准色板，织物样品由对称夹具固定在面光源上，一台数码相机位于样品上方20 cm处，左右两侧有2条向下成45°倾斜角的带状光源。在平台四周另设有2台数码相机，距织物20 cm并成45°倾斜向下。电脑主机控制连接光源、相机、运动等模块，依靠底部支架旋转，获取织物图像序列(可获取2n+1幅图像，n为底座旋转次数)。

图1 织物拍摄平台Fig.1 Front view (a) and top view(b) of fabric shooting platform

本文所使用的数码相机为尼康D610型单反相机；面光源为AFT-BL100 W型LED背光源；控制及处理所用电脑主机中央处理器型号为Inter Xeon CPU E5-1620，图像处理器型号为NVIDIA Quadro 2000。

2.2 三维轮廓重建流程

通过本文自行研制的三维轮廓重建系统，获得织物的多角度等距离图像序列，通过自行设计开发的三维轮廓重建算法，进行织物三维轮廓模型的重建。

织物三维重建步骤包括：1)相机标定[16](包含图像坐标、相机坐标)；2)特征点的提取与匹配(自动匹配并提取特征点，当提取的特征点数不足时，可设置手动匹配)；3)生成特征点点云，并在特征点的基础上进行点云匹配形成密集点云；4)根据密集点云数据，进行数据融合得到三角网格以及三角面。

在三维重建初始轮廓模型基础上，将二维图像中所有像素点的RGB值、几何特征、灰度信息、物体纹理渲染至三维模型表面，最终完成织物的三维轮廓重建[17]，其流程图为:目标织物→环境光源调试→单目多角度拍摄→相机标定→特征点的提取与匹配→建立三维模型→织物三维模型。

2.2.1相机位置标定

本文相机校准方法和通常的校准方法有很大区别，拍摄过程中相机位置和织物图像上兴趣点的三维坐标都是不确定的[16]。其方法大致分为3步：1)选择图像中的n个点为兴趣点(n>7)，相机由位置1移动至位置2的过程中，利用Deriche等[18]给出的跟踪方法来获得兴趣点更好的对应关系;2)通过Sturm识别算法计算极点; 3)根据Kruppa的相机位移方程[19]，从两极点和极线变换获得绝对二次曲线图像的2个约束，从而完成相机标定并确定相机空间位置，其结果如图2所示。

注：图中数字为相机位置。图2 相机位置标定Fig.2 Camera position calibration

2.2.2特征点的提取与匹配

本文针对纺织品采用基于尺度不变特征转换(Scale-invariant feature transform,简称SIFT)算法的特征点提取方法，以精确定位织物关键点。SIFT算法是一种检测局部特征的算法，通过求1幅图中的特征点(interest points, or corner points)及其有关的描述子并进行图像特征点匹配。采用这种方法提取的图像特征具有缩放不变性、旋转不变形，且受光照和视点变化影响较小。其主要思路是首先建立尺度空间，高斯卷积核是实现尺度变换的唯一线性核，1幅二维图像的尺度空间定义为：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

(2)

式中：G(x,y，σ)为尺度可变高斯函数；I(x,y)为原图像；σ为尺度参数，将其用于描述图像细节特征时，细节越明显，其值越小，反之则越大。为有效地在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(3)

构建尺度空间后需要检测DOG尺度空间的极值点。通过比较图像中每个样点与其相邻的所有点，判定是否为极值点：比较中间检测点和其相邻的26个点(上下相邻尺度对应的9×2个点，以及同尺度的8个相邻点)，以确保该点在二维图像空间和尺度空间内均为极值点。如果该点在上下2层以及尺度空间本层的26个领域中验证为极值，就认定此点为图像在该尺度下的特征点，检测流程如图3所示。

图3 DOG尺度空间局部极值检测Fig.3 Local extreme value detection in DOG scale space

使用近似Harris Corner检测器，去掉DOG局部曲率非常不对称的像素，对关键点的高斯差分函数D(x,y，σ) 进行泰勒展开，得到：

，D→D0

(4)

(5)

，D→D0

(6)

(7)

该矩阵中的每个值均是通过临近采样点的差值进行计算得到。由于只针对比率，此时定义特征值最大值为α，特征值最小值为β，则其关系为：

Tr(H)Dxx+Dy=α+β

(8)

Det(H)=DxxDyy-(Dxy)2

(9)

(10)

根据式(10)得出结论，只需判断下式能否成立，就可得到阈值γ与主曲率关系，进而准确定位关键点：

γ∶10

(11)

给特征点赋值一个方向参数(128维)，计算每个特征点的方向，依照此方向做进一步计算。为确保算子的旋转不变性，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数。

m(x,y)=(L(x+1,y)-L(x-1,y))2+

(12)

(13)

式中：m(x,y)为(x,y)处的梯度幅度大小；θ(x,y)为(x,y)处的梯度方向。至此，已完成对图像的关键点的检测。3个信息即确定一个SIFT特征区域，并可代表一个关键点：方向、所处尺度、位置。

利用关键点和关键点周围对其有贡献的像素点建立多个描述子，可使关键点有更多的不变性，提高目标匹配效率。最后对描述子匹配128维后，即表示2个特征点完成匹配。

2.2.3三维模型建立

特征点匹配完成后，利用投影矩阵求得空间点位置，得到织物的点云图，再以特征点为中心设置一定的窗口进行匹配扩散，进一步找到附近匹配度高的点，最终形成密集点云图，如图4所示。

图4 织物点云图Fig.4 Point cloud map (a) and dense point cloud(b) of fabric

相距最近的每3个点构成一个三角面，再利用三角面片到图像的原像定位法，从采集到的所有图像中搜索出最佳图像，该图像需满足条件：图像中与表面模型中三角面片相对应的三角形具备最好的纹理质量，即纹理最清晰；模型表面的三角面片到摄像机的空间位置距离最小，且三角面片的单位法向量与图像平面的单位法向量乘积为零。此时对于这个三角面片而言，这幅图像在拍摄时所含该面片的纹理质量最好，可选为纹理贴图。大致流程如下：1)计算该三角面片Ti的单位法向量n。计算第i幅图像的视点方向Ni；2)计算三角面片法向量n和第i个图像的视点方向Ni的空间夹角Ti；3)比较所有图像的夹角θi，将最小夹角的下标i赋给三角面片Ti。这样就完成了一个三角面片与图像的配准。对三角网格模型中的每个三角面片重复执行上述步骤，就可完成整个三角网格模型与图像的配准，结果见图5。

图5 配准结果Fig.5 Registration results. (a)Triangular patches;(b) Texture map

2.3 织物拍摄实验环境及方案

2.3.1针对不同光源的拍摄方案

不同光照条件下拍摄得到的纺织品图像所携带的信息存在差异，本文讨论在投射光与透射光下的纺织品三维轮廓重建效果，发现对不同类别的纺织品及不同的三维重建要求，可定性选择某一种光照环境。

透射法拍摄：将织物固定在平板光源上，调节平板光源亮度(带灯源关闭)，保证获得清晰的织物图像使三维重建的精细度达到符合的要求，避免由于匹配点过少而导致的三维重建失败。反射法拍摄：平板光源上面铺设具有一定高度的块状黑色垫片，然后将织物置于黑色垫片上，用针织物参照样框(如图6所示)将织物套在垫片表面，凸出织物整体，调节拍摄平台侧上方的带光源，保证拍摄时能获得织物清晰的图像。透射法、反射法三维轮廓重建效果图如图6所示，重建结果的数据如表1所示。

图6 三维轮廓重建结果Fig.6 Three-dimensional contour reconstruction results. (a) Image of transmission method; (b) Image of reflection method; (c) Transmission method reduction diagram; (d) Reflection method reduction diagram; (e) Detail diagram of transmission method; (f) Detail diagram of reflection method

类型拼接点/点密集点云/点三维模型/面透射法50939956191199999反射法279676209461524184

由图6可知，透射法的优点是可以拍摄并三维重建绝大部分织物表面三维信息，线圈排列清晰，整个重建过程出错率小。而缺点也能从图中看出，即在三维重建出的模型表面有许多黑点，多次实验分析得出，黑点是由纱线毛羽对光线的漫反射、镜面反射引起的，这些噪点的出现是投射法所不能避免的，但可通过润湿、烧毛等方法减少毛羽对重建模型的影响。

采用反射法拍摄具有更高的重建精细度，线圈串套明显，但这种方法不适用于双层或厚实的织物，这是由于拍摄时织物上方带光源的光线很难穿透具有一定厚度的织物，导致表面纹理无法捕捉，线圈的串套也将无法三维重建。所能寻求的解决办法只有利用针织物的延展性，将织物撑开至能较好透光，且线圈并未因拉伸而横向变形或滑移，这样就能将织物线圈结构较好地重建出来。

2.3.2针对不同织物的拍摄方案

以针织物所在平面为参照面，镜头与织物平面成45°夹角，以90°为区间环绕织物拍摄4张成像清晰的图像，镜头与织物间的距离经多次校对，最终定为20 cm，在该距离下，保证成像清晰，并恰好能完整捕捉织物比对框。

以机织物所在平面为参照面，其拍摄夹角与区间同针织物，但由于机织物的织物密度大，要拍摄清晰的纱线结构，就需要对织物小范围进行拍摄，因此，织物大小设定为边长5 cm的正方形，对照框规格为边长5 cm的正方形取景框，四周为边长为1 cm的正三角柱，此时的拍摄距离定为10 cm，可能拍摄出清晰的织物结构，并将参照样框及其内的织物完整捕捉。参照样框如图7所示。

2.4 三维模型重建结果

实验共拍摄30块不同织物(编号为织物1，2，…，30)，部分织物正反面不同，则正反面均拍摄，正反面相同的织物仅拍摄一面；厚度过高的织物仅在投射光下拍摄；但有些织物(如15号)，虽然厚度过厚，但其透光性好，通过面光源照射也可清晰看到其成圈结构及织物表面纹理。本文仅列出部分纺织品三维轮廓重建效果进行分析。

图8示出双反面针织物(织物15)的重建结果。可见：三维轮廓重建效果很好，这是由于其纱线较粗，且双反面织物的结构圆滑，属于理想重建对象，重建后的结果无论从密集点云还是三角网格都可清晰地看到织物表面凹凸结构，由于良好的透射光环境，适当的拍摄距离及对焦，使得特征匹配获得的特征点达到了3 000多个。

图8 15号织物重建结果Fig.8 Fabric of 15 reconstruction results. (a) Camera position calibration; (b) Dense point cloud generation; (c) Triangular mesh generation; (d) Triangular face generation; (e) Three-dimensional reconstruction effect

图9示出13号织物的三维重建情况。可见：织物起伏清晰，纹理清晰，真实度及可靠性很高，透射光下很好地将织物的结构轮廓凸显出来，织物自身的色彩渐变也使得特征匹配的特征点高达1 400多个。

图9 13号织物重建结果Fig.9 Fabric of 13 reconstruction results. (a) Camera position calibration; (b) Dense point cloud generation; (c) Triangular mesh generation; (d) Triangular face generation; (e) Three-dimensional reconstruction effect

3 结 论

本文针对纺织品特点优化了三维重建的相关算法，自行搭建了一套适应于纺织品的多角度拍摄平台，最终形成可应用于纺织品的多角度成像方案。由实验验证可知，本文提出的基于多角度成像技术的纺织品三维轮廓重建方法可将织物表面灰度信息、纹理信息较为完整的三维重建出来，总体效果较好，这对织物结构的数字化展示、实物数字化后的逆向工程、织物多项宏观指标的测量等应用领域具有重要意义，兼具学术研究和产业应用价值；但对于凹凸不明显、自身毛羽较多的纺织品三维重建效果不佳；另外受相机的像素、焦距、景深以及光照环境等其他因素的影响，重建的精度还无法达到纱线级别。

FZXB

参考文献：

[1] 辛斌杰, 刘岩, 林兰天,等. 浅析纺织品外观检验数字化和远程质量检验技术[J]. 纺织学报, 2011, 32(3):61-66.

XIN Binjie, LIU Yan， LIN Lantian, et al. Three-dimensional modeling and deformation for weft knitted fabric loops [J]. Journal of Textile Research, 2011, 32(3):61-66.

[2] 蔡恩泽. “中国制造2025”与德国“工业4.0”的对接[J]. 产权导刊, 2017(1):54-55.

CAI Enze. "Made in China 2025" and "Germany Industrial 4.0" docking [J]. Property Rights Guide, 2017(1):54-55.

[3] ZHAO S, ZHANG Z, WAN X. Three-dimensional profile reconstruction based on infrared multi-view vision[C]// Eighth International Symposium on Advanced Optical Manufacturing and Testing Technology. Beilinghan： International Society for Optics and Photonics, 2016.

[4] 徐超, 李乔. 基于计算机视觉的三维重建技术综述[J]. 数字技术与应用, 2017(1):54-56.

XU Chao, LI Qiao. Summary of 3-D reconstruction technology based on computer vision[J]. China Academic Journal Electronic Publishing House, 2017(1):54-56.

[5] 徐珂. 计算机图像处理技术的探析[J]. 电脑知识与技术, 2014(11):2640-2641.

XU Ke. Analysis of computer image processing technology[J]. Computer Knowledge and Technology, 2014(11):2640-2641.

[6] 刘萍. 计算机图像分析在纺织品检验中的应用[J]. 科研, 2016(11):200.

LIU Ping. Application of computer image analysis in textile inspection[J]. Scientific Research, 2016(11):200.

[7] MARR D. Vision: A Computational Investigation into the Human Representation and Processing of Visual Information[M]. New York: Henry Holt and Company Inc, 1982:107-111.

[8] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[M]. Kluwer Academic Publishers, 2004:91-110.

[9] 杨晓波, 黄秀宝. 织物表面折皱的小波分析与自组织神经网络等级评定[J]. 中国图像图形学报, 2005, 10(4):473-478.

YANG Xiaobo, HUANG Xiubao. Wavelet analysis of fabric surface wrinkle and self-organized neural network grade assessment[J]. Journal of Image and Graphics, 2005, 10(4):473-478.

[10] GALUSZYNSKI S. Effect of fabric structure on fabric resistance to needle piercing[J]. Textile Research Journal, 1986, 56(5):339-340.

[11] SUGENO M, YASUKAWA T. A fuzzy-logic-based approach to qualitative modeling[J]. IEEE Transactions on Fuzzy Systems, 1993, 1(1):7-8.

[12] WOODHAM R J. Photometric method for determining surface orientation from multiple images[J]. Optical Engineering, 1992, 19(1):1-22.

[13] 沙莎, 蒋高明. 纬编针织物三维模拟技术的研究现状与发展趋势[C]// 第四十六次全国科技论坛：纺织产业升级新技术融合论坛. 北京：中国纺织工程学会， 2015:118-124.

SHA Sha, JIANG Gaoming. Weft knitted fabric three - dimensional simulation technology research status and development trend [C] // 46th National Science and Technology Forum-Textile Industry Upgrading New Technology Integration Forum. Beijing: China Textile Engineering Society, 2015:118-124.

[14] 程杰, 陈利. 利用激光扫描点云的碳纤维织物表面三维模型重建[J]. 纺织学报, 2016, 37(4):54-59.

CHENG Jie, CHEN Li. 3-D reconstruction of carbon-fiber fabric surface from laser scanning points cloud[J]. Journal of Textile Research, 2016, 37(4):54-59.

[15] 张雪, 陈韶娟, 孙亚宁,等. 应用三维扫描技术的织物成型性测试与表征[J]. 纺织学报, 2014, 35(12):63-68.

ZHANG Xue, CHEN Shaojuan, SUN Ya′ning, et al. Fabric formability test and characterization based on three-dimensional scanning technology[J]. Journal of Textile Research, 2014, 35(12):63-68.

[16] MAYBANK S J, FAUGERAS O D. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision, 1992, 8(2):123-151.

[17] WARREN P A, MAMASSIAN P. Recovery of surface pose from texture orientation statistics under perspective projection[J]. Biological Cybernetics, 2010, 103(3):199-212.

[18] DERICHE R, FAUGERAS O D. Tracking line seg-ments[J]. Image and Vision Computing, 1990(8):261-270.

[19] HARTLEY R I. Kruppa′s equations derived from the fundamental matrix[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(2):133-135.