基于可见短波近红外高光谱图像的梳棉杂质关键波长的优选

郭俊先，李雪莲，黄 华，石 砦，刘 亚

(新疆农业大学机械交通学院,乌鲁木齐　830052)



基于可见短波近红外高光谱图像的梳棉杂质关键波长的优选

郭俊先，李雪莲，黄 华，石 砦，刘 亚

(新疆农业大学机械交通学院,乌鲁木齐830052)

摘要：【目的】以梳棉中多种杂质为研究对象，分析可见短波近红外梳棉高光谱图像，确定杂质检测中的关键或特征波长。【方法】提取高光谱图像中杂质和棉花的像素光谱，以像素分类效果为指标，采用主成分分析、独立于后端分类器的T检验准则的过滤器、特征选择和分类器结合的包装三种方法，确定杂质检测的关键波长，使用早期研究确定的二次判别分析分类器和后处理方法，对比三种方法所选波长的杂质分割效果。【结果】当使用包装方法选择的波长集合，其杂质检测好于主成分分析和过滤器方法。异性纤维总识别率为79.17%。其中，灰色丙纶丝、白色丙纶丝、黑色人发和黑色猪毛的识别率均超过了90%；透明地膜碎片、白色猪毛和透明丙纶丝识别较差。【结论】基于高光谱图像和包装法选择的最优波长集合，能够用于大部分普通杂质和异性纤维杂质的检测。

关键词：梳棉；高光谱图像；杂质；波长选择；检测

0引 言

【研究意义】棉花杂质检测在棉包定价、纺织清理和加工等环节是非常重要的步骤之一。研究棉花杂质快速准确检测，以及杂质有效分拣，对于提高棉纺织品质量和经济价值都具有十分重要的意义。【前人研究进展】早期国内外学者采用机器视觉技术、断层X光摄影、紫外荧光成像等技术，能够有效检测棉花中主要植物性杂质(即普通杂质)，以及着色较深、面积较大和含有荧光物质的部分异性纤维，并藉此研发定型一些高精度的分拣设备和检测定级仪器[1]。近10年，一些新的技术不断被应用于棉花杂质，特别是异性纤维杂质快速检测，包括光谱技术、激光成像、不规则成像等技术[2-5]。此外，为了更有效获得一些杂质或异性纤维检测的最佳波长，一些基于彩色图像的诸如遗传算法等[6-9]已经被用于该领域的研究。同时，高光谱成像技术由于其具有光谱和图像双重优点，逐渐开始应用于棉花异性纤维的高光谱图像检测[10-13]，开辟了另一个检测异性纤维的研究领域。【本研究切入点】但是高光谱数据量大，只能用于慢速或离线的棉花等级评定，很难应用于在线快速检测，需要从众多波长中寻找数个关键性或特征波长，构建多光谱棉花杂质在线检测系统。【拟解决的关键问题】研究基于可见短波近红外波长高光谱成像系统，以梳棉中杂质为研究对象，采用三种不同的波长选择方法，评价获取最佳波长集合的杂质分割与检测效果。

1材料与方法

1.1　材 料

实验采用高光谱成像系统，该系统包括传感光学模块(Hyper-Spectral Camera高光谱相机)，光源模块，采样模块，控制软件，三维可调封闭式实验箱。其中，关键部件是扫帚式线扫描成像光谱仪(ImSpector V10E, Spectral Imaging Ltd., Finland)，由V23-f/2.4 030603微调物镜(Specim Ltd, Finland)、inter-line-transfer charge-coupled-device (IT-CCD)相机(C8484-05G, Hamamatsu Photonics, Japan)和棱镜-光栅-棱镜(PGP，prism-grating-prism)光学组件组成。详见文献[10]。移位台速度为0.575 mm/s，镜头到梳棉表面的距离(即物距)为460 mm，采集曝光时间为14 ms。采集的原始高光谱图像维数为1 344×800×956(像素×像素×波段)，原始波长范围是422~982 nm。鉴于图像两端波长噪声过大，分割原图像为400×200×750(像素×像素×波段)的子图像。

图像采集过程，在棉网内一定深度(1~4 mm)随机撒放多种杂质，采集高光谱图像64幅，图像剪切分割为251个子图像，其中部分子图像严重失真被去除。子图像随机3∶1划分为训练集和验证集。

皮棉样本和异性纤维由中国棉花机械成套装备有限公司和新疆协力棉纺公司提供。在开松棉网内放置的杂质包括普通杂质(植物性杂质)、丙纶丝、毛发和透明地膜碎片等。表1

表1杂质样本特征
Table 1 Characteristics of trashes in the cotton

杂质类型Typesoftrash颜色Color长度范围Rangeoflength(mm)毛发Hair黑色和白色10~40丙纶丝Polypropylenefibers无色、浅灰色、透明3~35透明地膜碎片Transparentmulchingfilm透明-普通杂质Naturaltrashes普通杂质,即叶、茎杆、铃壳、苞叶、籽皮等-

1.2　方 法

1.2.1数据分析软件

数据的处理采用IDL和ENVI(Version 4.6.1, Research Systems Inc., Boulder, Colo.)和MATLAB 2008a(Version 7.6.0, the Math-Works, Natick, MA)软件。

1.2.2数据处理

数据分析流程包括3个主要步骤：(1)高光谱图像校正和像素光谱提取。在标准白板(聚四氟乙烯长方形白板)和关闭镜头盖情况下，分别获得标定白板反射光谱和暗电流反射光谱，采用校正方程[1]进行图像校正。(2)光谱预处理。考虑高光谱成像系统的光谱分辨率为2.75 nm，光谱维以5个波长进行合并操作，光谱维从750个降为150个，每个波长量值圆整。(3)波长选择和杂质识别。采用三种不同方法获取关键波长集合；基于像素分类器，使用四种波长集合分割图像，获取二值图像后采用后处理方法去除噪声点完成杂质识别[11]。

1.2.2.1 波长选择

(1)以原始波长图像为研究对象，基于波长图像转换的贡献率大小，确定最佳波长。

原始波长图像采用主成分分析(PCA, Principle Component Analysis)转换或波段比运算，计算每个波长图像在PCA转换或波段比运算中的最大贡献率，使用转换后的某主成分图像或波段比图像，进行杂质分割并评价分割效果，选择最佳的主成分图像或波段比图像，确定贡献率最大的若干个最佳的波长和波长集合。

(2)以像素为研究对象，基于像素分类与波长选择方法独立的过滤器(filter)方法，确定最佳波长。

根据独立于分类器的指标J来评价所选择的特征子集S，在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。研究中采用T检验(T-test)标准评价特征子集对像素分类的效果。像素分类器基于早期研究确定为二次判别分析(QDA, Quadratic Discriminate Analysis)

(3)以像素为研究对象，基于特征选择和分类器结合的包装(Wrapper)方法，确定最佳波长。

将特征选择和分类器结合在一起，在分类过程中表现优异的特征子集会被选中。选择特征的顺序包括两种：第一种，自下而上：特征数从零逐步增加到d。另一种，自上而下：特征数从D开始逐步减少到d。研究采用自上而下的特征选择顺序，分类器采用QDA。

1.2.2.2 图像分割和后处理

确定最佳波长集后，基于QDA分类器分类像素构造二值图像。再采用面积线性判别分析分类二值图像区域，剔除二值图像中的伪目标和噪声点。最后完成杂质的识别和检测，详见文献[11]。

2结果与分析

2.1　不同波长选择方法确定的最佳波长集合及像素分类效果

针对所有训练集所有图像，使用PCA、filter和Wrapper方法的所选择的波长集合和像素分类效果2。对比四种波长集合结果表明：全波长构建分类器的像素分类效果最佳，但是运算成本最大，是其他波长集像素分类运算时间的几十倍。三种波长选择方法中，运算成本与使用的波长数有一定的相关性，结果最好的是Wrapper方法，像素分类误判率与全特征结果相近，其次是采用PCA转换后优选波长集合。因此，针对全部杂质与梳棉像素二次判别分析，选择Wrapper方法确定关键波长，用于后续二值图像的构建。表2

表2 不同特征选择方法的QDA像素分类结果
Table 2 Pixel classification of QDA using different features for foreign materials.

杂质类型Typesoftrash特征选择方法Featureselection波长(排序,仅罗列前10个波长)Wavelength像素误判率Rateoffalsealarmsforpixels(%)运行时间Runningtime(s)普通杂质Naturaltrashes全特征全波长1.511.057204856788814537644767089222.70.334704674734767.080.235148985478608378786526994539191.870.35灰色丙纶丝Greypolypropylenefibers全特征全波长0.8273.136767229426997724647691.791.674884914854944824974794765002.642.044888525385038729106846268848781.092.82白色丙纶丝Whitepolypropylenefibers全特征全波长9.4461.3972045366473449168191344745969917.752.1547146847347939.430.9952385267971784370868168469981910.385.22透明丙纶丝Transparentpolypropylenefibers全特征全波长21.2769.2771745394869677544749446269935.061.9947046747347636.341.8354182545952979354480868169685223.496.26黑色毛发Blackhumanhair全特征全波长9.2735.4471744789645360594812.50.7752953250352651158532.010.784474504539485968758936386879079.992.29黑色猪毛Blackpighair全特征全波长9.7860.0671745360594877844746794017.221.5567964964668127.461.176969165448696767786295067466389.494.72白色猪毛Whitepighair全特征全波长27.2915.5471745061474969944750394545936.710.3847046747347640.230.8055575557085194864046787584986328.311.12透明地膜碎片Transparentmulchingfilm全特征全波长20.7363.7267945069676349494844745969933.262.0147046747347635.1811.5845650071151476959357378463779023.815.98

2.2　像素分类和杂质识别

使用二次判别分析构造的分类器，基于全波长和最优波长信息，验证集杂质分割结果表明：(1)采用Wrapper方法获得最优波长集合，可以分割出大部分杂质；(2)分割颜色较深的杂质，效果最佳，分割白色和透明杂质，效果最次。并产生了大量的误判像素点；(3)使用二值图像后处理办法基本剔除了所有的噪声点。颜色较深的杂质，基本能完成分割，白色和透明杂质，最终分割形成不完整区域，有空洞或部分分割。

结果表明，基于QDA判别分析，采用最佳波长集合，分类子图像中像素点，构造分割二值图像，随后采用线性判别分析处理二值图像，所有子图像中异性纤维识别率为79.17%。其中，黑色人发和灰色丙纶丝识别达到100%，黑色猪毛识别为95.65%，白色丙纶丝的识别率达到90.36%，透明地膜碎片识别率为67.21%。白色猪毛和透明丙纶丝识别较差，但是白色猪毛和透明丙纶丝在QDA判别分析的二值图像中体现了目标的形状，通过其他处理方法适当提高这些杂质的识别率。图1，表3

图1典型子图像QDA像素分类二值图像及后处理图像示意
Fig. 1Segmentation results of foreign materials using QDA pixels classification and post processing methods.
表3 基于最优波长集合验证集的梳棉杂质识别结果
Table 3 Recognition results of foreign materials by optimal wavelengths

异性纤维类型Typesoftrash识别率/%Recognitionrate误判数Numberoffalsealarms丙纶丝Polypropylenefibers80.3624灰色丙纶丝Greypolypropylenefibers1001白色丙纶丝Whitepolypropylenefibers90.3617透明丙纶丝Transparentpolypropylenefibers42.226毛发Hair8514黑色毛发Blackhumanhair1002黑色猪毛Blackpighair95.654白色猪毛Whitepighair42.108透明地膜碎片Transparentmulchingfilm67.2126总计Total79.1764

3 讨 论

3.1从波长选择角度分析，与分类器独立的波长选择方法filter和PCA，对比与分类器相结合的波长选择方法Wrapper，所选波长集中于图像信噪比高的450~540 nm波段。PCA和Wrapper方法所选波长存在一些重叠性，有部分波长处于短波近红外区域，这与其他学者[14]所提出的波长段有一定的重合，反映出一些特定的杂质仅在该区域具有一定的指纹特征。像素分类器独立的特征选择方法，所选关键波长，用于像素分类效果较Wrapper方法所选波长要差很多。

3.2从分割和后处理的总体效果分析，针对色重的杂质，用Wrapper方法所选波长分割的效果，无论从运行时间和分割效果要好于最优波长集合，且分割后处理运算效果稳定，误判数较少。透明丙纶丝、白色猪毛和透明地膜碎片采用最优波长集合，像素分割效果较差，容易受棉花光谱的影响较大，误判数较高。尽管很多波长位于短波近红外区域，但受到原始图像在该波段信噪比不高的影响，使得误判像素点较多，直接影响后处理方法的效果。

分析其原因：在此波长范围内，棉网内杂质颜色是影响像素分类和杂质分割效果的主要因素。棉网内白色丙纶丝，或纤细的白色猪毛杂质，分析获得的最佳波长，主要集中于成像信噪比高的短波长范围，不是其特征吸收峰位置，不能很好的表达和用于杂质识别。实验系统在波长840 nm后响应较差，光谱噪音较大，使一些好的特征峰不能很好表达，可能也是一个关键的问题。杂质目标误判率随着波长变量使用的减少而有所增加。使用全波长信息，误判率要低于使用最佳波长集合，其核心问题仍然是杂质特征峰定位不准确。

3.3减少像素误判率，提高杂质识别准确率，后续研究的重点包括：第一，针对透明丙纶丝和地膜碎片、纤细白色猪毛，采集800~2 400 nm的近红外波长范围内的梳棉高光谱图像，找到梳棉与这类异性纤维光谱差异更大的特征波长。诸如早期学者提出的近红外波长850 nm[15]、1 520 nm和1 720 nm[16]是检测聚丙烯和聚乙烯等杂质的最佳波长。第二，杂质的检测中，不仅针对难检异性纤维，也针对梳棉普通杂质的检测。如何统一优选波长用于后续多光谱在线分拣杂质设备的开发是新的研究问题。第三，使用其它性能更良好的分类器分类像素。例如，基于支持向量机的分类器，提高像素分类的效果等。第四，针对透明地膜碎片，也可以采用其他的检测和分拣技术，一种是静电方式，棉花和透明地膜碎片产生静电不同，可以很快区分，另一种是空气动力学方式，透明地膜碎片在风送过程中，迎风面大于棉花，利用筛网可以分拣部分较大一点碎片。

4结 论

在可见短波近红外波长422~982 nm范围，提取高光谱图像中杂质和棉花像素点的光谱信息，采用与像素分类器结合的包装方法选择的最优波长集，可以有效识别棉网中的普通杂质、灰色丙纶丝和黑色毛发，能够检测白色丙纶丝，可以识别出部分白色猪毛、透明丙纶丝和透明地膜碎片，能够为今后杂质多光谱成像技术在线或快速杂质检测系统构建提供了一定的研究基础。其异性纤维总识别率为79.17%。其中，黑色人发和灰色丙纶丝识别率达到100%，黑色猪毛识别率达为95.65%，白色丙纶丝的识别率达到90.36%，透明地膜碎片也有很大的提高，识别率为67.21%。白色猪毛和透明丙纶丝识别较差。

参考文献(References)

[1]郭俊先，应义斌. 皮棉中杂质检测技术与检出装备的研究进展[J].农业机械学报, 2008, 39(7): 107-113,106.

GUO Junxian, YING Yi-bin. (2008). Progress on detecting technique and sorter of raw cotton foreign matters [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 39(7): 107-113, 106. (in Chinese)

[2] 李国辉，苏真伟，夏心怡. 基于不规则成像机器视觉的棉花白色异纤检测算法[J]. 农业机械学报，2010, 41(5): 164-167．

LI Guo-hui, SU Zhen-wei, XIA Xin-yi. (2014). Algorithm for inspection of white foreign fibers in cotton by machine vision with irregular imaging function [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 41(5): 164-167. (in Chinese)

[3] 王思乐，范士勇，卢素魁，等. 基于视觉显著图的异性纤维彩色图像分割方法[J]. 计算机工程与设计, 2013, 34(8): 2 783-2 787.

WANG Si-le, FAN Shi-yong, LU Su-kui, et al. (2013). Visual saliency map based color image segmentation for foreign fiber detection [J].ComputerEngineeringandDesign, 34(8): 2，783-2，787. (in Chinese)

[4] 刘锋，苏真伟，乔丽. 基于线激光截面成像的棉花白色异性纤维检测方法[J]. 农业机械学报，2013, 44(3): 215-218, 256.

LIU Feng, SU Zhen-wei, QIAO Li. (2013). Linear laser detecting method of white foreign fibers in cotton based on sample cross- section imaging [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 44(3): 215-218, 256. (in Chinese)

[5] 刘翔，何相呈，苏真伟，等. 棉花中白色异性纤维的激光成像快速检测方法[J]. 农业工程学报，2014, 30(15): 190-196.

LIU Xiang, HE Xiang-cheng, SU Zhen-wei, et al. (2014). Laser imaging method for fast detecting white foreign fibers in cotton [J].TransactionsoftheChineseSocietyforAgriculturalEngineering, 30(15): 190-196. (in Chinese)

[6] 杨文柱，李道亮，魏新华，等.基于光谱分析的棉花异性纤维最佳波段选择方法[J]. 农业机械学报, 2009, 25(10): 186-192.

YANG Wen-zhu, LI Dao-liang, WEI Xin-hua, et al. (2009). Selection of optimal band for detecting foreign fibers in lint cotton using spectroscopic analysis [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 25(10): 186-192. (in Chinese)

[7] 杨文柱，李道亮，魏新华，等. 基于改进遗传算法的棉花异性纤维目标特征选择[J]. 农业机械学报, 2010, 41(4): 173-178.

YANG Wen-zhu, LI Dao-liang, WEI Xin-hua, et al. (2010). Feature selection for cotton foreign fiber objectives based on improved genetic algorithm[J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 41(4): 173-178. (in Chinese)

[8] 王金星，李恒斌，王蕊，等. 基于BPSO的棉花异性纤维目标特征快速选择方法[J]. 农业机械学报，2013, 44(2): 188-191.

WANG Jin-xing, LI Heng-bin, WANG Rui, et al. (2013). A fast feature selection for cotton foreign fiber objects based on BPSO [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 44(2): 188-191. (in Chinese)

[9] 赵学华，李道亮，于合龙. 基于费舍尔评分与离散粒子群优化的棉花异性纤维在线检测[J]. 农业工程学报，2014, 30(6): 107-115.

ZHAO Xue-hua, LI Dao-liang, YU He-long. (2014). Online detection for cotton foreign fiber based on fisher score and binary particle swarm optimization [J].TransactionsoftheChineseSocietyforAgriculturalEngineering, 30(6): 107-115. (in Chinese)

[10] 郭俊先，应义斌，成芳，等. 皮棉表面多类异性纤维的高光谱图像检测[J].农业工程学报，2010, 26(10): 355-360.

GUO Jun-xian YING Yi-bin, CHENG Fang, et al. (2010). Detection of foreign materials on the surface of ginned cotton by hyper-spectral imaging [J].TransactionsoftheChineseSocietyforAgriculturalEngineering, 26(10): 355-360. (in Chinese)

[11] 郭俊先，应义斌，饶秀勤，等. 梳棉内层杂质的高光谱图像检测[J].农业机械学报，2012, 43(12): 197-203.

GUO Jun-xian, YIN Yin-bin, RAO Xiu-qin, et al. (2012). Detection of trashes in combed cotton using hyper- spectral images [J].TransactionsoftheChineseSocietyforAgriculturalMachinery, 43(12): 197-203. (in Chinese)

[12] Guo, J., Ying, Y., Li, J., Rao, X., Kang, Y., & Shi, Z. (2012). Detection of foreign materials on surface of ginned cotton by hyper-spectral imaging.TransactionsoftheChineseSocietyofAgriculturalEngineering, 28(21)：126-134.

[13] Wei, X., Wu, S., Xu, L., Shen, B., & Li, M. (2014). Identification of foreign fibers of seed cotton using hyper-spectral images based on minimum noise fraction.TransactionsoftheChineseSocietyofAgriculturalEngineering, 30(9)：243-248.

[14] 郏东耀，丁天怀. 利用纤维红外吸收特性的皮棉杂质检测新方法[J]. 红外与毫米波学报，2005, 24(2): 147-150.

JIA Dong-yao, DING Tian-huai. (2005). Novel method of detecting foreign fibers in lint by fiber's infrared absorption characteristics [J].JournalofInfraredandMillimeterWaves, 24(2): 147-150. (in Chinese)

[15] 郏东耀，丁天怀. 棉花中异性纤维的多光谱检测[J]. 清华大学学报(自然科学版)，2005, 45(2): 193-196.

JIA Dong-yao, DING Tian-huai. (2005). Detecting foreign fibers in cotton using a multi-spectral technique [J].JournalofTsinghuaUniversity(ScienceandTechnology), 45(2): 193-196. (in Chinese)

[16] Bhmer, S., Budzier, H., Krause, V., Gerlach, G., Pusch, T., & Cherif, C. (2006). Two channels NIR camera system to detect foreign matter in raw cotton.ProceedingsofQUIRT,Padova,Italy.

Fund project:Supported by Supported by the Natural Science Fund Projects of Science and Technology Department of Xinjiang Uygur Autonomous Region "Analysis of Absorption Spectrum of Cotton Trashes by Using Spectroscopy and Spectral Imaging"(2014211A033)

Wavelengths Selection of Trashes Detection in Combed

Cotton Using Hyper-spectral Imaging at Visible and Short-wave

Near Infrared Wavelength Range

GUO Jun-xian, LI Xue-lian, HUAN Hua, SHI Zhai, LIU Ya

(MechanicalandTrafficCollege,XinjiangAgriculturalUniversity，Urumuqi830052,China)

Abstract：【Objective】 This research focuses on the wavelength selection for detecting trashes in the cotton by using hyper-spectral imaging at Visible and Short-wave Near Infrared Wavelength Range.【Method】The pixel spectra was obtained from the original hyper-spectral image firstly. And then key wavelengths related to trashes' detection were selected by using principle component analysis, filter and wrapper methods with pixel's classifier based on quadratically discriminant analysis. Finally, the pixel classifier was combined based on quadratic discriminant analysis for constructing binary images and the post-processing method of binary images, which were determined by early research, the best method for key wavelengths from abovementioned three methods was selected by comparing segmentation results for trashes.【Result】The results indicated that the detection rate of trashes using key wavelengths information selecting by wrapper was better than filter and principle component analysis methods. The total detection rate of foreign materials was up to 79.17% while using wrapper wavelength selection. The detection rates for gray polypropylene fiber, white polypropylene fiber, black human hair, and black pig hair were over 90% respectively, while the detection rate of transparent mulching film, transparent polypropylene fiber, and white pig hair were lower than others, respectively.【Conclusion】 The results indicated that the key wavelengths selected from hyper-spectral image using wrapper could detect most impurities and trashes in the cotton. And the study will provide theoretical basis for impurities on line sorting using multi-spectral imaging.

Key words:cotton carding; hyper-spectral imaging; trashes; wavelengths selection; detection

作者简介:郭俊先(1975-)，男，新疆巴里坤人，副教授，博士，研究方向为农产品品质快速无损检测,(E-mail)junxianguo@163.com

基金项目:新疆维吾尔自治区科技厅基金项目，“皮棉杂质光谱图像的吸收光谱分析研究”(2014211A033)

收稿日期：2015-10-21

中图分类号：TS101.3；TP181；S562

文献标识码：A

文章编号：1001-4330(2016)02-0352-07

doi:10.6048/j.issn.1001-4330.2016.02.023