基于高光谱成像提取苹果糖度与硬度最佳波长

冯 迪, 纪建伟, 张 莉, 刘思伽, 田有文*

(1. 沈阳农业大学 信息与电气工程学院， 辽宁 沈阳 110866；2. 辽宁广播电视台， 辽宁 沈阳 110004； 3. 辽宁广播电视传输发射中心， 辽宁 沈阳 110004)

基于高光谱成像提取苹果糖度与硬度最佳波长

冯 迪1,2, 纪建伟1, 张 莉3, 刘思伽1, 田有文1*

(1. 沈阳农业大学 信息与电气工程学院， 辽宁 沈阳 110866；2. 辽宁广播电视台， 辽宁 沈阳 110004； 3. 辽宁广播电视传输发射中心， 辽宁 沈阳 110004)

利用高光谱成像技术提取可同时检测苹果糖度与硬度的最佳波长。首先双面采集苹果的高光谱图像，获取亮度相近感兴趣区域(ROIs)的反射波形，采用二阶导数结合标准正态变量(SD+SNV)的方法平滑波形，测试ROIs的糖度与硬度；之后采用连续投影算法(SPA)提取两项指标的特征波长，根据特征波长的分布提出二次连续投影算法，结合波形集特征与两次投影结果确定不同取样面的最佳波长；最后采用遗传算法开发神经网络(GA-BP)建立预测模型，双面取样波长(543 nm和674 nm)效果最优，糖度相关系数(R)为0.847 6，均方误差(MSE)为3.32；硬度R为0.793 8，MSE为9.6。结果表明，相同波长信息可以检测苹果糖度与硬度。

高光谱成像； 苹果； 最佳波长； 二次连续投影算法； 遗传算法开发神经网络

1 引 言

作为衡量内部品质的两项重要指标，苹果的糖度与硬度的检测近些年被广泛研究。高光谱成像是近些年应用于苹果无损检测与分级的主要技术。其中图像技术能反映外在特征，光谱技术能检测物理结构和化学成分。关于苹果内部成分检测，以往主要集中在波形预处理、数据降维、RIOs、预测模型开发环节[1-5]，在单项指标检测上已经可以获得较高的准确率。在糖度方面，郭志明通过选择RIOs范围、S-G一阶微分法做光谱预处理，使预测相关系数(R)达到0.923 2[6]；郭俊先等通过一阶微分光谱预处理，10个波长的光谱合并，多元线性回归(MLR)法建立苹果糖度的预测模型，预测相关系数为0.911，均方根误差(RMSE)为0.76%[7]。在硬度方面，赵杰文等采用支持向量回归法(SVR)和偏最小二乘法(PLS)校正硬度模型，预测相关系数达到0.680 8[8]；王爽等通过非变量消除法(UVE)和近邻算法(SAP)选择高光谱散射图像的特征波长，采用PLS法和BP神经网络建立硬度预测模型，预测相关系数分别为0.814和0.828[9]。在两项指标检测的英文文献中，Mendoza 等通过平均反射率、离散连续小波变换法分析散射光谱，使用一阶统计、傅里叶变换、共生矩阵和方差分析法做图像分析，基于PLS对3种苹果的两项指标建立预测模型，使不同种类苹果的两项指标的预测标准误差(SEP)有了不同程度的降低，糖度与硬度最大降幅为13.7%和11.2%[10]；Peng等采用10次修改后的洛伦兹分布函数预测硬度，MLR和交叉验证法预测糖度，分别获得了0.894和0.883的预测系数[11]。在中文文献中，单佳佳等利用高光谱空间散射曲线的洛伦兹拟合参数检测两项指标，采用PLS、MLR、BP神经网络建立预测模型，其中PLS的建模效果最好，糖度与硬度的预测相关系数分别达到0.93和0.95[12]；万相梅采用偏最小二乘支持向量机法(LS_SVM)检测苹果的硬度和液汁含量，糖度与硬度的预测相关系数为0.744和0.539[13]。

从上述文献可知，研究人员对苹果糖度与硬度检测的各个环节进行了多种数学方法的尝试与开发，建立的模型拥有较高的预测相关系数和较低的均方误差。然而检测过程却存在指标的针对性，不能通过相同的数据与方法检测两项或更多指标；另外，理想的预测结果在建模过程中需要较多的波段信息，大量的数据计算影响检测效率，不利于快速的在线检测。对此，本文提出一种双项指标检测的新方法，在双面多点取样的前提下，通过平滑波形数据与两次SPA运算，提取糖度与硬度共同的特征波长从而确定最佳波长，利用少量的波长信息实现苹果双指标的高效检测。

2 实 验

2.1 苹果指标测试相关材料

实验样本为沈阳农业大学实验果园的寒富苹果240个，果径范围为65～90 mm，少量外形不均匀，但表面无大面积缺陷、黑斑，外表做清洁处理。样本采摘后储藏于4 ℃风冷冰柜中，实验前2 h拿出。糖度测试选用深圳佛兰德电子有限公司的DBR45型数字折光仪，测量指标范围为0～45%，测量精度为0.1。硬度测试选用北京金科利达电子有限公司GY-4型数显果实硬度计,测量时选用二号探针，直径为8 mm，计量单位为牛顿(N)。

2.2 高光谱成像系统

苹果样本图像使用高光谱成像系统获得。该系统主要部件包括高光谱相机(内含CCD和成像光谱仪)、卤素灯、位移控制平台、数据处理机和专用高光谱图像采集软件。整个系统置于黑箱内，系统结构与主要元件参数见图1与表1。

图1 高光谱成像系统结构示意图

Fig.1 Schematic representation of the hyperspectral imaging system

2.3 高光谱图像获取与校正

苹果样本置于移动平台的水果托架上，在图像预扫描过程中调整托架位置，设置采集软件相关参数—相机曝光时间40 ms；平台移动速度2.1 mm/s；

表1 高光谱成像系统主要元件信息

Tab.1 Information of main components of hyperspectral imaging system

元件品牌型号产地相关信息成像光谱仪S.I.V10E芬兰波段:400～1100nm位移控制平台COMIRCP0076-1台湾范围:0～600mmCCDIMPERXB1410M美国像素:1392×1040卤素灯I.T.3900美国150W数据处理机DELL5560D台湾五铃光学采集软件

光源校正系数DN 3 300(未校正前为4 095)；物距(样本平台与镜头的距离)420 mm；平台移动范围160～245 mm。苹果核平行于平台移动方向，获取位置居中、比例协调、亮度均匀、色彩真实的高光谱图像。

系统使用前采用标准白板(聚四氟乙烯长方形白板)和关闭镜头盖，分别获得标定白板反射谱和暗电流反射谱，采用校正方程进行图像校正。按照公式(1)做黑白校正：

(1)

其中BC为关闭光源得到的高光谱图像，WC为使用聚四氟乙烯白板得到的全白参考高光谱图像，IC为苹果样本原始高光谱图像，RC为校正后的高光谱图像。每个样本做赤道双面图像采集并做好标记。

2.4 RIOs

由于苹果外形接近球体，光照强度随不同纬度变化，所以RIOs取4个边长为50像素点的正方形区域，分布在果身中心(x=696,y=520)上下左右4个方位，对点中心距离为300像素点。使用ENVI4.7提取RIOs的反射波形，数据保存在EXCEL2007中并计算单面与双面的平均反射波形。RIOs及对应反射波形见图2、3。

图2 一个取样面的感兴趣区域

图3 感兴趣区域平均反射波形

2.5 波形校正

波形校正是预处理环节的一项重要步骤，用于消除波形中的噪声，提高高光谱分辨的灵敏度，改善模型预测准确率。参考以往学者对寒富苹果品质的光谱分析结果[3]，本实验使用二阶导数结合标准正态变量的方式(SD+SNV)平滑各取样点的反射波形，建立平滑后的波形集合。

2.6 指标检测

本实验将苹果样本分为校正集(C)160个，预测集(P)80个。RIOs的波形数据采集后，检测其包含区域的平均糖度与点对点硬度。在糖度检测中，由于苹果的液汁不易少量获取，切取4个RIOs中间部位，挤出液汁，用糖度计逐滴检测，至少获取3次相近的数值，之后建立A面、B面、双面的平均集合。

在硬度检测中，以一侧糖度取样后的切面为支撑面，在另一侧将探针按照取样点次序逐个插入约10 mm，如果因操作失误(插入过程不连续、深度过大、过早触及果核)产生较大的数值差，则在取样点近处选点重新测试，记录每个测试点的数值并建立各取样面的平均集合。样本糖度与硬度的统计结果见表2。

表2 苹果样本糖度与硬度统计

注：C代表校正集，P代表预测集；平均值指在某测试面指标的平均结果，最大值或最小值是测试点出现的极值。

2.7 实验相关理论

2.7.1 SPA

SPA(连续投影算法)用于提取苹果的糖度与硬度的特征波长。SPA不仅能够消除波长变量间的共线性影响,而且可以提取具有最小共线性和最低冗余度的特征波长,以较小的信息量表示大多数样品的光谱信息。该方法在初始状态时选择一个波长,然后采用循环选择的方式向前进行,通过计算在未选入的波长上的投影来选取投影向量的最大波长,再将该向量引入波长组合,直至循环截止[14]。

2.7.2 GA-BP

GA-BP(遗传算法开发神经网络)用于检验最佳波长建模的预测结果。在传统BP只有输入层、隐含层和输出层的基础上，采用GA优化BP神经网络的初始权值和阈值，使模型能够获得更高的预测相关系数。

2.8 实验流程

本实验共采集480幅高光谱图像，一方面每幅图像参考光照亮度确定4个RIOs，提取4条整体相近的反射波形，采用SD+SNV法建立不同取样面的平滑波形集合；另一方面测试样本糖度与硬度，建立校正集与预测集。之后，以RIOs平滑波形数据为参考向量，以指标集合为输出向量进行一次SPA运算，提取两项指标的特征波长。各取样面的特征波长提取后，寻找两项指标特征波长间的联系。如果波长数值相近、数量差异较大，以较多特征波长的数据为参考向量，更改输出向量(互换指标集合)做二次SPA，提取二次特征波长。结合两次特征波长、校正波形集及三基色的指示线确定各取样面的最佳波长。最后，基于GA-BP建立预测模型，检验不同取样面的预测效果，确定双指标同检的最佳波长。

图4 苹果糖度与硬度最佳波长获取流程

3 结果与讨论

3.1 最佳波长选择

各取样面的最佳波长建立在两次SPA提取特征波长的基础上，在双面取样的糖度一次SPA运算中，指标集合Yb与波形矩阵建立如下关系：

(2)

其中M为样本数、K为计算中所带入的波长个数。在全波段范围内(400～1 000 nm)，经过ENVI4.7获得苹果472个波长的反射率，形成240×472的吸收矩阵。将初始的迭代向量记做{XK(0)}，将提取的变量数记做N(N

(3)

剩余列向量集合中的投影向量：

(4)

获取{XK(0)=0,…，N-1}的变量。按此方式提取各取样面糖度与硬度的一次特征波长，变量N(特征波长上限)设置为30，共获得6组结果(见表3)，图5为双面取样硬度的特征波长。

表3 苹果糖度与硬度一次SPA特征波长序号

图5 双面硬度一次SPA特征波长分布

Fig.5 Characteristic wavelengths distribution of double-sided firmness by once SPA

从表3的结果可知，经过一次SPA运算后的同一指标在不同取样面的特征波数量基本接近，硬度特征波数量多于糖度，两项指标的特征波长存在重复和临近关系。为确定两项指标特征波长的联系，做以硬度特征波长F的数据信息为投影向量和以糖度指标集合为输出向量的二次SPA，可建立如下关系：

(5)

二次SPA特征波上限N′<(F-1)最大输出值设置为8，运行结果见图6。

图6 双面二次SPA特征波长分布

Fig.6 Characteristic wavelengths distribution of double-sided facets by two times SPA

双面二次SPA提取4个特征波长，它们对应双面硬度一次SPA的特征波序号为2，7，117，220，实际波长值为402，408，543，674 nm。从图7双面校正集反射波形分布观察，第2、7特征波长位于波形起始端，受共线性影响大，特征不易被挖掘；与之相反，第117、220特征波长线性区别明显，与一次SPA特征波长相近，还接近三基色中红绿颜色的标定线，反映苹果的主色调及颜色变化。全波段范围内确定543 nm和674 nm为双面取样双指标检测的最佳波长(在图5中已做红绿标定)，采用该两波长的数据建立预测模型。

参考以上过程提取两个单面取样的最佳波长，A面为544 nm和674 nm，B面为547 nm和676 nm。由于各取样面的最佳波长值相近，反射数据成为影响预测模型的关键因素。

图7 校正集的双面平均波形分布及三基色的特征线

Fig.7 Distribution of double-sided average waveforms of calibration set and the characteristic lines of three primary colors

3.2 模型检验

本实验基于遗传算法开发神经网络(GA-BP)检验各取样面最佳波长下双指标的预测效果。模型中的学习训练速度与训练次数是影响模型预测的两个重要权值，经过数次修改，发现在学习训练速度为0.05、训练次数为800的环境下可获取相对较高的预测系数(R)和较低均方误差(MSE)，图8与图9描述两项指标的回归分布。

图8 双面糖度的GA-BP预测图

图9 双面硬度的GA-BP预测图

3.3 讨论

本实验基于高光谱成像技术提取苹果不同取样面的反射波形，在SD+SNV平滑后建立波形集合，采用一次和二次SPA法提取不同取样面糖度与硬度的特征波长，参考波形集特征、三基色分布等相关信息确定各取样面的最佳波长，其中对双面取样最佳波长的提取过程进行了详细描述。为检验实验效果，采用GA-BP法分别参考特征波长与最佳波长数据建立糖度和硬度的预测模型，结果见表4。

实验结果表明，以最佳波长数据预测糖度的结果与一次特征长相差不大，在数量相等的情况下预测能力稍逊于特征波长；而最佳波长对硬度的预测结果却明显优于特征波长，具有较高的相关系数与较低的均方误差。两项指标相比，糖度预测效果优于硬度。这是由于硬度的一次SPA部分特征波长相近、波形曲线密集、包含较多模糊信息，影响了最终模型预测效果。综合全部结果，双面预测效果普遍高于单面，全面反映了苹果颜色的过渡性，确定双面取样的最佳波长—543 nm和674 nm为本实验的最佳波长。

表4 不同条件下糖度与硬度的建模结果

在GA-BP模型中，归一化和反归一化处理很好地表达了反射数据和指标值之间复杂的非线性关系，获得了较好的结果。但模型精度仍有一定提升空间，一方面相关参数精细调试仍可以使相关系数有小幅提升，另一方面建立准确的指标集合同样可以提高模型精度。在重复实验过程中，应重视相关设备使用的合理性与清洁度，抓好实验细节。

4 结 论

本文采用双面多点RIOs的平滑取样、两次SPA的方式提取了苹果糖度与硬度的最佳波长，既避免了单一点取样的局限性，又可获取同时检测两项指标的数据信息，减少了因颜色过渡造成的误判，保障了双指标判定的准确率和效率，最终确定双面取样的543 nm和674 nm为实验的最佳波长。在验证环节中，GA-BP建立预测模型获得了较好的结果，糖度相关系数R为0.847 6，均方误差MSE为3.32；硬度R为0.793 8，MSE为9.6。虽然与单项指标检测结果略有差距，但完成了相同信息的双指标同检。

二次SPA法是本文的核心环节，为双指标检测提供了一种理论，为今后农产品开发提供一种新思路。利用该方法可以更多去除特征波长中的无用信息，也是对一次SPA结果的检验。它的局限性在于不同指标的一次特征波长有紧密的联系，不但个别波长数值相近，而且数量差别要明显，在满足条件下方可使用。

[1] 孙梅, 陈兴海, 张恒, 等. 高光谱成像技术的苹果品质无损检测 [J]. 红外与激光工程, 2014, 43(4):1272-1277. SUN M, CHEN X H, ZHANG H,etal.. Nondestructive inspect of apple quality with hyperspectral imaging [J].InfraredLaserEng., 2014, 43(4):1272-1277. (in Chinese)

[2] 吴龙国, 何建国, 贺晓光, 等. 高光谱图像技术在水果无损检测中的研究进展 [J]. 激光与红外, 2013, 43(9):990-996. WU L G, HE J G, HE X G,etal.. Research progress of hyperspectral imaging technology in non-destructive detection of fruit [J].LaserInfrared, 2013, 43(9):990-996. (in Chinese)

[3] 宫元娟, 周铁, 屈亚堃, 等. 寒富苹果品质无损检测光谱信息在线分析 [J]. 沈阳农业大学学报, 2014, 45(6):708-713. GONG Y J, ZHOU T, QU Y K,etal.. Online analysis on Hanfu apple quality spectral information based on NDT [J].J.ShenyangAgric.Univ., 2014, 45(6):708-713. (in Chinese)

[4] 汪泊锦, 黄敏, 朱启兵, 等. 基于高光谱散射图像技术的UVE-LLE苹果粉质化分类 [J]. 光子学报, 2011, 40(8):1132-1136. WANG B J,HUANG M,ZHU Q B,etal.. UVE-LLE classification of apple mealiness based on hyperspectral scattering image [J].ActaPhoton.Sinica, 2011, 40(8):1132-1136. (in Chinese)

[5] 黄鸿, 郑新磊, 罗甫林. 融合加权均值滤波与流形重构保持嵌入的高光谱影像分类 [J]. 光子学报, 2016, 45(10):1030001. HUANG H, ZHENG X L, LUO F L. Hyperspectral image classification with combination of weighted mean filter and manifold reconstruction preserving embedding [J].ActaPhoton.Sinica, 2016, 45(10):1030001. (in Chinese)

[6] 郭志明, 黄文倩, 彭彦昆, 等. 高光谱图像感兴趣区域对苹果糖度模型的影响 [J]. 现代食品科技, 2014, 30(8):59-63. GUO Z M, HUANG W Q, PENG Y K,etal.. Impact of region of interest selection for hyperspectral imaging and modeling of sugar content in apple [J].Mod.FoodSci.Technol., 2014, 30(8):59-63. (in Chinese)

[7] 郭俊先, 饶秀勤, 程国首, 等. 基于高光谱成像技术的新疆冰糖心红富士苹果分级和糖度预测研究 [J]. 新疆农业大学学报, 2012, 35(1):78-86. GUO J X, RAO X Q, CHENG G S,etal.. Prediction of the sugar degree and grading of Xinjiang Fuji apple by hyper-spectral imaging techniques [J].J.Xinjiang.Agric.Univ., 2012, 35(1):78-86. (in Chinese)

[8] ZHAO J W, CHEN Q S, SARITPORN V,etal.. Determination of apple firmness using hyperspectral imaging technique and multivariate calibrations [J].Trans.CSAE, 2009, 25(11):226-231.

[9] WANG S, HUANG M, ZHU Q B. Model fusion for prediction of apple firmness using hyperspectral scattering image [J].Comput.Electron.Agric., 2012, 80:1-7.

[10] MENDOZA F, Lu R F, ARIANA D,etal.. Integrated spectral and image analysis of hyperspectral scattering data for prediction of apple fruit firmness and soluble solids content [J].PostharvestBiol.Technol., 2011, 62(2):149-160.

[11] PENG Y K, LU R F. Analysis of spatially resolved hyperspectral scattering images for assessing apple fruit firmness and soluble solids content [J].PostharvestBiol.Technol., 2008, 48(1):52-62.

[12] 单佳佳, 吴建虎, 陈菁菁, 等. 基于高光谱成像的苹果多品质参数同时检测 [J]. 光谱学与光谱分析, 2010, 30(10):2729-2733. SHAN JJ, WU J H, CHEN J J,etal.. Rapid nondestructive detection of apple quality attributes using hyperspectral scattering images [J].Spectrosc.Spect.Anal., 2010, 30(10):2729-2733. (in Chinese)

[13] 万相梅, 黄敏, 朱启兵. 基于高光谱散摄图像的苹果压缩硬度和汁液含量无损检测 [J]. 食品工业科技, 2012, 33(6):71-74. WAN X M, HUANG M, ZHU Q B. Non-destructive detection for compression hardness and juiciness in apple based on hyperspectral scattering image [J].Sci.Technol.FoodInd., 2012, 33(6):71-74. (in Chinese)

[14] 张巍. 基于高光谱成像技术的蓝莓内部品质检测方法的研究 [D]. 沈阳: 沈阳农业大学, 2016:21-22. ZHANG W.ResearchonBlueberryInternalQualityDetectionMethodBasedonHyperspectralImagingTechnology[D]. Shenyang: Shenyang Agricultural University, 2016:21-22. (in Chinese)

冯迪(1981-)，男，辽宁沈阳人，博士，2007年于内蒙古农业大学获得硕士学位，主要从事智能检测在农业中的应用研究。

E-mail： fengdi_007@126.com田有文(1968-)，女，辽宁沈阳人，博士,教授，主要从事智能检测在农业中的应用研究。

E-mail： youwen_tian10@163.com

Optimal Wavelengths Extraction of Apple Brix and Firmness Based on Hyperspectral Imaging

FENG Di1,2, JI Jian-wei1, ZHANG Li3, LIU Si-jia1, TIAN You-wen1*

(1.CollegeofInformationandElectricalEngineering,ShenyangAgriculturalUniversity,Shenyang110866,China;2.LiaoningRadioandTelevision,Shenyang110004,China； 3.LiaoningRadioandTelevisionTransmissionCenter,Shenyang110004,China)

Hyperspectral imaging technology was used to extract the optimal wavelength for apple brix and firmness test. Firstly, the hyperspectral images of apples were acquired from double-sided sampling. The reflection waveforms of the regions of interest (RIOs) with similar brightness were acquired and smoothed by the second derivation and standard normal variate (SD+SNV) method. The brix and firmness values of RIOs were also tested. Then, the characteristic wavelengths of two indicators were extracted by using the successive projections agorithm(SPA). According to the distribution of characteristics wavelengths, two times SPA was proposed. Combined the feature of waveforms and the results of two projections, the optimal wavelengths of different sampling facets were determined. Finally, the genetic algorithm for back propagation(GA-BP) was used to build the prediction model. The best results were obtained from the double-sided sampling wavelengths (543 nm and 674 nm). The correlation coefficient of brix (R) is 0.847 6 and the mean square error (MSE) is 3.32, and for the firmness,Ris 0.793 8 and MSE is 9.6. The results show that the brix and firmness can be detected by the same wavelength information.

hyperspectral imaging; apple; optimal wavelength; two times SPA; GA-BP

1000-7032(2017)06-0799-08

2016-12-17；

2017-03-08

辽宁省大型仪器设备共享服务项目(LNDY201501003)；沈阳市大型仪器设备共享服务专项项目(F15-166-4-00)资助 Supported by Liaoning Large Scale Instrument and Equipment Sharing Service Project(LNDY201501003); Shenyang Large Scale Instrument and Equipment Sharing Service Project(F15-166-4-00)

S126; TP391.44

A

10.3788/fgxb20173806.0799

*CorrespondingAuthor,E-mail:youwen_tian10@163.com